KAT-Coder-V2 기술 요약

1. 개요 및 문제 정의 (Problem)

Kuaishou 의 KwaiKAT 팀에서 개발한 KAT-Coder-V2는 자율적인 에이전트 코딩 (Agentic Coding) 을 위한 차세대 모델입니다. 기존 대규모 언어 모델 (LLM) 이 단일 턴 코드 생성에 집중했다면, 에이전트 코딩은 실제 개발 환경에서 다단계 계획, 실행, 검증을 수행하는 능력을 요구합니다.

이러한 비전을 실현하는 데에는 세 가지 근본적인 도전 과제가 존재했습니다:

1. 기능의 분열 (Capability Fragmentation): 소프트웨어 엔지니어링 (SWE), 웹 코딩 (디자인/미적 감각), 터미널 작업, 웹 검색 등 각 도메인의 훈련 신호는 상충되거나 서로 다릅니다. 단일 모놀리식 (monolithic) 파이프라인으로 모든 도메인을 최적화하기 어렵습니다.
2. 인프라의 결합 (Infrastructure Coupling): 에이전트 RL(강화학습) 훈련은 대규모 샌드박스 오케스트레이션, 다양한 벤치마크 지원, 그리고 Claude Code, OpenClaw 등 다양한 에이전트 프레임워크 (Scaffold) 와의 호환성이 필요합니다. 기존 시스템은 이러한 요소들이 밀접하게 결합되어 있어 확장성이 떨어집니다.
3. 에이전트 RL 의 확장성 (Scaling Agentic RL): 작업 복잡성, 의도 정렬, scaffold 일반화 등 여러 차원에서 동시에 확장해야 하며, MoE(Mixture-of-Experts) 구조의 불안정성과 트리 구조의 궤적 (trajectory) 에서 발생하는 계산 중복 문제를 해결해야 합니다.

2. 방법론 (Methodology)

KAT-Coder-V2 는 전문화 후 통합 (Specialize-then-Unify) 패러다임을 채택하여 위 문제들을 해결합니다.

2.1. 5 개 전문 도메인 분해 및 훈련

모델의 능력을 5 개의 직교하는 전문가 도메인으로 분해하여 각각 독립적으로 훈련시킨 후 통합합니다.

• SWE (Software Engineering): 이슈 해결, 코드 수정, 테스트 검증. (Issue-PR 매핑, AutoBuilder 를 통한 검증 가능한 태스크 생성, 코드 이해도 훈련)
• WebCoding: 자연어 기반의 프론트엔드 페이지 생성. (사용자의 구어체 입력을 디자인, 기술 구현으로 변환하는 '3 관점 레이블 시스템' 및 미적 평가 기준 도입)
• Terminal: 터미널 환경에서의 CLI 추론 및 DevOps 작업.
• WebSearch: 검색 도구 활용 및 다단계 추론을 통한 정보 합성.
• General: 지시 따르기, 일반 QA, 코드 - 수학 추론.

2.2. KwaiEnv: 모듈형 인프라

대규모 에이전트 RL 훈련을 지원하기 위해 KwaiEnv를 개발했습니다.

• 모듈화: 데이터셋, 샌드박스, Scaffold(에이전트 프레임워크), 검증기 (Verifier) 를 분리하여 유연한 조합을 가능하게 합니다.
• 확장성: 수만 개의 동시 샌드박스 인스턴스를 지원하며, 다양한 에이전트 프레임워크 (Claude Code, Kilo Code 등) 를 네트워크 프록시 계층을 통해 '블랙박스'로 통합합니다.
• 자동화: 데이터 수집, 롤아웃 (rollout), 평가, RL 엔진 전달까지 전 과정을 자동화합니다.

2.3. 강화학습 (RL) 및 알고리즘 혁신

• Agentic Scaling: 작업 복잡성, 의도 정렬 (구어체 vs 전문가 지시), Scaffold 일반화 (다양한 프레임워크) 차원에서 10 만 개 이상의 고품질 RL 데이터를 생성합니다.
• MCLA (Monte-Carlo Log-probability Averaging): MoE 모델 훈련 시 발생하는 로그 확률의 높은 분산을 줄이기 위해, 각 궤적의 포워드 패스를 여러 번 실행하여 로그 확률을 평균화하는 기법을 도입하여 훈련 안정성을 확보합니다.
• Tree Training: 에이전트 훈련 시 생성되는 트리 구조 궤적 (공통 접두사 공유) 에서 발생하는 중복 계산을 제거합니다. DFS(깊이 우선 탐색) 방식으로 시퀀스를 평탄화하고 토큰별 손실 가중치를 적용하여 최대 6.2 배의 훈련 속도 향상을 달성했습니다.
• Turn-level Policy Optimization: 긴 에이전트 작업에서 시간적 크레딧 할당을 정밀하게 하기 위해 시퀀스 단위 대신 '턴 (Turn)' 단위로 정책 최적화를 수행합니다.

2.4. 온-폴리시 증류 (On-Policy Distillation, OPD)

5 개의 전문가 모델을 단일 모델로 통합하는 단계입니다.

• 기존 오프-폴리시 증류의 노출 편향 (exposure bias) 문제와 직접적인 가중치 평균의 포getting(망각) 문제를 해결하기 위해, 온-폴리시 증류를 적용합니다.
• 통합된 학생 모델이 다양한 도메인 프롬프트로 궤적을 생성할 때, 해당 작업에 가장 적합한 전문가 모델을 'Teacher'로 선정하여 단계별 로그 확률로 밀도 있는 감독을 제공합니다.

3. 주요 성과 및 결과 (Results)

KAT-Coder-V2 는 다양한 벤치마크에서 최상위권 성능을 입증했습니다.

• SWE-bench Verified: 79.6% (Claude Opus 4.6 의 80.8% 에 근접).
• PinchBench: 88.7 (GLM-5 의 86.4, MiniMax M2.7 의 87.1 을 상회).
• 프론트엔드 미적 평가 (Frontend Aesthetics): Landing Page, Slides, Data Visualization 등 3 가지 시나리오에서 모든 분야에서 1 위를 기록 (Landing Page: 59.8, Slides: 57.6, Data Viz: 67.6).
• 일반적 능력:
  • Terminal-Bench Hard: 46.8
  • 𝜏2-Bench: 93.9
• 다중 Scaffold 호환성: Claude Code, OpenCode, OpenClaw 등 10 개 이상의 주요 AI 코딩 프레임워크에서 안정적인 성능을 유지하며, 프레임워크에 구애받지 않는 일반화 능력을 입증했습니다.

4. 핵심 기여 (Key Contributions)

1. Specialize-then-Unify 아키텍처: 상충되는 도메인 요구사항을 해결하기 위해 5 개 전문가 도메인을 분리 훈련 후 온-폴리시 증류로 통합하는 체계적인 접근법 제시.
2. KwaiEnv 인프라: 데이터, 샌드박스, Scaffold, 검증기를 분리한 모듈형 아키텍처를 통해 대규모 에이전트 RL 훈련의 확장성과 유연성을 획기적으로 개선.
3. 알고리즘적 혁신:
   • MCLA: MoE RL 훈련의 불안정성을 해결.
   • Tree Training: 트리 구조 궤적의 중복 계산을 제거하여 6.2 배 속도 향상.
   • Agentic Scaling: 작업 복잡성, 의도, Scaffold 차원의 체계적인 데이터 확장 전략.
4. 실제 적용 가능한 성능: 단순 코드 생성을 넘어, 실제 개발 환경 (SWE, 터미널, 웹 디자인) 에서 상용 모델 (Claude Opus 4.6 등) 과 경쟁할 수 있는 수준의 에이전트 능력 입증.

5. 의의 및 결론 (Significance)

KAT-Coder-V2 는 에이전트 코딩 분야에서 도메인 특화 훈련, 대규모 에이전트 RL, 통합 증류가 강력한 코딩 에이전트를 구축하는 유효한 경로임을 입증했습니다. 특히, 다양한 에이전트 프레임워크와 환경에서 일관된 성능을 발휘하며, 프론트엔드 디자인의 '미적 감각'까지 포함한 종합적인 능력을 보여준 점은 주목할 만합니다.

이 모델은 오픈소스 커뮤니티에 공개되어 (https://streamlake.com/product/kat-coder) 향후 에이전트 코딩 연구와 실제 산업 적용에 중요한 기준점 (Baseline) 으로 작용할 것으로 기대됩니다. 향후 연구는 에이전트 RL 의 확장성을 더욱 강화하고, 코딩을 넘어선 더 넓은 에이전트 도메인으로 패러다임을 확장하는 데 초점을 맞출 예정입니다.