Qwen3-Coder-Next Technical Report

이 논문은 실행 가능한 환경과 대규모 합성 데이터를 활용한 에이전트 중심 훈련을 통해, 800 억 파라미터 모델 중 30 억 파라미터만 활성화하여 SWE-Bench 및 Terminal-Bench 등 에이전트 벤치마크에서 경쟁력 있는 성능을 보이는 오픈 가중치 코딩 특화 모델인 Qwen3-Coder-Next 를 제안합니다.

핵심

🚀 Qwen3-Coder-Next: "작은 몸집, 거대한 실력"을 가진 코딩 마법사

2026 년 3 월, 알리바바의 'Qwen 팀'이 Qwen3-Coder-Next라는 새로운 인공지능 모델을 공개했습니다. 이 모델은 단순히 코드를 짜는 것을 넘어, **실제 개발자처럼 문제를 해결하는 '코딩 에이전트'**에 특화되어 있습니다.

이 복잡한 기술 보고서를 일반인도 쉽게 이해할 수 있도록, **'효율적인 요리사'**와 **'마법 학교'**의 비유를 들어 설명해 드리겠습니다.

---

1. 핵심 개념: "작은 몸집, 거대한 실력" (MoE 기술)

이 모델은 총 800 억 개의 파라미터 (지식 조각) 를 가지고 있지만, 한 번에 작동할 때는 30 억 개만 사용합니다.

• 비유: imagine imagine 거대한 도서관 (800 억 권의 책) 이 있다고 칩시다. 보통의 AI 는 책을 찾을 때마다 도서관 전체를 뒤져야 해서 시간이 오래 걸립니다. 하지만 Qwen3-Coder-Next는 **'지능적인 사서'**가 있습니다. 질문을 받으면, 딱 필요한 책 30 권만 골라내서 즉시 답을 찾아줍니다.
• 결과: 전체 지식은 풍부하지만, 실제 작동 속도는 매우 빠르고 비용은 저렴합니다. 마치 가벼운 스포츠카처럼 빠르면서도 트럭처럼 무거운 짐 (복잡한 코드) 을 나를 수 있는 셈입니다.

2. 훈련 방법: "실전 시뮬레이션" (에이전트 훈련)

이 모델은 단순히 책 (코드 데이터) 을 읽는 것만으로는 배울 수 없습니다. 실제 개발 환경에서 실수를 하고, 고치고, 다시 시도하는 과정을 통해 배웠습니다.

• 비유: 요리사 학교에서 학생들에게 레시피 (코드) 만 외우게 하면, 실제 부엌에서 불을 켜고 재료를 다룰 때 망칩니다. 하지만 이 모델은 **가상의 부엌 (실행 환경)**에서 수만 번의 실습을 했습니다.
  • "이 요리를 해봐" → "실패! (에러 발생)" → "왜 실패했지? → 고쳐서 다시 해봐" → "성공!"
  • 이 과정을 반복하며, 모델은 실제 환경의 피드백을 통해 스스로 배우는 법을 익혔습니다. 이를 '강화 학습'이라고 합니다.

3. 데이터의 비밀: "진짜 개발자처럼 만들기"

모델을 가르칠 때 두 가지 종류의 데이터를 섞었습니다.

1. 자연스러운 데이터 (GitHub 등): 실제 개발자들이 만든 코드와 버그 수정 기록을 학습했습니다. 이는 모델이 현실감을 갖게 합니다.
2. 인공적으로 만든 데이터 (Synthetic Data): AI 가 스스로 버그를 만들고, 이를 해결하는 시나리오를 만들어 학습시켰습니다. 이는 모델이 새로운 문제를 마주했을 때 유연하게 대처하게 합니다.

• 비유: 요리사가 실제 식당의 주문 (자연 데이터) 을 받기도 하지만, 가상 시뮬레이션 (인공 데이터) 에서 "만약 양파가 없다면?" 같은 예외 상황도 연습한 것과 같습니다.

4. 전문가 팀과 통합 (Distillation)

모델은 처음에 여러 가지 '전문가'로 나뉘어 훈련되었습니다.

• 웹 개발 전문가: 웹사이트 디자인과 기능에 특화.
• 사용자 경험 (UX) 전문가: 사용자가 어떻게 느끼는지에 집중.
• 소프트웨어 공학 전문가: 대규모 프로젝트 관리에 특화.

나중에 이 모든 전문가들의 지식을 하나의 모델에 합쳐서 (Distillation) 만들었습니다. 그래서 이 모델은 웹 개발이든, 데이터베이스 수정이든, 복잡한 버그 고치든 한 명의 만능 요리사처럼 모든 일을 잘 해냅니다.

5. 성능: "작은 체급, 거대한 승리"

이 모델은 다양한 테스트에서 놀라운 결과를 보여주었습니다.

• SWE-Bench (소프트웨어 공학 테스트): 이 테스트는 실제 GitHub 의 복잡한 버그를 고치는 능력을 평가합니다. Qwen3-Coder-Next 는 자신보다 10 배나 큰 몸집을 가진 다른 AI 들과 맞먹거나, 때로는 이기는 성적을 냈습니다.
• 다양한 도구 사용: 개발자들이 쓰는 다양한 도구 (IDE, 명령어 등) 의 형식을 모두 이해하고 따라 할 수 있어, 어떤 환경에서도 잘 작동합니다.

6. 결론: 왜 이 모델이 중요한가요?

기존의 거대 AI 모델들은 성능은 좋지만, 너무 무겁고 비싸서 일반 회사나 개인이 쓰기 어려웠습니다. 하지만 Qwen3-Coder-Next는:

1. 가볍고 빠릅니다: (30 억 파라미터만 사용)
2. 현실적입니다: (실제 실행 환경에서 학습)
3. 똑똑합니다: (복잡한 문제 해결 능력)

한 줄 요약:

"이 모델은 **가벼운 몸집으로 거대한 도서관의 지식을 지니고, 실제 부엌에서 수만 번의 실전을 거친 '초고수 요리사'**입니다. 이제 누구나 이 요리사를 부려서 복잡한 요리 (코드 개발) 를 쉽고 빠르게 만들 수 있게 되었습니다."

이 모델의 공개는 앞으로 개인 개발자부터 대기업까지 더 저렴하고 효율적으로 AI 코딩 도구를 사용할 수 있는 시대를 열었습니다.

기술 요약

Qwen3-Coder-Next 기술 보고서 요약

1. 개요 및 문제 정의 (Problem)

현대적인 코딩 에이전트는 긴 시간 범위의 추론, 실제 실행 환경과의 상호작용, 그리고 다단계에 걸친 실패 복구 능력을 요구합니다. 기존 모델들은 정적인 코드 데이터에 의존하는 경향이 있어, 이러한 역동적이고 검증 가능한 작업 (executable tasks) 을 수행하는 데 한계가 있었습니다. 또한, 고성능을 내기 위해 모델 크기를 무작정 늘리는 것은 추론 비용과 지연 시간 (latency) 을 증가시켜 실제 배포 환경에 부적합한 경우가 많았습니다.

이러한 문제를 해결하기 위해 Qwen3-Coder-Next는 다음과 같은 목표를 가집니다:

• 효율성: 소수의 활성 파라미터 (Active Parameters) 로 강력한 코딩 능력을 발휘하여 저비용, 저지연 배포를 가능하게 함.
• 에이전트 특화: 정적 데이터가 아닌, 실행 가능한 환경에서의 피드백을 통해 학습하는 '에이전트 훈련 (Agentic Training)'을 통해 실제 개발 워크플로우에 최적화.
• 범용성 유지: 특화 훈련을 하더라도 일반적 코딩 능력과 추론 능력을 유지.

2. 방법론 (Methodology)

2.1 아키텍처

• 하이브리드 MoE (Mixture-of-Experts): 총 800 억 (80B) 파라미터를 가지지만, 추론 시에는 30 억 (3B) 파라미터만 활성화됩니다. 이는 하이브리드 어텐션 메커니즘과 결합되어 빠른 추론 속도와 낮은 배포 비용을 보장합니다.

2.2 확장된 에이전트 훈련 (Scaling Agentic Training)

모델의 핵심 혁신은 대규모 에이전트 훈련 스택을 구축한 것입니다.

1. 작업 합성 (Task Synthesis):
   • GitHub PR 기반: 실제 GitHub 풀 리퀘스트 (PR) 를 채굴하여 버그 수정 작업을 생성하고, 이를 실행 가능한 Docker 환경으로 변환합니다.
   • 합성 이슈 생성: 기존 오픈소스 데이터셋을 기반으로 모델이 주도하는 코드 재작성, 의미적 교란 등을 통해 80 만 개의 검증 가능한 소프트웨어 엔지니어링 작업을 생성합니다.
2. 인프라 (MegaFlow): 알리바바 클라우드 Kubernetes 기반의 오케스트레이션 시스템으로, 에이전트 롤아웃, 평가, 후처리를 자동화하여 대규모 병렬 실행을 지원합니다.

2.3 훈련 파이프라인

1. 중간 훈련 (Mid-training):
   • 자연어 데이터: GitHub 소스 코드 (92 개 언어에서 370 개 언어로 확장), 레포지토리 수준의 컨텍스트 (262k 토큰 지원), 웹 텍스트 - 코드 정합 데이터.
   • 합성 데이터: 단일 턴 QA 및 멀티 턴 에이전트 코딩 데이터 (SWE-agent, OpenHands 등 다양한 프레임워크의 궤적 사용).
   • 전략: 자연 데이터의 일반성과 합성 데이터의 특화 능력을 균형 있게 배합하여 과적합을 방지합니다.
2. 후기 훈련 (Post-training):
   • 지도 미세 조정 (SFT): 검증된 에이전트 궤적과 문서 기반 QA 데이터를 사용하여 지시 따르기 능력을 강화합니다.
   • 전문가 모델 (Expert Models): 웹 개발, 사용자 경험 (UX), 단일 턴 RL, 소프트웨어 엔지니어링 등 특정 도메인에 특화된 전문가 모델을 훈련시킨 후, 이를 단일 모델로 **증류 (Distillation)**합니다.
   • 강화 학습 (RL): 실행 가능한 단위 테스트를 기반으로 한 보상을 통해 코딩 능력과 도구 사용 능력을 강화합니다. 특히 '보상 해킹 (Reward Hacking)'을 방지하기 위한 차단 메커니즘을 도입했습니다.

2.3 도구 호출 형식 일반화

다양한 IDE/CLI 환경 (Cline, Trae, OpenCode 등) 의 서로 다른 도구 호출 템플릿 (JSON, XML, Python 스타일 등) 에 적응하기 위해, 훈련 데이터에 다양한 포맷을 포함시켜 모델이 특정 형식에 의존하지 않도록 했습니다.

3. 주요 기여 (Key Contributions)

1. 효율적인 MoE 아키텍처: 80B 총 파라미터 대비 3B 활성 파라미터로, 동급의 성능을 내면서 훨씬 더 효율적인 추론을 가능하게 함.
2. 대규모 실행 가능 에이전트 훈련 스택: GitHub PR 기반의 실제 버그 수정 작업과 합성 데이터를 결합한 대규모 검증 가능 작업 생성 파이프라인 구축.
3. 도구 호출 형식 일반화: 다양한 도구 호출 스키마에 대한 적응력을 높여, 실제 다양한 개발 환경에서 안정적으로 작동하도록 함.
4. 증류된 단일 모델: 여러 도메인 전문가 (WebDev, UX, SE 등) 의 능력을 단일 모델에 통합하여, 복잡한 라우팅 없이도 다양한 작업을 처리할 수 있게 함.

4. 실험 결과 (Results)

4.1 에이전트 벤치마크 (SWE-Bench 등)

• SWE-Bench Verified: SWE-Agent, MiniSWE-Agent, OpenHands 등 다양한 에이전트 프레임워크에서 **70.6% ~ 71.3%**의 점수를 기록했습니다. 이는 활성 파라미터가 10 배 이상 큰 모델 (DeepSeek-V3.2, GLM-4.7 등) 과 경쟁하거나 일부에서 능가하는 성능입니다.
• SWE-Bench Multilingual & Pro: 다국어 및 고난이도 소프트웨어 엔지니어링 작업에서도 경쟁력 있는 성능을 보였습니다.
• Terminal-Bench 2.0: CLI 기반 작업에서도 다양한 도구 스키마 (XML, JSON) 에 대해 일관된 성능을 발휘했습니다.

4.2 일반 코딩 및 추론 벤치마크

• 코드 생성 및 편집: EvalPlus, MultiPL-E, CRUXEval 등 다양한 코드 생성 및 편집 벤치마크에서 Qwen3-Next 및 이전 모델 (Qwen3-Coder-480B) 대비 우수한 성능을 보였습니다.
• 수학 및 추론: 일반 지식 (MMLU) 과 수학 (AIME, HMMT) 벤치마크에서도 Qwen3-Next와 유사하거나 더 나은 성능을 보여주어, 코딩 능력이 수학적 추론 능력으로 전이됨을 입증했습니다.

4.3 도구 호출 적응성

• 다양한 IDE/CLI 템플릿에 대한 적응성 테스트에서, 다른 모델들이 특정 템플릿에 편향된 성능을 보인 반면, Qwen3-Coder-Next는 **모든 5 가지 환경에서 일관되게 높은 정확도 (평균 92.7%)**를 기록했습니다.

5. 의의 및 결론 (Significance)

Qwen3-Coder-Next는 모델의 크기 (Parameter Size) 를 늘리는 것보다 '에이전트 훈련 (Agentic Training)'을 확장하는 것이 실제 코딩 에이전트의 능력을 향상시키는 핵심 동인임을 입증했습니다.

• 실용성: 적은 활성 파라미터로 높은 성능을 구현하여, 로컬 개발 환경이나 비용 제약이 있는 프로덕션 환경에서도 고성능 코딩 에이전트 배포가 가능해졌습니다.
• 일반화 능력: 다양한 도구 호출 형식과 실행 환경에 대한 강력한 적응력은 실제 복잡한 소프트웨어 개발 워크플로우에 적용될 수 있음을 보여줍니다.
• 미래 방향: UI/UX 관련 능력 향상, 사이버 보안 (취약점 탐지 등) 영역으로의 확장, 그리고 더 긴 시간 범위의 계획 능력을 위한 강화 학습 연구가 향후 과제로 제시되었습니다.

이 모델은 오픈 가중치 (Open-weight) 로 공개되어 연구 및 실제 코딩 에이전트 개발에 기여할 것으로 기대됩니다.