Compete Then Collaborate: Frontier AI Teachers Build a Verifiable Curriculum to Improve a Coding Student Beyond Imitation

기술 요약: 경쟁 후 협업 (Compete then Collaborate)

문제 정의
본 논문은 대규모 언어 모델(LLM)을 더 작은 학생 모델로 증류(distillation)하는 과정에서 아직 충분히 탐구되지 않은 두 가지 질문을 다룹니다. (1) 편향된 LLM-as-judge 평가가 아닌 객관적인 다운스트림 학생 성능을 기준으로 측정했을 때, 어떤 상용 프런티어 모델이 최적의 "교사(teacher)" 역할을 수행하는가? (2) 여러 교사의 답변을 결합하여 모방하기 위한 최적의 방법은 무엇인가, 혹은 이를 넘어서는 우수한 메커니즘이 존재하는가? 기존 연구들은 종종 LLM 판사(self-preference bias 문제를 겪음)에 의존하거나 교사의 출력을 단순히 결합하는데, 이는 지식 충돌을 야기하여 학생의 성능을 저하시킬 수 있습니다.

방법론
저자들은 파이썬 코딩 과제를 중심으로 한 "경쟁 후 협업(Compete-then-Collaborate)" 프레임워크를 제안합니다. 이 방법론은 세 가지 뚜렷한 단계로 구성됩니다:

1. 실행 검증 기반 경쟁 (Execution-Verified Competition):

   • 교사 모델: 네 가지 프런티어 모델(Claude/Anthropic, Codex-GPT/OpenAI, Grok/xAI, Gemini/Google)이 교사 역할을 수행합니다.
   • 판사(Judge): 자기 선호 편향(self-preference bias)을 제거하기 위해 LLM 판사 대신 실행 기반 판사(단위 테스트 및 stdin–stdout 체크)를 사용합니다.
   • 공정성 통제:
     • 공유 과제 뱅크: 모든 교사는 동일한 문제를 해결합니다.
     • 자기 수정(Self-Correction): 교사들은 실패한 과제에 대해 에러 피드백을 사용하여 두 번의 재시도가 허용되며, 이를 통해 수정 능력을 모델링합니다.
     • 교집합 통로 제어(Intersection Control): 최종 학습 커리큘럼은 모든 교사가 해결한 문제로 제한됩니다. 이는 학생이 솔루션의 스타일만 다를 뿐, 통일된 과제 집합으로부터 학습하도록 보장합니다.

2. 협업 모드:
   검증된 모든 교사의 솔루션은 하나의 커리큘럼을 형성하며, 다음 두 가지 방식으로 활용됩니다:

   • 모방 (SFT): 학생 모델(Qwen2.5-Coder)은 교사들의 풀링된 솔루션을 모방하도록 지도 학습(Supervised Fine-Tuning)을 통해 미세 조정됩니다.
   • 검증 가능한 보상 강화 학습 (Verifiable-Reward Reinforcement Learning, RLVR): 동일한 커리큘럼이 GRPO(Group Relative Policy Optimization)를 위한 보상 환경으로 사용됩니다. 여기서 보상은 교사의 출력을 흉내 내는 것이 아니라, 실행 테스트 통과 비율에 의해 엄격하게 정의됩니다.

3. 실험 설정:

   • 학생 모델: LoRA를 사용하여 학습된 Qwen2.5-Coder (7B 및 32B 변체).
   • 하드웨어: NVIDIA GB10 (128 GB 통합 메모리).
   • 데이터셋: MBPP (teaching split, MBPP-test는 hold-out 처리), mutation을 통한 버그 수정 과제, 그리고 deepmind/code_contests의 어려운 경쟁 문제 (난이도 6–9).
   • 지표: 홀드아웃 세트에 대한 실행 pass@1.

주요 결과

1. 실행 기반 교사 순위:

   • 쉬운 과제 (MBPP): 네 가지 교사 모두 자기 수정 후 거의 완벽한 점수(99–100%)를 달성했습니다. 저자들은 이를 기술적 차별화가 아닌 벤치마크 포화(학습 데이터 노출) 때문이라고 분석했습니다.
   • 어려운 과제 (Code Contests): 명확한 계층 구조가 나타났습니다: Gemini (77%) > Claude (69%) ≈ Codex (69%) > Grok (50%).
   • 공정성: 순위는 오직 실행 결과에 기반하여 도출되었으므로 패밀리 편향을 피했습니다. 저자들은 초기 결과에 왜곡을 주었던 인프라 아티팩트(예: API 타임아웃, 결제 오류)를 투명하게 보고하고 수정했습니다.

2. 모방의 실패 (SFT):

   • 검증된 교사 솔루션의 합집합에 SFT를 적용했을 때, 이미 유능한 학생 모델의 성능이 저하되었습니다.
   • 7B 모델: MBPP-test 점수가 베이스 모델 76.7%에서 SFT 합집합 적용 후 72.7%로 하락했습니다.
   • 32B 모델: 유사한 성능 저하가 관찰되었습니다.
   • 경쟁 문제: SFT는 성능을 5.9%에서 2.9%로 감소시켰습니다.
   • 해석: 모방은 이미 유능한 코더들이 이미 보유하고 있는 "스타일"을 전이할 뿐, 능력을 전이하지 못하며 오히려 지식 충돌을 유발합니다.

3. 검증 가능한 보상 RL (RLVR)의 성공:

   • 동일한 커리큘럼을 RLVR 환경으로 사용했을 때 학생의 성능이 개선되었으며, 이는 SFT의 부정적 추세를 역전시켰습니다.
   • 경쟁 문제: 7B 학생 모델은 1000-step GRPO 실행 동안 베이스 5.9%에서 정점인 **8.8%**까지 향상되었으며(상대적 개선율 +49%), 이후 7.4%로 완만한 회귀를 보였습니다.
   • 메커제니즘: 학생은 단순히 복사하는 것이 아니라 "직접 수행함으로써"(테스트 통과를 최적화함으로써) 학습하였고, 커리큘럼을 보상 랜드스케이프로 효과적으로 활용했습니다.

의의 및 주장
본 논문의 핵심 주장은 AI 교사 협업의 가치가 답변을 모아 모방하는 데 있는 것이 아니라, 검증 가능한 환경을 공동으로 구축하여 학생이 강화를 통해 학습하도록 하는 데 있다는 것입니다.

• 패러다임 전환: 본 연구는 표준적인 증류 방식(SFT를 위한 출력 병합)에 도전하며, 유능한 학생에게 이 방식이 해로울 수 있음을 입증합니다. 대신, 검증된 합성 문제를 정책 최적화를 위한 보상 신호로 배치합니다.
• 계보: 저자들은 이를 1999년 앙상블 학습 개념(Jang [2])의 현대적 실현으로 규정하며, 여기서 "가상 데이터"(실행 검증된 문제)는 단일 예측자의 다양성을 높이는 것이 아니라 정책 최적화를 위한 보상 랜드스케이브를 정의합니다.
• 재현 가능성: 저자들은 온프레미스 파이프라인(최첨단 스택에서의 GRPO를 위한 프레임워크 패치 포함)을 완전히 재현 가능하게 제공하며, 모든 코드, 데이터, 최종 RLVR 어댑터를 공개하여 독립적인 검증을 허용합니다.

한계점
저자들은 어려운 문제에 대한 교사 순위가 샘플 크기 노이즈의 영향을 받을 수 있다고 언급했습니다 (Gemini가 약 8포인트 차이로 앞서지만, 다른 모델 간의 격차는 작음). 또한, 홀드아웃 세트(68개 문제)의 희소한 보상으로 인해 절대적인 RLVR 이득이 완만하다는 점을 인정하며, 현재 결과가 파이썬 및 Qwen2.5-Coder 제품군에 국한되어 있음을 밝힙니다. 본 연구는 상업적 경쟁 제품 개발이 아닌 학술적 연구 및 벤치마킹을 목적으로 합니다.