기술 요약: Agon – 암시적 라이벌 그레이딩을 통한 경쟁적 교차 모델 RL

1. 문제 정의

현재의 검증 가능한 보상 기반 강화 학습(RLVR), 특히 GRPO(Group Relative Policy Optimization)와 같은 방법론은 오직 결과 기반 보상(즉, 최종 정답의 정답 여부)에만 의존한다. 이러한 방식은 명확한 정답(ground truth)이 존재하는 작업에는 효과적이지만, 추론 과정(the "trace") 자체를 평가하는 데는 실패한다. 어려운 문제에서 이 방식은 모델이 정답을 맞힐 확률을 높이기 위해 추론의 양(길이)을 늘리도록 유도하는 강력한 동기를 부여한다. 즉, 모델들은 정답을 우연히 찾아낼 확률을 높이기 위해 헤징(hedging), 백트래킹(backtracking), 중복 시도 등을 추가함으로써 "더 많이 쓰도록" 학습하며, 이는 정확도는 미미하게 향상되는 반면 토큰 수만 급격히 증가하는 "길이 병리 현상(length pathology)"으로 이어진다.

추론 과정을 직접적으로 평가하는 것은 매우 까다로운 일이다. 왜냐로써 "좋은 사고"에 대한 정답(특정 통찰력 있는 단계에 대한 라벨)이 존재하지 않으며, 학습된 프로세스 보상 모델(process reward models)은 비용이 많이 들고 취약하며 검증이 어렵기 때문이다. 본 논문은 두 번째 모델이 누락된 신호를 제공할 수 있다고 상정한다. 즉, 경쟁하는 정책이 동일한 문제를 시도하고 첫 번째 모델보다 더 나은 추론을 수행하여 보상을 받는다면, 명시적인 프로세스 라벨 없이도 추론 과정이 암시적으로 평가될 수 있다는 것이다.

2. 방법론: Agon

Agon(그리스어로 "경쟁"을 의미)은 두 개의 구별된 정책 $A$와 $B$를 경쟁적인 헤드 투 헤드(head-to-head) 설정에서 공동 최적화하는 훈련 프레임워크이다.

핵심 메커니즘

훈련 과정은 단계별 순환(per-step rotation)을 통해 교대 역할(초안 작성 및 도전)을 수행한다:

1. 초안 작성(Drafting): 한 모델(초안 작성자, drafter)이 일반적인 문제 프롬프트로부터 $N$개의 롤아웃(rollout)을 생성한다. 이 모델은 오직 최종 정답의 정답 여부에 기반한 표준 GRPO 업데이트를 받는다.
2. 도전(Challenging): 다른 모델(도전자, challenger)은 초안 작성자의 솔루션 요약본(원문 추론 과정과 최종 정답을 제외한 사후 추론 요약)을 읽는다. 그 후 도전자는 문제를 해결하기 위해 새로운 롤아웃을 생성하며, 이 과정에서 초안 작성자의 작업을 수정하거나 개선할 수 있다.
3. 보상(Reward): 도전자는 자신의 정답 여부와 초안 작성자의 결과를 모두 고려한 경쟁적 보상을 받는다.
   • 정답 여부(Correctness): 정답에 대한 표준 이진 보상.
   • 전환 보너스(Conversion Bonus): 도전자가 문제를 올바르게 해결하면서 동시에 초안 작성자가 실패했을 경우 추가 보상이 부여된다($c(b_i) \cdot (1 - c(a_i))$). 이는 도전자가 초안 작성자의 오류를 식별하고 수정하도록 유도한다.
   • 선택적 길이 타이브레이크(Optional Length Tiebreak): 도전자가 정답을 맞혔으면서 정답인 초안 작성자보다 적은 토큰을 사용했을 경우 보너스가 적용될 수 있으며, 이는 정답성을 저해하지 않으면서 간결함을 장려한다.

아키텍처 및 효율성

• 이중 어댑터 인스스턴스화(Dual-Adapter Instantiation): 효율성을 유지하기 위해, 두 정책은 단일 고정된 베이스 모델 위의 LoRA(Low-Rank Adaptation) 어댑터로 구현된다. 이를 통해 메모리 오버헤드를 낮게 유지(~베이스 모델의 2%)하고, 두 정책이 호환 가능한 표현 공간 내에서 작동하도록 보장한다.
• 발산(Divergence): 두 어댑터는 서로 다르게 초기화되며(하나는 표준 제로 초기화, 다른 하나는 작은 가우시안 노이즈 사용), 역할 순환에 따라 서로 다른 그래디언트 스트림을 받는다. 이러한 구조적 발산은 시스템이 자기 대국(self-play)이나 단순 증류(distillation)로 붕괴되는 것을 방지하고, 두 모델이 서로 다른 "사각지대"를 개발하도록 보장한다.
• 추론(Inference): 배포 시, 이 쌍은 2단계 캐스케이드(cascade)로 작동한다. 한 모델이 초안을 작성하면, 두 번째 모델이 요약본을 읽고 최종 답변을 생성한다.

이론적 근거

본 논문은 단일 모델의 자기 개선(self-play)이 종종 정체기에 도달한다고 주장한다. 이는 모델이 오류를 일으킨 것과 동일한 편향을 가지고 자신의 작업을 재검토하기 때문이다. Agon은 서로 다른 실패 모드를 가진 두 번째 모델을 도입함으로써 이 폐쇄 루프를 깨뜨린다. "채점자"는 별개의 에이전트이며, 두 모델이 모두 최적화됨에 따라 "라이벌"의 난이도가 높아지므로, 두 정책 모두 단일 모델 RL의 한계를 넘어 발전하게 된다.

3. 주요 기여

1. 추론 품질의 재정의: 본 논문은 추서 품질을 경쟁하는 동료가 제공하는 암시적 보상으로 재정의함으로써, 라벨이 없는 "좋은 사고" 문제를 헤드 투 헤드 게임으로 변환한다.
2. Agon 레시피: 경쟁적 GRPO, 초안 작성 및 도전 롤아웃, 단계별 역할 순환, 그리고 경쟁적 보상 구조를 사용하는 새로운 훈련 레시피를 제시한다. 이는 핵심 최적화 변경 없이 표준 GRPO 트레이너에서 실행 가능하다.
3. 효율적인 구현: 공유 베이스 및 이중 어댑터 인스스턴스화를 통해 두 개의 경쟁하는 정책을 훈련하는 것이 단일 모델을 훈련하는 것만큼 저렴하게 만든다.
4. 실증적 검증: 경쟁 vs 협력, 정보 교환 vs 정보 비교환을 교차하는 2x2 실험 설계를 통해, 적대적 압력과 교차 모델 정보의 가치를 격리하여 입증한다.

4. 실험 결과

실험은 Qwen3 모델을 사용한 DeepMath-hard 분할 데이터셋과 CodeContests의 경쟁 프로그래밍 서브셋에서 수행되었다.

• 성능 향상: Qwen3-0.6B를 사용한 DeepMath-hard 분할에서의 결과:
  • Vanilla GRPO: 30% pass@1.
  • 협력적 교환(경쟁 없음): 46% pass@1.
  • Agon (경쟁 + 교환): 61% pass@1.
  • 이는 GRPO 성능의 두 배이며, 훈련되지 않은 Mixture-of-Agents(MoA) 베이스라인보다 약 8배 높은 수치이다.
• 스케일링(Scaling): 이러한 이득은 Qwen3.5, Gemma 4 등 모델 제품군과 크기에 관계없이 지속된다. 주목할 점은, 0.6B 베이스의 Agon 캐스케이드(61%)가 바닐라 GRPO로 훈련된 4B 베이스(59%)보다 뛰어난 성능을 보였다는 것이다.
• 추론 길이: Agon은 추론 길이를 크게 줄인다. 최종 단계의 추론 평균 길이는 바닐라 GRPO의 8.1k 토큰에 비해 3.5k 토큰으로 짧아졌으며, 동시에 더 높은 정확도를 달ей했다. 이는 명시적인 페널티가 아닌 경쟁의 결과로 나타난 창발적 특성이다.
• 어블레이션(Ablations):
  • 경쟁(Competition): 경쟁적 보너스를 제거하면(협력적 모델만 사용) 성능이 46%로 떨어진다.
    এটি 경쟁적 그래디언트가 작동하기 위해서는 가시적인 컨텍스트 변화(visible context variance)가 필요함을 확인시켜 준다.
  • 교환(Exchange): 가시적인 정보 교환을 제거하면(상대방이 컨텍스트에서 숨겨짐) 성능이 32%(바닐라 GRPO와 유사)로 떨어져, 경쟁적 그래디언트가 작동하기 위해 가시적인 컨텍스트 변화가 필수적임을 입증한다.
  • 역할 순환(Role Rotation): 역할을 고정하면(순환 없음) 성능이 52%로 감소하며, 두 모델이 모두 초안 작성과 도전을 학습하는 것이 중요함을 강조한다.

5. 의의 및 주장

본 논문은 Agon이 프로세스 라벨이나 별도의 보상 모델 없이도 교차 모델 간의 정보 교환과 적대적 압력이 추론 능력을 크게 향상시킬 수 있음을 보여준다고 주장한다.

• 암시적 그레이딩: 라이벌 모델이 추론 과정을 효과적으로 암시적으로 채점할 수 있음을 입증하여, "라벨 없는 사고" 문제를 해결한다.
• 자기 대국(Self-Play)을 넘어서: 두 개의 발산하는 정책이 단일 모델의 자기 정제(self-refinement) 정체기를 넘어 공동으로 발전할 수 있음을 확립한다.
• 효율성: 어댑터를 사용하여 계산 효율성을 유지하면서, 고성능 추론을 달성할 수 있는 2단계 캐스케이드를 보여주며, 더 짧고 밀도 높은 추론 궤적을 생성한다.
• 겸손한 결론: 저자들은 현재 구현이 텍스트 교환에 의존하고 있어 대역폭에 제한이 있다고 언급한다. 향후 연구에서는 직렬화 병목 현상을 제거하기 위해 잠재 공간 교환(예: KV-캐시 주입)으로 이동할 수 있음을 시사한다. 또한, 이 방법이 깨끗한 검증기(verifier)를 필요로 하며, 모델 간의 발산이 보증되기보다는 휴리스틱하게 유지된다는 점을 인정한다.

요약하자면, Agon은 패러다임을 "정답을 채점하는 것"에서 "경쟁을 통해 추론을 채점하는 것"으로 전환하여, 모델이 단순히 더 많이 쓰는 것이 아니라 더 잘 생각하도록 학습하게 한다.