1. 문제 제기 (Problem)

코드 생성을 위한 강화 학습 (RL) 은 일반적으로 유닛 테스트 통과율과 같은 검증 가능한 보상에 의존합니다. 그러나 기존 접근 방식에는 다음과 같은 근본적인 한계가 존재합니다.

• 정적 보상과 데이터의 부족: 고품질의 테스트 스위트는 확보하기 어렵고, 기존 데이터셋은 커버리지가 제한적입니다. 또한, 고정된 '황금 테스트 (Golden Tests)'는 모델이 발전함에 따라 적응하지 못합니다. 테스트가 너무 쉬우면 결함이 있는 코드도 보상을 받고, 너무 까다로우면 거의 올바른 해답이 실패로 간주되어 학습 신호가 왜곡됩니다.
• 자기 플레이 (Self-Play) 의 딜레마: 최근 단일 모델이 코드와 테스트를 모두 생성하는 자기 플레이 방식이 시도되었으나, 다음과 같은 모순에 직면합니다.
  • 화이트박스 접근 시: 모델이 코드를 보고 테스트를 생성하면, 보상을 쉽게 얻기 위해 코드를 통과시키는 '사소한 테스트 (trivial tests)'를 생성하는 자기 공모 (Self-collusion) 현상이 발생합니다.
  • 블랙박스 접근 시: 자기 공모를 방지하기 위해 코드 접근을 차단하면, 테스트가 일반화되어 구현 특유의 버그를 놓치게 되어 효과적인 학습이 어렵습니다.

2. 방법론 (Methodology)

저자는 Code-A1이라는 새로운 프레임워크를 제안하여 코드 생성 모델 (Code LLM) 과 테스트 생성 모델 (Test LLM) 을 대립적 공진화 (Adversarial Co-evolution) 시킵니다.

핵심 아키텍처 및 프로세스

1. 역할 분리 (Architectural Separation): 코드 생성과 테스트 생성을 서로 다른 두 개의 모델로 분리합니다.

   • Code LLM: 더 많은 테스트를 통과하도록 보상을 받습니다.
   • Test LLM: 코드의 결함을 더 많이 찾아내도록 (코드를 실패하게 하도록) 보상을 받습니다.
   • 효과: 이 구조적 분리는 자기 공모를 방지하면서도 화이트박스 테스트 생성을 안전하게 가능하게 합니다. Test LLM 은 Code LLM 의 후보 코드를 직접 inspect 하여 구현 특유의 약점을 공략하는 표적 테스트를 생성할 수 있습니다.

2. 실수 기록부 (Mistake Book):

   • 학습의 불안정성을 해결하고 과거의 실수를 기억하기 위해 경험 재생 (Experience Replay) 버퍼인 'Mistake Book'을 도입합니다.
   • 각 질문별로 과거에 Code LLM 이 실패했던 테스트들을 저장합니다.
   • 학습 과정에서 새로운 테스트가 생성되면, 기존에 실패했던 테스트 (Mistake Book) 와 함께 평가됩니다. Code LLM 이 과거의 실패 테스트를 통과하면 해당 테스트는 버퍼에서 제거되거나 빈도가 감소합니다. 이는 카타스트로픽 포기팅 (Catastrophic Forgetting) 을 방지하고 학습의 안정성을 높입니다.

3. 복합 보상 설계 (Composite Reward):

   • Code LLM: Mistake Book 의 역사적 테스트와 새로 생성된 테스트에 대한 통과율의 평균으로 보상을 받습니다.
   • Test LLM: 유효성 (Validity) 과 대립적 난이도 (Adversarial Difficulty) 를 균형 있게 고려한 복합 보상을 받습니다.
     • 생성된 테스트가 실행 가능하고 정답과 일치하는지 (유효성) 를 평가합니다.
     • 새로운 테스트가 역사적 테스트보다 더 많은 결함을 드러내는지 (난이도) 를 평가합니다.
     • 이 두 가지 요소를 가중치 ($\alpha$) 로 조절하여, 너무 쉬우거나 불가능한 테스트가 생성되지 않도록 합니다.

4. 학습 전략:

   • GRPO (Group Relative Policy Optimization): 두 모델 모두 GRPO 알고리즘을 사용하여 최적화합니다.
   • 비대칭 샘플링: Test LLM 의 학습 효율을 높이기 위해, 보상 분산이 가장 큰 테스트 스위트 그룹만 선택하여 업데이트합니다.

3. 주요 기여 (Key Contributions)

• 대립적 공진화 프레임워크 도입: 정적 인간 주석 테스트에 의존하지 않고, 코드와 테스트 모델이 서로를 강화하며 동적으로 적응 가능한 검증 보상을 생성하는 새로운 RL 패러다임을 제시했습니다.
• 자기 공모 해결 및 화이트박스 테스트 가능: 역할 분리를 통해 자기 플레이의 한계를 극복하고, 구현 세부 사항을 파악하는 표적 테스트 생성을 안전하게 가능하게 했습니다.
• Mistake Book 메커니즘: 학습 중 과거의 실패 사례를 유지하여 학습 신호의 안정성을 확보하고, 모델이 해결된 버그를 다시 저지르는 것을 방지합니다.
• 효율적인 테스트 생성: Test LLM 이 단순히 유효한 테스트를 넘어, 버그를 드러내는 고난도 테스트를 생성하는 능력을 기르도록 설계했습니다.

4. 실험 결과 (Results)

Qwen2.5-Coder 모델 (1.5B, 3B, 7B) 을 기반으로 한 실험에서 다음과 같은 성과를 거두었습니다.

• 코드 생성 성능:
  • Code-A1 은 인간이 주석 달아준 '황금 테스트'로 학습한 모델보다 HumanEval+, MBPP+, BigCodeBench 등 주요 벤치마크에서 더 높은 성능을 보였습니다.
  • 특히 작은 모델 (1.5B, 3B) 에서 자기 플레이 (Self-Play) 기반 방법론보다 우월한 성능을 입증했습니다.
• 테스트 생성 성능:
  • Code-A1 으로 학습된 Test LLM 은 기존 SFT(지도 학습) 기반 모델이나 자기 플레이 모델보다 훨씬 우수한 테스트 생성 능력을 보였습니다.
  • Mul 점수 (Pass@k × Mut@k): 3B 모델이 7B 베이스 모델 (14.72) 을 능가하는 15.29 의 Mul 점수를 기록하여, 파라미터 스케일링만으로는 달성하기 어려운 버그 발견 패턴을 학습했음을 증명했습니다.
• 테스트 품질 검증:
  • Code-A1 이 생성한 테스트를 정적 '황금 테스트'로 사용하여 다른 모델을 학습시켰을 때, 인간이 작성한 테스트보다 더 높은 성능을 달성했습니다. 이는 생성된 테스트가 인간 수준의 품질을 가짐을 의미합니다.

5. 의의 및 결론 (Significance)

• 주석 의존성 탈피: Code-A1 은 고비용의 인간 주석 테스트 데이터에 의존하지 않고, 모델 스스로가 고품질의 테스트를 생성하며 학습하는 확장 가능한 (Scalable) RL 훈련 방식을 제시합니다.
• 효율성: 파라미터 수를 늘리는 것보다 모델 간의 대립적 상호작용을 통해 더 효율적으로 코딩 능력과 테스트 능력을 동시에 향상시킬 수 있음을 입증했습니다.
• 미래 방향: 이 연구는 소프트웨어 공학 분야에서 AI 기반의 자동화된 테스트 생성 및 코드 검증 파이프라인의 새로운 표준을 제시하며, 추론 능력 향상을 위한 RL 의 잠재력을 극대화하는 방향을 제시합니다.

요약하자면, Code-A1은 코드와 테스트 생성을 분리된 두 모델이 서로를 견제하고 발전시키는 '적대적 공진화'를 통해, 정적 테스트의 한계를 극복하고 인간 수준의 고품질 테스트를 생성하며 코드 생성 모델을 최적화하는 혁신적인 프레임워크입니다.