1. 문제 정의 (Problem)

코드 생성 (Code Generation) 은 소프트웨어 공학의 핵심 과제이며, 최근 **검증 가능한 보상을 통한 강화 학습 (RLVR)**이 실행 기반 피드백을 통해 LLM 의 성능을 향상시키는 강력한 패러다임으로 부상했습니다. 그러나 기존 RLVR 파이프라인은 대부분 **인간이 선별한 유닛 테스트 (Ground-Truth)**나 참조 솔루션에서 자동 생성된 테스트에 의존합니다. 이는 다음과 같은 심각한 병목 현상을 초래합니다.

• 감독 신호의 부족과 비용: 고품질의 테스트 케이스를 대량으로 확보하는 것은 비용이 많이 들고 확장하기 어렵습니다.
• 자기 생성 테스트의 한계: 기존 연구들은 모델이 스스로 생성한 테스트를 사용하여 보상을 grounding 하려 시도했으나, 모델의 테스트 생성 능력이 최적화되지 않아 판별력 (Discriminativeness) 이 부족한 테스트가 생성되는 문제가 있었습니다. 이로 인해 잘못된 코드도 통과하는 경우가 많아 노이즈가 많은 보상 신호가 생성되었습니다.

따라서, Ground-Truth(정답) 감독 없이 LLM 이 코드 생성 능력을 향상시킬 수 있는지가 핵심 질문입니다.

2. 방법론 (Methodology)

저자들은 ZeroCoder라는 완전히 레이블이 없는 (Label-free) 공진화 (Co-evolutionary) 프레임워크를 제안합니다. 이 프레임워크는 코드 생성기 (Coder) 와 테스트 생성기 (Tester) 가 상호작용하며 서로를 향상시키는 구조를 가집니다.

핵심 메커니즘

1. 코드 - 테스트 공진화 (Code-Test Co-evolution):

   • 단일 모델이 'Coder'와 'Tester' 두 역할을 번갈아 수행합니다.
   • Coder는 문제 $x$에 대한 $N$개의 후보 솔루션을 생성하고, Tester는 $M$개의 테스트를 생성합니다.
   • 모든 (솔루션, 테스트) 쌍을 실행하여 **통과 행렬 (Passing Matrix, $E$)**을 구성합니다.
   • 이 행렬을 기반으로 **선택기 (Selector)**가 일관된 (Consensus) 솔루션과 테스트의 하위 집합을 식별하고, 이를 통해 역할별 보상 (Reward) 을 생성합니다.
   • 강력한 테스트는 Coder 에게 더 정확한 솔루션을 요구하며, 강력한 Coder 는 Tester 에게 더 정교한 테스트를 요구하는 선순환 구조를 형성합니다.

2. 오프라인 순위 기반 전처리 (Offline Rank-based Pre-filtering):

   • 너무 쉽거나 어려운 문제는 행렬의 다양성이 낮아 (Rank 가 낮음) 학습에 도움이 되지 않는 보상을 생성합니다.
   • ZeroCoder 는 초기 정책으로 생성된 통과 행렬의 **랭크 (Rank)**를 계산하여, 상호작용 다양성이 임계값 ($\tau$) 이상인 문제만 학습 데이터로 선별합니다. 이는 학습의 안정성을 보장합니다.

3. Tester 를 위한 커리큘럼 학습 및 변이 기반 보상:

   • Tester 는 단순히 유효한 테스트를 생성하는 것뿐만 아니라, **판별력 (Discriminativeness)**을 갖춰야 합니다.
   • Proxy-Agreement Term: 일관된 솔루션 집합과 일치하는 테스트에 보상을 줍니다.
   • Mutation-based Term: 프로그램 변이 (Mutation) 기법을 사용하여 생성된 테스트가 변이된 (오류가 있는) 코드를 얼마나 잘 찾아내는지 (Kill rate) 측정합니다. 이를 통해 단순한 테스트가 아닌, 미묘한 오류를 잡아내는 테스트를 장려합니다.
   • 학습 초기에는 유효성 (Validity) 에, 후기에는 판별력에 중점을 두는 커리큘럼 스케줄링을 적용합니다.

4. 선택기 드리프트 (Selector Drift) 와 DyB4:

   • 문제: 고정된 선택 규칙 (예: MaxPass, B4 등) 은 학습 과정에서 Coder 와 Tester 의 신뢰도가 변화함에 따라 **점진적으로 오보정 (Miscalibration)**되어 성능이 저하되는 'Selector Drift' 현상이 발생합니다.
   • 해결책 (DyB4): Dynamic B4는 소량의 레이블된 데이터 (예: 10 개) 만을 사용하여 베이지안 선택기의 사전 확률 (Prior) 을 동적으로 재조정합니다. 이를 통해 학습 전 과정에 걸쳐 선택기의 정확도를 유지하고 보상 신호의 노이즈를 줄입니다.

3. 주요 기여 (Key Contributions)

1. ZeroCoder 프레임워크: Ground-Truth 없이 자체 생성된 코드 - 테스트 상호작용만으로 코드 및 테스트 생성을 동시에 향상시키는 첫 번째 완전한 레이블 없는 공진화 RLVR 프레임워크입니다.
2. 선택기 드리프트 분석 및 DyB4: 고정된 선택 규칙이 공진화 과정에서 오보정되는 현상을 발견하고, 소량의 레이블 데이터로 이를 동적으로 보정하는 DyB4를 제안했습니다.
3. 실증적 검증: 3 개의 모델 (Qwen2.5-1.5B, Qwen3-4B, Qwen2.5-Coder-7B) 과 6 개의 벤치마크에서 ZeroCoder 와 DyB4 의 유효성을 입증했습니다.

4. 실험 결과 (Results)

실험은 Qwen2.5-Coder-7B-Instruct 모델을 중심으로 진행되었으며, 주요 결과는 다음과 같습니다.

• 완전한 레이블 없는 설정 (Label-Free):
  • ZeroCoder(고정 선택기 사용) 는 베이스 모델 대비 코드 생성 성능을 최대 14.5%, 테스트 생성 성능을 24.3% 향상시켰습니다.
  • 이는 자체 생성된 상호작용이 효과적인 감독 신호로 작용할 수 있음을 입증합니다.
• 소량 레이블 설정 (DyB4 적용):
  • 단 10 개의 레이블된 인스턴스로 DyB4 를 적용한 경우, 코드 생성 성능은 21.6% 향상되었고, 테스트 생성 성능은 24.3% 향상되었습니다.
  • 이는 Ground-Truth 감독을 받는 오라클 (Oracle) 수준의 성능에 근접합니다.
• 성능 비교:
  • ZeroCoder + DyB4 는 3 개 모델과 6 개 벤치마크에서 평균 코드 생성 18.8%, **테스트 생성 62.7%**의 상대적 개선을 보여주었습니다.
  • 오프라인/온라인 테스트 기반 RL(테스터를 공진화하지 않음) 은 오히려 성능이 저하되는 것을 확인하여, 테스터의 공진화 필요성을 입증했습니다.
• 구성 요소 분석:
  • 변이 기반 보상 (Mutation Reward) 을 제거할 경우 성능이 크게 저하되어, 테스트의 판별력이 학습에 필수적임을 확인했습니다.
  • 랭크 기반 전처리는 저정보 (Low-information) 문제를 제거하여 학습 효율을 높였습니다.

5. 의의 및 결론 (Significance)

• 감독 데이터의 의존성 해소: ZeroCoder 는 고품질의 Ground-Truth 테스트 케이스가 부족한 상황에서도 LLM 의 코드 생성 능력을 향상시킬 수 있는 새로운 길을 제시합니다.
• 효율적인 보정: 소량의 레이블 데이터 (10 개) 만으로도 선택기의 드리프트를 보정하여 오라클 수준의 성능을 달성할 수 있음을 보여주어, 레이블 비용 절감에 큰 기여를 합니다.
• 공진화의 중요성: 코드 생성과 테스트 생성이 서로 독립적으로 최적화되는 것이 아니라, 상호작용을 통해 공진화할 때만 지속적인 성능 향상이 가능함을 입증했습니다.

결론적으로, ZeroCoder 는 실행 기반 피드백과 공진화 메커니즘을 결합하여 Ground-Truth 없이도 LLM 의 코딩 능력을 극대화할 수 있음을 보여주며, 소프트웨어 공학 및 LLM 학습 분야에서 중요한 이정표가 될 것으로 기대됩니다.