기술 요약: 원자적 분해 및 재결합(ADR)을 통한 조합적 합성

문제 정의

검증 가능한 보상 기반 강화 학습(RLVR)은 대규모 언어 모델(LLM)의 코딩 능력을 향상시키는 데 핵심적인 역할을 해왔습니다. 그러나 RLVR의 확장성은 모델의 "역량 경계(edge of competence)"를 겨냥하는 충분히 도전적인 검증 가능한 코드 작업의 희소성으로 인해 심각한 병목 현상을 겪고 있습니다. 기존의 데이터 합성 방식은 주로 실제 세계의 데이터셋을 휴리스틱하게 확장(예: 인컨텍스트 또는 재귀적 프롬프팅)하는 방식에 의존합니다. 이러한 방법들은 언어적 다양성은 높일 수 있지만, 시드 데이터의 원래 구성 구조를 그대로 유지하기 때문에 논리적 다양성이나 작업 난이도를 확장하는 데는 실패합니다. 결과적으로, 이러한 데이터는 RL 학습 과정에서 조기 보상 포화(premature reward saturation)를 초래하며, 진정한 추론 능력의 향상을 이끌어내지 못합니다.

방법론: 원자적 분해 및 재결합 (ADR)

저자들은 기존 예시를 단순히 추정(extrapolating)하는 것이 아니라 직교하는 논리적 프리미티브(logical primitives)를 교차시킴으로써 진정으로 새롭고 도전적인 검증 가능한 코드 작업을 생성하도록 설계된 프레임워크인 **원자적 분해 및 재결합(ADR)**을 제안합니다. 이 프레임워크는 5단계의 폐쇄 루프 프로세스로 작동합니다.

1. 요소 추출 (원자적 분해):

   • 시스템은 작업별 요소 스키마를 정의합니다 (예: 알고리즘 작업의 경우 핵심 알고리즘 아이디어, 스토리 배경, 전략 다양성, 난이도 레벨).
   • **정보 가이드 요소 스키마 최적화(ESO)**를 사용하여 이러한 스키마를 반복적으로 정교화합니다. 정보 이론적 신호(엔트로피 및 조건부 상호 정보량)를 사용하여, 시스템은 과도하게 집중된 클러스터를 자동으로 분할하고, 희소한 클러스터를 병합하며, 작업 복잡도에 대한 한계 정보 기여도(marginal information contribution)를 기준으로 요소를 필터링합니다.

2. 제어된 재결합:

   • 해결 불가능하거나 모순적인 조합을 방지하기 위해, 시스템은 높은 정보 함유량과 최소한의 결합도를 가진 "핵심 요소"를 중심으로 생성을 고정합니다.
   • LLM은 소수의 예시 조합을 참조하여 새로운 요소 조합을 생성하며, 이를 통해 의미론적 일관성을 유지하면서 원자적 요소들의 조합 공간을 탐색합니다.

3. 템플릿 기반 문제 합성:

   • 새로운 요소 조합은 사전 정의된 템플릿을 통해 잘 정의된 코드 문제로 변환됩니다. 이 단계는 설명, I/O 형식, 제약 조건 등을 엄격하게 지정함으로써 자유 형식 생성에서 흔히 발생하는 모호성을 방지합니다.

4. 실행 기반 검증:

   • 합성된 문제는 참조 솔루션과 테스트 케이스 생성기를 생성함으로써 검증됩니다.
   • 시스템은 격리된 샌드박스에서 생성된 테스트 케이스를 실행하며, 참조 솔루션이 모든 테스트를 통과하는 문제(Valid(Q) = 1)만을 유지합니다.

5. 적대적 솔루션 공간 정교화 (ASSR):

   • 테스트 커버리지와 견고성을 높이기 위해, 시스템은 "근접 실패(near-miss)" 솔루션(엣지 케이스를 무시하거나 잘못된 가정을 하는 결함 있는 코드)을 생성합니다.
   • 시스템은 "근접 실패율"(결함 있는 솔루션 중 현재 테스트를 잘못 통과하는 비율)을 계산합니다.
   • 테스트 케이스 생성기는 이러한 근접 실패 솔루션의 실패율을 최대화하도록 반복적으로 정교화되어, 최종 테스트 세트가 변별력을 갖추고 엣지 케이스를 커버하도록 보장합니다.

주요 기여

1. ADR 프레임워크: 단순한 추정을 넘어 원자적 분해와 조합적 재결합을 통해 도달할 수 없는 구조적 교차를 가능하게 하는, 휴리스틱 시드 확장 패러다임에서 벗어난 새로운 패러다임을 제시합니다.
2. 다차원 평가 분류 체계: 독창성(참조 데이터셋 대비 신규성), 난이도(참조 모델 성능 기반), 다양성(데이터 분포의 균일성), 테스트 품질(다양성 및 경계 커버리지)에 대한 지표를 통합한 종합적인 합성 데이터 평가 프레임워크를 구축했습니다.
3. 실증적 검증: 광범적인 실험을 통해 ADR이 알고리즘 프로그래밍, 도구 사용, 데이터 과학 도메인 전반에서 기존 베이스라인(예: KodCode, Educational Instruct)을 유의미하게 능가함을 입증했습니다.

실험 결과

저자들은 Qwen2.5-Coder-7B, Llama-3.1-8B, Qwen3-8B를 포함한 베이스 모델을 사용하여 알고리즘 프로그래밍, 도구 사용, 데이터 과학 도메인에서 ADR을 평가했습니다.

• 데이터 품질: ADR은 모든 평가 지표에서 우수한 점수를 기록했습니다. 특히, ADR은 독창성 점수 28.91을 달성하여 가장 강력한 베이스라인인 Educational Instruct(6.04)를 크게 앞질렀습니다. 난이도 측면에서 ADR은 71.89점을 기록하여 Educational Instruct의 20.14점과 대조를 이루었습니다.
• RLVR 성능:
  • LCB-v5 벤치마크에서 ADR은 Qwen2.5-Coder-7B의 **Pass@1을 25.37%**로 향상시켜, 가장 우수한 베이스라인(KodCode, 22.75%)과 실제 데이터 베이스라인(TACO, 22.60%)을 모두 넘어섰습니다.
  • 결정적으로, ADR은 모델의 추론 경계를 확장하는 능력을 보여주었습니다. 베이스라인들이 Pass@8에서 미미한 이득(예: TACO의 경우 +0.60%)을 보이는 반면, ADR은 +4.79%의 향상을 달성하여 모델의 역량 한계를 성공적으로 타격했음을 나타냈습니다.
  • 이 프레임워크는 다양한 베이스 모델 아키텍처와 작업 도메인(도구 사용 및 데이터 과학 포함)에서 일관된 개선을 이끌어내며 강력한 일반화 능력을 보여주었습니다.
• 학습 역학: 학습 곡선 분석 결과, ADR은 베이스라인에 비해 안정적인 액터 그래디언트 노름(actor gradient norms)과 더 높은 KL 다이버전스 성장을 유지했습니다. 이는 ADR이 조기 수렴을 방지하고 지속적인 정책 진화를 지원하는 정보가 풍부한 신호를 꾸준히 제공함을 시사합니다.

의의 및 주장

본 논문은 현재의 RLVR 연구가 가진 근본적인 한계, 즉 휴리스틱 확장 방식이 신규하면서도 충분히 도전적인 작업을 생성하지 못한다는 점을 ADR이 해결한다고 주장합니다. 작업을 원자적 요소로 분해하고 이를 재결합함으로써, ADR은 시드 데이터의 분포적 경계를 초월합니다.

저자들은 본 연구가 제한된 실제 세계 또는 큐레이션된 데이터셋에 대한 의존도를 넘어, 고품질 코드 데이터를 합성하기 위한 확장 가능한 패러다임을 제공한다고 단언합니다. 저자들은 ADR이 단순히 샘플링 밀도를 높이는 것을 넘어, 모델의 성능 경계를 밀어붙이는 작업을 생성함으로써 차세대 코드 LLM 학습을 가능하게 한다고 결론짓습니다. 이 프레임워크는 최소한의 시드 데이터만으로도 다양한 코드 작업에 완전히 자동화되어 적용될 수 있는 방식으로 제시되었습니다.