기술 요약: 원시 생성, 이중 판단: 테스트 시간 확장으로부터의 자기 학습

문제 정의

코드 생성 모델은 일반적으로 **원시 공간 (primal space)**에서 훈련됩니다. 여기서 모델은 후보 솔루션을 생성하고 희소하며 이진인 실행 피드백 (통과/실패) 을 받습니다. 테스트 시간 확장 (test-time scaling)(여러 후보를 샘플링하고 판정자를 통해 최선의 것을 선택하는 것) 은 추론 정확도를 향상시키지만, 이 과정에서 드러나는 비교 정보, 즉 성공 시도와 실패 시도 간의 구조적 차이는 추론이 끝난 후 폐기됩니다. 기존 "생성 후 판단 (generate-then-judge)" 시스템은 이 비교 구조를 추론 시 순위 매기기에만 활용하며, 생성기 자체를 업데이트하지는 못합니다. 결과적으로 모델은 미래의 롤아웃에서 설득력 있지만 잘못된 코드에 높은 확률을 부여할 수 있습니다.

본 논문은 테스트 시간 확장의 비교 구조가 **이중 판단 공간 (dual judgment space)**을 정의한다고 주장합니다. 이 공간은 원시 공간보다 더 밀도 높은 훈련 신호를 제공합니다. 고립된 통과/실패 비트 대신, 이는 설득력 있는 시도들 간의 상대적 정확도 구조를 제공하여 성공과 실패를 구분하는 요소를 드러냅니다.

방법론: DuST (이중 자기 학습)

저자들은 이 이중 판단 공간으로부터의 자기 학습을 위한 프레임워크인 DuST를 소개합니다. 핵심 가설은 이중 공간에서 올바른 코드와 잘못된 코드를 구별하도록 훈련된 모델이, 올바른 코드를 생성하는 것에 대한 직접적인 보상이 없더라도 원시 생성에 유익한 정확도 민감형 특징을 획득한다는 것입니다.

1. 데이터 구성

• 샘플링: 코딩 문제 $x$에 대해 기본 모델은 후보 코드 풀 ($M$개의 후보) 을 대량으로 샘플링합니다.
• 실행 및 라벨링: 후보들을 샌드박스에서 실행하여 이진 정확도 라벨 (통과 시 $1$, 실패 시$0$) 을 획득합니다.
• 그룹화: 후보들을 크기 $K$의 그룹으로 분할합니다. 혼합 품질 그룹(최소 하나의 올바른 후보와 하나의 잘못된 후보를 포함하는 그룹) 만 유지됩니다. 순위 대비가 부족하므로 모든 후보가 올바르거나 모두 잘못된 그룹은 폐기됩니다.
• 데이터셋: 결과 데이터셋은 문제와 자기 생성된 후보 집합 및 실행 기반 라벨이 짝지어진 형태로 구성됩니다.

2. 훈련 목적

모델은 실행 정확도에 기반하여 그룹 내 후보들을 순위 매기도록 훈련됩니다.

• 보상 함수: 보상은 순전히 판별적입니다. 실행이 올바른 후보가 실행이 잘못된 후보보다 얼마나 자주 상위에 순위 매겨지는지를 측정합니다.
  • $R_{exec}$는 예측 순위가 $j$보다 $i$가 더 나은 경우인 올바른-잘못된 쌍 $(i, j)$의 비율을 계산합니다.
  • 형식이 잘못된 응답은 부정적인 형식 패널티를 받습니다.
• 최적화: 프레임워크는 **그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO)**를 사용합니다.
  • 후보 코드 샘플은 고정됩니다 (생성에 관해 오프-폴리시).
  • 모델은 판단 응답(추론 흔적 및 순위) 을 온-폴리시로 샘플링합니다.
  • 정책은 순위 매기기 보상을 최대화하도록 업데이트되며, 고정된 참조 정책에 대해 정규화됩니다.

3. 주요 차이점

코드 생성을 위한 표준 강화 학습 (RL) 과 달리, DuST는 절대 올바른 프로그램 생성에 직접적인 보상을 주지 않습니다. 감독은 모델의 자체 시도들 간의 정확도 대비를 판단하는 것에서 완전히 비롯됩니다. 업데이트된 매개변수는 이후 코드 생성에 사용되는 것과 동일합니다.

주요 기여

1. 이중 판단 공간 프레임워크: 본 논문은 테스트 시간 확장을 단순한 추론 전략이 아닌, 이중 공간에서 밀도 높은 대비 훈련 신호의 원천으로 보는 것을 제안합니다.
2. 판별적 자기 학습: DuST는 실행 정확도로 후보를 순위 매기도록 (판별 작업) 모델을 훈련시키는 것이 직접적인 생성 보상 없이도 그 생성 능력 (생성 작업) 을 향상시킨다는 것을 입증합니다.
3. 메커니즘 분리: 감독 미세 조정 (SFT) 과 GRPO 를 비교하는 제거 실험을 통해, 온-폴리시 RL이 이중 공간 학습을 원시 생성으로 전환시키는 결정적 메커니즘임을 규명했습니다. SFT 는 판단 능력을 향상시키지만 생성 능력은 향상시키지 못하는 반면, GRPO 는 둘 다 향상시킵니다.
4. 보상 밀도: 본 논문은 순위 매기기의 밀도 높은 대비 신호 (correct vs. incorrect 코드의 전체 대비 구조를 노출하는 $O(N^2)$ 쌍별 비교) 가 희소한 원시 보상이나 선택 기반 보상보다 전환에 더 효과적임을 강조합니다.

실험 결과

이 방법은 두 계열 (Qwen, GPT-oss) 에 속하는 다섯 가지 모델과 세 가지 규모 (4B~30B) 에 걸쳐 LiveCodeBench(v5 및 v6)에서 평가되었습니다.

• 테스트 시간 확장 정확도: DuST 는 일관되게 Best-of-4 정확도를 향상시켰습니다. LiveCodeBench v6 에서 Qwen3-30B-Thinking의 경우 정확도가 +4.1% 향상되었습니다 (68.7% 에서 72.6% 로).
• 판단 품질: 훈련된 모델의 후보 순위 매기기 능력이 크게 향상되었으며, Qwen3-30B-Thinking의 경우 NDCG 가 +6.2 증가했습니다.
• 원시 생성 (Pass@1): 놀랍게도 직접적인 보상 없이 단일 샘플 생성 품질이 향상되었습니다. Qwen3-30B-Thinking 의 경우 pass@1 이 +3.1% 증가했습니다 (65.4% 에서 68.5% 로).
• 일반화: 모든 모델 크기 (4B~30B) 와 계열에서 개선이 관찰되어, 이 접근법이 아키텍처에 구애받지 않음을 시사합니다.
• SFT 와의 비교: 동일한 순위 매기기 데이터로 훈련했을 때, SFT 는 판단 (NDCG) 을 향상시켰지만 생성 (pass@1) 은 변화시키지 않았습니다. 오직 GRPO 만 둘 다 향상시켜, 전환에 온-폴리시 피드백 루프가 필수적임을 확인했습니다.
• 보상 민감도: 순위 보상 (Pairwise Accuracy/NDCG) 은 선택 보상 (top-1 만) 보다 생성으로의 전환에서 더 우수한 성과를 보였는데, 이는 순위 매기기가 올바른 코드와 잘못된 코드의 전체 대비 구조를 노출하기 때문일 것입니다.

중요성과 주장

본 논문은 코드 생성의 원시 (생성) 공간과 이중 (판단) 공간이 표준 훈련이 가정하는 것보다 더 밀접하게 결합되어 있다고 주장합니다.

• 이해의 전환: 저자들은 다른 설득력 있는 시도들相对于로 솔루션이 왜 실행되거나 성공하는지 구별하는 법을 학습함으로써, 모델이 실행 가능한 정확도의 특징 (예: 알고리즘 불변성, 엣지 케이스) 을 내면화한다고 주장합니다. 이러한 특징들은 이후 생성기의 확률 질량을 올바른 궤적으로 이동시킵니다.
• 효율성: 훈련된 모델의 단일 롤아웃은 기본 모델의 Best-of-4 성능과 일치하여, 테스트 시간 확장의 이점을 모델 가중치에 효과적으로 "구워 넣는 (baking in)" 효과를 냅니다.
• 현재 패러다임의 한계: 이 연구는 추론 후 비교 정보를 폐기하는 것이 놓친 기회임을 시사합니다. 테스트 시간에 드러나는 대비 구조는 풍부하고 대부분 미활용된 훈련 신호입니다.

본 논문은 이중 판단 공간에서의 온-폴리시 강화 학습이 코드 생성을 향상시키는 실현 가능하고 효과적인 메커니즘이며, 외부 인간의 선호도나 직접적인 생성 보상에 의존하지 않는 자기 개선의 새로운 경로를 제공한다고 결론지었습니다.