기술 요약: 훈련 및 테스트 시간 자기 개선을 위한 자기 훈련 검증

1. 문제 정의

본 논문은 추론 모델 확장성의 병목 현상, 즉 테스트 시간 정제와 훈련 시간 자기 개선을 위한 고품질 검증기 (verifiers) 에 대한 의존성을 다룹니다. 기존 접근법은 두 가지 주요 실패 모드를 겪습니다:

1. 테스트 시간 정지: 검증 - 정제 (V-R) 루프는 종종 검증기 점수의 과대 평가 (부정확한 보정) 로 인해 정확도가 정체되거나, 피드백이 실행 가능할 정도로 구체적이지 않아 정지합니다.
2. 훈련 시간 한계: 모델이 나쁜 자기 생성 데이터를 수용할 때 자기 훈련 방법은 실패합니다. 또한, 표준 검증 가능 보상 강화 학습 (RLVR) 은 추가 연산이 더 이상 이득을 주지 않는 평탄한 지점에 수렴하는 경향이 있습니다.

핵심적인 도전 과제는 자기 생성 오류를 포착하기 위해 검증기를 훈련하는 데 감독 신호가 부재하다는 점입니다. 모델은 처음부터 자신의 잘못된 시도에 대한 피드백을 신뢰할 수 있게 생성할 수는 없지만, 참조 해법이 제시되면 결함을 식별할 수 있습니다. 기존 시스템은 인간 피드백이나 더 강력한 '메타 검증기'를 사용하여 이를 우회하려 시도하지만, 이는 확장 가능하지 않습니다.

2. 방법론

저자들은 훈련 및 테스트 시간 양쪽 모두에서 자기 개선을 가능하게 하기 위해 자기 훈련 검증 (STV) 과 루프 내 검증기 (ViL) 훈련을 제안합니다.

A. 자기 훈련 검증 (STV)

STV 는 인간이 주석 달아 준 피드백 품질 없이 검증기를 훈련합니다. 이는 중요한 비대칭성을 활용합니다: 모델은 고립된 상태에서 자신의 오류를 진단하는 데 어려움을 겪지만, 참조 해법 ($y^\star$) 이 제공되면 논리적 공백을 신뢰할 수 있게 찾을 수 있습니다.

• 교사 - 학생 증류:
  • 교사: 문제, 시도, 그리고 정답 해법을 모두 보는 참조 조건부 검증기 $V^\star(\cdot | x, y_{r-1}, y^\star(x))$입니다. 이는 판정 ($v_r$) 과 자연어 피드백 ($f_r$) 을 생성합니다.
  • 학생: 문제와 시도만 보는 비조건부 검증기 $V_\theta(\cdot | x, y_{r-1})$입니다.
• 훈련 목적: 학생은 교사의 출력 분포를 모방하도록 훈련됩니다. 저자들은 훈련 중 접하지 않았던 접두어에 테스트 시간 학생이 노출되는 분포 이동 문제를 피하기 위해 지도 미세 조정 (SFT) 대신 온 - 정책 증류 (OPD) 를 활용합니다.
  • 손실 함수: $L_{OPD}(\theta) = \mathbb{E}_{(x, y_{r-1})} D_\alpha(V_\theta(\cdot | x, y_{r-1}) \parallel V^\star(\cdot | x, y_{r-1}, y^\star(x)))$
  • 목적 함수는 승인/거부 결정의 정확도를 높이기 위해 판정 - RL (Verdict-RL) 구성 요소가 추가됩니다.
  • 전체 목적 함수: $L_{STV}(\theta) = L_{OPD}(\theta) + \lambda \cdot L_{RL}(\theta)$.

B. 루프 내 검증기 (ViL) 훈련

STV 검증기가 훈련되면, 저자들은 생성기에 대한 새로운 훈련 패러다임을 도입합니다:

• 절차: 생성기는 동결된 STV 검증기를 사용하여 피드백을 제공하는 V-R 루프 내에서 RL 을 통해 훈련됩니다. 보상은 최종 해법의 검증 가능한 정확성입니다.
• 메커니즘: 표준 자기 훈련과 달리, 검증기가 알려진 보상을 극대화하기 위한 맥락을 제공하므로 신호는 검증 가능합니다.
• 결과: 이는 생성기가 진단 피드백을 내면화하도록 훈련시켜, 검증기와 함께 작동하는 성능뿐만 아니라 독립적인 성능 (Round 0) 도 향상시킵니다.

3. 주요 기여

1. STV 알고리즘: 모델 자체의 참조 조건부 버전에서 지식을 증류함으로써, 인간 피드백 없이도 그럴듯하지만 잘못된 해법의 결함을 탐지하는 검증기를 훈련할 수 있는 확장 가능한 방법입니다.
2. ViL 훈련: 생성기를 V-R 루프 내부에서 훈련함으로써 표준 RLVR 의 평탄한 지점을 깨는 새로운 훈련 절차로, 검증된 성능과 검증되지 않은 (독립적인) 성능 모두에서 개선을 이끌어냅니다.
3. 실증적 검증: 훈련된 검증이 생성기 규모를 대체할 수 있음을 입증했습니다. 즉, 훈련된 검증기를 가진 작은 모델이 검증기가 없는 훨씬 큰 모델보다 우수한 성능을 보입니다.

4. 실험 결과

실험은 DAPO(어려운 수학 문제) 와 SciKnowEval(과학적 추론) 에서 수행되었으며, 기본 모델로 Qwen3-8B를 사용했습니다.

테스트 시간 개선 (V-R 루프)

• 수학 (가장 어려운 분할): STV 는 훈련되지 않은 검증기에 비해 최종 라운드 pass@1 을 약 2 배로 증가시킵니다. 기본 생성기의 pass@1 이 0% 인 "가장 어려운" 분할에서도 STV 가 이끄는 정제는 0 이 아닌 정확도를 달성합니다.
• 과학적 추론: STV 는 가장 어려운 문제에서 pass@1 을 **1.5% 에서 21.0%**로 끌어올립니다 (14 배 개선).
• 규모 대체: STV 가 이끄는 Qwen3-8B 는 검증 없이 과학적 추론 작업에서 Qwen3-32B(4 배 더 큰) 와 심지어 Qwen3-235B(30 배 더 큰) 보다 우수한 성능을 발휘합니다.
• 약세에서 강세로: 훈련된 4B 검증기는 훈련되지 않은 8B 검증기와 경쟁력 있는 성능을 보이며, 훈련된 1.7B 검증기는 훈련되지 않은 8B 기준선과 맞먹는 성능을 냅니다.

훈련 시간 개선 (ViL)

• 평탄한 지점 극복: 표준 RLVR 하에서 이미 수렴한 생성기에서 시작할 때, ViL 훈련은 검증기가 존재할 경우 pass@1 에서 33% 의 상대적 이득을 추가로 창출합니다.
• 독립적 이득: 놀랍게도 생성기의 Round 0 pass@1(테스트 시간 검증기 없음) 은 RLVR 수렴 기준선에 비해 30% 향상됩니다. 이는 모델이 진단 피드백으로부터 일반적인 추론 기술을 내면화했음을 시사합니다.
• 비교: 동일한 연산량을 표준 RLVR 확장에 할당하면 추가 이득이 전혀 없으며, 이는 ViL 의 고유한 효능을 확인시켜 줍니다.

메커니즘 분석

• 보정: STV 검증기는 더 잘 보정되어 있으며, 점수가 정확도와 상관관계를 가지므로 점수는 과대 평가되지만 정확도는 정체되는 "보상 해킹"을 방지합니다.
• 피드백 품질: 판정 (정답 사용) 을 분리하여 분석한 결과, STV 의 피드백 텍스트가 정답 판정 위에 상당한 가치 (+3.2%) 를 더하는 것으로 나타나 진단 신호의 품질을 입증했습니다.
• 다양성: 분포를 예리하게 만드는 Best-of-N(BoN) 과 달리, STV 를 사용한 V-R 은 출력 분포를 재형성하여 다양성을 억제하지 않고 여러 라운드에 걸쳐 pass@k 를 향상시킵니다.

5. 중요성과 주장

본 논문은 추론의 다음 전선이 검증을 위해 그리고 검증과 함께 어떻게 훈련하느냐에 있다고 주장합니다.

• 패러다임 전환: 저자들은 추론의 이득이 단순히 생성기 파라미터를 확장하는 것이 아니라, "검증하는 법을 배우는 것"과 더 강력한 생성기를 훈련하기 위해 더 강력한 검증기를 사용하는 것에서 나와야 한다고 주장합니다.
• 확장성: STV 는 값비싼 인간 등급 피드백이나 감독을 위한 외부 '오라클' 모델에 의존하지 않는 자기 개선의 경로를 제공합니다.
• 반복적 자기 개선: 이 연구는 더 나은 검증기가 더 신뢰할 수 있는 테스트 시간 정제와 더 풍부한 생성기 훈련을 가능하게 하고, 이는 다시 미래 검증기 훈련을 위한 더 어려운 시도를 만들어내는 반복적 루프를 시사합니다.

저자들은 범위에 대해 겸손하게 언급하며, STV 가 수학 및 과학 분야에서 작동하지만 코드나 개방형 추론과 같은 다른 능력으로 확장하고, 생성기와 검증기 훈련 간의 연산 최적 분할을 결정하는 것은 여전히 열린 질문이라고 지적합니다. 그러나 결과는 검증 훈련이 자기 개선 추론 시스템을 구축하기 위한 핵심적이고 확장 가능한 구성 요소임을 시사합니다.