기술 요약: 자기 검증 정교화 (Self-Verifying Refinement, SVR)

문제 정의

테스트 시간 연산(test-time computation)을 확장하는 것은 언어 모델의 추론 능력을 향상시키기 위한 핵심 전략이지만, 현재의 접근 방식들은 두 가지 주요 한계점에 직면해 있습니다:

1. 비효율적인 자원 할당: 고정된 예산 방식(예: 균등한 다회차 정교화 또는 고정된 $k$ 샘플링)은 이미 해결된 쉬운 입력값에 계산 자원을 낭비하며, 어려운 입력값에는 충분한 자원을 할당하지 못할 수 있습니다.
2. 외부 신호에 대한 의존성: 기존의 적응형 또는 자기 수정 방식은 정교화를 언제 멈출지 결정하기 위해 외부 검증기, 실행 환경 또는 오라클 피드백(정답 여부)에 의존하는 경우가 많습니다. 이러한 신호는 비용이 많이 들거나, 배포 시 사용 불가능하거나, 훈련과 추론 정보 경계 사이의 단절을 초래합니다.

핵조한 과제는 모델이 정답의 정답 여부(ground-truth correctness)에 접근하지 않고도, 오직 정책 자체에서 생성된 신호만을 사용하여 현재의 답안을 유지할지 아니면 추가 정교화 단계를 할당할지를 결정하는 내부 제어 신호를 학습하도록 하는 것입니다.

방법론: 자기 검증 정교화 (SVR)

저자들은 자기 검증을 계산 제어 정책으로 사용하도록 학습하는 오라클 프리(oracle-free), 다회차 강화 학습 프레임워크인 **자기 검증 정교화(SVR)**를 제안합니다.

1. 적응형 정교화 공식화

SVR은 테스트 시간 연산을 순차적 할당 문제로 취급합니다. 각 턴 $t$에서 정책 $\pi_\theta$는 다음과 같이 구성된 구조화된 출력 $o_t = (r_t, a_t, v_t, c_t)$를 생성합니다:

• $r_t$: 추론 과정(Reasoning trace).
• $a_t$: 과업 정답(Task answer).
• $v_t$: 이산적 판결(Discrete verdict: $Correct$, $Incorrect$, 또는$Unsure$).
• $c_t$: 신뢰도 점수($a_t$가 정답일 확률 추정치).

추론 메커니즘:
추론 시 컨트롤러는 오라클 프리 정보 경계에서 작동합니다. 다음 조건이 충족될 때만 생성 중단 없이 현재의 답안 $a_t$를 반환하고 종료합니다:

1. 생성이 중단되지 않음 ($q_t = 0$).
2. 판결이 $Correct$임 ($v_t = C$).
3. 신뢰도가 배포 임계값 $\gamma$를 초 exceed함 ($c_t \ge \gamma$).

만약 이러한 조건이 충족되지 않고 예산이 남아 있다면, 모델은 정답 레이블에 전혀 접근하지 않은 채 원래의 문제, 유지된 초안, 그리고 정책 자체의 자기 검증 상태를 사용하여 다음 프롬프트를 구성합니다.

2. 훈련: 결합 판결-신뢰도 강화 학습

SVR은 고정된 호라이즌 궤적($T_{tr}$)에 대해 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용하여 훈련됩니다. 정답 여부는 오직 훈련 보상을 구성하는 데에만 사용되며, 정교화 과정 중에는 모델에 절대 노출되지 않습니다.

궤적 수준의 리턴 $R_{SVR}$은 세 가지 턴별 신호의 평균을 구합니다:

• 솔루션 보상 ($r_{solve}$): 절대적인 정답 여부와 턴 간의 진전(예: 오류 수정 또는 정답 보존)에 보상을 주는 한편, 퇴보(regression) 및 중단(truncation)에 대해 벌점을 부여합니다.
• 자기 검증 보상 ($r_{verify}$): 판결-신뢰도 쌍을 경험적 정답 여부와 일치시키도록 설계된 복합 목적 함수입니다:
  • 교정(Calibration): 신뢰도 $c_t$를 정답 여부 $y_t$와 일치시키기 위한 Brier 스타일의 목적 함수.
  • 과잉 확신 벌점(Overconfidence Penalty): 오답에 대해 높은 신뢰도의 $Correct$ 판결을 내릴 경우 벌점을 부여합니다.
  • 오류 탐지(Error Detection): 틀린 답에 대해 명시적인 $Incorrect$ 판결을 내릴 때 보상을 줍니다.
  • 중단 준비성(Stop-Readiness): 정답에 대해 높은 신뢰도를 갖도록 유도하여 조기 종료를 용이하게 합니다.
• 포맷 보상 ($r_{fmt}$): 유효한 과업 답안 포맷과 파싱 가능한 자기 점검 구조를 보장합니다.

주요 훈련 설계:

• 고정 호라이즌 수집: 훈련 중에는 중간 판결에 관계없이 모든 궤적이 전체 $T_{tr}$ 턴 동안 실행됩니다. 이는 잘못된 조기 종료가 필요한 정교화 상태에 대한 모델의 노출을 차단하는 것을 방지하기 위함입니다.
• 최적화 범위: 정책 그래디언트 손실은 궤적의 최종 완료 토큰에만 적용됩니다. 중간 턴들은 궤적 리턴(자기 검증 신호를 감독함)에는 기여하지만, 독립적인 최적화 샘플으로 취급되지는 않습니다.

3. 추론

추론 시, 훈련된 정책은 적응형 스케줄러와 함께 배포됩니다. 모델은 순차적으로 턴을 생성하며, 각 턴이 끝날 때마다 중단 조건을 평가합니다. 훈련 호라이즌 $T_{tr}$과 배포 예산 $T_{max}$는 독립적입니다. $T_{tr}$은 충분한 감독 범위를 보장하고, $T_{max}$는 최악의 경우 발생하는 비용을 제한합니다.

주요 기여

1. 오라클 프리 폐쇄 루프 프레임워크: SVR은 단일 정책이 정답을 정교화하는 법과 추론 제어에 필요한 구조화된 자기 검증 신호(판결 + 신뢰도)를 생성하는 법을 모두 학습하는 방법을 도입하여, 배포 시 외부 검증기나 오라클 피드백의 필요성을 제거했습니다.
2. 결합 판결-신뢰도 RL 목적 함수: 솔루션 품질, 교정 인지적 자기 검증, 그리고 중단 준비성을 하나의 궤적 리턴으로 통합하는 다회차 목적 함수를 개발했습니다. 이를 통해 모델이 실제 추론 비용을 훈련 중에 직접 최적화하지 않고도 실행 가능한 중단 신호를 생성하도록 훈련합니다.
3. 경험적 검증: 이 프레임워크는 학습된 자기 검증이 적응형 계산 할당을 위한 효과적인 내부 제어 신호로 기능할 수 있음을 입증하며, 고정 예산 및 오라클 가이드 베이스라인보다 우수한 정확도-계산 트레이드오프를 달 Erkennt 했습니다.

실험 결과

이 방법은 Qwen3.5-2B를 사용하여 7개의 수학적 추론 벤치마크(Countdown, GSM8K, MATH500, AIME26, AMC23, OlympiadBench, MinervaMath)에서 평가되었습니다.

• 성능: SVR은 7개 벤치마크 전체에서 0.563의 매크로 평균 정확도를 달성했습니다.
• 효율성: 예제당 평균 2.99회의 추론 턴만을 필요로 했습니다.
• 비교:
  • 가장 강력한 비-오라클 다회차 베이스라인(Murphy)보다 정확도에서 7.5 퍼센트 포인트 앞섰습니다.
  • 고정 예산 오라클 가이드 참조 모델(외부 정답 피드백 사용)보다 훨씬 적은 토큰을 사용하면서도 정확도는 4.4 퍼센트 포인트 더 높았습니다.
  • **10-샘플 GRPO 다수결 투표(majority voting)**의 정확도와 대등한 성능을 보이면서도 토큰 비용은 약 절반만 소비했습니다.
• 절제 연구(Ablation Studies):
  • 자기 검증 보상 블록($R_{verify}$)을 제거하면 정확도가 약 3.5 포인트 감소하여, 제어 신호의 필요성을 확인했습니다.
  • "중단 준비성(stop-readiness)" 구성 요소를 제거하면 평균 턴 수가 3.83으로 증가하고 정확도가 6.9 포인트 감소하여, 모델이 언제 멈출 준비가 되었는지 인식하도록 훈련하는 것의 중요성을 강조했습니다.
  • 단일 턴 SVR(반복 정교화 없음)은 정확도가 크게 떨어져, 반복적인 정교화가 필수적임을 증명했습니다.
  • 판결만 사용하거나 신뢰도만 사용하는 경우, 결합된 신호를 사용할 때보다 성능이 저하되었습니다.

의의 및 주장

본 논문은 학습된 자기 검증이 테스트 시간 연산을 제어하기 위한 외부 오라클 신호를 효과적으로 대체할 수 있음을 보여준다고 주장합니다. SVR을 통해 모델은 다음과 같은 능력을 갖게 됩니다:

• 다른 정교화 과정에서 덮어써질 수 있는 올바른 중간 답안을 유지합니다.
• 어려운 인스턴스에 따라 계산을 적응적으로 할당하여, 고정 예산 방식의 낭비를 피합니다.
• 외부 검증기를 사용할 수 없는 환경에서도 배포 가능한 "오라클 프리" 방식으로 작동합니다.

저자들은 SVR이 정확도-계산 프런티어를 크게 개선하지만, 어려운 문제에 대해 높은 신뢰도를 가지고 잘못된 답을 내놓으며 정교화를 종료하는 조기 중단 오류(Premature Stop Errors, PSE) 문제는 여전히 해결해야 할 과제로 남아 있다고 언급했습니다. 이 연구는 자기 검증을 추론 정책 자체에 통합하는 것이 외부 감독 없이도 효율적이고 적응적인 추론을 가능하게 하는 유망한 경로임을 시사합니다.