Improving Value-based Process Verifier via Structural Prior Injection

기술 요약: 구조적 사전 정보 주입을 통한 가치 기반 프로세스 검증기 개선

문제 정의

대규모 언어 모델(LLM) 추론 시나리오에서 프로세스 검증기는 중간 추론 단계의 품질을 평가하는 데 매우 중요합니다. 결과 검증기(Outcome verifiers)가 최종적인 정답 여부에만 집중하는 반면, 가치 기반 프로세스 검증기(Value-based process verifiers)는 각 단계에서의 "상태 가치(state value, 정답에 도달할 확률)"를 추정합니다.

현재 상태 가치는 일반적으로 몬테카를로(Monte Carlo, MC) 샘플링을 사용하여 주석을 답니다. 그러나 이 방식은 전체 롤아웃(rollout) 생성 비용이 높기 때문에 두 가지 중요한 한계에 직면합니다:

1. 이산적 표현의 입도(Granularity): 제한된 샘플링(예: $k$번의 롤아웃)은 추정된 가치를 이산적인 집합($0, 1/k, \dots, 1$)으로 제한합니다. 이는 실제 정답 값이 연속적인 확률일 때 발생하는 불일치를 초래합니다.
2. 샘플링 분산(Sampling Variance): MC 추정은 편향되지 않았으나(unbiased), 샘플 수가 적을 때는 부정확합니다. 특히 실제 성공 확률 $p$가 중간값(0.5) 근처일 때 분산이 가장 높습니다.

기존 솔루션들은 이산적인 값을 연속적인 공간으로 매핑하기 위해 평균 제곱 오차(MSE)를 사용하거나, 분산을 줄이기 위해 시간 차분(Temporal Difference, TD) 방법을 사용합니다. 그러나 TD 방법은 LLM 추론에서 계산 비용이 많이 드는 대량의 샘플링을 요구하며, 표준 MSE는 샘링 오차의 기저에 깔린 분포를 명시적으로 모델링하지 않고 가치를 단순한 스칼라 값으로 취급합니다.

방법론

저자들은 **구조적 사전 정보 주입(Structural Prior Injection)**을 제안합니다. 이는 스칼라 상태 가치를 사전에 정의된 범주형 분포(categorical distribution)의 기대값으로 변환하는 방법입니다. 이 접근 방식은 MC 샘플링 오차를 분포 불일치 문제로 재정의합니다.

1. 스칼라에서 범주형 분포로의 전환

검증기는 단일 스칼라 값을 예측하는 대신, $m$개의 빈(bin)에 대한 범주형 분포 $Z$를 예측합니다. 상태 가치 $V^\pi(s)$는 이 분포의 기대값으로 정의됩니다:
$$V^\pi(s) = E_p[\delta_i] = \sum_{i=1}^m p_i(s)\delta_i$$
여기서 $\delta_i$는 위치 $i$에서의 디락 델타 함수(Dirac delta function)를 나타냅니다.

2. 구조적 사전 정보(Structural Prior) 정의

이 방법은 $k$번의 몬테카를로 샘플링 결과를, 실제 상태 가치 $p$를 모수로 하는 이항 분포(Binomial distribution) $Bin(k, p)$로부터 추출된 단일 샘플로 취급합니다.

• 기대값 회귀(Expectation Regression, MSE): 모델은 범주형 분포의 기대값이 MC 추정치와 일치하도록 최적화하여, 가치가 분포의 평균이라는 구조적 사전 정보를 주입합니다.
• 기대값 분류(Expectation Classification, Histogram Loss): 모델은 그 자체로 정답 이항 분포를 복구하려고 시도합니다. 목표는 제한된 샘플링 데이터로부터 정답 이항 분포와의 거리를 최소화하는 사후 분포(posterior distribution)를 찾는 것입니다.

3. 통계 기반 거리 측정(Statistics-based Distance Metric)

사후 분포를 선택(예: One-hot, Gaussian 또는 기타 형태 선택)하는 과정을 안내하기 위해, 저자들은 통계 기반 거리 메트릭을 도입합니다.

• $D_T(p, q) = E_{x \sim q}[d(p(\cdot|x), q)]$로 정의되며, 여기서 $d$는 Wasserstein 거리와 같은 거리 메트릭입니다.
• 이 메트릭은 통계적 수준에서 추정된 사후 분포와 실제 정답 분포 사이의 불일치를 측정합니다.
• 저자들은 분포의 카테고리가 순차적 특성(가중치)을 가지므로, 확률 질량 사이의 "거리"를 측정하는 데 더 적합한 Wasserstein 거리를 KL 발산(KL divergence) 대신 사용합니다.

4. 최적화

검증기는 다음 중 하나를 사용하여 최적화됩니다:

• MSE 손실: 예측된 기대값과 MC 추정치 사이의 제곱 차이를 최소화합니다.
• 히스토그램 손실(Cross-Entropy): 예측된 범주형 분포와 타겟 분포(예: 이항 분포를 근사하는 절단된 가우시안 분포) 사이의 교차 엔트로피를 최소화합니다.

주요 기여

1. 구조적 사전 정보 주입: 본 논문은 스칼라 MC 샘플링 오차를 분포 불일치 문제로 전이하는 방법을 제안합니다. 가치를 범주형 분포의 기대값으로 표현함으로써, 이 방법은 제한된 데이터로부터 정답 분포를 복구하는 과정의 어려움을 명시적으로 모델링합니다.
2. 통계 기반 거리: 사후 분포와 정답 타겟 분포 사이의 거리를 정량화하는 새로운 메트릭을 제안합니다. 이 메트릭은 불일치를 최소화하기 위한 구조적 사전 정보(예: 분포의 모양 및 분산)를 선택하는 가이드 역할을 합니다.
3. 실증적 검증: 저자들은 구조적 사전 정보 주입이 추가적인 계산 비용 없이 다양한 목적 함수(MSE 및 Histogram Loss)와 작업(Best-of-N 및 Beam Search)에서 검증기 성능을 개선함을 입증했습니다.

실험 결과

방법론은 MATH 데이터셋을 사용하여 Qwen2.5-Math-7B 및 Deepseek-Math-7B와 같은 베이스 모델을 대상으로 Best-of-N (BoN) 및 Beam Search 작업을 통해 평가되었습니다.

• 성능 향상: 스칼라 회귀 베이스라인과 비교했을 때, 기대값 기반 모델(MSE 및 Histogram Loss 변형 모두)은 성공률에서 약 1~2 퍼센트 포인트의 일관된 향상을 달ável 했습니다.
• 작업 민감도:
  • Best-of-N에서는 결과 중심 검증기(outcome-supervised verifiers)가 좋은 성능을 보였으나, 본 방법이 강화하는 프로세스 중심 검증기(process-supervised verifiers)가 더 우수한 견고성을 보여주었습니다.
  • Beam Search에서는 프로세스 중심 검증기가 결과 중심 검증기보다 현저히 높은 성능을 보였으며, 이는 다단계 탐색에서 정확한 중간 상태 가치의 중요성을 강조합니다.
• 사전 정보 선택의 영향: 절제 연구(Ablation studies)를 통해 구조적 사전 정보의 선택이 성능에 큰 영향을 미친다는 것이 밝혀졌습니다.
  • 분포 모양: 동적 가우시안 분포(분산이 샘플링된 값으로부터 유도됨)를 사용하는 것이 정적 가우시안이나 One-hot 분포보다 더 나은 결과를 얻었으며, 이는 실험에서 관찰된 더 낮은 통계 기반 거리와 일치합니다.
  • 카테고리 수량: 카테고리 수를 샘플링 크기와 일치시키는 것(예: 8번의 롤아웃에 대해 9개의 카테고리 설정)이 유익한 것으로 나타났습니다.

의의 및 주장

본 논문은 가치 기반 프로세스 검증기의 개선이 합리적인 구조적 사전 정보의 주입에서 비롯된다고 주장합니다. 스칼라 회귀에서 분포 추정으로 관점을 전환함으로써, 이 방법은 LLM 추론에서 발생하는 몬테카를로 샘플링의 고유한 노이즈와 입도 문제를 해결합니다.

저자들은 다음을 강조합니다:

• MC 추정의 오류는 근본적으로 제한된 샘플로부터 정답 분포를 복구하는 데 따르는 어려움입니다.
• 통계 기반 거리는 불일치를 최소화하는 사전 정보를 평가하고 선택하기 위한 이론적, 실무적 도구를 제공합니다.
• 이 접근 방식은 "유망하고 의미 있는 방향"을 제시하며, 이는 구조적 사전 정보가 값비싼 샘플링 양의 증가 없이도 가치 기반 검증의 최적화 과정을 크게 향상시킬 수 있음을 시사합니다.

본 연구는 Wasserstein 거리의 미분 불가능성(사전의 비미분적 분포 모델링 필요) 및 MSE와 Cross-Entropy 목적 함수를 선형적으로 결합하는 것의 어려움과 같은 한계를 언급하며 그 범위를 겸허하게 설정하고 있습니다.