기술 요약: 학습된 신뢰도를 활용한 프로세스 보상 (BETAPRM)

1. 문제 제기

프로세스 보상 모델 (PRM) 은 추론 작업에 대해 단계별 피드백을 제공하여 후보 선택 및 정책 최적화를 안내합니다. 그러나 기존 PRM 은 일반적으로 각 추론 단계에 대해 단일 점 추정치 (예: 스칼라 확률) 를 출력합니다. 이 인터페이스는 두 가지 중요한 한계를 제시합니다:

1. 불확실성 정량화의 부재: 단일 스칼라 점수는 확신 있는 예측과 불확실한 예측을 구분할 수 없습니다. 하위 방법론들은 모델의 신뢰도가 낮을지라도 불완전한 단계별 예측을 신뢰할 수 있는 결정 신호로 취급하도록 강요받습니다.
2. 노이즈가 있는 유한 표본 감독: 표준 PRM 훈련은 종종 감독 데이터를 생성하기 위해 몬테카를로 연속 (continuations) 에 의존합니다. 만약 접두어 (prefix) 에서 $N$개의 연속이 샘플링되고 $K$개가 성공한다면, 경험적 비율 $\hat{q} = K/N$은 회귀를 위한 점 목표 (point target) 로 취급됩니다. 그러나 $\hat{q}$는 실제 접두어 성공 확률에 대한 노이즈가 있는 추정치일 뿐입니다. 동일한 접두어에서 반복 샘플링을 수행하면 무작위성으로 인해 서로 다른 $K$ 값이 도출될 수 있지만, 표준 훈련은 모델이 가능한 결과의 분포가 아닌 특정 노이즈가 있는 비율에 적합하도록 강요합니다.

결과적으로 하위 응용 프로그램은 신뢰할 수 있게 정확한 고보상 단계와 불확실하지만 고보상인 단계를 구분할 수 없어, 테스트 시간 확장 및 계산 할당에 비최적의 결과를 초래합니다.

2. 방법론: BETAPRM

저자들은 단계별 성공 확률과 해당 예측의 신뢰도를 모두 예측하는 분포 기반 프로세스 보상 모델인 BETAPRM을 제안합니다.

2.1 베타 - 이항 계수 모델

점 목표 $\hat{q} = K/N$으로 회귀하는 대신, BETAPRM 은 접두어 성공 확률 $q_t$를 베타 분포를 따르는 잠재 변수로 모델링합니다:
$$q_t \sim \text{Beta}(\alpha_t, \beta_t)$$
$N$번의 시도 중 관찰된 성공한 연속의 수 $K_t$는 $q_t$에 조건부로 이항 분포를 따르는 것으로 모델링됩니다:
$$K_t | q_t \sim \text{Binomial}(N, q_t)$$
잠재 변수 $q_t$를 주변화 (marginalizing out) 함으로써, 모델은 관찰된 계수 $K_t$에 대한 베타 - 이항 분포를 학습합니다. 이는 모델이 비율 $K_t/N$에 적합하도록 강요하는 대신 관찰된 계수 $K_t$에 대한 가능도를 할당할 수 있게 합니다.

2.2 매개변수화

베타 분포는 평균 $\mu_t$와 농도 (concentration) $\kappa_t$로 재매개변수화됩니다:

• 평균 ($\mu_t$): 기대 성공 확률을 나타내며, 표준 스칼라 PRM 점수로 작용합니다.
• 농도 ($\kappa_t$): 신념의 날카로움을 조절합니다. 높은 $\kappa_t$는 집중된 (신뢰할 수 있는) 신념을 나타내고, 낮은 $\kappa_t$는 더 넓은 범위의 몬테카를로 관찰을 설명할 수 있는 평평한 (불확실한) 신념을 나타냅니다.

모델 아키텍처는 표준 언어 모델 백본을 사용합니다. 평균 $\mu_t$는 "Yes" 보상 토큰의 소프트맥스 확률에서 유도됩니다. 농도 $\kappa_t$는 프로세스 마커에서의 은닉 상태에 적용된 별도의 경량 선형 헤드로 예측되어, 보상 채널과 신뢰도 채널이 구별되도록 보장합니다.

2.3 훈련 목적 함수

훈련 손실은 두 가지 구성 요소로 이루어집니다:

1. 베타 - 이항 가능도 ($L_{\text{Beta-Binomial}}$): 예측된 베타 매개변수가 주어졌을 때 관찰된 계수 $K_t$의 가능도를 최대화합니다. 이는 모델이 관찰된 몬테카를로 데이터 분포를 설명하도록 장려합니다.
2. 보조 정규화 ($L_{\text{reg}}$): 농도 매개변수가 보정되지 않도록 방지하기 위해, 예측된 평균 $\mu_t$가 관찰된 비율 $K_t/N$과 불일치할 때 높은 농도 ($\kappa_t$) 에 보조 손실 패널티를 부과합니다. 중요하게도, 이 항에서 $\mu_t$에 대해 그라디언트 정지 (stop-gradient) 연산을 적용하여 정규화자가 노이즈가 있는 비율로 보상 평균을 끌어당기지 않고 $\kappa_t$를 보정하도록 보장합니다.

$$L = L_{\text{Beta-Binomial}} + \lambda_{\text{reg}} L_{\text{reg}}$$

3. 적용: 적응형 계산 할당 (ACA)

학습된 신뢰도 신호를 활용하여 저자들은 PRM 기반 Best-of-N 추론을 위한 **적응형 계산 할당 (ACA)**을 도입합니다. 고정 예산 Best-of-N 이 난이도와 관계없이 일정한 수의 후보를 샘플링하는 것과 달리, ACA 는 동적으로 자원을 할당합니다:

• 위험 조정 점수 매기기: 후보들은 $S(y) = \frac{1}{T}\sum (\mu_t - \lambda \sigma_t)$로 정의된 위험 조정 지표를 사용하여 점수가 매겨집니다. 여기서 $\sigma_t$는 베타 분포에서 유도된 표준 편차입니다. 이는 불확실성이 높은 후보에 패널티를 부과합니다.
• 조기 종료: ACA 는 점진적인 배치로 후보를 샘플링합니다. 현재 최상위 후보의 하위 신뢰 구간 (LCB) 이 모든 경쟁자의 상위 신뢰 구간 (UCB) 을 초과하면, 승자가 신뢰할 수 있게 앞서 있음을 나타내므로 조기에 종료합니다.
• 불확실성 기반 수리: 종료 기준이 충족되지 않으면, ACA 는 완전히 새로운 후보를 처음부터 생성하는 대신, 가장 유망한 불확실한 접두어 (가장 높은 UCB 를 가진 비승자) 를 수리하는 데 다음 배치의 자원을 할당합니다.

4. 실험 결과

저자들은 네 가지 백본 모델 (InternVL2.5-8B, InternVL3-8B, InternVL3-14B, Qwen2.5-VL-7B) 과 네 가지 추론 벤치마크 (MathVision, OlympiadBench, MathVerse, MathVista) 를 통해 BETAPRM 을 평가했습니다.

• Best-of-N 선택: BETAPRM 은 모든 백본에서 표준 PRM 대비 최종 답변 정확도를 향상시켰습니다. 예를 들어, InternVL2.5-8B 에서 BETAPRM 은 표준 PRM 대비 평균 +3.37 점의 향상을 달성했습니다.
• 오류 감지: BETAPRM 은 표준 단계별 오류 감지 능력을 유지하여, VisualProcessBench 에서 표준 PRM 과 비교하여 동등하거나 약간 더 나은 마이크로 F1 점수를 달성했습니다.
• 정확도 - 토큰 트레이드오프: ACA 설정 (고정 최대 예산 $N=16$) 에서 BETAPRM 은 추론 효율성을 크게 향상시켰습니다.
  • InternVL2.5-8B 를 사용한 MathVerse 에서 토큰 사용량을 최대 **33.57%**까지 줄이면서도 고정 예산 Best-of-16 대비 최종 답변 정확도를 동시에 향상시켰습니다.
  • 제거 실험 (ablation studies) 은 BETAPRM 에서 학습된 불확실성 신호가 대리 불확실성이나 보상만 할당을 사용하는 표준 PRM 보다 우수함을 확인시켰습니다. 후자는 높은 점수에도 불구하고 추가 계산이 필요한 접두어를 식별하지 못했기 때문입니다.

5. 중요성 및 주장

이 논문은 BETAPRM 이 현재 PRM 인터페이스의 근본적인 불일치, 즉 신뢰할 수 있는 예측과 불확실한 예측을 구분하지 못하는 문제를 해결한다고 주장합니다. 접두어 성공 확률을 점 추정치가 아닌 분포로 모델링함으로써 BETAPRM 은 다음과 같은 이점을 제공합니다:

1. 신뢰할 수 있는 의사 결정 가능: 하위 알고리즘은 이제 확신 있는 보상을 불확실한 것과 구분할 수 있어, 신뢰할 수 없는 점수가 결정을 좌우하는 것을 방지합니다.
2. 테스트 시간 효율성 향상: 학습된 신뢰도 신호는 적응형 계산 할당을 가능하게 하여, 정확도를 희생하지 않고 오히려 향상시키는 경우가 많으면서도 추론 비용 (토큰) 을 줄입니다.
3. 감독 데이터의 더 나은 활용: 베타 - 이항 목적 함수는 몬테카를로 감독의 유한 표본 특성을 효과적으로 활용하여, 계수 $K$를 결정론적 레이블이 아닌 확률적 관찰로 취급합니다.

저자들은 스칼라 프로세스 보상을 신뢰도 인식 신호로 변환하는 것이 테스트 시간 계산 확장 및 추론 시스템의 견고성 향상을 위한 중요한 단계라고 결론지었습니다.