기술 요약: 학습 가능한 신용 할당(LCA)을 통한 결과 감독 프로세스 보상 모델링

1. 문제 정의

프로세스 보상 모델(PRM)은 미세한 단계별 피드백을 제공함으로써 대규모 언어 모델(LLM)의 추론 능력을 향상시킵니다. 그러나 PRM을 학습시키는 것은 일반적으로 모든 추론 단계에 대한 값비싼 인간 주석(annotation)을 필요로 합니다. 이를 해결하기 위해, **결과 감독 PRM(Outcome-Supervised PRMs)**은 단계별 라벨 없이 최종 정답의 정오 여부만을 통해 학습을 시도합니다.

이 설정의 핵심 과제는 신용 할당(credit assignment), 즉 최종 결과(정답 또는 오답)를 특정 추론 단계에 귀속시키는 문제입니다. 기존 방식들은 다음과 같은 근본적인 결함을 가지고 있습니다:

• 균등 할당(Uniform Assignment): 모든 단계가 최종 결과에 동일하게 기여한다고 가정합니다(예: 가산적 집계 사용). 이는 올바른 선행 단계와 오류가 발생한 특정 단계를 구분하지 못합니다.
• 인과적 할당(Causal Assignment): 몬테카를로 롤아웃(예: 특정 단계로부터 정답에 도달할 확률 추정)을 사용하여 최종 답변으로부터 역방향으로 영향을 전파합니다. 이는 단계의 논리적 정확성과 하위 완결(downstream completion)의 기대 성공률을 혼동하게 만들어, 실제 첫 번째 오류를 국지화하는 것을 어렵게 만듭니다.

두 방법 모두 개별 단계의 실제 정확도에 신용을 고정(anchor)하지 못하며, 이로 인해 모델이 프로세스 오류를 정확하게 식별하는 능력을 저해합니다.

2. 방법론: LCA 프레임워크

저자들은 **학습 가능한 신용 할당(LCA)**을 제안하며, 이는 단계별 감독 없이 신용 할당과 보상 모델링을 공동으로 학습하는 프레임워크입니다.

2.1 이론적 정식화: 최약점 연결(Weakest Link) 할당

LCA는 최약점 연결(Weakest Link) 원칙에 기반합니다. 추론 체인은 가장 약한 연결고리만큼 강합니다. 궤적(trajectory)은 모든 단계가 올바를 때만 정답이며, 어느 하나라도 틀리면 오답입니다.

• 이 원칙은 결과 감독 PRM 문제를 다중 인스턴스 학습(Multiple Instance Learning, MIL) 문제로 변환합니다.
• Bag (가방): 전체 추론 궤적.
• Instances (인스턴스): 궤적 내의 추론 접두사(단계들).
• Label (라벨): 궤적 수준의 정오 여부 (궤적에 오류가 포함되면 양성, 그렇지 않으면 음성).
• 가정: 표준 다중 인스턴스 가정(Standard Multi-Instance Assumption)이 성립합니다. 즉, 가방은 적어도 하나의 양성 인스턴스(오류가 있는 단계)를 포함할 때만 양성입니다.

2.2 의존성의 문제

표준 MIL 방법은 종종 인스턴스가 독립적이거나 약하게 의존한다고 가정합니다. 그러나 추론 궤적은 자기 회귀적(autoregressive), 중첩적(nested), 그리고 단조적(monotonic) 특성을 보입니다. 궤적 내에서 마지막 접두사만이 가방 라벨을 결정하므로, 표준 풀링 기술(Max Pooling 또는 Attention Pooling 등)은 퇴화하게 됩니다. 모델은 중간 단계들을 무시하는 경ang향이 있으며, 결과적으로 최종 상태만을 예측하는 결과 보상 모델(ORM)이 되어 버립니다.

2.3 Softmax-Weighted-Sum (SWS) 풀링

신용 할당과 보상 모델링 사이의 상호 의존성을 해결하기 위해, LCA는 Softmax-Weighted-Sum (SWS) 풀링을 도입합니다.

• 메커니즘: 인스턴스 수준의 오류 확률 $p = (p_1, \dots, p_T)$가 주어졌을 때, 가방 수준의 예측값은 가중 합계입니다:
  $$\hat{p} = \sum_{t=1}^T w_t p_t, \quad \text{여기서 } w_t = \frac{e^{p_t/\alpha}}{\sum_{j=1}^T e^{p_j/\alpha}}$$
• 온도 파라미터($\alpha$)의 역할: $\alpha$는 가중치 분포의 엔트로피를 제어합니다.
  • $\alpha \to 0$일 때, SWS는 Max Pooling(엄격한 최약점 연결)에 가까워집니다.
  • $\alpha \to \infty$일 때, SWS는 Average Pooling(균등 할당)에 가까워집니다.
• 장점:
  1. 무시할 수 없는 신용(Non-negligible Credit): Max Pooling과 달리, SWS는 모든 인스턴스가 엄격하게 양수의 가중치를 받도록 보장하여 모델이 중간 단계를 무시하는 것을 방지합니다.
  2. 구조적 사전 지식(Structural Prior): 소프트맥스 가중치는 높은 예측 오류 확률(양성 인스턴스)을 가진 인스턴스가 가방 예측을 지배한다는 표준 다중 인스턴스 가정을 자연스럽게 인코딩합니다.
  3. 베이즈 일관성(Bayes Consistency): 저자들은 완만한 가정 하에서, SWS 풀링을 사용하여 기대 손실을 최소화하는 것이 인스턴스 수준의 베이즈 최적 분류기가 된다는 것을 증명했습니다.

2.4 학습 목적 함수

PRM은 궤적 수준의 교차 엔트로피 손실을 사용하여 엔드투엔드(end-to-end)로 학습됩니다. 모델은 각 접두사의 오류 확률을 출력하며, 이는 SWS 풀링을 통해 궤적 수준의 그라운드 트루스(최종 답변의 정오 여부)와 일치하도록 집계됩니다. 학습을 안정화하기 위해 소프트맥스 가중치에 stop-gradient 연산이 적용됩니다.

3. 주요 기여

1. 통찰력 있는 분석: 본 논문은 기존의 결과 감독 PRM(Uniform 및 Causal)이 단계의 정확도에 신용을 고정하는 데 실패함을 식별했습니다. 저자들은 PRM 평가에서 사용되는 "첫 번째 오류(first-error)" 기준과 일치하는 원칙적인 대안으로서 최약점 연결 할당을 제안합니다.
2. 기술적 혁신 (LCA):
   • 결과 감독 PRM을 최약점 연결 원칙 하의 MIL 문제로 정식화했습니다.
   • 추론 상태의 강한 의존성과 중복성에 맞춤화된 MIL 기술인 SWS 풀형을 도입하여, 매끄럽게 처리된 최약점 연결 할당을 구조적 사전 지식으로 내장했습니다.
   • 인스턴스 수준에서의 학습 목적 함수에 대한 베이즈 일관성에 대한 이론적 증명을 제공했습니다.
3. 실험적 성능: LCA가 다양한 태스크(오류 식별, Best-of-N 스케일링)와 백본 모델(Llama, Qwen)에 걸쳐 기존의 최첨단(SOTA) 결과 감독 PRM들을 일관되게 능가함을 입증했습니다.

4. 실험 결과

저자들은 Math-Shepherd 데이터셋을 학습에, ProcessBench를 평가에 사용하여 수학적 추론 태스크에 대해 LCA를 평가했습니다.

• 오류 식별 (RQ1): ProcessBench에서 LCA는 새로운 SOTA를 달성했습니다.
  • 7B 백본을 사용했을 때, LCA는 F1 점수에서 두 번째로 좋은 방법보다 5.5% 앞섰습니다.
  • 3B 백본을 사용했을 때, 경쟁하는 모든 3B 방법들을 상당한 차이로 능가했습니다.
  • 특히, LCA는 MathShepherd, SCAN, 또는 OmegaPRM과 같은 베이스라인에서 요구되는 무거운 몬테카를로 샘플링 비용 없이 이러한 결과를 달성했습니다.
• 테스트 타임 스케일링 (RQ2): MATH-500의 Best-of-N 샘플링 실험에서, LCA는 다양한 생성 모델(Mistral, Llama, Qwen)과 샘플 크기($N=8, 32, 64$)에 대해 일관되게 가장 높은 평균 점수를 기록했습니다.
• 절제 연구 (Ablation Studies):
  • 온도 ($\alpha$): 성능은 $\alpha$에 따라 달라집니다. 낮은 $\alpha$(Max Pooling에 가까움)는 단순한 데이터셋(GSM8K)에 유리한 반면, 높은 $\alpha$는 많은 프로세스 오류가 있는 복잡한 데이터셋(OlympiadBench)에 도움이 되어, 이론적 일관성과 경험적 효과 사이의 트레이드오프를 보여줍니다.
  • 풀링 기술: $\alpha=0.2$인 SWS 풀링은 다른 MIL 풀링 기술(Instance, Embedding, Attention, Conjunctive)을 크게 능가했으며, 인간이 주석을 단 단계별 라벨로 학습된 완전 지도 PRM의 성능에 근접했습니다.

5. 의의 및 주장

본 논문은 LCA가 복잡한 추론 작업에서 미세한 프로세스 감독을 위한 원칙적인 대안을 제공한다고 주장합니다. MIL 프레임워크와 SWS 풀링을 통해 신용 할당과 보상 모델링 사이의 "닭과 달걀" 딜레마를 해결함으로써, LCA는 단계에 신용을 정확하게 귀속시키는 PRM을 생성합니다.

저자들은 다음과 같은 점을 강조합니다:

• 학습-테스트 간극 해소: 학습 목적(최약점 연결)을 평가 지표(첫 번째 오류 탐지)와 일치시킴으로써 이를 실현합니다.
• 계산 오버헤드 감소: 다른 결과 감독 방식에서 요구되는 값비싼 몬테카를로 롤아웃을 피합니다.
• 일반화 능력 확보: 학습된 PRM은 서로 다른 백본 모델과 추론 난이도에 대해 강력한 일반화 성능을 보여줍니다.

논문은 LCA가 다른 결과 감독 방법들보다는 뒤처질 수 있음을 인정하며(인간이 주석을 단 단계별 라벨로 학습된 PRM과 비교 시), 노이즈가 있는 라벨(잘못된 추론을 통해 정답에 도달하는 경우)을 통한 학습과 PRM을 강화 학습(RL)에 통합하는 것이 중요한 향후 연구 방향임을 밝히며 겸허히 마무리합니다.