기술 요약: 정확성에서 유용성으로: LLM 추론을 위한 이득 기반 접두사 평가 (Gain-Based Prefix Evaluation)

1. 문제 정의

대규모 언어 모델(LLM)은 순차적 추론을 통해 문제를 해결하며, 이 과정에서 중간 단계의 접두사(prefix)는 향후 전개될 궤적을 결정짓는 중요한 역할을 합니다. 기존의 프로세스 보상 모델(PRM)은 일반적으로 이러한 접두사를 국소적 단계의 정확성(local step correctness), 즉 특정 단계가 유효한지 또는 올바른 경로를 따를 가능성이 높은지를 판단하는 방식으로 평가합니다. 그러나 저자들은 국소적 정확성이 궁극적인 목표, 즉 해당 접두사가 성공적인 완결 가능성을 높이는지를 결정하는 데 있어 간접적이며 종종 불충식한 대리 지표라고 주장합니다.

국소적으로는 올바른 단계일지라도 남은 궤적을 취약하게 만들 수 있는 반면, 불완전하거나 비표준적인 접두사가 하류(downstream)의 해결 가능성을 개선하는 핵심 아이디어를 드러낼 수도 있습니다. 또한, 현재의 롤아웃 기반 방식들은 특정 정책에 종속된 절대적인 상태 가치를 추정하는 경우가 많아, 문제 및 솔버(solver) 집단과 대비하여 접두사 자체가 만들어내는 **한계적 개선(marginal improvement)**을 명시적으로 측정하지 못합니다. 핵심 과제는 단순히 정확성을 측정하는 것이 아니라, 유용성(utility)—즉, 접두사가 성공 확률을 얼마나 개선하는가—을 포착할 수 있는 접두사 평가 메트릭을 정립하는 것입니다.

2. 방법론

2.1 핵심 개념: 접두사 이득 (Prefix Gain)

본 논문은 접두사 이득을 문제 $x$에 대해 접두사 $p$가 유도하는 하류 문제 해결 확률의 한계적 개선으로 정의합니다. 형식적으로, 정책 $\pi_s$를 가진 학생 모델 $s$에 대하여 이득은 다음과 같습니다:
$$g_s(x, p) = q_s(x, p) - q_s(x, \emptyset)$$
여기서 $q_s(x, p)$는 접두사 $p$를 관찰한 후 문제를 해결할 확률이고, $q_s(x, \emptyset)$는 처음부터 문제를 해결할 확률입니다. 양(+)의 이득은 접두사가 성공을 돕는다는 것을 나타내며, 음(-)의 이득은 접두사가 성공을 방해함을 나타냅니다.

2.2 경량 학생 모델을 통한 추정

확장 가능한 방식으로 이득을 추정하기 위해, 저자들은 다양한 능력 수준을 가진 일련의 경량 학생 모델들($S = \{s_1, \dots, s_M\}$)을 사용합니다.

1. 샘플링: 추론 궤적으로부터 다양한 접두사를 샘플링합니다.
2. 롤아웃: 각 학생 모델은 접두사가 있는 경우와 없는 경우 각각 문제를 해결하여 경험적 해결율을 생성합니다.
3. 이득 프로파일: 이를 통해 학생 집단 전체에 걸친 이득의 분포를 얻습니다.
4. 스칼라화(Scalarization): 저자들은 이 이득 프로파일을 다음 두 가지로 분해합니다:
   • 고유 유용성 (Intrinsic Utility): 솔버들 간에 공유되는 전이 가능한 구성 요소 (일반적인 유용성을 반영).
   • 정책 의존적 유용성 (Policy-Dependent Utility): 능력과 스타일에 따른 솔버별 변동 사항.
     주요 모델을 위해, 저자들은 단순한 스칼라화 방식을 채택합니다: 각 학생의 이득을 정규화하고 이를 평균하여 고유 유용성 $G_{intr}(x, p)$를 추정합니다.

2.3 접두사 유용성 모델 (PUM)

저자들은 다음 파이프라인을 사용하여 LLM 기반 스칼라 평가자인 **접두사 유용성 모델(PUM)**을 훈련합니다:

• 데이터 구축 (PUM-Math): 2만 개의 수학적 추론 궤적으로부터 구축되었습니다. 단계별 수동 주석 대신, **28만 개의 결과 기반 쌍별 유용성 선호도(outcome-grounded pairwise utility preferences)**를 생성합니다.
  • 수직 쌍 (Vertical Pairs): 동일한 궤적 내의 서로 다른 절단 지점에서의 접두사들을 비교합니다.
  • 수평 쌍 (Horizontal Pairs): 동일한 문제에 대한 서로 다른 궤적 중 유사한 길이의 접두사들을 비교합니다.
  • 레이블링: 추정된 고유 유용성의 차이에 따라 쌍을 레이블링합니다. 적응형 마진(adaptive margin)을 사용하여 노이즈가 있거나 상충하는 선호도를 필터링합니다.
• 훈련 목표: PUM은 **Bradley-Terry 쌍별 순위 손실(pairwise ranking loss)**을 사용하여 훈련됩니다. 모델은 문제 $x$와 접두사 $p$를 입력으로 받아 스칼라 유용성 점수 $U_\theta(x, p)$를 출력합니다. 모델은 더 높은 추정 이득을 가진 접두사를 선호하도록 최적화됩니다.

3. 주요 기여

1. 접두사 평가를 이득 추정으로 공식화: 본 논문은 국소적 정확성에서 카운터팩추얼(counterfactual) 이득 추정으로 패러다임을 전환하여, 기준점 대비 접두사가 하류 문제 해결 확률을 얼마나 개선하는지를 측정합니다.
2. PUM-Math 데이터셋: 2만 개의 궤적과 28만 개의 쌍별 선호도로부터 도출된 대규모 이득 기반 접두사 감독 데이터셋을 구축하였으며, 이는 수동적인 단계별 주석을 필요로 하지 않습니다.
3. 접두사 유용성 모델 (PUM): 결과 기반의 접두사 유용성 신호를 제공하는 훈련된 평가 모델입니다.
4. 실증적 검증: 세 가지 뚜렷한 추론 패러다임 전반에서 성능 향상을 입증했습니다:
   • Best-of-N 선택: 후보군 중에서 최적의 궤적을 선택.
   • 빔 서치 (Beam Search): 유망하지 않은 부분적 접두사를 제거함으로써 탐색을 유도.
   • 강화 학습 (RL): 정책 최적화를 위한 조밀한 크레딧 할당(credit assignment) 신호 제공.

4. 실험 결과

4.1 Best-of-N 선택

MATH500, GAOKAO2023, AIME2025 벤치마크 전반에서 PUM은 특히 후보 풀이 클 때($N \ge 32$) 최고의 또는 최상위권의 선택 정확도를 달了했습니다. 국소적으로는 그럴듯하지만 틀린 추론에 과하게 높은 점수를 주는 PRM 베이스라인과 달리, PUM의 결과 기반 유용성은 더 강력한 궤적 수준의 검증을 제공했습니다. 또한, 정답에는 일관되게 높은 순위를, 오답에는 낮은 순위를 부여함으로써 우수한 순위 강건성(ranking robustness)을 보여주었습니다.

4.2 빔 서치 (Beam Search)

MATH500 및 GAOKAO2023에 대한 빔 서치 실험에서 PUM은 PRM, PQM, CRM 베이스라인을 일관되하게 능가했습니다. 성능 격차는 탐색 예산이 증가함에 따라(예: $N=100$) 더 커졌으며, 이때 PUM은 Qwen의 경우 78.00%, Llama의 경우 73.60%의 정확도에 도달했습니다. 이는 PUM이 추가 확장을 거친 후에도 유용하게 유지될 수 있는 부분적 추론 접두사를 보존하는 데 더 효과적임을 시사합니다. 반면 다른 방법들은 최종 정확성과의 불일치로 인해 성능이 저하되는 경향을 보였습니다.

4.3 강화 학습 (Reinforcement Learning)

• 결과 고정 설정 (Outcome-Anchored Setting): 규칙 기반 GRPO와 결합했을 때, PUM은 가중 평균 정확도를 55.21%(기존 GRPO)에서 58.09%로 향상시켰습니다.
• 프로세스 전용 설정 (Process-Only Setting): 최종 답변 보상이 없는 설정에서, PRM 및 PQM 훈련은 초기에 개선되는 듯했으나 이후 "보상 해킹(reward hacking)"(길고 국소적으로는 맞지만 궁극적으로는 틀린 응답을 생성하는 현상)으로 인해 붕괴되었습니다. 반면 PUM은 안정적으로 유지되며 57.21%의 평균 정확도를 달성했습니다.
• 하드 데이터 학습 (Hard Data Learning): 기본 모델이 16번의 롤아웃 중 정답을 생성하지 못한 문제(희소한 규칙 기반 보상 상황)에서, PUM 전용 훈련은 기존 GRPO보다 훨씬 빠른 개선 속도를 보여주며 높은 데이터 효율성을 입증했습니다.

4.4 추가 분석

• 약한 모델에서 강한 모델로의 일반화 (Weak-to-Strong Generalization): PUM은 훈련에 사용되지 않은 더 강력한 정책 모델(Qwen2.5-32B)에도 효과적으로 일반화되었으며, 이는 PUM이 단순히 생성 패턴에 적합(fitting)되는 것이 아니라 고유한 유용성을 포착하고 있음을 나타냅니다.
• 확장성 (Scalability): 백본 모델이 커지고 훈련 데이터가 증가함에 따라 성능이 향적으로 향상되었으며, 이는 감독 신호가 포화되지 않았음을 시사합니다.
• 비용 효율성: PUM-Math는 단계별 감독을 위해 7B 모델을 사용하는 Math-Shepherd 데이터셋보다 약 18.5배 적은 레이블링 연산량을 필요로 하면서도 수동 주석을 완전히 피했습니다.

5. 의의 및 주장

본 논문은 **결과 기반 이득(outcome-grounded gain)**이 국소적 정확성보다 접두사 평가를 위한 더 효과적이고 효율적인 감독 목표를 제공한다고 주장합니다. "이 단계가 유효한가?"에서 "이 단계가 문제를 해결할 확률을 높이는가?"로 초점을 전환함으로써, PUM은 다음과 같은 분야에서 강력한 신호를 제공합니다:

• 검증 (Verification): 대규모 후보 풀에서 정답 궤적과 그럴듯하지만 틀린 궤적을 구별.
• 탐색 (Search): 유망한 부분 상태를 식별하여 빔 서치에서의 탐색을 가이드.
• 크레딧 할당 (Credit Assignment): 특히 최종 답변이 희소한 시나리오에서 RL을 위한 조밀하고 신뢰할 수 있는 보상 제공.

저자들은 이 접근 방식이 접두사의 유용성을 문제의 난이도 및 솔버의 사전 능력과 분리하여, 프로세스 감독 데이터셋을 더욱 확장 가능하고 데이터 효율적으로 구축할 수 있게 한다고 강조합니다.

6. 한계점

저자들은 몇 가지 한계를 인정합니다:

• 도메인 범위: 실험이 현재 신뢰할 수 있는 최종 답변 검증이 가능한 수학적 추론에 국한되어 있습니다. 모호하거나 지연된 결과가 발생하는 도메인으로 확장하려면 학습된 검증기가 필요합니다.
• 연산량: 수동 주석보다는 저렴하지만, 이득 추정은 여전히 학생 롤아웃으로부터 상당한 연산을 필요로 합니다.
• 스칼라화: 현재 방식은 학생들의 이득을 단순 평균하는 방식을 사용합니다. 이는 접두사 유용성의 분포적 구조(예: 정책 의전적 변동)를 완전히 활용하지 못하며, 이는 향후 연구 과제로 남겨두었습니다.