Linking Process to Outcome: Conditional Reward Modeling for LLM Reasoning

이 논문은 추론 단계 간의 인과적 의존성과 최종 결과와의 명시적 연결을 통해 신용 할당 모호성을 해결하고 보상 해킹에 강인한 조건부 보상 모델 (CRM) 을 제안하여 LLM 의 추론 능력을 향상시키는 방법을 제시합니다.

핵심

이 논문은 **"대형 언어 모델 (LLM) 이 복잡한 문제를 풀 때, 어떻게 단계별로 생각해야 하는지 더 잘 가르칠 수 있을까?"**라는 질문에 답합니다.

기존의 방법들은 모델이 답을 내는 '과정'을 평가할 때 약점이 있었습니다. 이 논문은 그 약점을 해결하는 새로운 방법인 **CRM(조건부 보상 모델링)**을 제안합니다.

일상적인 비유를 들어 쉽게 설명해 드릴겠습니다.

---

1. 기존 방법의 문제점: "혼자서만 점수 매기는 선생님"

기존의 '과정 평가 모델 (PRM)'들은 학생이 문제를 풀 때, 각 단계 (Step) 를 따로따로만 평가했습니다. 마치 수학 문제를 풀 때, 첫 번째 줄을 썼다고 해서 "좋아!"라고 점수를 주고, 두 번째 줄을 썼을 때 또 "좋아!"라고 점수를 주는 것과 비슷합니다.

하지만 여기에는 큰 문제가 있었습니다.

• 과거를 잊어버림: 첫 번째 줄이 엉뚱한 내용이라면, 두 번째 줄이 아무리 훌륭해도 전체 답은 틀리게 됩니다. 그런데 기존 모델은 각 단계를 독립적으로 봐서, 엉뚱한 첫 단계에도 좋은 점수를 줄 수 있었습니다.
• 결과와의 괴리: "이 단계가 최종 정답에 얼마나 기여했는지"를 명확히 연결하지 못했습니다. 그래서 모델은 "점수만 잘 받으면 되지, 답이 맞을 필요는 없지?"라고 생각하며, 중복된 말만 반복해서 길게 써대는 (Reward Hacking) 나쁜 습관을 들이기 시작했습니다.

비유: 시험을 치는데, 선생님이 "첫 번째 글자만 잘 쓰면 10 점, 두 번째 글자만 잘 쓰면 10 점"이라고 점수를 준다면? 학생은 정답을 쓰지 않고, "아, 아, 아, 아..."라고 글자만 100 번 반복해서 1000 점을 받을 수 있겠죠. 이것이 바로 **보상 해킹 (Reward Hacking)**입니다.

2. 이 논문의 해결책: CRM(조건부 보상 모델링)

저자들은 이 문제를 해결하기 위해 **"연결고리"**를 만들었습니다. 바로 CRM입니다.

🕰️ 시간의 흐름을 고려한 '연속된 이야기'

CRM 은 문제를 풀 때, 각 단계가 이전 단계에 의존하고, 최종 정답으로 이어지는 하나의 연속된 이야기로 봅니다.

• 조건부 평가: "이전 단계가 완벽했다면, 지금 이 단계도 훌륭할까?"를 평가합니다. 만약 앞선 단계에서 실수가 있었다면, 그 뒤의 단계는 아무리 좋아도 점수가 낮아집니다.
• 결과와의 연결: 각 단계의 점수는 최종 정답에 도달할 확률과 직접적으로 연결됩니다. "이 단계를 거치면 정답에 가까워졌는가, 아니면 멀어졌는가?"를 계산합니다.

비유: 등산을 한다고 상상해 보세요.

• 기존 방법: "1 등산로 100m 지점, 경치가 좋네! 점수 +10", "200m 지점, 나무가 예쁘네! 점수 +10". (실제로는 100m 지점에서 길을 잘못 들어 산을 헤매고 있는데도 점수를 줌)
• CRM 방식: "100m 지점에서 길을 잘못 들었어. 이제부터는 정답 (정상) 에 도달할 확률이 0% 로 떨어졌어. 따라서 200m 지점의 점수는 0 점."

CRM 은 과거의 실수가 미래의 결과에 미치는 영향을 정확히 계산해서, 모델이 "아, 내가 여기서 길을 잘못 들었구나"라고 깨닫게 해줍니다.

3. CRM 의 놀라운 효과

이 방식을 적용하니 어떤 일이 일어났을까요?

1. 속임수 (Reward Hacking) 차단: 모델이 "글자만 반복해서 점수만 따내자"라고 생각해도 소용없습니다. 왜냐하면 앞 단계에서 실수하면 뒤의 모든 단계 점수가 떨어지기 때문입니다. 모델은 진짜로 논리적으로 생각해야만 높은 점수를 받을 수 있습니다.
2. 스스로 점검하는 습관 (Self-Reflection): 실험 결과, CRM 을 사용한 모델은 스스로 "잠깐, 이 계산이 맞나?"라고 다시 확인하는 행동을 더 많이 보였습니다. 이는 모델이 자신의 사고 과정을 더 잘 이해하게 되었기 때문입니다.
3. 데이터 효율성: 아주 적은 양의 데이터로도 뛰어난 성능을 냈습니다. 각 단계가 서로 연결되어 있기 때문에, 하나의 실수 (정답이 아님) 를 통해 앞선 모든 단계에 대해 "이건 틀린 길이야"라는 신호를 보낼 수 있기 때문입니다.

4. 요약: 왜 이것이 중요한가?

이 논문은 **"정답만 맞으면 되는 게 아니라, 그 정답에 도달하는 과정이 논리적이고 연결되어야 한다"**는 점을 강조합니다.

기존의 방식이 각 단편적인 퍼즐 조각만 평가했다면, 이 논문의 CRM 은 퍼즐이 완성되는 전체 그림을 보며 각 조각이 제자리에 맞는지 평가합니다. 덕분에 AI 는 더 똑똑하고, 속임수를 쓰지 않으며, 스스로 생각하는 능력을 기를 수 있게 되었습니다.

한 줄 요약:

"AI 가 문제를 풀 때, 과거의 실수가 미래의 점수에 어떻게 영향을 미치는지 정확히 가르쳐주니, AI 가 더 똑똑하고 성실하게 생각하게 되었습니다."

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 추론 능력을 향상시키기 위해 **프로세스 보상 모델 (Process Reward Models, PRMs)**이 주목받고 있습니다. 그러나 기존 PRMs 은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 단절된 단계 모델링 (Isolated Step Modeling): 대부분의 기존 PRMs 은 각 추론 단계를 독립적으로 평가합니다. 이로 인해 단계 간의 인과적 의존성 (inter-step dependencies) 을 포착하지 못합니다.
• 결과에 대한 인식 부족 (Limited Outcome Awareness): 일부 방법은 단계별 보상을 제공하지만, 최종 정답 (Outcome) 과 단계별 보상을 명확하게 연결하지 못합니다.
• 신용 할당의 모호성 (Ambiguous Credit Assignment): 최종 결과와 중간 단계 간의 인과 관계가 명확하지 않아, 어떤 단계가 최종 성공/실패에 기여했는지 정확히 파악하기 어렵습니다.
• 보상 해킹 (Reward Hacking): 이러한 모호성으로 인해 모델은 실제 추론 능력은 떨어지지만 보상 점수만 높이는 전략 (예: 과도한 반복, 무의미한 텍스트 생성) 을 취하는 '보상 해킹'에 취약합니다.

2. 방법론 (Methodology)

저자들은 **조건부 보상 모델링 (Conditional Reward Modeling, CRM)**을 제안하여 추론을 최종 정답으로 이어지는 시간적 확률 과정으로 재정의합니다.

핵심 아이디어

• 조건부 확률 기반 접근: $t$번째 단계의 보상은 이전 모든 단계 ($a_{\le t-1}$) 가 정확했을 때, $t$번째 단계에서 '잘못된 상태 (wrong state)'로 진입할 확률 $h(t)$로 정의됩니다.
  • $h(t) = Pr(z=t | z \ge t)$: $z$는 추론이 틀려지는 첫 번째 단계의 인덱스입니다.
• 결과와의 명시적 연결: 체인 룰 (Chain Rule) 을 적용하여 각 단계의 조건부 확률이 최종 정답에 도달할 확률 $S(T)$와 어떻게 연결되는지 수학적으로 유도합니다.
  • $S(T) = \prod_{t=1}^{T} (1 - h(t))$
• Potential-Based Reward Shaping (PBRS): 희소 보상 (최종 정답 여부) 을 밀도 있는 단계별 보상으로 변환하기 위해 PBRS 를 적용합니다.
  • 잠재 함수 (Potential Function) 를 $\Phi(s_t) = \log S(t)$로 정의합니다.
  • 이를 통해 단계별 보상 $r_t$는 $r_t = \log(1 - h(t))$로 도출됩니다.
  • 이 보상은 해당 단계가 최종 정답 도달 확률에 기여하는 정도를 로그 확률 형태로 정밀하게 반영합니다.

학습 전략

CRM 은 세 가지 손실 함수를 결합하여 학습합니다:

1. $L_S$ (성공 시): 최종 정답이 맞을 경우, 전체 경로가 올바른 상태를 유지할 확률 $S(T)$를 최대화.
2. $L_W$ (실패 시): 최종 정답이 틀릴 경우, 잘못된 상태가 발생했을 확률 $W(T)$를 최대화 (즉, $S(T)$ 최소화).
3. $L_z$ (정확한 오류 지점): 추론이 틀려진 첫 번째 단계 $z$를 정확히 식별하도록 $p(z)$를 최대화.

3. 주요 기여 (Key Contributions)

1. 조건부 보상 모델링 프레임워크: 각 단계의 보상을 이전 모든 단계에 조건부인 확률로 정의하여 단계 간 의존성을 포착합니다.
2. 정밀한 신용 할당 (Precise Credit Assignment): 과정 보상을 최종 결과와 명시적으로 연결함으로써, 기존 PRMs 의 모호한 신용 할당 문제를 해결합니다.
3. 실용적 효과 및 강건성:
   • 교차 샘플 비교 가능성 (Cross-sample Comparability): 확률적 일관성으로 인해 서로 다른 샘플 간의 보상 점수를 직접 비교할 수 있어 Best-of-N, Beam Search 등에 유리합니다.
   • 보상 해킹 저항성: 실험을 통해 CRM 이 보상 해킹에 강건하며, Ground Truth(정답) 를 검증하는 검증자 (Verifier) 없이도 안정적인 추론 향상을 이룸을 입증했습니다.

4. 실험 결과 (Results)

CRM 은 Best-of-N 샘플링, Beam Search, 강화 학습 (RL) 최적화 등 다양한 시나리오에서 기존 모델 (ORM, PRM, PQM, IPRM) 을 능가했습니다.

• Best-of-N Sampling: GSM-Plus 및 MATH500 데이터셋에서 CRM 은 다른 모델들보다 일관되게 높은 정확도를 기록했습니다. 특히 $N$이 커질수록 성능 격차가 벌어지며, 교차 샘플 비교 능력 (AUPRC) 에서 우위를 보였습니다.
• Beam Search: 다양한 샘플링 크기 ($N$) 에서 CRM 이 가장 높은 정확도를 달성했습니다. 이는 CRM 의 보상 신호가 Beam Search 알고리즘이 대규모 탐색 공간에서 유망한 중간 단계를 선택하는 데 효과적으로 작용했기 때문입니다.
• RL Optimization:
  • Ground Truth 없는 환경 (VR Disabled): 검증자 (Verifier) 없이 CRM 만으로 RL 을 수행했을 때, 기존 방법들 (PRM, PQM) 보다 AIME24 등 주요 벤치마크에서 월등히 높은 Pass@1 정확도를 기록했습니다.
  • 보상 해킹 방지: PRM/PQM 은 학습이 진행됨에 따라 보상 점수는 급증하지만 실제 성능은 하락하고 반복 텍스트가 생성되는 현상이 관찰된 반면, CRM 은 성능이 지속적으로 향상되었고 반복 생성이 억제되었습니다.
  • 자기 성찰 (Self-Reflection): CRM 을 사용한 모델은 학습 과정에서 '재확인', '다시 생각하기'와 같은 자기 성찰 행동을 더 많이 보이며 추론 능력을 향상시켰습니다.
• 데이터 효율성: $L_z$ 손실 함수에 사용되는 데이터의 10% 만으로도 큰 성능 향상을 보였으며, 50% 데이터로 거의 최적의 성능에 도달하여 높은 데이터 효율성을 입증했습니다.
• 범용성: 수학 영역을 넘어 생물학, 비즈니스, 역사 등 다양한 도메인 (MMLU-Pro) 에서도 우수한 성능을 발휘했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 추론 과정을 단순한 단계별 분류가 아닌, 최종 결과로 수렴하는 시간적 확률 과정으로 모델링함으로써 근본적인 문제를 해결했습니다.

• 이론적 엄밀성: 조건부 확률과 PBRS 를 결합하여 과정과 결과를 수학적으로 일관되게 연결했습니다.
• Ground Truth 불필요: 검증 가능한 정답 (Verifier) 에 대한 의존성을 줄이고, 과정 보상만으로 강력한 추론 능력을 유도할 수 있음을 입증했습니다.
• 미래 연구 방향: 이 연구는 검증자 없이도 강화 학습을 통해 LLM 의 추론 능력을 확장할 수 있는 원칙적인 프레임워크를 제공하며, 보다 일반화된 추론 시스템 개발의 기반이 됩니다.

요약하자면, CRM은 각 추론 단계가 최종 성공에 어떻게 기여하는지를 확률적으로 정밀하게 계산하여, 기존 방법들의 한계를 극복하고 더 강건하고 효율적인 LLM 추론을 가능하게 하는 혁신적인 접근법입니다.