Reinforcement Learning with Conditional Expectation Reward

이 논문은 수학적 영역을 넘어 자유형 답변이 필요한 일반 추론 영역에서도 외부 검증기 없이 대규모 언어 모델을 활용하여 정답 생성에 대한 조건부 기댓값을 보상으로 제공하는 '조건부 기댓값 보상 (CER)'을 제안함으로써 강화 학습의 적용 범위를 확장하고 있음을 보여줍니다.

핵심

🧠 "정답을 맞출 때, 100 점만 주는 게 아니라 '어떤 점수'를 줄까?"

- 인공지능의 학습을 돕는 새로운 방법 'CER'에 대한 쉬운 설명 -

이 논문은 인공지능 (LLM) 이 문제를 풀 때, "정답이 맞았는지 틀렸는지"를 어떻게 판단하느냐에 대한 혁신적인 아이디어를 제시합니다.

기존의 방식과 새로운 방식 (CER) 을 일상적인 비유로 설명해 드릴게요.

---

1. 기존 방식의 문제점: "오직 정답만 인정하는 엄격한 선생님"

지금까지 인공지능을 수학이나 논리 문제에서 가르칠 때는 **'규칙 기반의 심판 (Verifier)'**을 썼습니다.

• 상황: 학생이 문제를 풀어서 답을 냈습니다.
• 심판의 역할: "정답이 '2'인데, 네 답이 '2'와 완전히 똑같으면 100 점, 조금이라도 다르면 0 점!"이라고 말합니다.
• 문제점:
  • 수학 문제: 정답이 '2'라면 '2'만 맞고, '2.0'이나 '두'는 틀린 것으로 처리됩니다. (규칙이 명확해서 괜찮음)
  • 일반적인 문제 (과학, 경제 등): 정답이 "아니다"인데, 학생이 "아니요, 양자 물리학은 결정론적이지 않습니다"라고 길게 설명하면? 심판은 "문자열이 다르니 0 점!"이라고 합니다.
  • 결과: 학생은 "아예 틀린 답"과 "의미는 맞는데 표현이 다른 답"을 구분받지 못해, "어떻게 해야 할지 모르겠다"며 학습이 멈춥니다.

2. 새로운 방법 (CER): "스스로를 믿어주는 내면의 선생님"

저자들은 이 문제를 해결하기 위해 **'조건부 기대 보상 (CER)'**이라는 새로운 방법을 제안했습니다.
이 방법은 외부 심판관이나 복잡한 규칙을 쓰지 않고, 인공지능 스스로가 "내가 이 답을 냈을 때, 정답을 다시 낼 확률이 얼마나 될까?"를 계산하게 합니다.

🍕 비유: "피자 주문하기"

• 기존 방식 (이진법):

  • 당신이 "페퍼로니 피자"를 주문했습니다.
  • 가게 주인 (규칙) 이 "정답은 '페퍼로니'입니다. 당신이 말한 게 '페퍼로니'와 완벽하게 일치하면 100 점, '페페로니'나 '페퍼로니 피자'면 0 점!"이라고 합니다.
  • 결과: "아, 내가 조금 틀렸구나"라는 피드백이 없어서 다음엔 무작정 다른 걸 시도하거나 포기합니다.

• 새로운 방식 (CER):

  • 당신이 "페퍼로니 피자"를 주문했습니다.
  • 가게 주인 (인공지능) 이 스스로 생각합니다.
    • "내가 '페퍼로니 피자'라고 말했을 때, 내가 다시 '정답인 페퍼로니'를 말할 확률은 얼마나 될까?"
    • "내가 '페페로니'라고 했다면, 정답을 다시 말할 확률은 얼마나 낮을까?"
  • 결과:
    • "페퍼로니 피자"라고 했다면 → 90 점 (정답과 매우 비슷하니까)
    • "페페로니"라고 했다면 → 40 점 (약간 비슷하니까)
    • "초콜릿 피자"라고 했다면 → 0 점 (완전히 다르니까)
  • 효과: 학생은 "아, 90 점이면 거의 맞았구나, 조금만 고치면 돼!"라고 구체적인 피드백을 받으며 더 잘 배우게 됩니다.

3. CER 의 핵심 장점

1. 외부 도구가 필요 없음: 별도의 심판 프로그램이나 규칙을 만들 필요가 없습니다. 인공지능이 스스로를 평가합니다.
2. 부드러운 점수 (Soft Reward): 0 점 아니면 100 점이 아니라, 어느 정도 맞았는지를 점수로 알려줍니다. 이는 "의미는 맞는데 표현이 다른" 답을 인정해 줍니다.
3. 모든 분야에 적용 가능: 수학처럼 정답이 딱 하나인 곳뿐만 아니라, 과학, 경제, 철학처럼 답이 다양하게 표현될 수 있는 분야에서도 잘 작동합니다.

4. 실험 결과: "어디서나 잘한다"

연구팀은 이 방법을 수학 문제와 일반 지식 문제 (물리, 화학, 금융 등) 에 모두 적용해 보았습니다.

• 수학 문제: 기존에 규칙으로만 하던 방법과 비슷하거나 더 좋은 성적을 냈습니다.
• 일반 문제: 기존 방법들은 거의 작동하지 않았지만, CER 는 압도적인 성능을 보여주었습니다.
• 결론: CER 는 인공지능이 어떤 분야의 문제를 풀 때도, 스스로 학습할 수 있게 도와주는 만능 열쇠가 될 수 있습니다.

📝 한 줄 요약

"정답이 맞았는지 틀렸는지 0 과 1 로만 판단하던 옛날 방식을 버리고, 인공지능 스스로 "내 답이 정답과 얼마나 닮았는지"를 점수로 매겨주게 함으로써, 더 똑똑하고 유연하게 학습하게 만든 새로운 방법입니다."

이 기술이 발전하면, 인공지능이 수학뿐만 아니라 우리가 일상에서 마주치는 복잡한 질문들 (예: "왜 하늘은 파란가?", "주식 시장이 왜 떨어졌을까?") 에 대해서도 더 깊이 있고 정확한 답변을 줄 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 의 추론 능력을 향상시키기 위해 **검증 가능한 보상을 활용한 강화학습 (RLVR)**이 효과적으로 사용되고 있습니다. 그러나 기존 RLVR 은 다음과 같은 한계를 가지고 있습니다.

• 도메인 의존성: 기존 방법은 수학이나 코드 생성과 같이 정답이 명확하고 규칙 기반 검증 (Rule-based verification) 이 가능한 도메인에 국한됩니다.
• 자유형 답변의 어려움: 물리학, 화학, 금융 등 자유형 (Free-form) 답변이 필요한 일반 추론 도메인에서는 정답의 표면적 형태 (Surface form) 와 의미적 변이가 크기 때문에, 포괄적이고 정확한 검증 규칙을 수동으로 설계하는 것이 거의 불가능합니다.
• 이진 보상 (Binary Feedback) 의 한계: 기존 규칙 기반 검증기는 정답과 정확히 일치하는 경우에만 보상을 주고, 그 외의 모든 경우를 '오답'으로 처리합니다. 이는 부분적으로 맞는 답변이나 의미적으로 동등하지만 표현이 다른 답변에 대한 학습 신호를 희소하게 만들어, 모델의 학습을 방해합니다.

2. 제안 방법: 조건부 기대 보상 (Conditional Expectation Reward, CER)

이러한 한계를 극복하기 위해 저자들은 **조건부 기대 보상 (CER)**을 제안했습니다. CER 은 외부 검증기나 보조 모델을 사용하지 않고, **LLM 자체를 암묵적 검증기 (Implicit Verifier)**로 활용합니다.

핵심 정의 및 원리

• 정의: CER 은 모델이 생성한 답변 $a$가 주어졌을 때, 기준 정답 (Reference Answer) $a^*$를 생성할 **기대 확률 (Expected Likelihood)**로 정의됩니다.
  $$\rho(a, a^*) := \mathbb{E}_{s' \sim \pi_\theta(\cdot|q)} [\pi_\theta(a^*|s', q) \mid A = a]$$
• 직관: 생성된 답변 $a$가 기준 정답 $a^*$와 동일하거나 강하게 일치할 경우, 모델은 해당 조건 하에서 $a^*$를 다시 생성할 확률이 높아집니다. 이를 통해 모델은 명시적인 검증 없이도 내부 일관성 (Internal Consistency) 을 기반으로 보상을 받습니다.
• 소프트 보상 (Soft Reward): CER 는 이진 (0 또는 1) 보상이 아닌, 정답과의 일치 정도에 따라 연속적인 값을 가지는 연속적/등급화된 (Graded) 보상 신호를 제공합니다. 이는 부분적으로 맞는 답변에도 긍정적인 학습 신호를 부여합니다.

수학적 성질

1. 유계성 (Boundedness): 보상은 0 과 1 사이로 제한되어 안정적인 최적화를 보장합니다.
2. 최대값 조건: 생성된 답변이 기준 정답과 정확히 일치할 때 ($a=a^*$), 보상은 최대가 됩니다.
3. 가치 동등성 (Value Equivalence): CER 의 기대값은 엄격한 정답 일치 (Exact-Match) 기준과 수학적으로 동등하지만, CER 는 연속적인 보상을 제공하여 학습 신호의 밀도를 높입니다.
4. 자기 일관성 증폭: 정답과 일치하는 경우, 조건부 확률을 통해 해당 정답에 대한 확률 질량이 증폭되는 효과가 있습니다.

효율적인 계산

CER 의 이론적 정의는 모든 가능한 결과를 합산해야 하므로 계산이 불가능합니다. 따라서 베이지안 규칙과 몬테카를로 샘플링을 적용하여 근사식을 유도했습니다.

• 정책 경사 (Policy Gradient) 학습 시 이미 샘플링된 해답들을 재사용하여 추가적인 샘플링 비용 없이 보상을 계산할 수 있도록 설계되었습니다.
• 행렬 연산 형태로 표현하여 효율성을 높였습니다.

3. 주요 기여 (Key Contributions)

1. 일반 도메인 적용 가능한 RLVR 프레임워크: 수동 규칙이나 외부 검증 모델 없이도 일반 추론 도메인 (물리, 화학, 금융 등) 에서 RLVR 을 적용할 수 있는 첫 번째 방법론 중 하나를 제안했습니다.
2. 이론적 기반: CER 가 '정확한 일치 (Exact-Match)'의 부드러운 완화 (Smooth Relaxation) 임을 수학적으로 증명하고, 그 성질을 규명했습니다.
3. 실험적 검증: 수학 및 일반 도메인 전반에 걸쳐 다양한 벤치마크에서 기존 방법들 (정확 일치, 규칙 기반, 모델 기반 검증기 등) 보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 MATH-7.5K(수학) 와 WebInstruct(일반 도메인: 물리, 화학, 생물, 금융 등) 데이터셋으로 모델을 학습시켰으며, MATH500, AMC23, AIME (수학) 및 SuperGPQA, MMLU-Pro (일반 도메인) 에서 평가했습니다.

• 일반 도메인 성능: WebInstruct 데이터셋으로 학습된 모델은 MMLU-Pro 와 SuperGPQA 에서 CER 가 모든 비교 대상 (정확 일치, 규칙 기반, VeriFree, General-verifier 등) 보다 평균적으로 가장 높은 성능을 기록했습니다. 특히 규칙 기반 방법이 실패하는 자유형 답변 영역에서 큰 우위를 보였습니다.
• 수학 도메인 성능: 수학 데이터셋에서도 CER 는 규칙 기반 보상과 유사한 성능을 유지하며, 외부 검증기가 없어도 높은 정확도를 달성했습니다. 이는 CER 가 특정 도메인에 과적합되지 않음을 의미합니다.
• 하이브리드 접근: CER 와 규칙 기반 보상을 결합한 방법 (Rule+CER) 은 단일 방법보다 더 나은 성능을 보여주어, 두 접근법이 상호 보완적임을 입증했습니다.
• 효율성: 샘플 수 ($M$) 를 조절하여 계산 비용과 보상 추정의 정확도 사이의 균형을 맞출 수 있음을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 RLVR 의 적용 범위를 수학 및 코드 생성을 넘어 일반 추론 도메인으로 확장하는 중요한 이정표입니다.

• 규칙의 불필요: 수동으로 설계된 복잡한 검증 규칙이나 별도의 검증 모델 없이도 LLM 자체의 능력을 활용하여 신뢰할 수 있는 학습 신호를 생성할 수 있음을 보였습니다.
• 학습 신호의 질적 향상: 이진 보상의 한계를 넘어, 부분적 정답과 의미적 유사성을 고려한 연속적이고 풍부한 학습 신호를 제공함으로써 모델의 추론 능력을 더 정교하게 향상시킵니다.
• 범용성: CER 는 다양한 도메인에 적용 가능한 유연하고 견고한 보상 메커니즘으로, 향후 LLM 의 강화학습 기반 추론 능력 향상을 위한 표준적인 접근법으로 자리 잡을 가능성이 높습니다.

요약하자면, CER는 LLM 이 스스로 자신의 답변과 기준 정답 간의 일관성을 평가하여 학습하도록 유도함으로써, 검증 규칙이 부재하거나 복잡한 일반 추론 문제에서도 강화학습의 효과를 극대화하는 혁신적인 방법론입니다.