🤖 machine learning

Reward Granularity in RLVR: Comparing Process and Outcome Reward Structures for Mathematical Reasoning in Small Language Models

이 논문은 수학적 추론 작업에 대해 RLVR로 학습된 소규모 언어 모델의 경우, 과정 수준 보상 감독이 정확도와 추론 과정 충실도 모두에서 결과 전용 감독보다 유의미하게 우수하며, 하이브리드 보상 구조는 일반적으로 더 높은 과정 가중치의 혜택을 받는다는 것을 입증한다.

원저자: Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 어린, 의욕 넘치는 학생(작은 AI 모델)에게 수학 문장제 문제를 푸는 법을 가르치고 있다고 상상해 보세요. 당신은 학생이 정답을 맞히기를 바라지만, 단순히 답을 찍는 것이 아니라 어떻게 생각해야 하는지를 배우기를 원합니다.

이 논문은 마치 교사가 이 학생을 채점하는 두 가지 서로 다른 방식—최종 정답만 확인하는 것 대 모든 풀이 과정을 하나하나 확인하는 것—을 비교하는 것과 같습니다.

이 실험의 내용을 쉬운 용어로 정리하면 다음과 같습니다.

설정: "작은 뇌"를 가진 학생

연구진은 매우 작은 AI 모델(Qwen2.5-0.5B라고 불리는)을 사용했습니다. 이 모델을 기억력이나 두뇌 회전이 크지 않은 똑똑하지만 작은 아이라고 생각하세요. 작기 때문에 지시가 명확하지 않으면 쉽게 혼란에 빠질 수 있습니다.

그들은 이 학생에게 1,319개의 수학 문제(GSM8K라는 데이터셋)를 풀게 했습니다. 연구진은 "강화 학습(Reinforcement Learning)"이라는 방법으로 이 학생을 훈련시켰는데, 이는 기본적으로 보상 시스템입니다: 정답을 맞히면 "잘했어!", 틀리면 "다시 해봐"라고 하는 식이죠.

두 가지 교육 스타일 (보상 구조)

연구진은 보상을 주는 다섯 가지 방식을 테스트했습니다:

"결과만 보는" 코치 (최종 성적):
- 작동 방식: 선생님은 상자 안에 적힌 최종 숫자만 확인합니다. 답이 맞으면 금메달을 주고, 틀리면 아무것도 주지 않습니다.
- 결과: 학생은 약 **54%**의 확률로 정답을 맞혔습니다.
- 문제점: 학생은 "속임수"를 쓰거나 추측하기 시작했습니다. 학생은 바로 정답으로 건너뛰거나, 단지 금메달을 받기 위해 논리를 지어내거나 단계를 생략했습니다. 그들의 추론은 엉망이었고, 운 좋게 최종 숫자가 맞더라도 그 과정은 틀린 경우가 많았습니다.
"과정만 보는" 코치 (단계별 채점자):
- 작동 방식: 선생님은 학생이 적은 모든 단계 하나하나를 확인합니다. 더하기를 제대로 했나요? 변수를 잘 정의했나요? 단계가 맞으면 점수를 주고, 틀리면 점수를 깎습니다.
- 결과: 학생은 **64%**의 확률로 정답을 맞혔습니다.
- 이점: 학생의 사고방식이 훨씬 더 논리적이고 근거 있게 변했습니다. 학생은 실제로 문제를 푸는 방법을 배웠습니다.
- 부작용: 학생이 말이 많아졌습니다. 학생은 때때로 너무 많은 단계를 적거나 같은 말을 반복했습니다. 마치 실수를 할까 봐 두려워서 $2+2$ 를 풀면서도 소설을 쓰는 학생처럼 말이죠.
"하이브리드" 코치 (두 스타일의 혼합):
- 연구진은 이 두 스타일을 섞어서 시도했습니다. 단계에 주로 무게를 두되 최종 정답에 약간의 가중치를 주거나, 그 반대로 하는 방식입니다.
- 놀라운 점: 가장 좋은 조합은 단계에 90% 집중하고 최종 정답에 10%를 집중하는 것이었습니다. 이 학생은 "과정만 보는" 학생과 거의 비슷한 수준(정확도 61%)으로 수행하면서도, 더 깔끔하고 간결한 답변을 작성했습니다.
- 경고: 만약 최종 정답에 90% 집중하고 단계에 10%만 집중하는 혼합 방식을 사용하면, 학생은 "결과만 보는" 학생보다 오히려 더 못하게 되었습니다. "최종 정답"에 대한 보상이 너무 크게 들리면, "단계별" 지시사항이 무용지물이 되어 학생을 혼란스럽게 만드는 것 같습니다.

무엇을 발견했나? (비유)

AI를 산 정상(정답)에 도달하려는 등산객이라고 생각해 보세요.

결과만 보는 방식: 당신은 등산객에게 "정상에 도착하면 선물을 줄게"라고 말합니다. 등산객은 지름길을 택하거나, 절벽 아래로 미끄러지거나, 길을 잃을 수도 있지만, 운 좋게 정상에 발을 들이면 승리합니다. 하지만 그들은 길을 배우지는 못합니다.
과정만 보는 방식: 당신은 "안전하고 올바른 발걸음을 한 번 뗄 때마다 간식을 줄게"라고 말합니다. 등산객은 경로를 완벽하게 익힙니다. 안전을 위해 몇 걸음 더 움직일 수는 있지만, 확실하게 목적지에 도달합니다.
하이브리드 방식: 당신은 안전한 발걸음에 간식을 주지만, 정상에 도착했을 때 큰 상금도 줍니다. 만약 상금이 간식에 비해 너무 크다면, 등산객은 경로를 무시하고 날아가거나 뛰어오르려 할 것이며, 결국 더 자주 실패하게 됩니다.

핵심 결론

이 논문은 어떻게 채점하느냐가 당신이 생각하는 것보다 훨씬 중요하다고 결론짓습니다.

작은 AI 모델의 경우, 단순히 최종 정답에 보상을 주는 것만으로는 부족합니다. 이는 모델이 정답을 맞히기 위해 논리를 지어내는 "환각(Hallucinations)" 현상을 만듭니다. 모델이 실제로 올прав르게 생각하게 하려면, 반드시 **과정(단계)**에 대해 보상해야 합니다.

"과정만 보는" 접근 방식은 모델을 훨씬 더 똑똑하고 정확하게 만들었으며, 이는 작은 두뇌를 가진 모델에게는 풀이 과정을 보여주는 것이 정답을 맞히는 것만큼 중요하다는 것을 증명합니다.

기술 요약: 소형 언어 모델(SLM)을 위한 RLVR의 보상 세밀도(Reward Granularity)

문제 정의

검증 가능한 보상을 활용한 강화 학습(RLVR)은 수학적 추론 능력을 향능시키기 위한 패러다임으로 부상하였으며, 일반적으로 결과 기반 보상(최종 정답의 정확성)에 의존합니다. 그러나 단계별 보상(process-level supervision)의 영향, 특히 Qwen2.5-0.5B와 같은 **소형 언어 모델(SLM)**에서의 영향은 아직 충분히 탐구되지 않았습니다. 이러한 작은 모델들은 희소한 결과 중심 피드백만 제공될 경우 스스로 교정할 수 있는 내부 능력이 부족하여, 최종 답이 맞더라도 논리적으로 일관되지 않거나 환각을 일으키거나 구조적으로 부실한 추론 흔적(reasoning traces)을 남기는 경우가 많습니다. 본 연구의 핵심 질문은 프로세스 보상이 추론 흔적의 일관성과 타당성을 개선하는지, 그리고 하이브리드 보상 구조가 단일 접근 방식보다 더 안정적인 추론을 생성하는지 여부입니다.

방법론

저자들은 Qwen2.5-0.5B(컴팩트한 트랜스포머 모델)를 사용하여 GSM8K 데이터셋(초등 수학 문장제 문제)에 대해 **그룹 상대 정책 최적화(GRPO)**로 미세 조정하며 통제된 경험적 연구를 수행했습니다.

실험 설정

베이스라인(Baseline): 직접 답변(Chain-of-Thought 없음) 설정에서 평가된 사전 학습 모델로, 33.13%의 정확도를 달성했습니다.
보상 체계(Reward Regimes): 다섯 가지 뚜렷한 보상 조건을 비교했습니다:
1. 프로세스 전용(Process-Only): 생성된 단계가 정답 계산과 일치할 경우(수치적 허용 오차 범위 내) 모든 중간 단계에 보상을 부여합니다. 생성된 체인이 정답 단계 수의 1.5배를 초과하면 페널티를 적용합니다.
2. 결과 전용(Outcome-Only): 최종 수치 정답의 정답 여부에 기초한 이진 보상을 부여합니다.
3. 하이브리드 구성(Hybrid Configurations): 프로세스 보상과 결과 보상의 가중 결합( $R = \lambda \cdot R_{process} + (1-\lambda) \cdot R_{outcome}$ )을 사용하며, 이때 $\lambda \in \{0.9, 0.5, 0.1\}$ 입니다.
평가 전략:
- 정확도(Accuracy): 전체 1,319개 질문 테스트 세트에서 측정되었습니다.
- 추론 충실도(Reasoning Fidelity): 층화된 45개 질문 슬라이스(쉬움 15, 중간 15, 어려움 15)를 사용하여 네 가지 지표로 평가되었습니다:
  - CoT-Pass@1: 단일 샘플링된 흔적의 성공률.
  - 흔적 타당성(Trace Validity): 논리적 정형성(모순이나 부적절한 변환의 부재).
  - 체인 길이 편차(Chain Length Deviation): 생성된 단계 수와 정답 단계 수의 차이.
  - 프로세스 단계 비율(Process Step Ratio): 정답 추론과 일치하는 단계의 비율.
- 오류 분석: GPT-4o를 판사(Judge)로 사용하여 실패 모드(예: 잘못된 유도, 계산 오류, 누락된 단계, 모순 등)를 분류했습니다.

주요 결과

1. 정확도 향상

프로세스 전용 감독은 **63.73%**의 가장 높은 테스트 정확도를 달성하였으며, 이는 베이스라인 대비 +30.60%의 향상을 나타냅니다. 이는 결과 전용 감독(53.75%, +20.62% 향상)을 유의미하게 상회하는 수치입니다.

하이브리드 성능: 프로세스 가중치가 높은 하이브리드 구성( $\lambda=0.9$ )은 61.10%의 정확도를 달el했습니다.
이상 현상(Anomaly): 낮은 프로세스/높은 결과 비중의 구성( $\lambda=0.1$ )은 순수 결과 감독(49.30%)보다 성능이 낮았는데, 이는 이 특정 가중치 설정에서 상충하는 최적화 신호가 성능을 저하시킨다는 것을 시사합니다.

2. 추론 충실도 및 안정성

흔적 타당성: $\lambda=0.9$ 하이브리드 모델이 가장 높은 흔적 타당성(0.60)을 기록했으며, 결과 전용(0.40)과 프로세스 전용(0.22)이 그 뒤를 이었습니다.
체인 길이: 프로세스 전용 모델은 정답 체인 길이와의 편차가 가장 컸으며(6.49), 이는 장황하거나 중복된 추론을 생성하는 경향을 나타냅니다. 결과 전용 모델은 더 간결한 흔적을 생성했습니다(편차 3.64).
프로세스 단계 비율: $\lambda=0.9$ 하이브리드 모델은 가장 높은 비율(0.84)을 기록하여, 정답 중간 단계와 가장 잘 일치함을 보여주었습니다.

3. 질적 및 오류 분석

프로세스 전용 모델: 구조적으로는 불일치하지만 산술적으로는 근거가 있는 흔적을 생성했습니다. 국지적으로 그럴듯한 단계들을 길게 늘어놓도록 유도됨에 따라 구조적 불일치와 모순을 자주 도입했습니다.
결과 전용 모델: 간결한 체인을 생성했으나 유도 및 산술 오류에 취약했으며, 이는 중간 근거가 약하고 추론 지점 사이를 "건너뛰는" 경향을 반영합니다.
하이브리드 모델: 단계의 연속성과 필요한 간결함 사이의 균형을 맞추며 가장 인간과 유사한 추론 흐름을 보였고, 치명적인 실패가 적으며 오류 유형의 분포가 가장 고르게 나타났습니다.

의의 및 기여

본 논문은 보상 세밀도(reward granularity)가 RLVR의 부차적인 구현 세부 사항이 아니라, 1차적인 설계 결정 사항이라고 주장합니다. 주요 기여는 다음과 같습니다:

체계적 비교: 소형 모델에 대한 다섯 가지 보상 조건의 통제된 비교를 제공함으로써, 밀도 높은 프로세스 신호가 SLM에게 희소한 결과 피드백보다 더 유익한 가이드를 제공함을 입증했습니다.
정확도를 넘어: 정확도만이 충분하지 않음을 확립했습니다. 프로세스 감독은 흔적의 충실도와 단계 타당성을 실질적으로 개선하는 반면, 결과 전용 감독은 "불안정한(flaky)" 추론을 초래할 수 있습니다.
하이브리드 역학: 하이브리드 보상이 일반적으로 프로세스 가중치와 양의 상관관계를 갖지만, 특정 낮은 프로세스 설정에서는 성능을 해치는 상충하는 신호를 생성할 수 있음을 식별했습니다.
실패 모드 특성화: LLM-as-a-judge를 사용하여 뚜렷한 실패 분포를 밝혀냈습니다: 프로세스 모델은 구조적 불일치로 고통받는 반면, 결과 모델은 유도 오류로 인해 문제가 발생합니다.

저자들은 모델이 단순히 정답을 맞히는 것을 넘어 신뢰할 수 있는 추론을 수행하도록 개발하기 위해서는, 추론의 과정과 결과를 모두 감독하는 것이 필수적이라고 결론지었습니다. 프로세스 전용 감독과 결과 전용 감독 사이의 거의 10% 포인트에 달하는 정확도 격차는 소형 언어 모델에서 보상 세밀도의 결정적인 중요성을 강조합니다.