A Simple "Motivation" Can Enhance Reinforcement Finetuning of Large Reasoning Models

이 논문은 보상 함수를 프롬프트에 명시하여 모델이 최적화 목표를 인지하도록 하는 '동기 부여 강화 미세 조정 (MeRF)' 방법을 제안함으로써, 기존 검증 가능 보상을 활용한 강화 학습의 비효율성을 극복하고 대형 추론 모델의 성능을 크게 향상시킨다고 설명합니다.

핵심

"게임 규칙"을 알려주면 AI 는 더 똑똑해진다: MeRF 의 이야기

이 논문은 **"거대한 두뇌를 가진 AI(대형 언어 모델)"가 복잡한 문제를 해결할 때, 어떻게 하면 더 빨리, 더 잘 배울 수 있는가?**에 대한 새로운 방법을 제시합니다.

기존 방식과 새로운 방식 (MeRF) 의 차이를 이해하기 위해, **'미스터리 게임'**을 예로 들어 설명해 보겠습니다.

---

1. 기존 방식 (RLVR): "시행착오로 규칙을 찾아라"

기존의 AI 학습 방식 (RLVR) 은 마치 규칙이 적힌 설명서가 없는 미스터리 게임을 하는 것과 같습니다.

• 상황: AI 는 "이 문제를 풀어줘"라는 명령만 받습니다.
• 과정: AI 는 무작위로 답을 여러 개 만들어냅니다.
  • "아, 이 답은 틀렸네. (점수 0)"
  • "아, 이 답도 틀렸네. (점수 0)"
  • "오! 이 답은 맞았어! (점수 +10)"
• 문제점: AI 는 왜 그 답이 맞았는지, 어떤 규칙을 따라야 점수를 받을 수 있는지 전혀 모릅니다. 오직 "맞았다/틀렸다"는 결과만 보고, 수천 번, 수만 번의 시행착오를 겪으며 우연히 규칙을 찾아내야 합니다.
  • 비유: 설명서 없이 퍼즐을 맞추려다, 조각을 무작위로 끼워보며 "아, 이 조각이 여기 들어갔구나"라고 깨닫는 과정입니다. 시간이 매우 오래 걸리고, AI 가 지쳐버릴 수도 있습니다.

2. 새로운 방식 (MeRF): "게임 규칙을 먼저 알려주자"

이 논문에서 제안한 **MeRF(Motivation-enhanced Reinforcement Finetuning)**는 아주 간단하지만 강력한 아이디어를 담고 있습니다.

• 아이디어: AI 가 게임을 시작하기 전에, **"이 게임의 점수판과 규칙을 설명서로 먼저 읽어보게 하자"**는 것입니다.
• 과정:
  1. AI 에게 "정답을 맞히면 +10 점, 형식이 틀리면 -5 점, 설명이 부족하면 -2 점"이라는 **구체적인 규칙 (동기부여)**을 입력창에 적어줍니다.
  2. AI 는 이 규칙을 읽고, "아! 내가 무엇을 해야 점수를 받을 수 있구나!"라고 이해한 뒤 답을 만듭니다.
  3. 그 후, AI 가 만든 답에 대해 실제 점수를 매겨줍니다.
• 효과: AI 는 이제 맹목적으로 답을 만들지 않습니다. 규칙을 알고 있기 때문에, **내면의 동기 (규칙을 지키고 싶음)**와 **외부의 보상 (점수)**을 동시에 얻게 되어 훨씬 빠르게 학습합니다.
  • 비유: 설명서를 먼저 읽고 퍼즐을 맞추는 사람입니다. "이 조각은 모서리에 와야 해"라는 규칙을 알기 때문에, 무작위로 끼우지 않고 정확하게 맞춰냅니다.

---

3. 실험 결과: 규칙을 알려주면 얼마나 빨라질까?

연구진은 AI 를 다양한 수학 문제와 논리 퍼즐 (예: "기사 (Knight) 와 사기꾼 (Knave) 이 사는 섬" 같은 문제) 으로 훈련시켰습니다.

• 결과: 규칙을 미리 알려준 MeRF 방식은 규칙을 알려주지 않은 기존 방식보다 훨씬 더 빠르게 정답을 찾아냈습니다.
• 흥미로운 발견:
  • 규칙이 명확할수록: 설명서 (규칙) 가 실제 점수판과 완벽하게 일치할 때 AI 는 가장 잘 작동했습니다.
  • 거짓 규칙도 이겨낼 수 있음: 만약 AI 에게 "틀리면 +10 점, 맞으면 -10 점"이라는 **거짓 규칙 (악의적인 동기)**을 알려줬다면, AI 는 처음에는 혼란스러워하며 엉뚱한 답을 냈습니다. 하지만 훈련을 계속하자, AI 는 "아, 이 설명서는 거짓말이구나"라고 깨닫고 실제 점수판에 맞춰 답을 고쳐나갔습니다. 이는 AI 가 단순히 규칙을 외우는 게 아니라, 상황을 유연하게 적응할 수 있음을 보여줍니다.

4. 결론: 왜 이 연구가 중요한가?

이 연구는 AI 를 가르칠 때 **"무작정 반복해서 가르치는 것"**보다 **"왜 그렇게 해야 하는지 (규칙과 목적) 를 먼저 설명해주는 것"**이 훨씬 효율적임을 증명했습니다.

• 핵심 메시지: AI 에게 "무엇을 해야 하는지"뿐만 아니라 **"어떻게 평가받는지 (규칙)"**를 언어로 설명해 주면, AI 는 그 설명을 이해하고 스스로 더 똑똑하게 행동할 수 있습니다.
• 일상적인 비유:
  • 기존 방식: 아이에게 "이 문제를 풀어봐"라고만 하고, 틀릴 때마다 "아니야"라고만 하는 것.
  • MeRF 방식: "이 문제는 덧셈을 해야 해. 2+2 를 하면 4 가 되고, 4 를 쓰면 점수를 줄게"라고 규칙을 먼저 설명해 주고 문제를 푸는 것.

이처럼, **규칙을 명확히 알려주는 '동기부여'**는 AI 가 복잡한 문제를 해결하는 능력을 키우는 데 있어 매우 간단하지만 강력한 열쇠가 됩니다.

기술 요약

논문 요약: A SIMPLE "MOTIVATION" CAN ENHANCE REINFORCEMENT FINETUNING OF LARGE REASONING MODELS (MeRF)

이 논문은 ICLR 2026 에 발표된 것으로, 대형 추론 모델 (Large Reasoning Models) 의 강화 학습 미세 조정 (Reinforcement Finetuning) 효율성을 획기적으로 개선한 새로운 방법론인 **MeRF (Motivation-enhanced Reinforcement Finetuning)**를 제안합니다.

1. 문제 정의 (Problem)

기존의 **검증 가능한 보상 강화 학습 (RLVR, Reinforcement Learning with Verifiable Rewards)**은 논리 추론, 수학 문제, 코드 생성 등 복잡한 작업을 해결하는 데 효과적이지만, 다음과 같은 근본적인 비효율성 문제를 안고 있습니다.

• 시행착오 (Trial-and-Error) 방식: 모델은 최적화 목표 (Reward Function) 에 대한 명시적인 인식이 없이, 무작위 생성과 보상을 통한 시행착오로 학습합니다.
• 희소 보상 (Sparse Reward): 초기 학습 단계에서 긍정적인 보상을 얻기 어렵고, 보상 공간 (Reward Space) 을 충분히 탐색하지 못해 국소 최적점 (Local Optima) 에 갇히거나 '보상 해킹 (Reward Hacking)'을 일으킬 수 있습니다.
• 블랙박스 최적화: 모델은 생성 과정에서 무엇을 해야 하는지 (규칙) 알지 못한 채, 오직 결과에 대한 보상 신호 (편의성) 만으로 학습하므로 학습 속도가 느리고 계산 자원이 많이 소모됩니다.

2. 방법론 (Methodology: MeRF)

저자들은 인간의 학습 방식 (작업 시작 전 규칙과 목표를 이해하는 것) 에서 영감을 받아, **맥락 내 동기 (In-context Motivation)**를 학습 과정에 직접 주입하는 MeRF를 제안합니다.

• 핵심 아이디어: 검증 가능한 보상 함수의 규칙을 자연어 (Natural Language) 로 설명하여 시스템 프롬프트 (System Prompt) 에 포함시킵니다. 이는 모델에게 "게임의 규칙 (Rules of the game)"을 알려주는 역할을 합니다.
• 구현 방식:
  1. 동기 (Motivation) 주입: 학습 데이터의 프롬프트에 "정답일 경우 +2 점, 형식 오류 시 -1 점"과 같은 구체적인 평가 기준과 보상 구조를 명시합니다.
  2. 맥락 학습 (In-context Learning) 활용: LLM 의 강력한 맥락 학습 능력을 이용하여, 모델이 생성 단계에서 최적화 목표 (보상 함수) 를 인식하고 이를 내재화하도록 유도합니다.
  3. 학습 프로세스: 기존 RLVR 은 보상 신호가 모델의 파라미터 업데이트를 통해 간접적으로 전달되지만, MeRF 는 생성 단계부터 모델이 목표와 규칙을 인지하게 하여, 내부 동기 (규칙 이해) 와 외부 보상 (정답 확인) 을 동시에 활용하도록 합니다.

3. 주요 기여 (Key Contributions)

1. MeRF 방법론 제안: LLM 이 맥락 내 동기를 통해 최적화 목표를 인식하게 하여, 대형 추론 모델의 강화 학습 미세 조정 효율성을 높이는 새로운 프레임워크를 제시했습니다.
2. 광범위한 실험 검증: K&K 논리 퍼즐, AIME24&25, AMC23, MATH500, CountDown 등 다양한 추론 벤치마크에서 기존 RLVR 베이스라인을 압도하는 성능 향상을 입증했습니다.
3. 메커니즘 분석:
   • 탐색 능력 향상: MeRF 는 학습 과정에서 모델의 엔트로피 (Entropy) 를 적절히 유지시켜, 모델이 국소 최적점에 빠지지 않고 더 다양한 추론 경로를 탐색하도록 돕습니다.
   • 일관성의 중요성: 맥락 내 동기 (규칙 설명) 와 실제 보상 함수 간의 일치가 높을수록 성능이 향상됨을 확인했습니다.
   • 오류 적응력: 모델은 잘못된 동기 (Adverse Motivation, 규칙을 거꾸로 설명) 가 주어져도 강화 학습을 통해 이를 식별하고 적응하여, 결국 올바른 보상을 추구하는 능력을 보였습니다.

4. 실험 결과 (Results)

• 성능 향상: Qwen2.5 및 DeepSeek-R1 시리즈 등 다양한 모델 크기와 아키텍처에서 MeRF 는 RLVR 베이스라인보다 더 빠른 학습 수렴 속도와 높은 정확도를 달성했습니다.
  • 예: K&K 논리 퍼즐에서 MeRF 는 학습 단계 140 에서 RLVR 베이스라인의 최종 단계 (280) 보다 더 높은 Pass@4 및 Pass@8 성능을 기록했습니다.
  • 수학 추론 (MATH500 등) 에서도 Pass@1~8 모든 지표에서 일관된 개선을 보였습니다.
• 효율성: 동일한 학습 단계에서 MeRF 는 RLVR 대비 훨씬 더 높은 정확도를 달성하여, 계산 자원 소모를 줄이면서 더 효율적인 학습이 가능함을 증명했습니다.
• 일반화 능력: 학습 시 동기 (규칙) 를 포함했으나, 검증 (Inference) 시 동기를 제거하더라도 모델은 잘 일반화되어 성능 저하가 없음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 강화 학습 효율성을 높이기 위해 "규칙을 알려주는 것 (Motivation)"이 핵심임을 증명했습니다.

• 패러다임 전환: 기존의 '시행착오에 의존하는' RLVR 에서, '규칙 인식을 통한 목표 지향적 학습'으로의 전환을 제안했습니다.
• 실용성: 복잡한 추론 작업에서 모델이 스스로 규칙을 이해하고 적용할 수 있게 함으로써, 더 적은 데이터와 계산 자원으로 고성능 추론 모델을 구축할 수 있는 길을 열었습니다.
• 미래 전망: 동적 동기 (Dynamic Motivation) 나 약한 일반화 능력을 가진 모델에 대한 적용 등 향후 연구의 방향성을 제시하며, 대형 추론 모델의 진화를 위한 중요한 기반을 마련했습니다.

요약하자면, MeRF 는 **"모델에게 게임의 규칙을 알려주면, 모델이 더 똑똑하고 빠르게 배운다"**는 직관을 기술적으로 구현하여, 강화 학습 기반의 추론 모델 성능을 획기적으로 끌어올린 획기적인 연구입니다.