Learning to Reason without External Rewards

이 논문은 외부 보상 없이 모델의 자체 확신도를 보상 신호로 활용하는 'Intuitor'라는 방법을 제안하여, 수학 벤치마크에서 기존 RLVR 기법과 동등한 성능을 내면서도 도메인 간 일반화 능력을 향상시킨다는 결과를 제시합니다.

핵심

1. 기존 방식: "엄마의 채점"과 "정답지"의 한계

지금까지 AI 를 가르치는 두 가지 주요 방법이 있었습니다.

• RLHF (사람의 피드백): AI 가 답을 쓰면, 사람이 "이건 좋아, 저건 나빠"라고 직접 채점해 주는 방식입니다.
  • 비유: 아이가 숙제를 하면 엄마가 직접 채점해 주는 것과 같습니다.
  • 문제점: 엄마 (사람) 가 항상 옆에 있을 수 없으니 비용이 많이 들고, 엄마의 취향에 따라 편견이 생길 수 있습니다.
• RLVR (검증 가능한 점수): 수학 문제나 코딩 문제처럼 정답이 명확한 경우, AI 가 낸 답이 정답과 일치하는지 컴퓨터가 자동으로 체크해 주는 방식입니다.
  • 비유: 정답지가 있는 시험을 치는 것입니다.
  • 문제점: 정답지가 있는 문제 (수학, 코딩) 만 가능합니다. "이 그림을 그려줘"나 "이 소설을 써줘"처럼 정답이 명확하지 않은 문제는 가르칠 수 없습니다.

2. 새로운 방식 (INTUITOR): "스스로의 확신"을 믿는 AI

이 논문은 **"정답지도, 채점해 줄 사람도 없이 AI 가 스스로 학습할 수 있을까?"**라는 질문에서 시작합니다.

저자들은 AI 가 **"내가 이 답을 얼마나 확신하는가?" (Self-certainty)**를 점수 삼아 학습하게 했습니다.

• 핵심 아이디어: AI 가 문제를 풀 때, 답을 내는 과정에서 매우 자신 있게 (높은 확률로) 단어를 선택한다면 그 답을 '좋은 답'으로 간주하고 보상합니다. 반대로 헷갈려서 (낮은 확률로) 선택했다면 '나쁜 답'으로 간주합니다.
• 비유:
  • 기존 방식은 **"정답을 맞췄니?"**를 물어보는 것입니다.
  • 이 방식은 **"네가 이 답을 얼마나 확신하니?"**를 물어보는 것입니다.
  • 마치 음악 경연대회에서 심사위원이 없는 상황을 상상해 보세요. 대신 참가자들이 **"내가 이 노래를 얼마나 완벽하게 부를 수 있다고 믿는가?"**를 점수로 삼아 연습합니다. 자신감이 높은 노래를 더 많이 부르고, 자신 없는 노래는 고쳐 부르게 됩니다.

3. 이 방법이 놀라운 이유: "의외의 능력" 발견

이론적으로는 '자신감'만으로는 정답을 맞출 수 없을 것 같지만, 실험 결과는 놀라웠습니다.

1. 수학 문제에서도 잘함: 정답지를 주고 학습한 AI 와 비교해도, 수학 문제 풀이 실력이 거의 비슷했습니다.
2. 코딩 문제에서도 대박: 정답지가 전혀 없는 '코딩' 영역에서도, 수학 문제만 학습시켰는데도 코딩 실력이 급상승했습니다.
   • 이유: AI 가 "자신 있는 답"을 찾으려다 보니, 논리적으로 단계를 차근차근 설명하는 (Reasoning) 습관을 들이게 된 것입니다. 코딩은 논리가 중요하므로, 논리력을 기른 AI 는 코딩도 잘하게 된 것입니다.
3. 말하는 법을 배움: 처음에는 엉뚱한 말만 하던 AI 가, 학습을 거치며 "이건 이렇게 생각했고, 결론은 이렇습니다"라고 구조화된 답변을 하기 시작했습니다.

4. 결론: AI 의 "자기 성찰" 시대

이 논문이 말하고자 하는 바는 매우 중요합니다.

• 외부 의존 탈출: AI 는 더 이상 인간이 채점해 주거나 정답지를 제공해 줄 필요 없이, 스스로의 내면 (자신감) 을 믿고 발전할 수 있습니다.
• 미래의 AI: 앞으로 AI 가 인간의 이해를 넘어서는 복잡한 일을 하게 되면, 인간이 채점해 줄 수 없게 됩니다. 그때 이 기술은 AI 가 스스로를 가르치고 (Self-improvement) 더 똑똑해지는 핵심 열쇠가 될 것입니다.

한 줄 요약:

"정답지를 주지 않아도, AI 가 **'내가 이걸 확신해!'**라고 말할 때 그 믿음을 점수로 삼아 스스로 더 똑똑하고 논리적으로 변할 수 있다."

이 기술은 AI 가 인간의 감독 없이도 독립적으로 성장할 수 있는 길을 열어주는, 매우 혁신적인 시도입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 LLM 강화 학습 방법은 크게 두 가지로 나뉩니다.

• RLHF (Human Feedback): 인간 선호도 데이터에 기반한 보상 모델을 사용하지만, 비용이 많이 들고 편향 (bias) 이 발생할 수 있습니다.
• RLVR (Verifiable Rewards): 수학 문제의 정답 일치나 코드 실행 결과와 같이 검증 가능한 신호를 보상으로 사용합니다. 이는 효과적이지만, 도메인별 검증기 (Verifier) 와 정답 (Gold Standard) 이 필수라는 한계가 있습니다. 즉, 수학이나 코딩처럼 명확한 정답이 있는 영역을 넘어선 개방형 (open-ended) 작업이나 검증이 어려운 영역에서는 적용이 어렵습니다.

핵심 질문: 외부 검증자나 도메인별 정답 없이, 오직 모델이 생성한 내적 신호만으로 추론 능력을 향상시킬 수 있는가?

2. 방법론 (Methodology)

2.1 Reinforcement Learning from Internal Feedback (RLIF)

저자들은 RLIF라는 새로운 패러다임을 제안합니다. 이는 모델이 외부 평가 없이 자신의 출력에 대한 내적 평가 (Internal Feedback) 를 보상으로 사용하여 정책을 최적화하는 방식입니다.

2.2 INTUITOR 알고리즘

RLIF 를 구현하기 위해 제안된 구체적인 방법론이 INTUITOR입니다.

• 핵심 보상 신호 (Reward Signal): 모델의 **자신감 (Self-certainty)**을 유일한 보상 신호로 사용합니다.
  • Self-certainty 정의: 모델의 출력 분포와 균일 분포 (Uniform distribution) 간의 평균 KL 발산 (KL Divergence) 으로 정의됩니다. 즉, 모델이 다음 토큰을 예측할 때 확률이 얼마나 집중되어 있는지를 측정합니다.
  • 이유: LLM 은 어려운 문제나 지식이 부족할 때 자신감이 낮아지고, 정답일 가능성이 높을 때 자신감이 높아지는 경향이 있습니다. 따라서 자신감을 극대화하도록 학습하면 추론 능력이 향상될 것이라고 가정합니다.
• 학습 프레임워크: 기존에 RLVR 에서 널리 쓰이는 GRPO (Group Relative Policy Optimization) 알고리즘을 기반으로 합니다.
  • GRPO 는 하나의 질문 (Query) 에 대해 여러 개의 응답 (G 개) 을 생성한 후, 이들에 대한 보상을 비교하여 상대적 이득 (Advantage) 을 계산합니다.
  • INTUITOR 는 기존의 '정답 유무' 기반 보상을 각 응답의 Self-certainty 점수로 대체합니다.
  • Advantage 계산: 그룹 내 응답들의 Self-certainty 점수 평균을 기준으로 정규화하여 이득을 추정하고, 이를 통해 정책을 업데이트합니다.
  • 안정성: 온라인 (Online) 방식으로 보상 신호를 업데이트합니다. 즉, 고정된 베이스 모델이 아닌, 현재 학습 중인 정책 모델이 보상을 생성하도록 하여 '보상 악용 (Reward Hacking)'을 방지합니다.

3. 주요 실험 결과 (Key Results)

실험은 Qwen2.5 (1.5B, 3B), Llama3.2, OLMo 등 다양한 모델과 MATH, GSM8K, LiveCodeBench, CRUXEval 등 다양한 벤치마크에서 수행되었습니다.

• 도메인 내 (In-domain) 성능:
  • 수학 문제 (MATH, GSM8K) 에서 INTUITOR 은 정답 (Gold Answer) 을 사용하는 GRPO 와 비슷한 성능을 달성했습니다. 이는 외부 정답 없이도 모델이 스스로 학습하여 높은 추론 능력을 얻을 수 있음을 의미합니다.
• 도메인 외 (Out-of-domain) 일반화:
  • 코드 생성 (Code Generation): MATH 데이터셋으로 학습한 모델이 코딩 작업 (LiveCodeBench, CRUXEval) 으로 일반화되는 능력을 평가했습니다.
    • GRPO 는 MATH 학습 후 코딩 작업에서 성능 향상이 미미했습니다.
    • 반면, INTUITOR 은 코딩 작업에서 GRPO 대비 훨씬 뛰어난 일반화 성능을 보였습니다 (예: LiveCodeBench 에서 65% 상대적 개선).
  • 이는 INTUITOR 이 단순한 정답 맞추기가 아닌, **구조화된 추론 과정 (Structured Reasoning)**을 학습하게 했기 때문으로 분석됩니다.
• 지시 따르기 (Instruction Following):
  • 초기에는 지시 사항을 따르지 못하거나 반복적인 내용을 생성하던 모델 (Qwen2.5-1.5B) 이 INTUITOR 학습 후 명확한 추론 체인과 잘 구조화된 코드를 생성하도록 변모했습니다.
• 학습 안정성 및 보상 악용 방지:
  • 고정된 오프라인 (Offline) 보상 모델은 모델이 보상을 조작하여 길이가 긴 무의미한 응답을 생성하는 '보상 악용' 현상을 보였습니다.
  • 반면, 온라인 (Online) Self-certainty를 사용하는 INTUITOR 은 이러한 악용을 방지하고 안정적인 학습을 유지했습니다. 또한, INTUITOR 학습 모델은 자신의 정답과 오답을 Self-certainty 점수로 더 잘 구분하는 능력을 갖추게 되었습니다.

4. 주요 기여 (Contributions)

1. RLIF 패러다임 제안: 외부 감독이나 레이블 없이 모델의 내적 신호만으로 추론 능력을 향상시키는 새로운 강화 학습 프레임워크를 제안했습니다.
2. INTUITOR 방법론 개발: 모델의 '자신감 (Self-certainty)'을 유일한 보상 신호로 활용하는 효율적이고 간단한 RL 방법을 제시했습니다.
3. 성능 입증 및 일반화: 수학 도메인에서 감독 학습 (RLVR) 과 동급의 성능을 내면서도, 코드 생성 및 지시 따르기 등 다른 도메인으로의 일반화 능력이 더 우수함을 실험적으로 증명했습니다.
4. 잠재적 능력의 발견: 사전 학습된 LLM 은 외부 보상이 없어도 내적 신호를 통해 구조화된 추론과 자기 이해 능력을 발전시킬 수 있는 풍부한 잠재적 행동 사전 지식 (Latent Behavioral Priors) 을 가지고 있음을 시사합니다.

5. 의의 및 결론 (Significance)

이 연구는 자율적인 AI 시스템의 발전에 중요한 이정표가 됩니다.

• 확장성 (Scalability): 외부 검증기가 필요하지 않으므로, 정답이 존재하지 않거나 검증이 어려운 복잡한 현실 세계의 문제 (예: 창의적 글쓰기, 복잡한 의사결정 등) 에도 RL 을 적용할 수 있는 길을 열었습니다.
• 자기 개선 (Self-Improvement): 인간이 평가하기 어려운 초인간적 능력을 가진 AI 가 스스로의 내적 메커니즘을 통해 능력을 향상시킬 수 있는 가능성을 보여주었습니다.
• 실용성: 정답 데이터나 테스트 케이스 구축 비용이 들지 않아, 데이터가 부족한 도메인에서도 고품질 추론 모델을 학습시킬 수 있는 비용 효율적인 대안을 제공합니다.

결론적으로, INTUITOR 은 외부 보상에 의존하지 않는 내적 성찰 (Introspection) 기반의 학습이 LLM 의 추론 능력을 획기적으로 향상시킬 수 있음을 입증한 선구적인 연구입니다.