Learning What Reinforcement Learning Can't: Interleaved Online Fine-Tuning for Hardest Questions

이 논문은 강화학습 (RL) 의 한계를 보완하고 새로운 지식 습득을 가능하게 하기 위해 RL 과 온라인 파인튜닝을 교차적으로 수행하는 'ReLIFT'라는 새로운 훈련 방식을 제안하며, 이를 통해 기존 모델의 능력을 넘어선 추론 성능 향상과 데이터 효율성을 입증했습니다.

핵심

🧠 "ReLIFT": AI가 혼자서 못 하는 걸 배우게 하는 새로운 방법

이 논문은 최근 화제가 되고 있는 **거대 언어 모델 (LLM)**이 어떻게 더 똑똑해지고, 특히 수학이나 논리 문제를 잘 풀 수 있게 되는지에 대한 새로운 방법을 제안합니다.

기존의 방식과 이 새로운 방식의 차이를 이해하기 위해, **'수학 공부하는 학생'**과 **'코칭을 받는 학생'**의 비유를 들어 설명해 보겠습니다.

---

1. 기존 방식의 한계: "혼자서 노력하는 학생 (RL)"

최근 AI 가 똑똑해진 비결은 **강화학습 (RL)**이라는 기술 덕분입니다.

• 비유: 학생이 문제를 풀고, 정답을 맞히면 "잘했어!"라는 칭찬 (보상) 을 받고, 틀리면 "아쉽네"라는 피드백을 받습니다. 이 과정을 수만 번 반복하며 스스로 학습합니다.
• 장점: 이미 알고 있는 문제나, 조금만 노력하면 풀 수 있는 문제는 훨씬 더 빠르고 정확하게 풀게 됩니다.
• 단점: 자신이 처음부터 모르고 있던 개념은 절대 배울 수 없습니다. 마치 "이미 알고 있는 공식을 더 잘 적용하는 법"만 배우지, "새로운 공식을 처음부터 배우는 법"은 익히지 못하는 것과 같습니다. AI 는 기존 지식의 범위 안에서만 최적화될 뿐, 그 범위를 넘어서는 '진짜 새로운 능력'을 얻기 어렵습니다.

2. 기존 방식의 또 다른 한계: "정답지를 외우는 학생 (SFT)"

반대로 **지도학습 (SFT)**이라는 방법도 있습니다.

• 비유: 선생님이 아주 잘 풀린 '정답지 (해설)'를 보여주고, 학생이 그걸 따라 쓰게 하는 것입니다.
• 장점: 처음 보는 아주 어려운 문제도, 좋은 해설을 보면 그 방식을 배워 풀 수 있게 됩니다.
• 단점: 정답지를 너무 많이 외우면, 새로운 유형의 문제가 나오면 당황합니다. 또한, 아주 쉬운 문제도 해설을 따라 쓰느라 불필요하게 길고 복잡한 설명을 늘어놓는 경향이 있습니다.

---

3. 이 논문이 제안하는 해결책: "ReLIFT" (혼자 노력 + 맞춤형 코칭)

이 논문은 "혼자서 노력하는 것 (RL)"과 "맞춤형 코칭 (SFT)"을 적절히 섞어서, 두 방식의 단점은 없애고 장점만 취하자고 제안합니다. 이를 ReLIFT라고 부릅니다.

🚀 ReLIFT 가 어떻게 작동할까요? (창의적인 비유)

ReLIFT 는 마치 스스로 공부하는 학생에게 '맞춤형 튜터'가 붙는 과정과 같습니다.

1. 혼자서 도전 (RL 단계): 학생이 먼저 문제를 풀어봅니다. 대부분의 문제는 스스로 해결합니다.
2. 막히는 곳 발견 (난이도 체크): 그런데 아주 어렵거나, 학생이 전혀 풀 수 없는 문제 (Hardest Questions) 가 나옵니다.
3. 맞춤형 코칭 (Online Fine-Tuning): 이때, 튜터 (더 똑똑한 AI 나 인간 전문가) 가 그 특정 난이도 높은 문제의 완벽한 해설을 가져옵니다.
4. 즉시 학습 (Interleaved): 학생은 그 해설을 바로 보고, "아, 이런 식으로 접근하는구나!"라고 배우고 다시 문제를 풉니다.
5. 반복: 이 과정을 반복하며, 혼자서 해결할 수 있는 문제는 스스로 더 잘 풀게 되고, 혼자서 못 하던 문제는 튜터의 도움을 받아 새로운 능력을 얻게 됩니다.

✨ ReLIFT 의 핵심 장점

• 효율성: 모든 문제에 해설을 주는 게 아니라, 정말 막히는 문제만 골라서 해설을 줍니다. 그래서 해설 데이터 (정답지) 가 훨씬 적어도 됩니다.
• 간결함: 단순히 해설을 외우는 게 아니라, 스스로 해결하는 능력을 키우기 때문에 불필요한 긴 설명 없이 핵심만 짚어서 답을 내놓습니다.
• 진정한 성장: 기존에 없던 새로운 문제 해결 능력을 얻으면서도, 기존에 잘하던 실력은 잃지 않습니다.

---

4. 실제 결과: "기존 방식들을 압도하다"

이론만 좋은 게 아니라, 실제 실험 결과도 놀라웠습니다.

• **수학 경시대회 (AIME, MATH 등)**와 **생각이 필요한 다양한 문제 (OOD)**에서 기존에 가장 잘하던 방법들보다 평균 6.7 점 이상 더 높은 점수를 받았습니다.
• 특히, GPU(컴퓨터) 사용 시간과 필요한 학습 데이터 양은 기존 방법보다 훨씬 적으면서도 더 좋은 결과를 냈습니다.

📝 한 줄 요약

"AI 가 혼자서 해결할 수 있는 문제는 스스로 더 잘 풀게 하고, 혼자서 해결할 수 없는 아주 어려운 문제는 좋은 해설을 통해 새로운 능력을 배우게 하는, 가장 효율적인 '혼합 학습' 방법 (ReLIFT) 을 제안합니다."

이 방법은 AI 가 단순히 "기억"하거나 "반복"하는 것을 넘어, 진짜로 새로운 지식을 습득하고 더 똑똑해지는 길을 열어줍니다.

기술 요약

1. 문제 제기 (Problem)

최근 RLVR(Verifiable Rewards 를 이용한 강화학습) 은 LLM 의 추론 능력을 획기적으로 향상시켰으나, 다음과 같은 근본적인 한계가 존재합니다.

• 기존 지식의 최적화에 그침: RL 은 모델이 이미 알고 있는 지식이나 추론 경로를 강화하는 데는 탁월하지만, 모델의 기존 능력 범위를 넘어서는 새로운 추론 패턴이나 지식을 습득하는 데는 한계가 있습니다.
• 탐색의 억제: RL 은 보상을 극대화하는 방향으로 수렴하는 과정에서 모델의 탐색 (Exploration) 을 억제하여, 복잡한 문제에서 성능이 정체되거나 기존 행동 패턴만 반복하는 '에코 챔버' 현상을 유발합니다.
• SFT 의 한계: 반면, SFT 는 고품질의 시연 데이터를 통해 새로운 지식을 주입할 수 있으나, 데이터 양에 의존적이며 분포 외 (OOD) 일반화 능력이 떨어지고, 단순한 문제에서는 오히려 성능을 저하시키거나 응답 길이를 불필요하게 늘리는 경향이 있습니다.

핵심 질문: RL 과 SFT 의 상호 보완적 강점을 활용하여, 모델의 기존 능력을 유지하면서도 새로운 지식을 습득하고 OOD 일반화를 달성할 수 있는 학습 전략은 무엇인가?

2. 방법론 (Methodology)

저자들은 RL 과 SFT 의 학습 동역학을 분석하여 다음과 같은 통찰을 얻었습니다:

• RL: 모델이 이미 해결 가능한 난이도 (Easy/Medium) 의 문제에서 성능을 극대화하고 유지하는 데 효과적입니다.
• SFT: 모델이 현재 해결하지 못하는 가장 어려운 (Hardest) 문제에서 새로운 추론 패턴을 학습시키는 데 필수적입니다.

이를 바탕으로 제안된 ReLIFT 프레임워크는 다음과 같은 과정을 따릅니다:

1. RL 학습 및 난이도 기반 샘플링: GRPO(Group Relative Policy Optimization) 를 사용하여 RL 학습을 수행합니다. 이 과정에서 모델이 정답을 도출하지 못한 (정확도 0) 가장 어려운 질문들을 실시간으로 식별합니다.
2. 온라인 고품질 데이터 수집: 식별된 난제에 대해 더 강력한 모델 (예: DeepSeek-R1) 이나 인간 전문가로부터 고품질의 Chain-of-Thought(CoT) 해답을 수집합니다.
3. 버퍼 관리 및 필터링: 수집된 (질문, 정답) 쌍을 버퍼에 저장하며, 추출된 최종 답이 정답과 일치하는지 검증합니다.
4. 인터리브드 (Interleaved) SFT: 버퍼에 충분한 수의 난제 데이터가 모이면 (임계치 도달), 해당 데이터로 1 스텝의 SFT 를 수행합니다. 이때 모델의 탐색 능력을 유지하기 위해 엔트로피 정규화 항을 손실 함수에 추가합니다.
5. 적응적 스케줄링: 학습 초기에는 모델의 약점이 두드러질 때 SFT 빈도를 높여 새로운 지식을 빠르게 습득하게 하고, 학습이 진행됨에 따라 RL 을 우선시하여 기존 능력을 다듬습니다.

3. 주요 기여 (Key Contributions)

1. 학습 동역학에 대한 체계적 분석: RL 이 '해결 가능한 문제'의 정제에는 탁월하지만, '해결 불가능한 난제'의 학습에는 SFT 가 필수적임을 실험적으로 입증했습니다.
2. ReLIFT 프레임워크 제안: RL 학습 중 발생하는 모델의 약점 (난제) 을 실시간으로 식별하고, 이에 대한 SFT 를 인터리브드 (교차) 방식으로 수행하는 새로운 학습 패러다임을 제시했습니다.
3. 효율성과 성능의 동시 달성: 기존 RLVR 방법론 및 SFT-RL 하이브리드 방법론보다 적은 시연 데이터와 GPU 시간으로 더 높은 성능을 달성했습니다.

4. 실험 결과 (Results)

Qwen2.5-Math-7B 모델을 기반으로 한 실험 결과, ReLIFT 는 다음과 같은 성과를 보였습니다:

• SOTA 달성: 6 개의 벤치마크 (수학 추론 5 개, OOD 1 개) 에서 평균 정확도 **52.6%**를 기록하여 기존 모든 방법론 (Pure SFT, Pure RL, LUFFY, SFT-then-RL 등) 을 능가했습니다.
• 자원 효율성:
  • 데이터: 46K 개의 시연 데이터를 사용하는 기존 SFT 기반 방법과 달리, ReLIFT 는 약 8K 개의 고품질 데이터만으로도 더 나은 성능을 발휘했습니다.
  • 시간: RL 만 수행하는 방법보다 약 20% 이상 적은 GPU 시간 (약 52 × 8 시간) 으로 훈련이 완료되었습니다.
• 응답의 간결성: ReLIFT 는 다른 방법론에 비해 더 간결하고 정확한 답변을 생성했습니다 (평균 토큰 수 감소).
• 일반화 능력: MMLU-Pro 및 다양한 OOD 벤치마크에서도 우수한 성능을 보여, 모델이 새로운 도메인에서도 잘 일반화됨을 입증했습니다.
• 확장성: Qwen2.5-1.5B, Qwen2.5-7B, LLaMA-3.1-8B 등 다양한 크기와 아키텍처의 모델에서도 일관된 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 RL 이 가진 '기존 지식 최적화'의 한계를 SFT 의 '새로운 지식 주입' 능력으로 보완할 수 있음을 보여주었습니다. ReLIFT 는 단순히 두 방법을 섞는 것을 넘어, **모델이 스스로 학습에 실패하는 순간 (난제) 을 포착하여 즉각적인 피드백 **(SFT)함으로써, RL 의 효율성과 SFT 의 학습 능력을 동시에 극대화합니다.

이는 추론 능력이 필요한 LLM 개발에 있어, 방대한 시연 데이터에 의존하지 않고도 효율적으로 고도화된 모델을 구축할 수 있는 새로운 패러다임을 제시하며, 향후 LLM 의 추론 능력 확장에 중요한 기여를 할 것으로 기대됩니다.