💬 NLP

Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning

본 논문은 강화학습이 새로운 능력을 가르치는 것이 아니라 고엔트로피 의사결정 지점에서 희소하고 예측 가능한 수정을 수행함으로써 LLM 추론을 개선하며, 이는 최소한의 학습 비용으로 완전한 강화학습 성능을 달성하는 매우 효율적인 RL 없는 방법인 ReasonMaxxer의 개발로 이어진다고 주장한다.

원저자: Ömer Faruk Akgül, Rajgopal Kannan, Willie Neiswanger, Viktor Prasanna

게시일 2026-05-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ömer Faruk Akgül, Rajgopal Kannan, Willie Neiswanger, Viktor Prasanna

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "REASONMAXXER: Embarrassingly Cheap Post-Training" 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 풀어낸 것입니다.

핵심 아이디어: 모델은 이미 정답을 알고 있습니다

수학 시험을 보는 매우 똑똑한 학생 (기저 모델) 이 있다고 상상해 보세요. 이 학생은 대부분의 경우 정답을 알고 있지만, 조금은 결단력이 부족합니다. 까다로운 단계에 도달하면 두세 가지 가능한 경로 사이에서 망설이며 동전 던지기를 하듯 선택을 망설일 수 있습니다.

오랫동안 연구자들은 강화 학습 (RL) 이 학생에게 문제를 해결하는 새로운 방법을 가르치고, 처음부터 완전히 새로운 전략을 고안해 내는 초강력 코치라고 생각했습니다.

하지만 이 논문은 그것이 잘못되었다고 주장합니다.

저자들은 '코치' (RL) 가 학생에게 새로운 비법을 가르치는 것이 아니라, 단지 속삭인다는 사실을 발견했습니다. "이봐, 5 단계에서 망설일 때 너는 잘못된 경로를 선택했어. 그냥 네가 이미 생각하고 있던 두 번째로 좋은 옵션을 선택하면 돼."

학생은 이미 정답을 알고 있었습니다. 단지 그것을 선택하도록 아주 작은 자극이 필요했을 뿐입니다.

발견: 모두 '갈림길'에 관한 것입니다

연구자들은 AI 가 강화 학습을 통해 학습할 때 컴퓨터 내부에서 정확히 어떤 일이 일어나는지 살펴보았습니다. 그리고 세 가지 놀라운 사실을 발견했습니다.

매우 드뭅니다: RL 코치는 단계의 약 1% 에서 3% 에서만 학생의 마음을 바꿉니다. 시험의 97% 에서는 학생이 어차피 하고 싶었던 대로 정확히 행동합니다.
항상 '안전한' 변화입니다: 코치는 학생에게 결코 고려해 본 적 없는 미친 듯하고 기이한 답을 선택하라고 말하지 않습니다. 오직 학생이 이미 생각하고 있던 두 번째 또는 세 번째로 좋은 옵션으로 전환하라고만 말합니다.
오직 '갈림길' 순간에만 발생합니다: 이러한 변화는 학생이 혼란스러울 때 (높은 '엔트로피') 에만 일어납니다. 학생이 확신하면 코치는 침묵합니다. 학생이 불확실하면 코치는 올바른 갈림길을 가리킵니다.

비유:
익숙한 도로에서 차를 운전한다고 상상해 보세요. 당신은 경로를 완벽하게 알고 있습니다.

기저 모델은 당신이 운전하는 것입니다.
RL 코치는 GPS 입니다.
오래된 관점: 우리는 GPS 가 당신이 본 적도 없는 차를 운전하는 법을 가르친다고 생각했습니다.
새로운 관점: GPS 는 단지 "당신은 혼란스러운 교차로에 있어요. 왼쪽으로 돌릴 뻔했지만, 오른쪽으로 돌려야 해요." 라고 말합니다. 당신은 이미 오른쪽으로 도는 법을 알고 있었습니다. 단지 상기시켜 줄 필요가 있었을 뿐입니다.

문제: 코치가 너무 비쌉니다

현재 이러한 '코치' (RL) 를 훈련시키는 것은 학생이 시험을 치르는 모습을 지켜보고, 수백만 가지 시나리오를 시뮬레이션하며, 그 작은 자극을 찾아내기 위해 복잡한 수학 계산을 수행하는 거대한 엔지니어 팀을 고용하는 것과 같습니다. 이는 수천 달러의 비용과 몇 주에 걸친 컴퓨터 시간이 소요됩니다.

이 논문은 질문합니다: 코치가 우리가 이미 가지고 있는 지도상의 몇몇 특정 지점만 가리킨다면, 그 비싼 코치 팀 전체가 필요한가요?

해결책: REASONMAXXER (스마트한 자극)

저자들은 REASONMAXXER라는 새롭고 매우 저렴한 방법을 개발했습니다. 거대한 코치 대신, 작고 저렴한 도구를 사용합니다.

작동 원리는 다음과 같습니다.

혼란 찾기: 시스템은 학생 (기저 모델) 의 생각 자체를 살펴봅니다. "어디서 혼란을 느끼고 있니?" 라고 묻습니다. 엔트로피라는 간단한 수학 트릭을 사용하여 학생이 불확실한 '갈림길' 순간을 찾습니다.
대조적 자극: 학생이 정답을 맞춘 몇 가지 예시와 틀린 몇 가지 예시를 가져옵니다. 그리고 말합니다: "이런 혼란스러운 순간에, 정답을 맞췄을 때는 이 경로를 선택했어. 틀렸을 때는 저 경로를 선택했지. 첫 번째 것을 선택하는 것을 기억해."
미세한 변화: 이 규칙을 기억하기 위해 모델의 뇌 (파라미터) 의 극히 일부 (1% 미만) 만 업데이트합니다.

결과: 똑똑함은 그대로, 비용은 극소수

이 논문은 이 새로운 방법을 여섯 가지 다른 수학 벤치마크에서 비싼 표준 RL 코치와 비교하여 테스트했습니다.

성능: REASONMAXXER 는 비싼 RL 모델과 마찬가지로, 혹은 더 잘 수행했습니다.
비용: 이것이 큰 충격입니다.
- 표준 RL: 훈련 비용이 200 달러에서 100,000 달러 사이입니다.
- REASONMAXXER: 훈련 비용이 약 4 달러에서 25 달러입니다.
- 시간: 단일 컴퓨터 카드에서 몇 분이 소요되는 반면, RL 은 며칠에서 몇 주가 걸립니다.

결론

이 논문은 AI 추론을 가르치기 위해 거대하고 비싼 강화 학습을 사용하는 업계의 큰 추세가 과잉일 수 있다고 결론지었습니다.

'추론'은 우리가 해금하는 새로운 초능력이 아닙니다. 단지 AI 가 불확실할 때 올바른 선택을 하도록 돕는 문제일 뿐입니다.

이미 대부분 지어진 집을 짓기 위해 거대한 건설 인력이 필요하지 않습니다. 중요한 순간에 몇 개의 헐거워진 나사를 조일 수 있는 손님이 필요할 뿐입니다. REASONMAXXER 가 바로 그 손님이며, 몇 푼의 비용으로 그 일을 해냅니다.

기술 요약: LLM 추론을 위한 강화학습 재고찰

문제 제기

검증 가능한 보상을 통한 강화학습 (RLVR) 은 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 표준 패러다임이 되었으며, DeepSeek-R1 과 OpenAI o1 과 같은 시스템은 상당한 개선을 입증했습니다. 지배적인 가정은 RL 이 보상 기반 탐색을 통해 모델이 진정으로 새로운 추론 전략을 습득하게 한다는 것입니다. 그러나 최근 증거는 RL 이 새로운 능력을 가르치는 것이 아니라, 기본 모델이 이미 보유한 솔루션들에 대한 확률 질량을 재분배할 뿐일 수 있음을 시사합니다.

본 논문은 중요한 간극을 다룹니다: 이전 연구들은 RL 의 효과가 특정 지점에 집중되어 있음을 식별했지만, 이러한 연구들조차 여전히 RL 프레임워크 내부에서 작동합니다. 저자들은 근본적인 메커니즘이 단순히 모델이 이미 알고 있는 경로로 모델을 유도하는 것이라면, RL 최적화 루프 자체가 필요한지 질문합니다. 그들은 추론 향상이 능력 습득의 문제가 아니라 **희소 정책 선택 (sparse policy selection)**의 문제라고 가설을 세웁니다.

방법론

1. RL 효과의 기계적 분석

저자들은 여러 모델 계열 (Qwen, Mistral, DeepSeek) 과 RL 알고리즘 (GRPO, PPO, RLOO) 에 걸쳐 체계적인 토큰 단위 분석을 수행했습니다. 동일한 프롬프트에 대한 기본 모델의 출력과 RL 훈련된 대응 모델의 출력을 비교하여 변화의 성격을 규명했습니다.

희소 불일치: 그들은 RL 모델이 기본 모델과 토큰 위치의 **1~3%**에서만 불일치한다는 사실을 발견했습니다.
보수적 재순위화: RL 모델이 선택한 "승격된" 토큰은 거의 예외 없이 기본 모델의 상위 5 개 후보 내에 있습니다 (평균 순위 약 2.2). RL 은 거의 새로운 토큰을 도입하지 않으며, 기존 대안들을 격상시킵니다.
엔트로피 국소화: 이러한 불일치는 기본 모델이 어떤 추론 분기를 취할지 불확실한 **고엔트로피 의사결정 지점 (forking tokens)**에서 거의 예외적으로 발생합니다. 이러한 위치의 엔트로피는 변경되지 않은 위치보다 5~12 배 높습니다.
인과적 검증: "오라클 개입 (oracle intervention)"을 사용하여 저자들은 불일치 지점에서만 기본 모델 토큰을 RL 교사 모델이 선호하는 토큰으로 교체했습니다. 이 개입은 RL 모델의 정확도를 정확히 회복시켰으며, 이는 희소 편집이 성능 향상의 인과적 원인임을 증명했습니다. 이러한 지점에서의 무작위 치환은 성능 향상을 가져오지 못했습니다.
저차원성: 저자들은 RL 교사 모델의 행동을 단 100 개의 문제만으로 훈련된 저랭크 LoRA 어댑터로 정제했습니다. 랭크 32 어댑터 (파라미터의 <0.5% 미만 수정) 가 전체 분포 변화를 포착하는 데 충분했으며, 이는 수정이 파라미터 공간에서 저차원적임을 시사합니다.

2. REASONMAXXER: RL 없는 방법

이러한 발견에 기반하여 저자들은 RL 최적화 루프를 완전히 우회하는 최소한의 RL 없는 사후 훈련 방법인 REASONMAXXER를 제안합니다.

데이터 선택: 이 방법은 고정된 기본 모델에서 롤아웃을 샘플링하고, 기본 모델이 혼합된 성공 (일부는 정확하고 일부는 부정확함) 을 보이는 문제만 유지합니다. 이는 양측 대비 신호의 존재를 보장합니다.
의사결정 지점 식별: RL 교사 모델을 사용하여 중요한 토큰을 식별하는 대신, REASONMAXXER 는 기본 모델 자체의 토큰 엔트로피를 게이트로 사용합니다. 엔트로피가 임계값 $\tau$ 를 초과하는 위치를 의사결정 지점으로 표시합니다.
대비 미세 조정:
- 의사결정 지점에서: 가중치가 부여된 대비 손실 (advantage-weighted contrastive loss) 이 적용됩니다. 정확한 롤아웃은 관찰된 토큰을 강화하고, 부정확한 롤아웃은 이를 패널티합니다.
- 비의사결정 지점에서: 쿨백 - 라이블러 (KL) 발산 손실이 모델을 기본 분포에 고정시켜 과적합을 방지하고 수정이 필요 없는 곳에서 기본 모델의 행동을 보존합니다.
아키텍처: 이 방법은 기본 모델에 부착된 LoRA 어댑터를 사용하며 기본 가중치는 고정된 상태로 둡니다.

주요 결과

저자들은 세 가지 모델 계열, 여섯 가지 규모, 그리고 여섯 가지 수학적 추론 벤치마크 (MATH-500, GSM8K, AIME 등) 에 걸쳐 REASONMAXXER 를 평가하여 전체 RL 베이스라인과 비교했습니다.

성능 동등성: REASONMAXXER 는 전체 RL 훈련 모델의 성능과 일치하거나 초과합니다. 예를 들어, Qwen2.5-7B 에서 REASONMAXXER 는 MATH-500 에서 **70.6%**를 달성하여 SimpleRL-Zoo(65.6%) 를 능가하고 Open-Reasoner-Zero(73.2%) 에 근접했습니다.
극적인 비용 절감: 이 방법은 훈련 비용을 2~3 차수만큼 줄입니다.
- 컴퓨팅: REASONMAXXER 는 단일 GPU 훈련에 몇 분이 소요되며 (총 수십 GPU 시간), RL 베이스라인은 수백에서 수만 GPU 시간이 필요합니다.
- 데이터: REASONMAXXER 는 50 개의 문제 (약 1,000 개의 시퀀스 생성) 로 훈련되는 반면, RL 베이스라인은 종종 수만 개의 문제 (예: Open-Reasoner-Zero 의 경우 57,000 개) 로 훈련됩니다.
- 금전적 비용: REASONMAXXER 의 추정 훈련 비용은 4 달러에서 25 달러 범위인 반면, RL 베이스라인은 200 달러에서 103,000 달러입니다.
일반화: 이 방법은 정교한 향상 (예: 반복적 RL, 모델 기반 검증기, 다중 도메인 데이터) 을 사용하는 베이스라인에 대해서도 잘 수행되며, 이러한 파이프라인의 핵심 이득이 동일한 희소 정책 선택 메커니즘에서 비롯됨을 시사합니다.

중요성과 주장

본 논문은 LLM 추론 향상 문제를 능력 습득에서 희소 정책 선택으로 재정의합니다.

추론 이득을 위한 RL 은 불필요함: 저자들은 RL 최적화 루프가 추론 향상을 위한 필수 조건이 아니라고 주장합니다. RL 이 포착하는 "신호"는 고엔트로피 의사결정 지점에서의 희소하고 예측 가능한 수정이며, 이는 온라인 탐색 없이 직접적인 대비 미세 조정을 통해 학습될 수 있습니다.
기본 모델이 솔루션을 보유함: 발견들은 기본 모델이 이미 필요한 추론 경로와 어휘를 보유하고 있음을 시사합니다. 단지 불확실한 순간에 올바른 분기에 착수하도록 유도하기만 하면 됩니다.
인프라보다 효율성: 이 논문은 커뮤니티의 무거운 RL 인프라에 대한 기본 투자를 도전합니다. 문제의 복잡성 (희소 선택) 이 솔루션의 복잡성 (대규모 RL 파이프라인) 을 정당화하지 않는다고 주장하며, 훨씬 더 효율적인 사후 훈련 방법의 문을 엽니다.

결론적으로, 저자들은 기본 모델의 자체 신호를 사용하여 중요한 고엔트로피 의사결정 지점만을 식별하고 수정함으로써, 데이터와 컴퓨팅의 일부로 RL 의 이점을 재현할 수 있음을 입증했습니다. 이는 추론 모델 훈련의 비용 - 편익 분석을 근본적으로 변화시킵니다.