🤖 machine learning

ExpRL: Exploratory RL for LLM Mid-Training

ExpRL은 인간이 작성한 솔루션을 숨겨진 보상 스캐폴드(hidden reward scaffolds)로 활용하여 LLM을 위한 조밀한 프로세스 수준의 피드백을 생성함으로써, 희소한 보상과 수동적인 기술 명세의 한계를 극복하고 복잡한 추론 작업을 위해 모델을 더욱 효과적으로 프라이밍하는 자동화된 훈련 중(mid-training) 프레임워크를 도입한다.

원저자: Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral Kumar

게시일 2026-06-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral Kumar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 아주 똑똑하지만 경험이 부족한 학생(기본 LLM)에게 매우 어려운 수학 퍼즐을 푸는 법을 가르치려 한다고 상상해 보십시오.

문제점: "전부 아니면 전무(All-or-Nothing)"의 함정

현재 이 학생을 가르치는 표준적인 방식은 퍼즐을 주고 이렇게 말하는 것입니다. "최종 정답을 맞히면 금메달을 줄게. 틀리면 아무것도 없어."

이것을 **희소 보상 강화 학습(Sparse Reward Reinforcement Learning)**이라고 합니다. 문제는 매우 어려운 퍼즐의 경우, 학생이 첫 시도에 최종 정답을 맞힐 확률이 매우 낮다는 점입니다. 학생은 정답을 맞히지 못할 때마다 자신이 무엇을 잘못했는지 알 수 없습니다. 시작할 때 올바른 아이디어를 가졌던 걸까요? 계산 실수를 한 걸까요? 중간에 길을 잃은 걸까요? 피드백이 없으면 학생은 정답을 맞힐 때까지 그저 무작위로 추측하며 시간을 보낼 뿐입니다. 학생에게는 **커버리지(coverage)**가 부족합니다. 즉, 문제를 해결할 가능성을 높이기 위해 다양한 접근 방식을 충분히 학습하지 못한 것입니다.

해결책: ExpRL ("컨닝 페이퍼를 가진 코치")

저자들은 새로운 훈련 방법인 **ExpRL(탐색적 강화 학습, Exploratory Reinforcement Learning)**을 제안합니다. 이것은 학생이 최종 시험을 치르기 전, 특별한 코치로부터 배우는 "중간 훈련(Mid-Training)" 단계라고 생각하면 됩니다.

ExpRL이 어떻게 작동하는지 간단한 비유를 통해 설명하겠습니다:

컨닝 페이퍼 (참조 솔루션): 코치는 퍼즐에 대한 완벽하고 단계적인 해설지(참조 솔루션)를 가지고 있습니다.
비밀 규칙: 학생은 이 컨닝 페이퍼를 볼 수 없습니다. 학생은 실제 세상에서처럼 스스로 문제를 풀어야 합니다.
채점 기준 (심판): 학생이 자신의 풀이를 적어내면, 코치는 이를 해설지와 비교합니다. 하지만 단순히 "틀렸다"라고 말하는 대신, 코치는 엄격하면서도 도움이 되는 채점관 역할을 합니다.
- 올바른 공식을 사용했는가? (맞다면 +1점).
- 방정식을 올바르게 단순화했는가? (맞다면 +1점).
- 중간에 길을 잃었는가? (그 부분에 대해서는 점수 없음).
- 최종 정답을 틀렸는가? (괜찮습니다. 이전 단계에서 수행한 올바른 과정들에 대해서는 여전히 점수를 받습니다).

이것이 핵심적인 혁신입니다: ExpRL은 부분적인 진전에 보상을 줍니다. 설령 최종 정답을 맞히지 못하더라도, 학생이 거쳐온 올바른 단계들에 대해 "조밀한 보상(dense rewards, 많은 작은 점수들)"을 받게 됩니다.

두 가지 채점 방식

논문은 이 점수를 주는 두 가지 방식을 테스트합니다:

ExpRL-Outcome (결과 기반): 코치는 학생의 풀이가 완벽한 해설지와 얼마나 유사한지에 따라 전체적인 점수를 주기 위해 끝까지 기다립니다.
ExpRL-Process (과정 기반): 코치는 몇 문장마다 학생의 진행을 멈추고 즉각적인 피드백을 줍니다. "첫 번째 단계는 잘했어! 하지만 다음 단계는 좀 불안해 보이는데." 이는 학생이 단순히 최종 결과가 어떻게 보이는지를 배우는 것이 아니라, 해결책을 구축하는 방법을 배우도록 돕습니다.

결과: 더 나은 토대 구축

이 "중간 훈련" 단계를 거친 후, 학생은 최종 시험(실제 희소 보상 RL)을 치를 준비가 훨씬 더 잘 되어 있습니다.

더 나은 커버리지: 학생은 많은 다양한 전략을 시도하는 법을 배웠습니다. 단순히 추측하는 것이 아니라, 문제를 어떻게 분해하고, 검토하고, 스스로 수정하는지를 알게 되었습니다.
더 강력한 출발: 학생이 마침내 최종 시험(정답만 맞혀야 금메달을 받는 시험)을 볼 때, 이미 과정을 연습했기 때문에 성공할 확률이 훨씬 높은 상태에서 시작하게 됩니다.
경쟁 우위: 이 방법은 다음 방식들보다 더 효과적임을 논문은 보여줍니다:
- SFT (지도 미세 조정): 단순히 학생에게 해설지를 암기하도록 강요하는 것 (이는 학생을 경직되게 만들고 창의성을 떨어뜨립니다).
- 표준 RL: 금메달을 얻을 때까지 기다리는 것 (너무 느리고 좌절감을 줍니다).
- 자기 증류 (Self-Distillation): 자신의 최선의 추측으로부터 배우려고 노력하는 것 (신뢰도가 낮을 수 있습니다).

"혼합 도메인" 테스트

연구진은 이 방법을 수학, 과학, 코딩 문제가 섞인 환경에서도 테스트했습니다.

수학 및 과학: 매우 효과적이었습니다. "컨닝 페이퍼"가 학생이 논리와 단계를 이해하는 데 도움을 주었습니다.
코딩: 도움이 되긴 했지만, 그만큼은 아니었습니다. 왜일까요? 코딩에서는 코드를 직접 실행하여 작동 여부를 확인할 수 있기 때문입니다(명확한 "통과/실패" 신호가 존재함). 따라서 코딩에서는 "컨닝 페이퍼"가 그만큼 절실하지 않습니다. 컴퓨터 자체가 자신이 맞았는지 틀렸는지를 알려주기 때문입니다.

핵심 요약

ExpRL은 학생에게 정답을 볼 수는 없지만 완벽한 해설지의 도움을 받아, 매 단계마다 부분 점수를 받을 수 있는 연습 시험을 제공하는 것과 같습니다. 이는 문제 해결 능력의 강력한 기초를 쌓아주어, 오직 최종 정답만이 중요한 고득점의 실제 시험에 직면했을 때 성공할 가능성을 훨씬 높여줍니다. 이는 "전부 아니면 전무"의 도박을 구조화된 학습 여정으로 바꾸어 놓습니다.

기술 요약: ExpRL: LLM 미드 트레이닝을 위한 탐색적 강화학습(Exploratory RL)

1. 문제 정의

강화학습(RL)은 특히 희소한 이진 보상(예: 최종 정답의 정오 여부)을 가진 작업에서 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 표준적인 메커니즘이 되었습니다. 그러나 희소 보상 RL의 성공은 기본 모델의 커버리지(coverage), 즉 학습 시작 전 모델이 생산적인 추론 경로에 할당하는 확률 질량에 결정적으로 의존합니다.

만약 기본 모델이 어려운 문제에 대해 유용한 중간 단계나 다양한 해결 전략을 드물게 샘플링한다면, 희소 보상은 불충분한 학습 신호를 제공하게 됩니다. 이로 인해 모델은 초기 상태의, 종종 최적이 아닌 추론 패턴을 넘어 탐색하는 데 실패할 수 있습니다. 이를 해결하기 위한 현재의 미드 트레이닝 전략들—큐레이션된 트레이스(trace)에 대한 지도 미세 조정(SFT)이나 자기 증류(self-distillation) 등—은 종종 기술의 수동 명시를 요구하거나 토큰 수준의 모방에 의존합니다. 이러한 접근 방식은 모델의 고유한 추론 능력을 저해하거나, 복잡한 조합론적 또는 수학적 작업에 필요한 더 넓은 문제 해결 전략으로 일반화하는 데 실패할 수 있습니다.

핵심 과제는 모방에 의존하지 않고, 기초 모델의 생산적인 추론 경로에 대한 커버리지($pass@k$로 측정됨)를 높이기 위해 기본 모델을 "프라이밍(priming)"하는 과정을 자동화하는 것입니다.

2. 방법론: 탐색적 강화학습 (ExpRL)

ExpRL은 참조 솔루션(reference solutions)을 모방의 대상이 아닌 **보상 스캐폴드(reward scaffolds)**로 활용하는 온-폴리시(on-policy) RL 기반의 미드 트레이닝 접근 방식입니다. 이 방법은 연관된 참조 솔루션 $y^*$ 가 포함된 어려운 문제 데이터셋 $\mathcal{D}_{mid}$ 상에서 작동합니다.

핵심 설계 원칙

ExpRL은 참조 솔루션을 정책(policy)에 데모로서 노출하여 정책을 모방으로 편향시키는 대신, 정책으로부터 참조를 숨깁니다. 정책은 오직 문제 프롬프트 $x$ 로부터만 궤적(trajectory) $y$ 를 샘플링합니다. 그 후 LLM 심판(judge)이 샘플링된 궤적을 숨겨진 참조 $y^*$ 와 비교하여 **조밀한 보상(dense rewards)**을 부여합니다. 이는 LLM이 처음부터 정답을 생성하는 것보다 참조를 바탕으로 부분적인 진전(partial progress)을 검증하는 데 더 뛰어나다는 "검증-생성 간극(verification-generation gap)"을 활용합니다.

보상 메커니즘

ExpRL은 두 가지 변형의 조밀한 보상을 정의합니다:

ExpRL-Outcome: 전체 롤아웃(rollout)에 대해 참조 솔루션과의 정렬도를 기준으로 조밀하고 등급이 매겨진 점수를 부여합니다. 심판은 루브릭(rubric)에 따라 전체 트레이스를 평가하며, 최종 답이 틀리더라도 부분적인 정답성 및 유용한 중간 단계의 축소를 평가하여 피드백을 제공합니다.
ExpRL-Process: 롤아웃의 중간 접두사(prefix)들에 조밀한 점수를 부여합니다. 크레딧 할당(credit assignment)을 개선하기 위해, 이 방법은 세그먼트 수준의 어드밴티지(advantage) $A_t$ 를 계산합니다. 세그먼트는 이전 접두사 대비 심판의 정렬 점수를 개선했을 때만( $s_t - s_{t-1}$ ) 양의 어드밴티지를 받으며, 이를 통해 정책이 중간 진전을 바탕으로 구축하도록 장려하고 퇴보를 방지합니다.

최적화

정책 $\pi_\theta$ 는 베이스 정책 $\pi_0$ 에 대한 KL 정규화 항과 함께 온-폴리시 RL(outcome 보상을 위한 GRPO, process 보상을 위한 REINFORCE)을 사용하여 최적화됩니다. 목적 함수는 기대 조밀 보상을 최대화하면서 도달 가능한 KL 공간 내에 머무는 것입니다:
$\max_\theta \mathbb{E}_{(x, y^*) \sim \mathcal{D}_{mid}} \left[ \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [R(x, y, y^*)] - \beta \text{KL}(\pi_\theta(\cdot|x) \| \pi_0(\cdot|x)) \right]$

다운스트림 적용

미드 트레이닝 후, 프라이밍된 정책은 다운스트림 데이터셋 $\mathcal{D}'$ 에 대한 표준 2단계 희소 보상 RL의 초기값 역할을 합니다. 이 단계에서는 모든 참조 정보가 제거되며, 모델은 오직 이진 최종 답변 보상만을 사용하여 학습됩니다.

3. 주요 기여

자동화된 커버리지 구축: ExpRL은 참조 솔루션을 모방 타겟이 아닌 보상 스캐폴드로 사용하여, 모델의 생산적인 추론 경로에 대한 커버리지를 자동으로 확장하는 방법을 제안합니다.
조밀한 보상 스캐폴딩: 참조 솔루션을 LLM 심판을 통한 문제별 조밀한 채점 루브릭으로 변환하는 메커니즘을 도입하여, 희소 보상이 놓치는 부분적 진전 및 중간 단계의 축소를 강화할 수 있게 합니다.
프로세스 수준의 크레딧 할당: 접두사 기반 점수 산정 및 세그먼트 수준의 어드밴티지를 활용함으로써, ExpRL은 추론 단계의 품질에 대한 세밀한 피드백을 제공하여 분해(decomposition) 및 자기 수정(self-correction)과 같은 행동을 장려합니다.
프라이밍의 실증적 검증: 본 연구는 ExpRL이 SFT, 희소 보상 GRPO, 자기 증류 베이스라인에 비해 다운스트림 희소 보상 RL을 위한 우수한 초기값을 생성함을 입증합니다.

4. 실험 결과

실험은 도전적인 수학 추론 작업(AIME, HMT, IMO-AnswerBench)에서 수행되었으며, 혼합 도메인 설정(과학, 코딩)으로 확장되었습니다.

다운스트림 성능: ExpRL로 초기화된 모델은 2단계 희소 RL 이후 홀드아웃 벤치마크에서 모든 베이스라인보다 높은 $pass@1 $및$ pass@k$를 달성했습니다. 특히 AIME 2026에서 ExpRL-Process는 63.41%의 정확도를 기록하여, 가장 우수한 베이스라인인 GRPO(58.75%)를 앞질렀습니다.
1단계 개선 사항: 다운스트림 RL 이전에도, ExpRL로 프라이밍된 모델은 미드 트레이닝 분포에서 $pass@1 $및$ pass@16$의 유의미한 향상을 보여주었으며, 이는 해당 방법이 모델이 샘플링할 수 있는 해결 가능한 문제의 집합을 성공적으로 확장했음을 나타냅니다.
행동 변화: 추론 행동 분석 결과, ExpRL은 베이스 모델에 비해 검증(verification), 자기 수정(self-correction), 백트래킹(backtracking)과 같은 탐색 지향적 행동의 빈도를 높였습니다. 반면, SFT는 검증 행동을 감소시키는 경향이 있었습니다.
혼합 도메인 및 심판 확장성:
- ExpRL-Outcome은 수학, 과학, 코딩 도메인 전반에서 더 작은 4B 심판을 사용하여 더 큰 8B 정책을 성공적으로 개선하였으며, 이는 참조 조건이 주어질 경우 심판의 규모가 정책의 규모와 일치할 필요가 없음을 시사합니다.
- 코딩에서의 한계: ExpRL은 코딩 작업(LiveCodeBench)에서 엇갈린 결과를 보였습니다. 베이스 정책을 개선하기는 했으나, 실행 기반의 희소 GRPO가 여전히 더 강력했습니다. 저자들은 이를 코딩 보상이 참조 솔루션 스캐폴딩보다는 기능적 정확성(실행)에 크게 의존하며, 참조 경로를 통한 부분적 진전을 정의하기가 더 어렵기 때문이라고 설명합니다.
보상 신뢰도: 캘리브레이션 테스트를 통해 조밀한 보상 신호가 정답에 부합하는 참조의 존재 여부에 의존함을 확인했습니다. 참조를 제거하거나 잘못된 참조를 사용하면 심판의 롤아웃 판별 능력이 크게 저하되었습니다.

5. 의의 및 주장

본 논문은 ExpRL이 미드 트레이닝 단계로 탐색의 부담을 옮김으로써 LLM RL의 "탐색 병목(exploration bottleneck)" 문제를 해결한다고 주장합니다. 참조 가이드 기반의 조밀한 보상을 통해 부분적 진전과 다양한 추론 전략에 보상을 줌으로써, ExpRL은 더 강력한 "탐색 사전 확률(exploration prior)"을 구축합니다.

저자들은 이 접근 방식이 모방 기반 미드 트레이닝(SFT)보다 우월하다고 주장하는데, 이는 베이스 모델이 자연스럽게 생성하지 못할 수도 있는 트레이스를 복제함으로써 발생하는 분포 변화(distributional shift) 및 불안정성의 위험을 피하기 때문입니다. 대신, ExpRL은 정책을 자신의 분포 내에 유지하면서 솔루션 공간의 생산적인 영역으로 유도합니다.

이 연구는 ExpRL을 접두사 가이드 생성(prefix-guided generation)과 같은 다른 탐색 전략과 결합할 수 있는 일반적인 프라이밍 인터페이스로 포지셔닝하며, 어려운 문제에 대한 RL 스케일링의 핵심은 희소 보상 최적화가 시작되기 전에 베이스 모델이 생산적인 추론 경로에 대한 충분한 커버리지를 확보하도록 보장하는 데 있음을 시사합니다. 저자들은 이 방법이 보조 참조 데이터가 필요하며, 실행 피드백이 존재하는 코딩과 같은 도메인에서는 효과가 다를 수 있다는 점을 언급하며 신중한 태도를 유지했습니다.