💬 NLP

Efficient Reinforcement Finetuning via Adaptive Curriculum Learning

이 논문은 보상 신호에 따라 문제의 난이도를 동적으로 조정함으로써 대규모 언어 모델의 강화 미세 조정을 위한 효율성과 정확성을 크게 향상시키고, 이를 통해 수학적 추론 성능을 개선하는 동시에 훈련 시간을 최대 2배까지 단축하는 적응형 커리큘럼 학습 방법인 AdaRFT를 소개한다.

원저자: Taiwei Shi, Yiyang Wu, Linxin Song, Tianyi Zhou, Jieyu Zhao

게시일 2026-02-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Taiwei Shi, Yiyang Wu, Linxin Song, Tianyi Zhou, Jieyu Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 복잡한 수학 문제를 푸는 법을 가르치려 한다고 상상해 보십시오. 당신에게는 "2+2는 무엇인가?"부터 "인간 천재가 50년 동안 매달렸던 이 정리를 증명하라"까지, 아주 방대한 문제 도서관이 있습니다.

과거에 연구자들이 이러한 로봇(대규모 언어 모델)을 훈련시키기 위해 **강화 미세 조정(Reinforcement Finetuning, RFT)**을 시도했을 때, 그들은 종에 하나의 실수를 저질렀습니다. 바로 로봇을 곧바로 깊은 물 속에 던져버린 것입니다. 그들은 너무 쉬운 문제(지루하고 쓸모없는)와 너무 어려운 문제(불가능하고 좌절감을 주는)가 뒤섞인 데이터셋을 로봇에게 주었습니다. 로봇은 이미 알고 있는 쉬운 문제를 푸느라 시간을 낭비하거나, 풀 수 없는 어려운 문제에 막혀 헤매게 되었고, 이는 전체 훈련 과정을 느리고 비용이 많이 들게 만들었습니다.

이 논문은 ADARFT(Adaptive Curriculum Reinforcement Finetuning)라는 새로운 방법을 소개합니다. ADARFT를 로봇의 성과를 실시간으로 관찰하고 그에 맞춰 숙제의 난이도를 조절하는 스마트하고 적응적인 개인 과외 선생님이라고 생각하십시오.

작동 방식은 다음과 같습니다.

1. "골디락스(Goldilocks)" 존

핵심 아이디어는 과업이 딱 적당할 때 학습이 가장 잘 일어난다는 것입니다. 너무 쉽지도, 너무 어렵지도 않아야 합니다.

너무 쉬움: 로봇이 문제를 100%의 확률로 맞힌다면, 그것은 새로운 것을 배우고 있는 것이 아닙니다. 이는 학생이 이미 수년 동안 알고 있었던 구구단을 계속 반복하는 것과 같습니다.
너무 어려움: 로봇이 100%의 확률로 틀린다면, 그것은 그냥 무작위로 찍고 있는 것입니다. 이는 초등학생에게 박사 수준의 물리학 문제를 풀라고 요구하는 것과 같습니다.
딱 적당함: 스위트 스팟(Sweet spot)은 로봇이 정답을 맞힐 확률이 약 **50%**일 때입니다. 이곳이 바로 뇌(또는 모델)가 실제로 성장하는 "생산적 고군분투(productive struggle)"의 영역입니다.

2. ADARFT가 과외 선생님 역할을 하는 방법

ADARFT는 경직된 사전 계획(예: "1주 차: 쉬움, 2주 차: 중간")을 따르는 대신 역동적으로 움직입니다.

피드백 루프: 매 배치(batch)의 연습 문제가 끝날 때마다, 선생님은 로봇의 점수를 확인합니다.
조정:
- 만약 로봇이 문제를 압도적으로 잘 풀어낸다면(점수가 50%를 훨씬 상회하면), 선생님은 "잘했어! 여기 조금 더 어려운 문제들이 있단다"라고 말하며 난이도를 높입니다.
- 만약 로봇이 처참하게 실패한다면(점수가 50%보다 훨씬 낮으면), 선생님은 "잠시 물러나자. 자신감을 키울 수 있도록 더 쉬운 문제들을 줄게"라고 말하며 난이도를 낮춥니다.
- 만약 로봇이 50% 근처에서 머물고 있다면, 선생님은 난이도를 일정하게 유지합니다.

3. "난이도 점수"

이를 수행하기 위해서는 각 문제가 얼마나 어려운지 알아야 합니다. 저자들은 모든 문제에 대해 인간에게 채점을 요청하지 않았습니다(그것은 시간이 너무 오래 걸릴 것입니다). 대신, 그들은 훈련을 시작하기 전에 "판사"(또 다른 AI 모델)를 사용하여 모든 수학 문제에 0에서 100 사이의 난이도 점수를 부여했습니다.

비유: 모든 책이 도서관의 책장에 꽂혀 있을 때, 책등에 "독서 수준" 스티커가 붙어 있다고 상상해 보십시오. ADARFT는 책을 직접 읽지 않고도 그 수준을 알 수 있으며, 학생의 현재 독해 능력에 맞는 책을 골라냅니다.

4. 이것이 왜 중요한가

이 논문은 이 단순한 "선생님" 접근 방식이 훈련 속도를 두 배 빠르게 만들고, 결과적으로 더 똑똑한 로봇을 만든다고 주장합니다.

효율성: "너무 쉽거나" "너무 어려운" 문제를 피함으로써, 로봇은 시간을 낭비하지 않습니다. 이는 마치 근육을 키우기 위해 적절한 페이스로 달리는 러너와 같으며, 너무 느리게 조깅하거나 탈진할 때까지 전력 질주하는 것과는 다릅니다.
정확도: 로봇이 끊임없이 완벽한 수준의 도전을 받기 때문에, 더 잘 학습하며 어려운 수학 경시 대회에서도 더 높은 정확도를 기록하게 됩니다.
부담 없는 업그레이드: 가장 좋은 점은 ADARFT가 로봇의 뇌 구조나 게임의 규칙을 바꿀 필요가 없다는 것입니다. 이것은 기존 훈련 방법 위에 얹어서 사용할 수 있는 "플러그 앤 플레이(plug-and-play)" 방식의 업그레이드입니다.

요약

요컨대, ADARFT는 모든 훈련 데이터를 평평하게 쌓인 돌무더기로 취급하는 것을 멈추는 방법입니다. 대신, 돌의 크기별로 정리하여 학습자에게 하나씩 건네줌으로써, 학습자가 힘을 기를 수 있을 만큼 충분히 무겁지만 실제로 들어 올릴 수는 있는 무게를 항상 들게 합니다. 이를 통해 훈련 과정은 더 빠르고, 저렴하며, 효과적이 됩니다.

기술 요약: 적응형 커리큘럼 학습을 통한 효율적인 강화 학습 미세 조정 (ADARFT)

문제 정의

강화 학습 미세 조정(Reinforcement Finetuning, RFT)은 특히 정답이 명확하게 정의된 수학적 추론과 같은 도메인에서 대규모 언어 모델(LLM)을 특정 작업 목표에 정렬시키기 위한 핵심적인 기술로 부상했습니다. 그러나 표준 RFT 접근 방식(예: PPO, GRPO)은 상당한 샘플 및 계산 비효율성을 겪습니다. 이들은 반복적인 롤아웃 생성과 정책 업데이트를 포함한 광범위한 훈련을 필요로 하며, 이로 인해 비용이 많이 들고 확장이 어렵습니다.

효율성을 개선하려는 기존의 시도들은 다음과 같은 구체적인 트레이드오프에 직면해 있습니다:

알고리즘 단순화 (예: RAFT, ReMax)는 분산을 증가시키거나 안정성을 제한할 수 있습니다.
데이터 중심 전략 (예: LIMO, LIMR)은 종종 수동 큐레이션이나 정적 스코어링에 의존하며, 이는 취약하거나 계산 집약적이거나 모델 종속적일 수 있습니다.
기존 연구의 커리큘럼 학습(CL) 접근 방식은 일반적으로 고정되고 수동으로 정의된 단계나, 데이터를 걸러내기 위해 반복적인 롤아웃이 필요한 온라인 필터링 체계를 사용합니다. 이러한 방법들은 모델의 진화하는 숙련도에 대한 진정한 적응성이 부족하거나 상당한 계산 오버헤드를 초래합니다.

결과적으로, 근본적인 RL 알고리즘을 수정하거나 광범위한 수동 데이터 큐레이션을 요구하지 않으면서도, 모델의 현재 능력에 맞춰 작업 난이도를 동적으로 조정할 수 있는 방법이 필요합니다.

방법론: ADARFT

저자들은 표준 RFT 파이프라인(PPO, GRPO, REINFORCE++와 호환 가능)에 적응형 커리큘럼 학습을 통합하는 경량화된 모델 불가지론적 프레임워크인 ADARFT(Adaptive Curriculum Reinforcement Finetuning)를 제안합니다.

핵심 메커니즘

ADARFT는 목표 난이도 수준( $T$ )을 유지하고, 모델의 최근 보상 신호에 따라 이를 동적으로 조정함으로써 작동합니다. 핵심 직관은 학습이 너무 쉽지도 너무 어렵지도 않은 상태(근접 발달 영역, zone of proximal development)일 때 가장 효과적이라는 것입니다.

알고리즘은 다음과 같이 진행됩니다:

오프라인 난이도 추정: 데이터셋 $D$ 의 각 문제는 난이도 점수 $d_i$ 와 함께 사전 주석이 달립니다. 이 점수는 인간의 주석, 모델 기반 롤아웃(pass@k), 또는 LLM 판사(예: GPT-4o)로부터 도출될 수 있습니다.
동적 커리큘럼 샘플링: 각 훈련 단계에서 알고리즘은 목표 난이도와 모든 문제의 난이도 사이의 절대 차이 $\Delta_i = |d_i - T|$ 를 계산합니다. 모델의 현재 역량에 가장 가까운 작업을 학습할 수 있도록, $\Delta_i$ 가 가장 작은 $B$ 개의 문제를 선택합니다.
정책 업데이트: 선택된 배치는 표준 RL 알고리즘(예: PPO)을 사용하여 정책 $\pi_\theta$ 를 업데이트하는 데 사용됩니다. 응답의 정답 여부에 따라 이진 보상 신호( $R_i \in \{0, 1\}$ )가 계산됩니다.
목표 난이도 업데이트: 목표 난이도 $T$ $T$ 는 배치의 평균 보상( $R_{avg}$ $R_{a v g}$ )을 기반으로 업데이트됩니다. 업데이트 규칙은 다음과 같이 정의됩니다:
$T' = \text{clip}(T + \eta \cdot \tanh(\alpha \cdot (R_{avg} - \beta)), d_{min}, d_{max})$
- $\beta$ : 목표 보상 수준 (0.5로 설정), 즉 원하는 성공률을 나타냅니다.
- $\eta$ : 난이도 조정을 위한 스텝 크기.
- $\alpha$ : 민감도 파라미터.
- $\text{clip}$ : $T$ 를 유효한 난이도 범위 $[d_{min}, d_{max}]$ 내로 제한합니다.

모델의 성능이 좋으면 ( $R_{avg} > \beta$ ), $T$ 가 증가하여 후속 문제들이 더 어려워집니다. 만약 성능이 낮으면 ( $R_{avg} < \beta$ ), $T$ 가 감소합니다.

이론적 근거

저자들은 목표 보상 $\beta = 0.5$ 를 설정하는 것에 대한 이론적 근거를 제공합니다. 엔트로피 정규화된 RL에서, 정책 업데이트를 위한 그래디언트 크기는 보상 분산에 비례합니다. 이진 보상의 경우, 성공률이 0.5일 때 분산이 최대화됩니다. 따라서 모델이 약 절반의 확률로 성공하는 문제들을 학습하도록 함으로써, 너무 쉬운 작업에서 발생하는 소실 그래디언트(vanishing gradients)나 너무 어려운 작업에서 발생하는 노이즈를 피하고 가장 강력한 학습 신호를 제공할 수 있습니다.

주요 기여

적응형 커리큘럼 프레임워크: ADARFT는 모델의 성능에 따라 실시간으로 작업 난이도를 조정하는 동적 피드백 기반 커리큘럼을 도입하여, 데이터 필터링을 위한 반복적인 롤아웃이나 고정된 스케줄의 필요성을 제거합니다.
경량성 및 범용성: 이 방법은 표준 RL 알고리즘(PPO, GRPO 등)에 최소한의 확장만을 요구하며, 보상 함수나 모델 아키텍처를 변경하지 않습니다. 다양한 RL 알고리즘 및 모델 크기와 호환됩니다.
오프라인 난이도 추정: 이 접근 방식은 롤아웃이나 LLM 판사로부터 도출된 정적이고 사전 계산된 난이도 점수에 의존하므로, 훈련 중에 온라인으로 난이도를 재계산하는 계산 오버헤드를 피할 수 있습니다.
포괄적인 평가: 이 방법은 다양한 데이터 분포(uniform, skew-easy, skew-difficult)와 모델 규모(Qwen 2.5 1.5B 및 7B)에 대해 경시대회 수준의 수학 벤치마크에서 평가되었습니다.

결과

경시대회 수준의 수학 데이터셋(AMC, AIME, IMO 스타일)에 대한 실험 결과, ADARFT는 표준 PPO, 필터링된 데이터를 사용한 PPO, 그리고 고정된 커리큘럼 스케줄을 사용한 PPO와 비교하여 훈련 효율성과 최종 추론 성능을 모두 크게 향상시켰습니다.

훈련 효율성: ADARFT는 훈련 시간을 최대 2배까지 단축합니다. ADARFT로 훈련된 모델은 베이스라인 방법의 성능 수준에 도달하기 위해 훨씬 적은 단계(steps)를 필요로 합니다. 예를 들어, skew-difficult 분포에서의 Qwen 2.5 1.5B 모델의 경우, 표준 PPO는 60단계에서 ADARFT의 성능에 도달하기 위해 71.7% 더 많은 단계가 필요했습니다.
최종 정확도: ADARFT는 일관되게 더 높은 최종 정확도를 달성합니다. skew-difficult 분포에서 Qwen 2.5 1.5B 모델은 37.41%(PPO)에서 40.48%(ADARFT)로 향상되었습니다. 7B 모델에서도 유사한 이득이 관찰되었습니다 (44.17%에서 46.83%).
강건성: 이 방법은 특히 불균형한 데이터 환경(예: skew-difficult)에서 효과적이며, 이 환경에서 정적 샘플링은 훈련 초기 단계에 충분한 학습 신호를 제공하는 데 자주 실패합니다.
알고리즘 불가지론: 절제 연구(Ablation studies)를 통해 ADARFT가 PPO뿐만 아니라 GRPO 및 REINFORCE++에서도 수렴 속도와 정확도를 개선함을 확인했습니다.
난이도 추정: 본 논문은 LLM 판사(GPT-4o)로부터 도출된 난이도 추정치가 경험적 성공률과 잘 상관관계가 있음을 보여주며, 이는 비용이 많이 드는 롤아웃 기반 추정의 확장 가능한 대안을 제공합니다.

의의 및 주장

본 논문은 ADARFT가 구조화된 추론 작업에서 더 효율적인 RFT를 위한 실용적이고 확장 가능한 경로를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

수동 큐레이션 제거: 수동으로 설계된 커리큘럼이나 광범위한 데이터 필터링을 필요로 하는 방법과 달리, ADARFT는 모델의 학습 역학에 자동으로 적응합니다.
학습 신호 최적화: 50%의 성공률을 목표로 함으로써, 이 방법은 모델이 지속적으로 "해결 가능하지만 도전적인" 작업에 훈련되도록 하여 업데이트당 정보 이득을 극대화합니다.
확장성: 이 접근 방식은 가볍고 모델 불가지론적이어서, 계산 자원이 제한된 대규모 훈련 파이프라인에 적합합니다.

저자들은 커리큘럼 학습의 이점이 불균형한 훈련 분포와 제한된 용량을 가진 모델에서 가장 두드러지며, 이 경우 표준 RFT는 능력을 끌어올리는 데 어려움을 겪는다고 언급했습니다. 수동 큐레이션이 이론적으로 유사한 결과를 낼 수 있지만, ADARFT는 새로운 모델마다 재조정(re-tuning)할 필요 없이 모델 아키텍처와 숙련도 전반에 걸쳐 일반화되는 자동화된 통합 솔루션을 제공합니다.