💬 NLP

Beyond Normalization: Rethinking the Partition Function as a Difficulty Scheduler for RLVR

본 논문은 GFlowNet 분할 함수를 정보성 프롬프트를 우선시하고 재연산을 최적화하기 위한 프롬프트별 정확도 신호로 재해석하는 사후 학습 프레임워크인 PACED-RL 을 소개하여, 추가적인 계산 오버헤드 없이 대규모 언어 모델의 샘플 효율성과 추론 성능을 크게 향상시킵니다.

원저자: Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 한 명의 천재이지만 매우 문자 그대로 해석하는 학생 (AI) 에게 복잡한 퍼즐, 예를 들어 수학 문제나 코딩 과제를 해결하는 방법을 가르치고 있다고 상상해 보세요. 당신은 그들이 추론 능력을 향상시키길 원하지만, 동시에 그들의 창의성을 유지하게 하고 모든 문제를 해결하는 단 하나의 방법만 외우지 않도록 하고 싶습니다.

이 논문은 PACED-RL이라는 새로운 교수법을 소개합니다. 이것이 어떻게 작동하는지 이해하기 위해, 기존 방법들의 문제점과 이 새로운 접근법이 어떻게 교묘한 트릭을 통해 그 문제들을 해결하는지 살펴보겠습니다.

문제: "과신"하는 학생

기존 교수법들 (PPO 나 GRPO 등) 은 엄격한 훈련 사령관과 같습니다. 그들은 학생에게 이렇게 말합니다. "정답을 맞히면 훌륭해! 틀리면 다음엔 더 열심히 해."

결과: 학생은 정답을 맞히는 데 매우 능숙해지지만, 경직됩니다. 그들은 다양한 접근법을 시도하는 것을 멈추고, "안전"하다고 생각하는 단 하나의 결과만 출력합니다. 그들은 사고의 다양성을 잃게 됩니다.

이전의 해결책: "Flow" 방법

최근 연구자들은 GFlowNets라는 방법을 시도했습니다. 단순히 최고 점수를 쫓는 대신, 이 방법은 학생에게 특정 "이상적인 답변 분포"에 맞추도록 가르치려 합니다. 마치 *"단 하나의 정답만 찾지 말고, 모든 가능한 정답을 올바른 비율로 찾아내라"*는 것과 같습니다.

문제점: 이를 작동시키기 위해 시스템은 **Partition Function (분할 함수)**이라는 복잡한 숫자를 계산해야 합니다. 지금까지는 누구나 이 숫자를 지루한 계산기 버튼처럼 여겼습니다. 수학이 작동하려면 반드시 눌러야 하지만, 그 결과를 즉시 버려야 하는 그런 버튼 말입니다.

핵심 아이디어: Partition Function 은 "난이도 게이지"입니다

이 논문의 저자들은 "아하!" 하는 순간을 경험했습니다. 그들은 이 "지루한" 숫자 (Partition Function) 가 실제로 비밀을 담고 있음을 깨달았습니다. 그것은 현재 학생에게 특정 질문이 얼마나 어려운지 정확히 알려줍니다.

Partition Function 을 계산기가 아닌 난이도 스케줄러로 생각하세요.

숫자가 높으면, 그 질문은 학생에게 쉽습니다.
숫자가 낮으면, 그 질문은 너무 어렵습니다.
숫자가 중간이면, 그 질문은 "딱 적당합니다" (학습을 위한 최적의 지점).

PACED-RL 의 작동 원리: 똑똑한 튜터

이 "난이도 게이지"를 버리는 대신, PACED-RL 은 이를 이용해 초지능 튜터링 세션을 운영합니다. 이는 두 가지 주요 작업을 수행합니다.

1. "골디락스" 질문 선별 (적응형 프롬프트 선택)
10,000 개의 연습 문제가 쌓여 있는 교사를 상상해 보세요.

구식 방식: 교사는 무작위로 질문을 고릅니다. 어떤 것은 너무 쉬워 (학생이 지루해함), 어떤 것은 너무 어려워 (학생이 포기함).
PACED-RL 방식: 교사는 모든 질문의 "난이도 게이지"를 확인합니다. 그들은 정답을 맞출 확률이 50% 인 것들만 고릅니다.
- 이유: 이것이 바로 "골디락스 존"입니다. 너무 어렵지도, 너무 쉬우지도 않습니다. 학생이 가장 많이 배우는 완벽한 도전입니다.
- 마법: 교사는 이 정보를 무료로 얻습니다! 학생에게 먼저 문제를 풀게 해서 난이도를 알 필요가 없었습니다. "게이지" (Partition Function) 가 훈련 과정에서 이미 그들에게 알려주었기 때문입니다.

2. "실수 검토" 세션 (우선순위 리플레이)
학생이 추측을 할 때, 시스템은 이렇게 확인합니다: "우리의 난이도 게이지가 이를 정확히 예측했는가?"

게이지가 "이건 쉽다"고 했지만 학생이 틀렸다면, 이는 큰 놀라움입니다.
게이지가 "이건 어렵다"고 했지만 학생이 맞혔다면, 이 또한 놀라움입니다.
PACED-RL 은 이러한 "놀라움"의 순간들을 특별한 노트 (리플레이 버퍼) 에 저장합니다. 이후, 학생의 이해도를 고치는 데 가장 가치 있는 사례들이므로 이러한 특정 경우들을 다시 검토합니다.

결과: 더 빠르고 더 똑똑함

이 논문은 수학 및 코딩 작업에서 이를 테스트했습니다. 다음과 같은 일이 발생했습니다.

속도: PACED-RL 은 가장 유용한 질문들만 집중하기 때문에 훨씬 더 빠르게 학습했습니다. 일부 테스트에서는 다른 방법들보다 절반 미만의 시간 안에 동일한 성능 수준에 도달했습니다.
창의성: 학생을 경직되게 만든 "훈련 사령관" 방식과 달리, PACED-RL 은 학생이 다양한 해결책을 찾을 수 있는 능력을 유지시켰습니다. 그들은 문제를 해결하는 한 가지 방법만 배운 것이 아니라, 많은 방법들을 배웠습니다.
효율성: 어떤 질문을 선택할지 파악하기 위해 추가 컴퓨터나 추가 시간이 필요하지 않았습니다. 이미 생성하고 있던 정보를 활용했습니다.

요약 비유

마라톤 훈련을 상상해 보세요.

구식 방법: 기분이 어떻든 매일 똑같은 10 마일을 달립니다.
GFlowNets (이전): 언덕과 평지의 특정 혼합을 달리려 하지만, 오늘에 어떤 혼합이 가장 좋은지 모릅니다.
PACED-RL: 심박수와 피로 수준 (Partition Function) 을 실시간으로 확인하는 똑똑한 코치가 있습니다. 코치는 이렇게 말합니다. "오늘은 지루한 평지나 너무 힘든 가파른 산은 뛰지 말자. 우리를 더 강하게 만들 만큼 충분히 도전적인 언덕을 뛰자."

이미 존재하던 "난이도 게이지"를 활용함으로써, PACED-RL 은 시간이나 에너지를 낭비하지 않고 AI 를 더 똑똑하고, 빠르며, 창의적으로 훈련시킵니다.

기술적 요약: 정규화를 넘어: RLVR 를 위한 난이도 스케줄러로서 분할 함수 재고찰

문제 제기
검증 가능한 보상을 통한 강화 학습 (RLVR) 은 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 데 효과적임이 입증되었습니다. 그러나 PPO 나 GRPO 와 같은 표준적인 보상 최대화 방법은 종종 과도하게 날카로운 출력 분포를 초래하여 생성 다양성을 저하시킵니다. 최근 GFlowNet 을 활용한 접근법들은 보상 유도 목표 분포와 일치하도록 정책을 학습시킴으로써 이를 해결하지만, 일반적으로 학습된 분할 함수 ( $Z$ ) 를 학습 안정성을 위해 필요한 정규화 상수로만 취급합니다. 본 논문은 이러한 관점이 $Z$ 내에 인코딩된 정보를 과소 활용하여 추가적인 계산 비용 없이 샘플 효율성을 향상시킬 기회를 놓치고 있다고 주장합니다.

방법론: PACED-RL
저자들은 **분할 함수 기반 강화 학습 (PACED-RL)**을 제안합니다. 이는 GFlowNet 분할 함수를 단순한 정규화기가 아닌 프롬프트별 온라인 정확도 신호로 재해석하는 사후 학습 프레임워크입니다. 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다:

분할 함수의 이론적 재해석:
논문은 최적 분할 함수 $Z^*(x)$ 와 업데이트 전 정책 하에서 질문 프롬프트 $x$ 의 온라인 정확도 $p_{old}(x)$ 간의 이론적 연결을 확립합니다. 고정된 참조 모델 대신 현재 정책 ( $\pi_{old}$ ) 에서 KL 발산을 고정하는 방식으로 궤적 균형 (TB) 손실을 수정함으로써, 저자들은 $Z^*(x)$ 가 직접적으로 정확도 정보를 인코딩함을 유도합니다. 구체적으로, $p_{old}(x) \approx \beta \log Z^*(x)$ 이며, KL 발산 항은 표준 학습 역학 동안 경험적으로 무시할 수 있는 것으로 나타났습니다. 이를 통해 정규화를 위해 이미 학습 중인 분할 함수가 무료인 온라인 정확도 추정기로 기능할 수 있게 됩니다.
적응형 프롬프트 선택:
$Z_\phi(x)$ 에서 도출된 정확도 추정을 활용하여 PACED-RL 은 난이도를 인지하는 프롬프트 선택 전략을 구현합니다. 프롬프트를 균일하게 샘플링하는 대신, 이 방법은 추정 정확도가 목표 값 $\tau$ (일반적으로 0.5) 에 가장 가까운 상위 $m$ 개의 프롬프트를 탐욕적으로 선택합니다. 이는 이전 연구가 가장 유익한 학습 신호를 제공한다고 제안한 '중간 난이도' 샘플에 학습을 집중시켜 샘플 효율성을 극대화합니다.
정확도 추정 오차 우선순위 리플레이:
효율성을 더욱 높이고 분할 함수를 보정하기 위해, 프레임워크는 리플레이 메커니즘을 도입합니다. 버퍼는 올바른 보상 ( $r=1$ ) 을 가진 프롬프트 - 출력 쌍을 저장합니다. 이 버퍼 내에서 샘플은 정확도 추정 오차의 크기: $| \frac{N_{correct}}{N} - \hat{p}_{old}(x) |$ 에 따라 우선순위가 매겨집니다. 이는 분할 함수의 예측이 관찰된 현실과 가장 크게 이격된 샘플을 모델이 재방문하도록 보장하여 정확도 추정과 목표 분포 정규화를 정제합니다.

중요하게도, 프롬프트 선택과 리플레이 우선순위 지정 모두 표준 GFlowNet 학습 중에 생성된 정보를 재사용하므로, 계산 오버헤드를 기존 최적화 과정에 상쇄합니다.

주요 기여

이론적 통찰: 논문은 LLM 사후 학습을 위한 GFlowNet 분할 함수가 본질적으로 온라인 정확도와 연결되어 있음을 보여주며, 이를 보조 메커니즘 없이 직접적인 정확도 추정기로 사용할 수 있음을 입증합니다.
PACED-RL 프레임워크: 이러한 정확도 추정을 적응형 프롬프트 선택과 오차 우선순위 리플레이에 활용하는 새로운 학습 프레임워크를 도입하여 GFlowNet 의 다양성 이점을 유지하면서 샘플 효율성을 향상시켰습니다.
경험적 검증: 수학적 추론 및 코드 생성 벤치마크에 대한 광범위한 평가에서 PACED-RL 은 과샘플링에 따른 계산 오버헤드 없이 강력한 베이스라인 (GRPO, FlowRL) 및 적응형 샘플링 방법 (DS, LILO, MoPPS) 보다 상당한 성능 향상을 달성함을 보여주었습니다.

실험 결과
실험은 코드 생성 (DeepCoder 데이터셋, DeepSeek-R1-Distill-Qwen-1.5B) 과 수학적 추론 (DeepScaleR 데이터셋, Qwen2.5-Math-1.5B/7B) 에서 수행되었습니다.

성능 향상: AIME 24 벤치마크에서 PACED-RL 은 Qwen2.5-Math-7B 모델을 사용하여 GRPO 대비 평균 pass@1 성능을 29.1% 향상시켰고, FlowRL 대비 40.0% 향상시켰습니다.
샘플 효율성: PACED-RL 은 GRPO 와 FlowRL 의 최상위 성능을 훨씬 더 짧은 시간에 달성했습니다 (예: LiveCodeBench 에서 학습 시간의 0.42 배). 과샘플링이 필요한 방법 (DS, LILO) 과 달리 PACED-RL 은 표준 학습 대비 1.0 배의 롤아웃 비율을 유지하여 정확도 추정을 위한 추가 샘플 생성과 관련된 지연 페널티를 피했습니다.
다양성: pass@k 지표를 통해 측정된 결과, PACED-RL 은 일관되게 베이스라인을 능가하여 GRPO 대비 최대 14.2%, FlowRL 대비 9.1% 의 개선을 보여주었으며, 이 방법이 출력 다양성과 탐색 능력을 유지함을 확인했습니다.
절대 실험: 저자들은 정확도 추정기에서 KL 발산 항을 생략하는 것이 샘플링 역학에 미미한 영향을 미치면서 상당한 계산을 절약함을 검증했습니다. 또한 이 방법이 모델이 개선됨에 따라 자연스럽게 더 어려운 질문으로 학습을 전환하여 좁은 데이터셋 하위 집합으로 수렴하는 것을 방지함을 보여주었습니다.

의의 및 주장
본 논문은 PACED-RL 이 LLM 을 위한 분포 일치 학습을 강화하는 '원칙적이고 실용적인 방법'을 제공한다고 주장합니다. 분할 함수를 온라인 정확도 신호로 재해석함으로써, 이 방법은 보조 정확도 추정기나 과도한 롤아웃 생성의 계산적 부담 없이 더 효율적인 샘플 학습을 가능하게 합니다. 저자들은 이 작업을 더 효율적인 RLVR 사후 학습을 향한 한 걸음으로 위치시키며, 분할 함수의 역할이 정규화를 넘어 동적 난이도 스케줄러로 작용하는 것으로 확장됨을 시사합니다. 향후 작업으로는 추론 시간 전략 (예: 적응형 자기 일관성) 과 비동기 GFlowNet 설정으로의 프레임워크 확장을 탐구할 것을 제안합니다.