💬 NLP

Future-KL Regularized GRPO: Process-Level Credit Assignment from $f$ -Divergence Regularization

본 논문은 $f$ -발산에서 유도된 인과적 미래 정규화 귀환값을 통합하여 GRPO 의 토큰 수준 KL 정규화를 보정하는 비평가 없는 방법인 Future-KL 정규화 정책 최적화 (FRPO) 를 소개하며, 이를 통해 수학적 추론 성능을 향상시키면서 더 높은 엔트로피와 더 낮은 정책 편향을 유지한다.

원저자: Jiarui Yao, Ruida Wang, Hao Bai, Tong Zhang

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiarui Yao, Ruida Wang, Hao Bai, Tong Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Future-KL Regularized GRPO" 논문에 대한 설명을 쉬운 언어와 일상적인 비유로 풀어냅니다.

큰 그림: 로봇에게 사고하는 법을 가르치기

로봇(인공지능)에게 수학 문제를 풀도록 가르친다고 상상해 보세요. 문제를 주고, 로봇이 단계별로 긴 해결책을 작성하도록 합니다. 로봇이 무작위로 추측하거나 엉뚱한 방향으로 나가지 않도록 하기 위해, 한 명의 "선생님"(참조 모델) 을 두어 로봇의 작업을 점검하게 합니다.

이 논문은 GRPO(Group Relative Policy Optimization) 라는 특정 학습 방법에 초점을 맞춥니다. GRPO 를 교실 환경으로 생각해 보세요:

로봇은 동일한 수학 문제에 대해 여러 개의 답안 (한 "그룹") 을 생성합니다.
검증자가 이를 확인합니다: "최종 숫자가 맞나요?" (예/아니오).
로봇은 자신의 답안을 다른 친구들의 답안과 비교하며 학습합니다. 만약 한 답안이 다른 것들보다 더 좋다면, 로봇은 "하이파이브"(보상) 를 받습니다. 만약 더 나쁘다면 "엄지척"을 당합니다.

문제: "국소적" 벌칙 vs "미래" 비용

기존 학습에서는 로봇이 자신의 성격을 너무 많이 바꾸지 못하게 하는 규칙이 있습니다. 이를 KL 정규화라고 합니다. 이는 "자신의 차선 안에 있으라"는 규칙과 같습니다. 로봇이 원래 선생님과는 매우 다른 내용을 쓰기 시작하면 벌칙을 받습니다.

옛 방식 (실수):
현재 대부분의 시스템은 이 벌칙을 문장 끝에서 단순한 "과태료"처럼 **토큰 단위 **(단어 단위)로 적용합니다.

비유: 운전자가 긴 도로 여행을 한다고 상상해 보세요. 옛 시스템은 운전자가 경찰차 앞을 지나는 그 순간에만 과속 여부를 확인합니다. 만약 운전자가 10 마일 전에 잘못된 방향으로 틀었다면, 지금은 이미 10 마일이나 길을 벗어났다는 사실을 무시합니다. 이 시스템은 모든 마일을 고립된 사건으로 취급합니다.

논문의 통찰:
저자들은 긴 추론 과정 (수학 증명 등) 에서 작성하는 모든 단어가 그 다음에 올 모든 단어의 경로를 바꾼다는 사실을 깨달았습니다.

"미래" 비용: 로봇이 문장 초반에 약간의 이탈을 보이면, 그 다음에 올 모든 단어도 그 잘못된 경로를 따라가야 의미 있게 만들기 위해 이탈하게 됩니다. 그 초기 실수의 "비용"은 실수 그 자체뿐만 아니라, 그 잘못된 경로를 따라가야 하는 모든 미래 단어들의 누적 비용입니다.
누락된 신호: 옛 시스템은 이 "미래 비용"을 무시합니다. 현재 단어만 처벌할 뿐, 그것이 만들어내는 파급 효과는 처벌하지 않습니다.

복잡성: 왜 단순히 섞을 수 없는가

이 논문은 GRPO 가 작동하는 방식에 얽힌 까다로운 수학 문제도 지적합니다.

비선형 점수: GRPO 는 단순히 원점수 (0 또는 1) 만 보지 않습니다. 그룹 내에서 점수를 정규화합니다 (예: 학급 내 학생 순위 매기기). 이로 인해 점수와 보상 사이에는 기묘하고 곡선적인 관계가 생깁니다.
충돌: 만약 "자신의 차선 안에 있으라"는 벌칙을 학생들을 순위 매기기 전에 점수에 직접 섞으려 한다면, 수학이 깨집니다. 이는 학생들의 학급 순위를 계산하기 전에 학생의 점수에 "지각 벌점"을 더해보려는 것과 같습니다. 이는 순위 시스템을 왜곡하고 학습 신호를 망가뜨립니다.

해결책: FRPO(Future-KL Regularized Policy Optimization)

저자들은 FRPO라는 새로운 방법을 제안합니다. 작동 방식은 다음과 같습니다:

단계 1: 답안 순위 매기기 (이점). 먼저 최종 수학 답안에만 기반하여 보상을 계산합니다. 어떤 답안이 좋고 어떤 답안이 나쁜지 보기 위해 답안 그룹의 순위를 매깁니다. 이것이 "그룹 이점"입니다.
단계 2: 미래 벌칙 추가 (수정). 순위 매기기가 끝난 후, 승자와 패자의 답안에 있는 모든 단어를 다시 살펴봅니다.
- 각 단어에 대해 단순히 그 자체의 벌칙뿐만 아니라, 그 뒤에 오는 모든 단어들의 벌칙 합계를 계산합니다.
- 비유: 릴레이 경주를 상상해 보세요. 옛 시스템은 배턴을 떨어뜨린 주자만 처벌했습니다. 새로운 시스템은 배턴을 떨어뜨린 주자를 처벌하는 동시에, 그 다음 세 주자가 따라잡기 위해 더 느리게 뛰어야 한다는 사실도 함께 처벌합니다. 이는 현재 단어가 시작시킨 전체 미래 여정에 따라 크레딧 (또는 비난) 을 부여합니다.
단계 3: 업데이트. "그룹 순위"와 이 새로운 "미래 벌칙"을 결합하여 로봇의 뇌를 업데이트합니다.

중요성 (결과)

이 논문은 고등학교 경시대회 수준의 어려운 수학 문제를 해결하는 대규모 언어 모델에서 이 방법을 테스트했습니다.

더 나은 점수: 새로운 방법 (FRPO) 은 기존 방법들보다 더 많은 문제를 정확하게 해결했습니다.
덜한 이탈: 로봇은 원래 "선생님"의 성격에 더 가깝게 머물렀습니다. 높은 점수를 얻기 위해 미친 듯이 행동하거나 헛소리를 지어내지 않았습니다.
더 많은 창의성: 로봇은 사고의 다양성인 "엔트로피"를 건강한 수준으로 유지했습니다. 지루하고 반복적인 로봇이 되지도, 엉뚱한 방향으로 나가지도 않았습니다.

요약

이 논문은 AI 에게 추론을 가르칠 때, 지금 말하고 있는 단어 때문에만 처벌해서는 안 된다고 주장합니다. 그 단어가 만들어내는 미래 경로 때문에 처벌해야 합니다. 학습 과정에 "미래 비용" 계산을 추가함으로써, AI 는 더 일관성 있게 사고하고, 더 어려운 문제를 해결하며, 복잡한 "비평가" 모델을 감시자로 두지 않아도 안정적으로 유지할 수 있게 됩니다.

간단히 말해: 지금 과속한 운전자를 처벌하는 것뿐만 아니라, 제자리를 찾기 위해 과속하게 만든 10 마일 전에 한 잘못된 방향 전환으로 인해 처벌해야 합니다. 이것이 바로 "Future-KL"의 통찰입니다.

기술 요약: Future-KL 정규화된 GRPO

문제 제기
그룹 상대적 정책 최적화 (GRPO) 는 대규모 언어 모델 (LLM) 후학습, 특히 수학적 추론 분야에서 비판자 없는 강화 학습 (RL) 의 지배적 패러다임으로 부상했습니다. GRPO 는 샘플링된 응답 그룹 내에서 결과 보상을 정규화함으로써 학습된 가치 함수의 필요성을 제거합니다. 그러나 GRPO 의 표준 KL 정규화 구현은 일반적으로 페널티를 로컬, 손실 측 토큰 페널티 (예: $k_3$ 추정기 사용) 로 취급합니다.

저자들은 이 접근법의 근본적인 결함을 지적합니다: 이는 자기회귀 생성으로 유도된 프로세스 수준의 크레딧 할당을 무시합니다. 자기회귀 궤적에서 초기 토큰은 자신의 로컬 정규화 비용을 발생시킬 뿐만 아니라 미래 접두사들의 분포를 변경하여 모든 후속 토큰의 KL 비용을 영향을 미칩니다. 표준 로컬 손실 항은 샘플링된 토큰의 페널티만 미분하며, 인과적인 "미래 정규화 반환-to-go"를 생략합니다.

또한, 이 논문은 GRPO 의 그룹 정규화와 표준 KL-in-보상 공식화 사이의 구조적 불일치를 강조합니다. 보상과 정규화 항을 융합할 수 있는 선형 보상 목적 함수 (예: MaxEnt RL) 와 달리, GRPO 의 그룹 정규화는 비선형 프롬프트 수준 유틸리티 (이진 보상의 경우 구체적으로 arcsin 변환) 를 유도합니다. 이러한 비선형성으로 인해 정규화 전에 보상에 KL 페널티를 추가하면 암시적 목적 함수가 왜곡되어, 토큰 수준의 KL 정보를 단일 궤적 수준 스칼라로 축소시키고 올바른 기울기 신호를 보존하지 못하게 됩니다.

방법론
이 논문은 일반적인 토큰 단위 $f$ -발산 정규화 하에서 GRPO 스타일 목적 함수에 대한 온-정책 정책 기울기를 유도합니다. 핵심 이론적 통찰은 기울기가 서로 다른 스케일링 특성을 가진 두 개의 명확한 항으로 분해된다는 점입니다:

보상 항: 비선형 유틸리티 $\ell(p)$ 에서 유래하며, 이 항은 프롬프트 의존적 이득 $\ell'(p)$ 을 운반합니다. 이진 보상의 경우 이는 표준화된 GRPO 이득을 복원합니다.
정규화 항: 이 항은 $\ell'$ 과 무관하며 로컬 토큰 페널티와 인과적 미래 정규화 반환-to-go로 분해됩니다.

이 유도 결과에 기반하여 저자들은 **Future-KL 정규화 정책 최적화 (FRPO)**를 제안합니다. 이 알고리즘은 표준 GRPO 업데이트를 분리된 방식으로 수정합니다:

암시적 비선형 유틸리티를 보존하기 위해 원래 검증자 보상으로부터 그룹 정규화된 결과 이득 ( $\hat{A}^{GRPO}$ ) 을 엄격하게 계산합니다.
현재 토큰에서 궤적 끝까지의 토큰별 로그 비율 ( $\delta_{i,j} = \log \frac{\pi_\theta}{\pi_{ref}}$ ) 의 역방향 누적 합을 계산하여 토큰 단위 미래-KL 보정 항을 구성합니다.
보상을 정규화 전에 형성하는 대신, 이 미래-KL 항을 이득 구성 후에 이득에 추가합니다.

응답 $i$ 의 토큰 $t$ 에 대한 업데이트 규칙은 다음과 같습니다:
$\hat{A}^{FRPO}_{i,t} = \text{sg}\left( \hat{A}^{GRPO}_i - \beta \sum_{j=t}^{T_i} \delta_{i,j} \right)$
여기서 $\text{sg}$ 는 stop-gradient 를 나타냅니다. 이 접근법은 비판자가 필요하지 않으며, 추가 모델 패스 없이 표준 GRPO 와 동일한 계산 오버헤드를 유지합니다.

주요 기여

비선형 유틸리티 식별: 이 논문은 GRPO 의 그룹 정규화가 비선형 유틸리티 (이진 보상의 경우 $\ell(p) = 2 \arcsin \sqrt{p}$ ) 를 유도하여 보상과 KL 이 융합 불가능함을 입증합니다. 정규화 전에 보상에 KL 을 추가하는 것은 목적 함수를 구조적으로 왜곡시킵니다.
온-정책 기울기 유도: 저자들은 토큰 단위 $f$ -발산 정규화에 대한 올바른 온-정책 기울기를 유도하여, 로컬 손실 측 구현에 부재하는 미래 정규화 반환-to-go 항이 필요함을 보여줍니다.
FRPO 알고리즘: 그들은 GRPO 의 결과 이득을 보존하면서 필요한 미래-KL 크레딧 할당을 주입하는 단순하고 분리된 업데이트인 FRPO 를 제안합니다. 이 방법은 궤적 수준 랭킹을 프로세스 수준 KL 정규화로부터 분리합니다.
최적성 해석: 미래-KL 구조는 엔트로피 정규화 RL 의 최적성 조건과 일치함이 입증되었으며, 여기서 최적 정책은 미래 KL 비용을 포함하는 프로세스-보상 형태를 만족합니다.

실험 결과
저자들은 DAPO-Math-17k 데이터셋으로 학습된 Qwen3 베이스 모델 (1.7B, 4B, 30B-A3B) 을 사용하여 수학적 추론 작업에서 FRPO 를 평가했습니다.

성능: 30B-A3B 모델에서 FRPO 는 MATH500 벤치마크에서 가장 강력한 베이스라인 (손실 측 KL 을 사용한 표준 GRPO) 대비 pass@16을 약 5% 절대적으로 개선했습니다. 또한 AIME24, AIME25 및 기타 올림피아드 수준 벤치마크에서도 베이스라인을 능가했습니다.
안정성 및 드리프트: FRPO 는 손실 측 KL 베이스라인에 비해 더 높은 최종 엔트로피와 더 낮은 정책 드리프트 (PPO-KL 로 측정) 를 유지합니다. 이는 이 방법이 참조 정책으로부터 과도하게 벗어나지 않으면서 긴 체인 오브 씽킹 (CoT) 추론 패턴을 유도함을 시사합니다.
애블레이션: 실험은 이 작업에서 포워드 KL (모드 커버링) 보다 역방향 KL (모드 시킹) 이 더 잘 수행됨을 확인했습니다. 논문은 또한 $k_3$ 의 비부정성이 크레딧 할당을 방해하는 한쪽 페널티 신호를 생성하므로, 미래-KL 항에 대해 $k_1$ 추정기 (로그 비율) 를 $k_3$ 보다 선호한다고 지적합니다.
실패 모드: 논문은 "보상 내 KL" 접근법 (정규화 전에 보상에 KL 추가) 이 모델 붕괴나 성능 저하로 이어짐을 관찰하여, GRPO 의 비선형 유틸리티 하에서 그러한 융합이 구조적으로 잘못되었다는 이론적 주장을 검증했습니다.

의의
이 논문은 널리 사용되는 RL 프레임워크에서 미묘하지만 치명적인 구현 오류를 수정하는 데 이 작업의 의의가 있다고 주장합니다. "로컬 손실 페널티"에서 "프로세스 수준 크레딧 할당"으로 관점을 전환함으로써, 저자들은 복잡한 가치 함수나 추가 계산 비용 없이 GRPO 를 개선할 수 있음을 보여줍니다. 제안된 FRPO 방법은 이론적으로 근거를 둔 경량 수정으로, 추론 능력을 향상시키면서도 베이스 모델의 안정성과 일반화 특성을 보존합니다. 이 작업은 자기회귀 설정에서 정규화는 본질적으로 프로세스 수준 신호이며, 미래 비용-to-go 를 무시하면 비최적의 크레딧 할당으로 이어짐을 강조합니다.