🤖 machine learning

Rethinking the Divergence Regularization in LLM RL

이 논문은 기존의 발산 기반 접근 방식에서 사용되는 하드 그래디언트 마스킹(hard gradient masking)을 연속적인 교정 신호를 제공하고 학습 안정성을 향상시키기 위한 매끄러운 어드밴티지 가중 이차 정규화 항(smooth, advantage-weighted quadratic regularizer)으로 대체한 LLM을 위한 새로운 RL 방법론인 DRPO(Divergence Regularized Policy Optimization)를 제안한다.

원저자: Jiarui Yao, Xiangxin Zhou, Penghui Qi, Wee Sun Lee, Liefeng Bo, Tianyu Pang

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiarui Yao, Xiangxin Zhou, Penghui Qi, Wee Sun Lee, Liefeng Bo, Tianyu Pang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 아주 재능 있지만 약간은 산만한 학생(AI)에게 어려운 시험을 치르는 법을 가르치고 있다고 상상해 보세요. 이 학생은 이미 기초는 배웠지만, 이제 당신은 그들에게 더 구체적이고 까다로운 문제를 해결하는 법을 가르치고 싶습니다. 당신은 연습 문제를 주고, 학생이 답하게 한 뒤, 학생이 얼마나 잘했는지에 따라 "잘했어!" 또는 "다시 해봐!"라고 말해줍니다. 이 과정을 **강화 학습(Reinforcement Learning, RL)**이라고 부릅니다.

하지만 여기 함정이 있습니다. 학생은 조용한 도서관(훈련)에서 연습하지만, 실제 시험은 시끄럽고 혼란스러운 시험장(추론)에서 치릅니다. 환경이 서로 다르기 때문에, 학생은 혼란을 느끼거나 습관을 너무 급격하게 바꾸어, 알고 있던 것들을 모두 잊어버리는 멘붕(meltdown) 상태에 빠질 수 있습니다.

이를 방지하기 위해, 선생님들은 "안전 구역(Trust Region)"을 사용합니다. 이 구역은 다음과 같이 말합니다. "더 나아지기 위해 답을 바꿀 수는 있지만, 너무 많이 바꾸지는 마라. 그렇지 않으면 중심을 잃을 수 있다."

문제점: 기존의 규칙들은 너무 경직되어 있었습니다

오랫동안 선생님들은 PPO(Proximal Policy Optimization)라는 방법을 사용해 왔습니다. PPO를 엄격한 규칙서라고 생각하면 됩니다. "만약 답이 20% 이상 변한다면, 멈춰라! 그 답에 대한 모든 점수를 끊어버려라."

이 논문은 이러한 접근 방식의 두 가지 큰 결함을 지적합니다:

"비율(Ratio)"의 함정: PPO는 답의 '확률(odds)'이 얼마나 변했는지를 보고 변화를 측정합니다. 수백만 개의 가능한 단어가 존재하는 세상(예: 5만 개 이상의 단어가 있는 사전)에서, "xylophone" 같은 아주 희귀한 단어가 확률 0.0001%에서 0.001%로 변했다고 가정해 봅시다. 이는 엄청난 비율의 변화(10배!)이지만, 전체적인 관점에서는 거의 의미 없는 변화입니다. 반면, "the"와 같은 흔한 단어가 90%에서 80%로 떨어졌다면, 이는 작은 비율 변화이지만 매우 거대한 의미의 변화입니다. PPO는 이 점에서 혼란을 느껴, 희귀한 단어는 과하게 처벌하고 흔한 단어는 제멋대로 움직이게 내버려 둡니다.
"하드 컷(Hard Cut)" 문제: DPPO와 같은 최신 방법들은 확률의 실제 변화량(예: 비율이 아닌 이동 거리 측정)을 측정함으로써 이를 해결하려 했습니다. 하지만 이들은 "하드 마스크(Hard Mask)"를 사용했습니다. 벽을 상상해 보세요. 만약 학생이 벽을 단 1인치만 넘어가도, 선생님은 즉시 손을 때리며 "멈춰! 이번 단계에서는 더 이상 학습하지 마!"라고 말합니다. 이것은 이진 스위치와 같습니다. 점수를 전부 받거나, 아니면 아예 못 받거나 둘 중 하나입니다. 만약 학생이 벽을 아주 살짝만 넘어갔더라도, 그들은 다시 돌아오는 법을 배우지 못한 채 그냥 무시당하게 됩니다. 이는 덜컥거리고 불안정한 학습 과정을 만듭니다.

해결책: DRPO (부드러운 가이드)

저자들은 DRPO(Divergence Regularized Policy Optimization)라는 새로운 방법을 제안합니다.

기존의 딱딱한 벽이나 엄격한 비율 규칙 대신, 안전 구역을 둘러싼 스마트하고 탄력 있는 트램펄린을 상상해 보세요.

구역 내부: 학생이 안전 구역 안에서 좋은 변화를 만들어내고 있다면, 트램펄린은 그들을 앞으로 부드럽게 밀어주며 계속 개선하도록 독려합니다.
가장자리: 학생이 가장자리에 가까워질수록, 트램펄린은 점점 더 부드러워집니다. 갑자기 멈추게 하는 것이 아니라, 속도를 완만하게 줄여줍니다.
구역 외부: 만약 학생이 실수로 너무 멀리 나갔다면(나쁜 움직임), 트램펄린은 단순히 차단하는 것이 아니라, 그들을 다시 튕겨 돌려보냅니다. 이는 "앗, 너무 멀리 갔구나. 다시 중심으로 돌아가자"라고 말하며 부드러운 교정력을 가하는 것입니다.

왜 이것이 더 효과적인가

저자들은 DRPO가 딱딱한 온/오프 스위치라기보다 부드럽고 연속적인 가이드라고 주장합니다.

"롱 테일(Long Tail)"을 더 잘 처리합니다: AI의 세계에는 수천 개의 희귀한 단어가 있습니다. DRPO는 단어가 얼마나 자주 등장하는지와 상관없이, 단어가 실제로 이동한 "거리"를 측정합니다. 즉, 희귀한 단어가 거의 0에서 아주 작은 숫자로 튀어 오르는 것에 대해 혼란을 겪지 않습니다. 이는 변화를 공정하게 다룹니다.
학습을 멈추지 않습니다: 학생이 실수를 하여 안전 구역 밖으로 나갔을 때도, DRPO는 그 교훈을 그냥 버리지 않습니다. 대신 그 실수를 사용하여 학생을 부드럽게 다시 유도합니다. 이는 학습이 불안정해지거나 "충돌(crash)"하는 것을 방지합니다.
어디서나 작동합니다: 저자들은 다양한 크기의 AI 모델(소형부터 대형까지), 다양한 종류의 컴퓨터 칩, 그리고 컴퓨터가 낮은 정밀도로 작동할 때(예: 약간 흐릿한 렌즈를 사용하는 경우)에도 DRPO를 테스트했습니다. 모든 경우에서 DRPO는 기존 방법들보다 더 안정적이었으며, AI가 더 빠르고 더 잘 학습하도록 도왔습니다.

핵심 요약

기존의 방법들이 당신이 아주 작은 실수를 하자마자 "멈춰!"라고 소리치거나, 당신이 경로를 살짝 벗어나면 완전히 무시해 버리는 선생님이라면,

DRPO는 "잘하고 있어, 하지만 너무 멀리 가고 있네. 조금 천천히 해보자. 만약 너무 멀리 가면, 네가 넘어지지 않도록 내가 부드럽게 끌어당겨 줄게"라고 말하는 현명한 코치와 같습니다. 이 부드럽고 연속적인 교정은 전체 학습 과정을 훨씬 더 안전하고, 빠르고, 신뢰할 수 있게 만듭니다.

기술 요약: LLM RL에서의 발산 정규화(Divergence Regularization)에 대한 재고

1. 문제 정의

강화 학습(RL)은 인간의 선호도에 맞추고 추론 능력을 향상시키기 위해 대규모 언어 모델(LLM)의 사후 학습(post-training)에서 핵심적인 역할을 합니다. 그러나 현대의 LLM RL 학습은 훈련 엔진과 추론 엔진 간의 불일치(수치적 차이) 및 롤아웃을 여러 미니 배치로 나누는 관행으로 인해 본질적으로 오프-폴리시(off-policy) 특성을 가집니다. 이는 현재의 정책( $\pi$ )과 행동 정책( $\mu$ ) 사이의 발산을 제한함으로써 안정적인 업데이트를 보장하기 위한 **신뢰 영역 정책 최적화(Trust Region Policy Optimization, TRPO)**를 필요로 합니다.

현재의 주류 방법론들은 이와 관련하여 두 가지 주요 한계점에 직면해 있습니다:

비율 기반 제약 (PPO, GRPO, SPO): 이 방법들은 신뢰 영역을 정의하기 위해 중요도 비율(importance ratio) $r_t = \pi(y_t|s_t)/\mu(y_t|s_t)$ 를 사용합니다. 확률 분포가 매우 길고 꼬리가 긴(long-tailed) LLM에서 이 비율은 분포 변화(distributional shift)를 나타내는 부적절한 대리 지표가 됩니다. 낮은 확률을 가진 토큰의 확률이 아주 조금만 증가해도 거대한 비율 변화가 발생할 수 있는 반면, 높은 확률을 가진 토근의 적당한 비율 변화는 상당한 정책 변화를 유발할 수 있습니다. 이는 희귀 토큰은 과하게 제약하고, 흔한 토큰은 제약을 덜 하게 만드는 결과를 초래합니다.
하드 마스킹 (DPPO): 최근의 DPPO(Divergence Proximal Policy Optimization)와 같은 연구는 절대적 확률 변화 $|\pi - \mu|$ 를 측정하는 Binary-TV를 사용하여 비율 문제를 해결합니다. 그러나 DPPO는 **하드 바이너리 마스크(hard binary mask)**를 통해 신뢰 영역을 강제합니다. 토큰이 해로운 방향으로 경계를 넘어서면 그 그래디언트는 버려집니다(0으로 설정됨). 이는 추가적인 발산은 방지하지만, 정책을 다시 신뢰 영역 안으로 끌어당기는 **교정 신호(corrective signal)**를 제공하지 못하여 임계값 근처에서 최적화가 취약해지는 문제를 낳습니다.

2. 방법론: 발산 정규화 정책 최적화 (DRPO)

저자들은 DPPO의 하드 마스크를 대신하여, 동일한 Binary-TV 신뢰 영역 기하학을 유지하면서 정책 변화에 대해 **매끄러운 어드밴티지 가중 $\ell_2^2$ 이차 정규화(smooth, advantage-weighted quadratic regularizer)**를 적용하는 DRPO를 제안합니다.

핵심 공식

DRPO는 Binary-TV 제약식 $|\pi(y_t|s_t) - \mu(y_t|s_t)| \leq \delta$ 를 토큰 적응형 비율 경계로 재작성하여 목적 함수를 도출합니다. 클리핑(clipping) 대신, 대리 목적 함수에 매끄러운 정규화 항을 적용합니다:

$\mathcal{L}_{DRPO}(x, \pi) = \mathbb{E}_{y \sim \mu} \left[ \sum_{t=1}^{|y|} \left( r_t \hat{A}_t - \frac{|\hat{A}_t|}{2\delta} \mu(y_t|s_t) (r_t - 1)^2 \right) \right]$

여기서:

$r_t$ 는 중요도 비율입니다.
$\hat{A}_t$ 는 어드밴티지 추정치입니다.
$\delta$ 는 신뢰 영역 임계값입니다.
$\mu(y_t|s_t)$ 항은 정규화 항을 스케일링하여, 정규화를 SPO와 같은 비율 기반 $\chi^2$ 형태에서 절대 확률 변화 형태( $\ell_2^2$ )로 변환합니다.

그래디언트 동작

DRPO 목적 함수의 그래디언트는 각 토큰의 정책 그래디언트에 대한 연속적인 가중치 $w_t$ 를 도입합니다:
$w_t = 1 - \text{sign}(\hat{A}_t(r_t - 1)) \frac{|\pi(y_t|s_t) - \mu(y_t|s_t)|}{\delta}$

이 가중치는 세 가지 핵심 동작을 보입니다:

신뢰 영역 내부: 가중치는 양수이지만, 변화가 $\delta$ 에 접근함에 따라 매끄럽게 감쇠되어 업데이트를 지속하되 그 크기를 줄입니다.
신뢰 영역 외부 (발산 시): 업데이트가 행동 정책으로부터 더 멀어질 때( $|\pi - \mu| > \delta$ ), 가중치는 음수가 됩니다. 이는 그래디언트의 방향을 반전시켜, 하드 마스크와 달리 정책을 다시 경계 쪽으로 끌어당기는 교정 신호를 제공합니다.
수렴 업데이트: 업데이트가 행동 정책 쪽으로 돌아올 때, 가중치는 증폭( $>1$ )되어 신뢰 영역으로의 매끄러운 복귀를 촉진합니다.

이론적 차별점

SPO 대비: SPO는 $\chi^2$ 유형의 정규화( $\mu$ 로 나눔)를 사용하여 저확률 토큰의 롱테일에서 그래디언트 가중치가 무한히 커지는 현상이 발생합니다. DRPO는 $\ell_2^2$ 유형의 정규화( $\mu$ 를 곱함)를 사용하여, 토큰 확률에 관계없이 그래디언트 가중치가 **유계(bounded)**되도록 보장합니다.
DPPO 대비: DRPO는 DPPO의 Binary-TV 기하학을 보존하면서, 불연속적인 마스크를 매끄럽고 미분 가능한 정규화로 대체합니다.

3. 주요 기여

DRPO 알고리즘: 하드 발산 마스크를 절대 확률 변화(Binary-TV)에 기반한 매끄러운 이차 정규화로 대체하는 새로운 정책 최적화 방법론을 제시했습니다.
유계된 그래디언트 가중치: DRPO의 그래디언트 가중치가 롱테일 어휘 집합에서도 유계되어 있음을 이론적 및 경험적으로 입증하여, 저확률 토큰에서 가중치가 폭발하는 PPO, SPO와 같은 비율 기반 방식의 불안정성을 피했습니다.
교정 메커니즘: 신뢰 영역을 벗어난 업데이트에 대해 연속적인 교정 신호를 도입하여, DPPO와 같은 하드 마스크 방식에서 관찰되는 "그래디언트 사망(gradient death)" 현상을 방지했습니다.
설계 원칙: 효과적인 LLM RL 정규화를 위한 세 가지 실무적 기준을 식별했습니다:
- 분포 변화(단순 비율이 아닌)와 일치하는 안정적인 경계를 유도할 것.
- 롱테일 어휘 집합에서도 토큰별 그래디언트 가중치를 유계로 유지할 것.
- 정책이 발산할 때 매끄러운 교정 신호를 제공할 것.

4. 실험 결과

저자들은 다음과 같은 다양한 설정에서 DRPO를 평가했습니다:

모델: Qwen3-4B, Qwen3-30B-A3B, Qwen3.5-35B-A3B, DeepSeek-R1-Distill-Qwen-1.5B.
아키텍처: Dense 및 Mixture-of-Experts (MoE).
정밀도: BF16, FP8 (롤아웃 전용), FP8 (엔드 투 엔드).
벤치마크: AIME 2024 및 AIME 2025 (수학 추론 작업).

주요 결과:

안정성: DRPO는 모든 설정에서 일관되게 안정적인 학습을 가능하게 했습니다. 반면, 비율 기반 방법(GRPO, SPO)은 특히 저정밀도(FP8) 설정에서 빈번한 불안정성이나 붕괴를 겪었습니다.
성능: DRPO는 모든 베이스라인의 최고 평가 정확도와 대등하거나 이를 상회했습니다. 또한 하드 마스크 방식(DPPO)보다 수렴 속도와 최종 정확도 면에서 우수한 성능을 보였습니다.
어블레이션 연구 (Ablations):
- 정규화에서 절대 어드밴티지 가중치 $|\hat{A}_t|$ 를 제거했을 때 성능 저하와 불안정성이 발생하여, 신뢰 영역 경계가 보상 스케일과 독립적이어야 함을 확인했습니다.
- 다른 발산 측정치(KL, TV 페널티)는 DRPO보다 성능이 낮았으며, 이는 Binary-TV 정규화의 특정 기하학이 매우 중요하다는 것을 시사합니다.
- 정규화 항을 신뢰 영역 외부에서만 적용하는 경우(Mask-DRPO) 전체 DRPO와 유사한 성능을 보였는데, 이는 주요 이점이 경계 밖에서의 교정적 정규화에서 온다는 것을 나타냅로 합니다.

5. 의의 및 주장

본 논문은 목적 함수의 명목상 발산 측정치보다 정규화에 의해 유도되는 **그래디언트의 기하학(geometry of the gradient)**이 더 결정적이라는 점을 주장합니다. 기존 연구들이 표준적인 발산(KL, JS)에 집중했다면, 본 연구는 다음을 입증했습니다:

비율 기반 제약은 롱테일 어휘 집합을 가진 LLM에 근본적으로 부적합합니다.
하드 마스크는 비율보다는 낫지만, 교정 신호를 버림으로써 최적화의 취약성을 초래합니다.
DRPO는 발산 기반 제약(Binary-TV)의 기하학적 정확성과 매끄러운 정규화의 최적화 안정성을 결합한 통합된 솔루션을 제공합니다.

저자들은 DRPO를 단순한 특정 알고리즘을 넘어, 안정적인 정책 최적화 목적 함수를 설계하기 위한 경험적 렌즈로 제시하며, 효과적인 정규화는 LLM RL의 독특한 과제를 처리하기 위해 유계되고, 연속적이며, 교정적인 그래디언트 신호를 제공해야 함을 강조합니다.