From $\boldsymbol{\log\pi}$ to $\boldsymbol{\pi}$: Taming Divergence in Soft Clipping via Bilateral Decoupled Decay of Probability Gradient Weight

이 논문은 강화학습 기반 LLM 추론의 안정성과 탐색을 동시에 확보하기 위해 기존 로그 확률 기반 기울기 대신 확률 기울기를 활용하고 비대칭 감쇠 메커니즘을 도입한 'Decoupled Gradient Policy Optimization (DGPO)'을 제안하여, 수학 벤치마크에서 기존 방법론보다 우수한 성능을 입증했습니다.

핵심

🎓 비유: "수학 선생님과 학생"의 관계

인공지능 (LLM) 을 열정적인 학생이라고 상상해 보세요. 이 학생은 수학 문제를 풀고, 선생님 (알고리즘) 이 정답을 알려주면 점수를 받습니다.

1. 문제: "너무 엄격한 선생님" vs "너무 무서운 학생"

기존의 학습 방법 (GRPO 등) 은 학생이 문제를 풀 때, 정답에 가까운 답만 칭찬하고, 조금이라도 어긋난 답은 아예 무시해버렸습니다.

• 비유: 학생이 "아마도 5 일 거야?"라고 추측했을 때, 정답이 5 가 아니라면 선생님이 "아니야, 네 생각은 0 점이야!"라고 완전히 지워버리는 것입니다.
• 결과: 학생은 실수를 두려워해서 더 이상 새로운 시도를 하지 않게 됩니다 (탐색 부족). 하지만 정답을 찾지 못하면 영원히 그 자리에 멈춰 있게 됩니다.

2. 새로운 시도: "부드러운 선생님"의 함정

최근에는 "완전히 지우지 말고, 약간의 점수는 주자"라는 시도 (Soft Clipping) 가 나왔습니다. 하지만 여기서 치명적인 문제가 생겼습니다.

• 비유: 학생이 "정말 모르겠는데, 0.0001% 확률로 5 일 수도 있겠지?"라고 아주 낮은 확률로 추측했을 때, 기존 방법은 "너의 확률이 0 에 가까우니, 그 반대로 엄청나게 큰 점수를 줘서 네가 놀라게 하겠다!"라고 했습니다.
• 결과: 학생이 너무 놀라 (확률 값이 0 에 가까울 때 기울기가 무한대로 커짐) 공황 상태에 빠져 학습이 망가집니다. (학습 불안정/발산)

3. 이 논문의 해결책: DGPO (Decoupled Gradient Policy Optimization)

이 논문은 **"기존의 '로그 확률'이라는 측정 기준을 버리고, '확률' 그 자체를 기준으로 삼자"**고 제안합니다.

• 핵심 아이디어:

  • 왼쪽 경계 (확률이 너무 낮은 경우): 학생이 너무 어리석은 추측을 할 때는, 점수를 부드럽게 줄여주면서 (Decay) "조금만 더 생각해보자"라고 gently(부드럽게) 멈추게 합니다.
  • 오른쪽 경계 (확률이 너무 높은 경우): 학생이 너무 자신 있게 추측할 때는, 점수를 조금 더 열어주어 "더 다양한 가능성을 탐색해보자"라고 장려합니다.

• 창의적인 비유: "스피드 조절기"

  • 기존 방법은 차가 너무 빠르면 브레이크를 꽉 밟아 멈추게 (Hard Clipping) 하거나, 너무 느리면 엔진을 과부하시켜 폭발하게 (Divergence) 했습니다.
  • 이 논문이 제안한 DGPO는 **"지능형 서스펜션"**입니다.
    • 차가 너무 느려지면 (왼쪽 경계): 엔진을 너무 세게 돌리지 않고, 부드럽게 가속을 도와주되 폭발하지 않게 조절합니다.
    • 차가 너무 빨라지면 (오른쪽 경계): 속도를 조금만 늦추면서도 방향을 잃지 않게 유지합니다.
  • 이렇게 하면 학생은 실수를 두려워하지 않고 새로운 시도를 하되 (탐색), 학습이 터지지 않고 안정적으로 (안정성) 성장할 수 있습니다.

---

🚀 이 방법이 왜 중요한가요?

1. 안정성과 탐험의 균형: 학생이 새로운 답을 시도할 때 (탐색) 두려워하지 않게 하면서도, 학습이 엉망이 되는 것을 막아줍니다.
2. 더 높은 점수: 실험 결과, 이 방법을 쓴 모델들은 수학 문제 (AIME, MATH 등) 에서 기존 방법들보다 훨씬 높은 점수를 받았습니다.
3. 크기 상관없이 작동: 작은 모델 (15 억 개 파라미터) 이든 큰 모델 (140 억 개 파라미터) 이든 모두 잘 작동했습니다.

💡 한 줄 요약

"학생이 실수할 때 너무 강하게 혼내거나, 너무 무서운 점수를 주지 말고, '확률'이라는 자연스러운 기준에 맞춰 부드럽게 지도해주면, 인공지능은 더 똑똑하고 안정적으로 성장한다."

이 논문은 인공지능이 더 똑똑해지기 위해 필요한 **'학습의 심리학'**을 수학적으로 증명해낸 연구라고 할 수 있습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

배경:
검증 가능한 보상 (Verifiable Rewards) 을 활용한 강화 학습 (RLVR) 은 대형 언어 모델 (LLM) 의 추론 능력을 비약적으로 향상시켰습니다. 특히 수학 문제 해결과 같은 도메인에서 GRPO(Group Relative Policy Optimization) 와 같은 알고리즘이 널리 사용되고 있습니다.

핵심 문제:
기존의 RLVR 알고리즘 (GRPO 등) 은 정책의 급격한 변화를 막기 위해 '하드 클리핑 (Hard Clipping)'을 사용합니다. 이는 신뢰 영역 (Trust Region) 밖의 토큰에 대한 그래디언트를 0 으로 만들어, 탐색 (Exploration) 을 억제하고 엔트로피 붕괴를 유발합니다.
이를 해결하기 위해 최근 '소프트 클리핑 (Soft Clipping)' 방법들 (CISPO, GPPO 등) 이 제안되었으나, 이들은 **로그 확률 (log-probability) 기반의 그래디언트 ($\nabla_\theta \log \pi_\theta$)**를 사용합니다.

발견된 치명적 결함:
확률 ($\pi_\theta$) 이 0 에 가까워질 때 (왼쪽 경계), 로그 확률 기반의 그래디언트 가중치는 발산 (Divergence) 합니다. 이는 훈련 불안정성을 초래하여 모델이 붕괴되는 결과를 낳습니다. 즉, 기존 소프트 클리핑 방법들은 안정성과 지속적인 탐색 사이의 균형을 맞추지 못했습니다.

---

2. 제안된 방법론: DGPO (Decoupled Gradient Policy Optimization)

저자들은 RLVR 의 최적화 원시 (Primitive) 를 로그 확률에서 **확률 ($\pi_\theta$)**로 전환해야 한다고 주장하며, 이를 기반으로 DGPO를 제안합니다.

2.1 핵심 아이디어: 확률 그래디언트 ($\nabla_\theta \pi_\theta$) 의 우위성

• 이론적 근거: 지도 학습 (SFT) 은 로그 확률을 최대화하지만, 강화 학습 (RL) 은 본질적으로 확률을 최대화하는 문제와 동치임을 수학적으로 유도했습니다. 따라서 확률 공간에서의 그래디언트가 더 자연스럽고 대칭적인 기하학적 구조를 가집니다.
• 기하학적 대칭성: 확률은 $(0, 1)$ 구간으로 유계 (Bounded) 이고 대칭적이지만, 로그 확률은 $(-\infty, 0)$으로 비유계이며 비대칭적입니다. 이를 통해 경계에서의 그래디언트 설계가 더 안정적입니다.

2.2 양측 비동기 감쇠 메커니즘 (Bilateral Decoupled Decay)

DGPO 는 중요도 샘플링 비율 (Importance Sampling Ratio, $w_{i,t}$) 에 따라 토큰을 구분하고, 경계에서 비대칭적이고 연속적인 감쇠를 적용합니다.

1. 왼쪽 경계 (Low Ratio, LN): 확률이 낮아질 때 (탐색이 필요한 영역), 그래디언트 가중치가 발산하지 않도록 **다항식 감쇠 (Polynomial Decay)**를 적용하여 안정성을 확보합니다.
   • 가중치 함수: $C_{left} \cdot \pi_\theta^n$
2. 오른쪽 경계 (High Ratio, HP): 확률이 높을 때 (탐색을 지속해야 하는 영역), **역근 감쇠 (Reciprocal Radical Decay)**를 적용하여 탐색을 장려하면서도 가중치가 발산하지 않도록 합니다.
   • 가중치 함수: $C_{right} \cdot \pi_\theta^{-1/m}$
3. 연속성 보장: 경계에서의 가중치 불연속을 방지하기 위해 $C_{left}$와 $C_{right}$ 상수를 도입하여 그래디언트 추정량의 연속성을 수학적으로 보장합니다.

이러한 설계는 하드 클리핑의 정보 손실을 막으면서도, 기존 소프트 클리핑의 발산 문제를 해결하여 **안정성 (Stability)**과 **지속적인 탐색 (Sustained Exploration)**을 동시에 달성합니다.

---

3. 주요 기여 (Key Contributions)

1. 최적화 원리의 패러다임 전환: LLM 훈련에서 로그 확률 대신 **확률 (Probability)**을 최적화의 기본 단위로 설정해야 함을 이론적으로 증명하고 제안했습니다.
2. DGPO 알고리즘 개발: 확률 그래디언트 기반의 분리된 적응적 감쇠 (Decoupled Adaptive Decay) 메커니즘을 도입하여, 잘린 토큰 (Clipped Tokens) 의 그래디언트를 보존하면서도 가중치 발산을 방지하는 새로운 정책 최적화 방법을 제시했습니다.
3. 광범위한 실험적 검증: DeepSeek-R1-Distill-Qwen 시리즈 (1.5B, 7B, 14B) 를 대상으로 다양한 수학 벤치마크 (AIME, MATH500 등) 에서 기존 SOTA 방법론 (GRPO, CISPO, GPPO, ASPO 등) 을 압도하는 성능을 입증했습니다.

---

4. 실험 결과 (Results)

• 성능 향상:
  • 1.5B 모델: 평균 Avg@32 에서 GRPO 대비 +4.3%, 최강 베이스라인 (CE-GPPO) 대비 +3.5% 향상.
  • 7B 모델: GRPO 대비 +3.1%, CISPO 대비 +2.7% 향상.
  • 14B 모델: 확장성 실험에서도 일관된 성능 향상 (+3.1% Avg@32) 을 보였습니다.
• 학습 동역학 (Training Dynamics):
  • 안정성: 왼쪽 경계에서 그래디언트 발산으로 인해 훈련이 붕괴되던 기존 방법 (CISPO, GPPO 등) 과 달리, DGPO 는 안정적인 수렴을 보입니다.
  • 엔트로피 제어: GRPO 는 초기에 엔트로피가 급격히 감소하여 조기 수렴 (Premature Convergence) 하는 반면, DGPO 는 탐색과 활용 (Exploration-Exploitation) 의 균형을 맞춰 최적의 엔트로피 감소 곡선을 유지합니다.
• 하이퍼파라미터 분석:
  • $n$과 $m$ 파라미터를 조절하여 모델 크기에 따른 최적 설정을 도출했습니다 (1.5B: $n=2, m=2$, 7B/14B: $n=1, m=2$).

---

5. 의의 및 결론 (Significance)

이 논문은 RLVR 분야에서 **그래디언트 설계의 근본적인 오류 (로그 확률 기반의 발산 문제)**를 지적하고, 이를 확률 기반의 대칭적 설계로 해결함으로써 LLM 의 추론 능력을 극대화하는 새로운 길을 제시했습니다.

• 이론적 통찰: RL 의 목표 함수가 본질적으로 확률 최대화임을 재확인하고, 이에 부합하는 그래디언트 설계가 훈련 안정성과 성능 향상의 열쇠임을 증명했습니다.
• 실용적 가치: DGPO 는 계산 비용 증가 없이 기존 RLVR 파이프라인에 적용 가능하며, 다양한 규모의 모델에서 일관된 성능 개선을 보여줍니다. 이는 수학 추론뿐만 아니라 다른 검증 가능한 보상 도메인에서도 적용 가능한 강력한 솔루션으로 평가됩니다.

요약하자면, DGPO 는 "경계에서의 그래디언트 발산을 억제하면서도 탐색을 유지하는" 완벽한 균형을 통해, 현재 LLM 강화 학습의 한계를 돌파한 획기적인 방법론입니다.