Entropy-Preserving Reinforcement Learning

이 논문은 정책 경사 알고리즘이 학습 과정에서 엔트로피가 감소하여 탐색 다양성이 저하되는 문제를 지적하고, REPO 와 ADAPO 와 같은 엔트로피 보존 메커니즘을 제안하여 학습 중 다양성을 유지함으로써 최종 성능과 새로운 환경에서의 연속 학습 능력을 향상시키는 방법을 제시합니다.

핵심

🎓 비유: "똑똑하지만 고집 센 학생" vs "호기심 많은 탐험가"

AI 가 문제를 풀 때의 상황을 한 학생이 시험을 준비하는 상황으로 상상해 보세요.

1. 기존 방식 (GRPO 등): "정답만 외우는 고집 센 학생"

   • 이 학생은 문제를 풀 때, 처음에 맞춘 정답 하나만 계속 반복해서 외웁니다.
   • "아, 이 문제 답은 A 가 맞구나! A 만 외우자!"라고 생각해서, B 나 C 같은 다른 가능성 있는 답은 아예 생각하지 않게 됩니다.
   • 결과: 아주 간단한 문제는 완벽하게 맞출 수 있지만, 조금만 문제가 바뀌거나 새로운 상황이 나오면 당황해서 아무것도 못 풉니다. (이걸 논문에서는 엔트로피 붕괴라고 합니다. 즉, 사고의 다양성이 사라진 상태죠.)

2. 이 논문의 제안 (Entropy-Preserving RL): "호기심 많은 탐험가"

   • 이 학생은 "A 가 맞을 수도 있지만, B 나 C 도 한번 시도해 볼까?"라고 생각합니다.
   • 비록 A 가 정답일 확률이 높더라도, B 나 C 를 시도해 보는 과정에서 더 창의적이고 강력한 해결책을 찾아냅니다.
   • 핵심: 이 논문은 AI 가 학습하는 내내 **"너무 한쪽으로 치우치지 않게, 다양한 시도를 하도록 조절해 주는 장치"**를 만들었습니다.

---

🔍 이 논문이 발견한 두 가지 중요한 사실

1. "숫자 계산 실수"가 사고를 멈추게 했다 (수학적 정밀도 문제)

논문은 흥미로운 사실을 발견했습니다. 컴퓨터가 숫자를 계산할 때 사용하는 방식 (BF16 이라는 반정밀도) 때문에, AI 가 "이건 틀렸어"라고 판단해야 할 때 오히려 "이건 맞았어"라고 잘못 계산하는 경우가 많았다는 것입니다.

• 비유: 마치 학생이 시험지를 채점할 때, 연필로 쓴 글씨가 너무 흐릿해서 (정밀도 부족) "O"를 "X"로 잘못 보거나, 반대로 "X"를 "O"로 보는 것과 같습니다.
• 해결: 이 논문은 계산 방식을 더 정확하게 (FP16) 바꾸고, 중요한 숫자 계산 부분을 다시 확인하게 함으로써 AI 가 올바른 판단을 내리게 했습니다.

2. "다양성 조절기"를 달아주자 (REPO 와 ADAPO)

기존 AI 는 학습이 진행될수록 자연스럽게 "정답 하나"만 고집하게 되는데, 이 논문은 두 가지 새로운 장치를 제안합니다.

• REPO (규제된 엔트로피 최적화):

  • 비유: 선생님이 학생에게 "너가 자주 쓰는 A 방법 말고, 드물게 쓰는 B 방법도 한번 써봐. 그걸로 점수를 더 줄게!"라고 장려하는 것과 같습니다.
  • AI 가 자주 쓰는 답 (높은 확률) 에는 점수를 덜 주고, 드물게 쓰는 답 (낮은 확률) 에는 점수를 더 주어, AI 가 다양한 길을 찾도록 유도합니다.

• ADAPO (적응형 비대칭 클리핑):

  • 비유: 학생이 너무 자신만만해져서 (엔트로피가 너무 낮아져) 다른 답을 안 보려고 하면, 선생님이 "조금 더 넓게 생각해보렴"이라고 말려서 제한을 풀고, 반대로 너무 헷갈려서 (엔트로피가 너무 높아져) 엉뚱한 답만 고르면 "조금 더 집중해"라고 제한을 줍니다.
  • AI 의 상태를 실시간으로 보고, 다양성을 유지할 수 있게 자동으로 조절해 줍니다.

---

🏆 실제 성과: "왜 이 방법이 좋은가?"

이 방법들을 적용한 AI 는 다음과 같은 놀라운 결과를 보였습니다.

1. 더 높은 점수: 단순히 정답을 외우는 게 아니라, 다양한 시도를 통해 더 어려운 문제 (수학 문제나 복잡한 앱 사용) 를 더 잘 풀었습니다.
2. 새로운 환경 적응력: 한 번 배운 것을 잊어버리지 않고, 완전히 새로운 환경에서도 다시 잘 학습할 수 있었습니다.
   • 비유: "고집 센 학생"은 배운 수학 문제만 풀다가, 새로운 과학 문제를 만나면 당황합니다. 하지만 "호기심 많은 탐험가"는 다양한 시도를 해본 경험 덕분에, 새로운 과학 문제도 유연하게 해결합니다.

💡 한 줄 요약

"AI 가 학습할 때 너무 빨리 정답 하나만 고집하게 되면, 새로운 문제를 못 풉니다. 이 논문은 AI 가 학습 내내 다양한 가능성을 열어두고, 실수하지 않도록 계산 방식을 고쳐주어, 더 똑똑하고 유연한 AI 를 만드는 방법을 제시했습니다."

이 연구는 AI 가 단순히 "정답을 맞추는 기계"가 아니라, "창의적으로 문제를 해결하는 파트너"가 되기 위한 중요한 발걸음입니다.

기술 요약

엔트로피 보존 강화 학습 (Entropy-Preserving Reinforcement Learning) 기술 요약

이 논문은 언어 모델의 추론 능력을 향상시키기 위한 온라인 정책 경사 (Policy Gradient) 강화 학습 (RL) 과정에서 발생하는 엔트로피 붕괴 (Entropy Collapse) 문제를 해결하고, 이를 제어하기 위한 새로운 방법론을 제안합니다.

1. 문제 정의 (Problem)

최근 언어 모델의 추론 능력 향상에는 온라인 정책 경사 알고리즘 (예: GRPO, PPO) 이 핵심 역할을 하고 있습니다. 그러나 이러한 알고리즘들은 훈련 과정에서 탐색 (Exploration) 과 활용 (Exploitation) 의 균형을 잃기 쉽습니다.

• 엔트로피 붕괴 현상: 훈련이 진행됨에 따라 정책이 이미 높은 확률을 가진 해답 주변으로 분포를 급격히 좁히게 됩니다. 이는 다양한 솔루션을 탐색하는 능력을 상실하게 하여, 초기 모델의 다양성을 잃고 지역 최적점 (Local Optima) 에 갇히게 만듭니다.
• 결과: pass@1(단일 시도의 정답률) 은 향상될 수 있지만, pass@k(여러 시도 중 하나라도 정답일 확률) 나 새로운 환경으로의 전이 학습 (Sequential Learning) 능력이 크게 저하됩니다.
• 기존 접근법의 한계: 기존 알고리즘들은 엔트로피를 명시적으로 모니터링하거나 제어하지 않아, 훈련 중 예측 불가능한 엔트로피 감소가 발생하거나 수치적 불안정성으로 인해 의도치 않게 엔트로피가 붕괴되는 경우가 많았습니다.

2. 방법론 (Methodology)

저자들은 엔트로피 동역학 (Entropy Dynamics) 을 이론적으로 분석하고, 이를 제어하기 위한 명시적 메커니즘과 수치적 수정을 제안합니다.

2.1 이론적 분석 및 원인 규명

• 엔트로피 변화의 원리: 정책 경사 업데이트에서 엔트로피 변화는 '행동의 로그 확률 (Log-probabilities)'과 '이득 (Advantage)' 간의 상관관계에 의해 결정됩니다.
• 알고리즘별 특성:
  • PPO: 클리핑 (Clipping) 이 엔트로피 변화를 제한하지만, 오프-폴리시 (Off-policy) 업데이트가 반복되면 엔트로피 붕괴가 증폭됩니다.
  • DAPO & GSPO: 비대칭 클리핑 (Asymmetric Clipping) 을 통해 엔트로피 증가를 허용하고 감소를 제한함으로써 엔트로피를 암묵적으로 보존하려 합니다.
• 수치적 정밀도의 중요성 (중요 발견):
  • BF16 vs FP16: 모델 출력의 16 비트 양자화 (BF16) 는 중요도 가중치 (Importance Weight) 계산 시 **상향 편향 (Upward Bias)**을 일으켜, 비대칭 클리핑이 의도한 대로 작동하지 않게 만듭니다. 이는 엔트로피 감소를 유발하는 요인이 됩니다.
  • 해결책: FP16 훈련과 모델 출력의 정밀도 유지 (MixedPrecisionPolicy 수정) 를 통해 훈련 - 추론 간 불일치를 줄이고 엔트로피 붕괴를 방지할 수 있음을 실험적으로 증명했습니다.

2.2 제안된 알고리즘: REPO 및 ADAPO

엔트로피를 능동적으로 제어하기 위해 두 가지 새로운 메커니즘을 제안합니다.

1. REPO (Regulated Entropy Policy Optimization):

   • 이득 함수 (Advantage Function) 를 수정하여 엔트로피를 제어합니다.
   • REPO-D (Decorrelate): 엔트로피 붕괴를 상쇄하기 위해 로그 확률 항을 이득에서 뺍니다.
   • REPO-R (Rescale): 희귀한 올바른 해답의 가중치를 높이고 흔한 잘못된 해답의 패널티를 줄이기 위해 이득을 재조정합니다.
   • 적응형 제어: 훈련 중 엔트로피가 초기값보다 낮아지면 조절 계수 (ζ) 를 증가시켜 엔트로피를 높이는 방향으로 작동합니다.
   • 장점: 전체 로그 (Logits) 를 계산하지 않고 샘플링된 토큰의 로그 확률만으로 엔트로피를 추정하므로 메모리 오버헤드가 거의 없습니다.

2. ADAPO (Adaptive DAPO):

   • DAPO 의 비대칭 클리핑 임계값 (ϵ_high) 을 훈련 중 관찰된 엔트로피에 따라 동적으로 조정합니다.
   • 엔트로피가 낮아지면 클리핑 상한을 높여 탐색을 장려하고, 반대로 높으면 제한합니다.

3. 주요 기여 (Key Contributions)

1. 엔트로피 붕괴에 대한 이론적 및 실증적 분석: 정책 경사 알고리즘이 엔트로피에 미치는 영향을 수학적으로 증명하고, BF16 양자화 및 프레임워크 동작 (FSDP2 출력 캐스팅) 이 엔트로피 붕괴에 미치는 치명적인 영향을 규명했습니다.
2. 명시적 엔트로피 제어 메커니즘 제안: REPO 와 ADAPO 를 통해 훈련 중 엔트로피를 목표 수준으로 유지하는 새로운 알고리즘을 개발했습니다.
3. 수치적 안정성 해결: FP16 훈련과 정밀도 보정 기법을 도입하여 기존 알고리즘 (DAPO 등) 의 불안정성을 해결하고 성능을 극대화했습니다.
4. 순차 학습 (Sequential Learning) 능력 향상: 엔트로피를 보존한 모델은 새로운 환경으로의 전이 학습에서 기존 모델보다 훨씬 우수한 적응 능력을 보여줍니다.

4. 실험 결과 (Results)

평가 환경: AppWorld (상호작용 도구 사용 에이전트), AIME (수학 문제 해결).
기반 모델: Qwen-3-8B, Qwen-3-32B.

• 성능 향상:
  • AppWorld: REPO-R 와 ADAPO 는 GRPO 와 DAPO 를 능가하는 성능을 보였습니다. 특히 FP16 훈련과 수치적 수정을 적용한 **RLOO(Strictly On-policy)**는 AppWorld Test Normal 에서 79%, Test Challenge 에서 **71%**의 SOTA(최고 성능) 를 기록했습니다.
  • AIME: 엔트로피 보존 방법들은 기존 오프-폴리시 방법들과 경쟁력 있는 성능을 보였으며, 초기 수렴 후에도 안정적인 성능을 유지했습니다.
• 엔트로피 동역학:
  • 기존 알고리즘 (GRPO 등) 은 훈련 초기에 엔트로피가 급격히 감소 (90% 이상 감소) 하는 반면, 제안된 방법들은 훈련 내내 안정적인 엔트로피를 유지했습니다.
  • Fig 1 및 Fig 7: 훈련 중 누적 엔트로피가 높은 모델일수록 최종 테스트 정확도가 높았으며, 새로운 작업으로의 순차 학습 시에도 탐색 능력을 유지하여 성능 저하가 없었습니다.
• 모델별 차이: Qwen-3 모델은 초기 엔트로피 붕괴가 심했으나, 제안된 수치적 수정과 REPO/ADAPO 를 적용하면 이를 극복하고 높은 성능을 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 강화 학습 기반 언어 모델 훈련에서 엔트로피 (즉, 탐색 능력) 를 1 순위의 고려 사항으로 다뤄야 함을 강조합니다.

• 탐색의 중요성: 단순히 정답 확률을 높이는 것 (exploit) 보다 다양한 해답을 탐색하는 것 (explore) 이 장기적인 성능과 일반화 능력에 필수적입니다.
• 실용적 해결책: 이론적 분석뿐만 아니라, 실제 구현 시 발생할 수 있는 수치적 오류 (정밀도 문제) 를 해결하는 구체적인 가이드를 제공하여 재현성을 높였습니다.
• 미래 방향: 제안된 REPO 와 ADAPO 는 온-폴리시와 오프-폴리시 훈련 모두에 적용 가능하며, 분산 시스템에서의 처리량 (Throughput) 을 유지하면서 온-폴리시 수준의 성능을 달성할 수 있는 길을 열었습니다.

결론적으로, 이 연구는 언어 모델의 추론 능력을 극대화하기 위해 엔트로피를 능동적으로 모니터링하고 제어하는 것이 필수적임을 입증하고, 이를 위한 강력한 도구들을 제시했습니다.