기술 요약: 향상된 LLM 추론을 위한 적응형 파워-평균 정책 최적화

문제 제기

검증 가능한 보상을 활용한 강화학습 (RLVR) 은 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 핵심 패러다임으로 부상했습니다. 그러나 그룹 상대적 정책 최적화 (GRPO) 와 그 변형과 같은 기존 RLVR 방법들은 훈련 중 모델의 진화하는 추론 능력과 정렬되지 않는 정적 정책 최적화 체계에 의존합니다. 저자들은 현재 접근 방식의 두 가지 주요 한계를 지적합니다:

1. 정적 목적 함수: 기존 방법들은 전체 훈련 과정에서 고정된 목적 함수 (예: GRPO 의 산술 평균 또는 GMPO 의 기하 평균) 를 일반적으로 사용합니다.

   • 산술 평균 (GRPO): 고가치 이상치에 매우 민감합니다. 초기에는 드문 올바른 신호를 증폭시키지만, 종종 특정 해법에 과적합을 유발하고 엔트로피 붕괴(단일 전략으로의 조기 수렴) 를 초래합니다.
   • 기하 평균 (GMPO): 분산을 패널티로 부과함으로써 일관성을 강제합니다. 이는 엔트로피 붕괴를 방지하지만, 특히 올바른 경로가 드문 초기 훈련 단계에서 유망하지만 불안정한 추론 경로를 과도하게 보수적으로 배제할 수 있습니다.
   • 격차: 두 접근 방식 모두 학습 역학에 맞춰 민감도를 동적으로 조정하여 신호 증폭 (탐색) 과 분포 일관성 (안정성) 사이의 균형을 맞출 수 없습니다.

2. 정적 정책 최적화 제약: 표준 알고리즘은 배치 내 보상 신호의 통계적 안정성과 무관하게 훈련을 안정화시키기 위해 고정된 클리핑 임계값 (신뢰 영역) 을 사용합니다.

   • 문제: 보상 신호의 안정성은 배치마다 다릅니다. 정적 제약은 비최적입니다: 안정적인 배치에서는 학습을 방해할 정도로 지나치게 제한적이고, 불안정한 배치에서는 해로운 업데이트의 위험을 초래할 정도로 지나치게 허용적입니다.

방법론: APMPO

이러한 한계를 해결하기 위해 저자들은 모델의 실시간 성능에 따라 산술 평균과 기하 평균을 적응적으로 보간하는 파워-평균 정책 최적화 (PMPO) 와 보상 신호의 통계적 안정성에 기반하여 신뢰 영역을 조정하는 피드백 적응형 클리핑 (FAC) 을 통합한 적응형 파워-평균 정책 최적화 (APMPO) 를 제안합니다.

1. 파워-평균 정책 최적화 (PMPO)

PMPO 는 모델의 실시간 성능에 따라 적응적으로 산술 평균과 기하 평균 사이를 보간하는 일반화된 파워-평균 목적 함수를 도입합니다.

• 메커니즘: 파워 평균의 지수 $p$는 지수 감쇠 함수를 사용하여 현재 배치의 평균 보상 ($\mu_R$) 에 의해 동적으로 결정됩니다:
  $$p = \exp(-\gamma \cdot \mu_R)$$
• 적응적 행동:
  • 탐색 단계 (낮은 $\mu_R$): 성능이 낮을 때, $p \to 1$이 됩니다. 목적 함수는 산술 평균처럼 행동하여 드문 올바른 추론 경로의 빠른 발견을 촉진하기 위해 고가치 이상치를 우선시합니다.
  • 정착 단계 (높은 $\mu_R$): 성능이 향상됨에 따라, $p \to 0$이 됩니다. 목적 함수는 기하 평균 쪽으로 전환되어 일관성을 강제하고 과적합을 정규화하여 학습을 안정화합니다.

2. 피드백 적응형 클리핑 (FAC)

FAC 는 고정된 클리핑 경계를 보상 신호의 통계적 안정성에 기반한 적응형 메커니즘으로 대체하여 신뢰 영역을 조정합니다.

• 피드백 안정성 점수 (FSS): 신호 품질을 평가하기 위해 각 배치에 대해 계산되는 지표입니다:
  $$FSS = \frac{\mu_R}{\sigma_R + \delta}$$
  여기서 $\mu_R$은 평균 보상이고 $\sigma_R$은 표준 편차입니다. 높은 FSS 는 높은 신뢰도의 안정적인 피드백을 나타내고, 낮은 FSS 는 노이즈가 많고 불안정한 피드백을 나타냅니다.
• 적응형 상한: 상한 클리핑 값 ($\epsilon_{ada}$) 은 쌍곡 탄젠트 함수를 사용하여 FSS 에서 매핑됩니다:
  $$\epsilon_{ada} = \epsilon_{min} + (\epsilon_{max} - \epsilon_{min}) \cdot \tanh(FSS)$$
  • 안정적인 배치 (높은 FSS): 신뢰 영역이 확장되어 학습을 가속화하기 위해 더 공격적인 업데이트를 허용합니다.
  • 불안정한 배치 (낮은 FSS): 신뢰 영역이 축소되어 신뢰할 수 없는 신호로 인한 정책 저하를 방지하기 위해 더 엄격한 제약을 부과합니다.
• 비대칭 설계: 잘못된 경로를 결정적으로 제거하기 위해 하한은 고정된 ($\epsilon_{low}$) 채로 유지되는 반면, 상한은 적응합니다. 이는 "보수적 강화, 결정적 제거"의 역학을 생성합니다.

주요 기여

1. 한계의 공식화: 이 논문은 RLVR 에서 정적 목적 함수/클리핑 메커니즘과 LLM 추론 능력의 동적 특성 사이의 불일치를 식별하고 공식화합니다.
2. APMPO 알고리즘: 성능 기반 파워-평균 목적 함수 (PMPO) 와 피드백 기반 적응형 클리핑 메커니즘 (FAC) 을 결합한 새로운 알고리즘을 도입합니다. 이를 통해 실시간 훈련 역학에 기반하여 최적화 전략을 지속적으로 조정할 수 있습니다.
3. 실증적 검증: 수학, SQL 생성, 멀티모달 등 세 가지 추론 작업에 걸쳐九个 데이터셋에서 수행된 광범위한 실험을 통해 APMPO 가 최첨단 베이스라인보다 우수함을 입증했습니다.

실험 결과

저자들은 Qwen2.5-Math-1.5B-Instruct, Qwen2.5-3B-Instruct, DeepSeek-R1-Distill-Qwen-1.5B 모델을 포함하여 APMPO 를 평가했습니다.

• 수학적 추론: APMPO 는 베이스라인 (GRPO, DAPO, GMPO) 보다 일관되게 우수한 성능을 보였습니다.
  • Qwen2.5-3B-Instruct에서 APMPO 는 벤치마크에서 평균 Pass@1 점수 32.4를 기록하여 GRPO 의 29.4를 능가했습니다.
  • 특히 Math500에서 APMPO 는 점수를 68.4로 향상시켰습니다 (GRPO 는 66.0).
  • DeepSeek-R1-Distill-Qwen-1.5B에서 APMPO 는 평균 Pass@1 46.0을 달성하여 GRPO(39.9) 와 DAPO(42.8) 를 능가했습니다.
• 기타 작업: APMPO 는 SQL 생성 (Spider, BIRD) 과 멀티모달 추론 (Geometry3K) 에서 일관된 개선을 보여주었습니다.
• 훈련 역학: 훈련 곡선 분석 결과, APMPO 는 엔트로피 붕괴를 겪는 GRPO 에 비해 훈련 내내 더 높은 정책 엔트로피를 유지하며, GMPO 보다 더 높은 훈련 보상을 달성함이 밝혀졌습니다.
• 효율성: 적응형 메커니즘 ($p$ 및 $\epsilon_{ada}$ 계산) 은 배치 수준 통계에만 의존하므로 표준 GRPO 에 비해 계산 오버헤드가 무시할 수 있을 정도로 낮습니다.

중요성 및 주장

이 논문은 APMPO 가 모델의 학습 과정과 최적화 목적 및 제약을 정렬함으로써 RLVR 에 대해 더 적응적이고 강건한 접근 방식을 제공한다고 주장합니다.

• 균형 유지: 이는 발견에 필수적인 고가치 신호의 증폭과 정제에 필수적인 일관성 강제를 성공적으로 균형 잡습니다. 이는 정적 방법들이 유지하지 못하는 균형입니다.
• 일반화 가능성: 이 방법은 다양한 모델 크기와 추론 영역에서 효과성을 입증하여, 적응형 정책 최적화가 LLM 추론 향상을 위한 중요한 방향임을 시사합니다.
• 약간의 한계: 저자들은 계산 자원의 제약으로 인해 실험이 15 억 및 30 억 파라미터 모델로 제한되었음을 인정하지만, 이점의 확장성을 기대합니다. 또한 이 방법은 검증 가능한 결과 기반 보상의 존재에 의존하므로, 그러한 보상을 정의하기 어려운 영역에는 즉각적인 적용이 제한된다고 지적합니다.

요약하자면, APMPO 는 정적이고 일률적인 RLVR 전략에서 동적이고 피드백 기반의 최적화로의 전환을 나타내며, 향상된 추론 정확도와 더 안정적인 훈련 역학을 가져옵니다.