기술 요약: Hölder 정책 최적화 (HölderPO)

1. 문제 제기

그룹 상대적 정책 최적화 (GRPO) 는 외부 비판자 (critic) 모델의 필요성을 제거함으로써 복잡한 추론 능력을 갖춘 대규모 언어 모델 (LLM) 정렬을 위한 지배적이고 계산 효율적인 알고리즘으로 부상했습니다. 그러나 GRPO 는 시퀀스 내 토큰 수준의 중요도 비율을 집계하기 위해 산술 평균 ($p=1$) 을 사용하는 등, 궤적 수준의 이점을 토큰 수준의 정책 업데이트로 매핑하는 고정된 집계 메커니즘에 의존합니다.

저자들은 이러한 정적 접근법의 치명적인 한계를 지적합니다. 즉, 다양한 추론 작업은 서로 다른 신호 밀도를 보이며, 단일 고정 집계 함수가 보편적으로 최적일 수 없다는 것입니다.

• 희소 신호 작업 (예: AIME): 올바른 추론 단계가 드물고 크기가 큰 경우. 산술 평균과 같은 고정 집계는 이러한 드문 "아하 순간"을 평범한 토큰들과 평균화하여 희석시키거나, 반대로 이를 충분히 증폭하지 못합니다.
• 밀집 신호 작업 (예: MATH): 감독 신호가 많은 토큰에 분산된 경우. 고비율 토큰에 지나치게 집중하는 집계는 고분산 경사 업데이트를 유발하여 학습 붕괴를 초래할 수 있습니다.

실증적 관찰은 트레이드오프를 보여줍니다. 학습 붕괴를 방지하는 고정 집계는 희소 작업에서 최고 성능을 내지 못하는 반면, 희소 작업에서 성능을 극대화하는 집계는 밀집 작업에서 불안정성을 겪는 경향이 있습니다. 본 논문은 최적의 확률 집계가 상수가 아니라 작업 신호 밀도와 학습 진행도의 함수라고 주장합니다.

2. 방법론: HölderPO

이를 해결하기 위해 저자들은 HölderPO를 제안합니다. 이는 Hölder 평균(또는 $p$-norm) 을 통해 토큰 수준 확률 집계를 통합하는 일반화된 정책 최적화 프레임워크입니다.

핵심 메커니즘

고정된 평균 대신 HölderPO 는 스칼라 $p \in \mathbb{R}$로 집계 연산자를 매개변수화합니다. 토큰 수준 중요도 비율의 시퀀스 $\{r_{i,t}(\theta)\}$가 주어졌을 때, 시퀀스 수준의 대리 항 $\rho_{i,p}(\theta)$는 다음과 같이 정의됩니다:
$$\rho_{i,p}(\theta) = \begin{cases} \left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} r_{i,t}(\theta)^p \right)^{1/p} & \text{if } p \neq 0 \\ \exp\left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \log r_{i,t}(\theta) \right) & \text{if } p = 0 \end{cases}$$
이 공식은 표준 GRPO($p=1$, 산술 평균) 와 GSPO/GMPO($p \to 0$, 기하 평균) 를 특수한 경우로 복원하면서, 음수 값까지 스펙트럼을 확장합니다.

이론적 분석: 집중 - 안정성 트레이드오프

본 논문은 최적화 풍경에서 매개변수 $p$의 역할을 이론적으로 규명합니다:

1. 경사 집중 ($p > 0$): $p$가 증가함에 따라 경사 가중치 분포 $W_{i,t}(p)$는 가장 높은 중요도 비율을 가진 토큰에 단조롭게 집중됩니다. 이는 희소하고 크기가 큰 학습 신호를 증폭시켜 (희소 작업의 초기 학습 단계에 중요함) 분산 상계를 완화시킵니다.
2. 분산 상계 ($p \le 0$): $p$가 감소함에 따라 (음수 값을 포함), 정책 경사 추정기의 분산은 엄격하게 축소됩니다. 음수 $p$ 값은 집중을 반전시켜 비율이 $<1$인 토큰 (주저를 나타냄) 을 상향 가중치하여 추론 다양성을 촉진하고 밀집 신호 작업에서의 학습을 안정화합니다.
3. 트레이드오프: 정적 $p$는 동시에 신호 증폭을 극대화하고 분산을 최소화할 수 없습니다. 높은 $p$는 초기 단계 신호 발견에 최적이며, 낮은 (또는 음수) $p$는 후기 단계 수렴 안정성에 최적입니다.

동적 스케줄링 전략

최적의 $p$가 학습이 진행됨에 따라 변한다는 점을 인식하여, HölderPO 는 동적 어닐링 알고리즘을 도입합니다. 매개변수 $p$는 학습 수명 주기 동안 양의 초기 값 ($p_{high}$) 에서 낮은 또는 음수의 최종 값 ($p_{low}$) 으로 단조롭게 감소하도록 스케줄링됩니다.

• 초기 단계: 높은 $p$가 희소하고 크기가 큰 신호를 증폭시켜 초기 정책 개선을 주도합니다.
• 후기 단계: 낮은/음수 $p$가 경사 분산 상계를 축소하여 안정적인 수렴을 보장하고 모드 붕괴를 방지합니다.

3. 주요 기여

1. HölderPO 프레임워크: 적응 가능한 Hölder 매개변수 $p$를 통해 다양한 평균 기반 집계를 통합하는 일반화된 정책 최적화 프레임워크로, 정적 산술 평균 또는 기하 평균을 넘어선 탐색 공간을 확장합니다.
2. 이론적 기반: $p$의 양면적 역할에 대한 공식적 증명: 더 큰 $p$는 희소 신호를 증폭하기 위해 경사를 집중시키고, 더 작은 $p$는 경사 분산을 엄격하게 상계합니다. 저자들은 정적 구성이 두 지점을 동시에 달성할 수 없음을 증명하여 동적 스케줄링을 동기화합니다.
3. 실증적 돌파구:
   • 정적 높은 $p$(예: $p=3$) 가 까다로운 AIME 벤치마크의 성능 한계를 깨뜨렸음을 입증했습니다 (46.7% 정확도 도달).
   • 동적 스케줄링 ($p: 2 \to -2$) 이 이러한 장점을 통합하여 추가적인 계산 오버헤드 없이 최첨단 (SOTA) 결과를 달성함을 보였습니다.

4. 실험 결과

저자들은 Qwen2.5-Math 및 Qwen2.5-Instruct 기본 모델을 사용하여 수학적 추론 및 에이전트 의사결정 벤치마크에서 HölderPO 를 평가했습니다.

• 수학적 추론:
  • AIME24 (희소 신호): 정적 $p=3$이 46.7% 정확도를 달성하여 이전 GRPO 기록인 43.3% 를 상회했습니다.
  • MATH500 (밀집 신호): 낮은 $p$ 값 (예: $p=-1$) 이 우수한 안정성과 성능 (85.0% 정확도) 을 보였습니다.
  • 전체 성능: 동적 어닐링 전략 ($p: 2 \to -2$) 은 다섯 가지 수학적 벤치마크 (AIME, AMC, MATH, Minerva, OlympiadBench) 에서 **54.9%**의 평균 정확도를 달성했습니다. 이는 표준 GRPO 대비 7.2% 의 상대적 향상이며, PMPO 와 같은 동시 방법들보다 우월합니다.
• 에이전트 작업 (ALFWorld):
  • ALFWorld 벤치마크에서 HölderPO 는 **93.8%**의 성공률을 달성하여 GRPO(72.8%) 대비 28.8% 의 상대적 향상을 보였습니다.
  • 저자들은 에이전트 작업의 경우 기본 모델이 도메인별 사전 학습이 부족했기 때문에 더 보수적인 스케줄 ($p: 1 \to -1$) 이 최적이었다고 지적하며, 프레임워크의 적응성을 강조했습니다.

5. 중요성 및 주장

본 논문은 HölderPO 가 GRPO 와 같은 정적 정책 최적화 방법 내재된 근본적인 집중 - 안정성 트레이드오프를 해결한다고 주장합니다. 집계 메커니즘을 고정된 하이퍼파라미터가 아닌 연속적인 다이얼로 취급함으로써, 이 프레임워크는 모델이 다음을 가능하게 합니다:

1. 학습 초기 단계에서 희소하고 크기가 큰 학습 신호를 공격적으로 증폭합니다.
2. 후기 단계에서 안정적인 수렴을 보장하기 위해 경사 분산을 엄격하게 제어합니다.

저자들은 이러한 동적 적응성이 학습 신호의 특성이 진화하는 장거리 추론 작업에 중요하다고 강조합니다. 이 방법은 비판자 없는 RL 의 계산 효율성을 유지하면서 다양한 벤치마크에서 SOTA 성능을 달성합니다.

인정된 한계:

• 스케줄은 작업마다 경험적 조정이 필요한 하이퍼파라미터 ($p_{high}, p_{low}$, 감소 형태) 를 도입합니다.
• 양의 집중 영역 ($p > 0$) 은 검증자가 오양성 신호를 제공할 경우 고비율 토큰을 공격적으로 증폭하므로 보상 해킹에 더 취약할 수 있습니다.

향후 작업:
저자들은 수동 조정이 필요하지 않도록 배치 수준 경사 분산이나 토큰 비율 분산과 같은 실시간 지표에 기반하여 $p$를 조정하는 적응형 스케줄러 개발을 제안합니다.