기술 요약: 희소 보상 LLM 학습을 위한 히스테리시스 정책 최적화 (HPO)

1. 문제 제기

본 논문은 희소 검증 가능 보상 체계 (예: 샘플링된 응답 중 정답이 차지하는 비율이 매우 낮은 추론 작업) 하에서 대규모 언어 모델 (LLM) 에 적용될 때 그룹 상대적 정책 최적화 (GRPO) 에서 발생하는 특정 실패 모드를 조사합니다. 저자들은 이러한 설정에서 학습을 불안정하게 만드는 두 가지 상호 의존적 편향을 식별했습니다:

1. 부호 불균형 (부정적 우세): 희소 보상 시나리오에서 초기 정책은 주로 잘못된 응답을 생성합니다. 결과적으로, 대부분의 샘플링된 트레젝토리가 그룹 평균보다 낮아 부정적 이점 (advantage) 이 빈번하게 발생합니다 ($p_- > p_+$). 이러한 풍부한 부정적 샘플에 대한 대칭적 처리는 드문 긍정적 신호를 압도하여 유용하지만 노이즈가 있는 추론 트레젝토리를 억제할 수 있습니다.
2. 응답 길이 편향: 표준 GRPO 는 각 개별 응답의 길이 ($1/|\tau_i|$) 로 손실을 정규화합니다. 이는 응답 길이와 업데이트 크기 사이에 역수 관계를 만듭니다:
   • 짧은 정답 응답은 불균형하게 큰 양의 기울기를 받아 모델이 간결함을 편향되게 선호하게 됩니다.
   • 긴 오답 응답은 불균형하게 작은 음의 기울기를 받아, 장황한 실패에 대한 적절한 페널티를 부과하지 못합니다.
   • 이러한 상호작용으로 인해 최적화 압력이 보상과 길이에 모두 의존하게 되며, 이는 길이가 검색 깊이 또는 설명과 상관관계가 있는 추론 작업에서 특히 문제가 됩니다.

2. 방법론

저자들은 이러한 편향을 해결하기 위해 두 가지 메커니즘을 통해 GRPO 목적 함수를 최소한으로 수정한 히스테리시스 정책 최적화 (HPO) 를 제안합니다.

2.1 고정 HPO

HPO 는 GRPO 목적 함수에 두 가지 구조적 변화를 도입합니다:

• 평균 길이 정규화: 각 응답을 자신의 길이 ($|\tau_i|$) 로 정규화하는 대신, HPO 는 전체 배치의 평균 응답 길이 ($|\bar{\tau}|$) 로 정규화합니다. 이는 응답 길이에 따른 업데이트 크기의 역수 스케일링을 제거하여, 긴 오답 응답이 적절히 페널티를 받고 짧은 정답 응답이 기울기를 지배하지 않도록 보장합니다.
• 비대칭 히스테리시스 가중치: 정책 기울기 업데이트는 이점 ($\hat{A}_i$) 의 부호에 따라 비대칭적으로 스케일링됩니다:
  • 양의 이점 ($\hat{A}_i \geq 0$) 은 전체 가중치를 유지합니다 (계수 = 1).
  • 음의 이점 ($\hat{A}_i < 0$) 은 히스테리시스 계수 $\alpha \in [0, 1]$만큼 하향 가중치가 적용됩니다.
  • 목적 함수는 다음과 같습니다:
    $$J_{HPO}(\theta) = \mathbb{E}_X \left[ \frac{1}{N|\bar{\tau}|} \sum_{i=1}^N \sum_{j=1}^{|\tau_i|} w_i \ell_{i,j}(\theta) \right]$$
    여기서 $\hat{A}_i \geq 0$이면 $w_i = 1$이고, 그렇지 않으면 $w_i = \alpha$입니다.

2.2 적응형 HPO (A-HPO)

최적의 $\alpha$가 학습 체계에 의존하며 (정책이 개선됨에 따라 히스테리시스가 덜 필요함), 저자들은 A-HPO를 도입합니다. 이 변형은 현재 배치의 부호 통계에 기반하여 $\alpha$를 동적으로 조정합니다:

• 양의 이점과 음의 이점 빈도의 비율 ($\hat{p}_+ / \hat{p}_-$) 을 추정합니다.
• 적응형 가중치는 다음과 같이 설정됩니다:
  $$\alpha_{adaptive} = \text{clip}\left( \frac{\hat{p}_+}{\hat{p}_- + \epsilon}, \alpha_{min}, 1 \right)$$
• 메커니즘: 음의 샘플이 우세할 때 (희소 체계), $\hat{p}_+ / \hat{p}_-$는 작아져 $\alpha$가 감소하고 음의 업데이트를 감쇠시킵니다. 정책이 개선되고 분포가 균형을 이루면 $\alpha$는 1 에 가까워져 대칭적 업데이트를 회복합니다. 이는 고정된 $\alpha$의 수동 조정을 피합니다.

3. 주요 기여

1. 실패 모드 식별: 본 논문은 희소 보상 체계에서 GRPO 의 불안정성을 부정적 이점 우세와 응답 수준 길이 정규화의 결합과 명시적으로 연결합니다.
2. HPO 알고리즘: "양만 학습" (음의 피드백을 폐기) 과 완전한 대칭적 업데이트 사이의 1 매개변수 보간법입니다. 평균 길이 정규화와 비대칭 가중치를 결합합니다.
3. A-HPO: 배치 수준 부호 통계에 기반하여 히스테리시스 가중치를 자동으로 조정하는 경량 적응형 규칙으로, 수동 하이퍼파라미터 탐색의 필요성을 제거합니다.
4. 실증적 검증: 제거 실험 (Ablation studies) 은 최적의 행동이 양만 ($\alpha=0$) 과 대칭적 ($\alpha=1$) 업데이트의 극단 사이에 있음을 보여주어 중간 수준의 히스테리시스의 필요성을 입증합니다.

4. 실험 결과

저자들은 1.5B 에서 7B 파라미터까지의 모델을 사용하여 두 가지 작업인 TeleLogs(5G 네트워크 근본 원인 분석) 과 Countdown(산술 구성) 에서 HPO 와 A-HPO 를 평가했습니다.

• TeleLogs (Qwen2.5-1.5B):
  • A-HPO 는 최종 보상 0.84를 달성하여 GRPO(0.73, +15%), GSPO(0.76, +11%), SAPO(0.80, +5%) 를 능가했습니다.
  • A-HPO 는 베이스라인과 비교 가능한 응답 길이를 유지하면서 "길이 붕괴" (length collapse) 현상을 피하며, 양만 학습 방법에서 관찰된 것보다 훨씬 빠르게 높은 보상 수준에 도달했습니다 (샘플 효율성).
• Countdown (1.5B–7B 모델):
  • 보상은 초기 학습 단계와 더 어려운 구성 (4 개의 숫자를 사용하는 Countdown-4) 에서 가장 두드러졌으며, 이 경우 보상은 희소합니다.
  • 예를 들어, Llama3.1-3B 와 Countdown-4 에서 A-HPO 는 200 단계 보상을 GRPO 의 0.40 에서 0.54 로 향상시켰습니다.
  • 포화 체계 (예: 더 쉬운 Countdown-3 에서 7B 모델) 에서는 성능 격차가 줄어들어, A-HPO 가 정책이 아직 학습 중인 경우에 가장 중요함을 나타냈습니다.
• 제거 실험 (Ablation Studies):
  • $\alpha=0$ (양만) 인 고정 HPO 는 매우 짧은 출력 (16 토큰) 과 낮은 보상 (0.71) 으로 붕괴되었습니다.
  • $\alpha=1$ (대칭적) 인 고정 HPO 는 부정적 우세로 인해 부진했습니다 (0.72).
  • 가장 좋은 고정 성능은 $\alpha \approx 0.6$에서 나타났으며, A-HPO 는 조정 없이 자동으로 이를 달성했습니다.
  • "대리 기여 균형 (surrogate contribution balance)" 분석은 A-HPO 가 긍정적 및 부정적 업데이트 기여의 크기를 성공적으로 균형 잡는 반면, GRPO 는 노이즈가 많고 부정적 우세 상태에 머무른다는 것을 확인했습니다.

5. 중요성 및 주장

본 논문은 HPO 와 A-HPO 가 LLM 을 위한 희소 보상 RL 의 안정성과 샘플 효율성을 크게 향상시키는 실용적이고 오버헤드가 적은 GRPO 수정안을 제공한다고 주장합니다.

• 핵심 원칙: 저자들은 희소 보상 체계에서 부정적 이점 업데이트는 활용되어야 하지만, 압도적으로 빈번할 때 대칭적으로 신뢰해서는 안 된다고 주장합니다.
• 균형: 이 방법은 풍부한 실패로 인한 유용한 추론 트레젝토리의 억제를 방지하면서도, 음의 증거를 완전히 폐기하는 퇴행적 행동을 피합니다.
• 적응성: A-HPO 는 희소에서 밀집된 보상으로 학습 분포가 이동함에 따라 적응하며, 양만과 대칭적 업데이트 사이의 중간 체계를 자동으로 추적하는 견고한 솔루션으로 제시됩니다.

이 연구는 밀집된 프로세스 보상이나 크리티크 피드백을 사용할 수 없는 경우, 컴퓨팅 효율적인 LLM 파인튜닝을 위해 HPO 가 필수적인 개선 사항임을 위치시킵니다.