기술 요약: 길이 편향이 없는 시퀀스 정책 최적화 (LUSPO)

1. 문제 정의

검증 가능한 보상을 활용한 강화 학습(RLVR)은 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM)의 추론 능력을 향상시키는 핵심 요소가 되었습니다. RLVR 훈련에서 관찰되는 일반적인 현상은 응답 길이가 길어질수록 모델이 복잡한 문제를 상세한 단계로 분해하는 법을 배우면서 추론 능력이 향상된다는 것입니다. 그러나 본 논문은 기존의 RLVR 알고리즘, 특히 **그룹 상대 정책 최적화(GRPO)**와 **그룹 시퀀스 정책 최적화(GSPO)**에서 발생하는 결정적인 결함을 식별합니다. 이들은 내재적인 **응답 길이 편향(response length bias)**을 나타내며, 이는 모델이 점점 더 짧은 응답을 생성하게 되어 훈련 효율성과 추론 깊이를 저해하는 "응답 길이 붕괴(response length collapse)"를 초래할 수 있습니다.

저자들은 이 편향의 원인을 다음과 같이 분석합니다:

• GRPO의 경우: 목적 함수가 궤적 내의 토큰 수준 중요도 비율을 평균화합니다. 이러한 정규화로 인해 짧은 응답의 토큰은 긴 응답의 토큰보다 그래디언트 업데이트에 더 크게 기여하게 됩니다. 결과적으로, 정답인 경우 모델은 간결해지도록 유도되는 반면, 오답인 경우 길이에 대한 페널티를 적게 받게 되어 불안정한 역학 관계를 생성합니다.
• GSPO의 경우: GSPO는 혼합 전문가(MoE) 모델에서 시퀀스 수준의 중요도 가중치를 사용하여 GRPO의 불안정성을 해결하지만, 길이 편향 문제는 해결하지 못합니다. 본 논문은 GSPO의 시퀀스 수준 클리핑 메커니즘이 "Clip-Higher" 연산과 결합되어 부정적인(오답) 샘플을 불균형적으로 절단한다고 주장합니다. 이는 그래디언트 업데이트가 양의 샘ples(정답)에 의해 지배되도록 만들며, 근본적인 길이 편향으로 인해 모델이 더욱 짧은 출력을 생성하도록 유도합니다. 실증적 증거에 따르면 GRPO는 응답 길이를 증가시키는 경향이 있는 반면, GSPO는 특히 밀집(dense) 및 VLM 모델에서 훈련 중 응답 길이 붕괴를 일으키는 경우가 많습니다.

2. 방법론: 길이 편향이 없는 시퀀스 정책 최적화 (LUSPO)

GSPO에 내재된 길이 편향을 바로잡기 위해, 저자들은 **길이 편향이 없는 시퀀스 정책 최적화(LUSPO)**를 제안합니다. 핵심 혁신은 GSPO 목적 함수에 대한 원칙적인 수정입니다.

이론적 기초

저자들은 표준 GSPO 손실 함수가 긴 시퀀스에 불리하게 작용한다는 것을 보여주는 이론적 분석을 제공합니다. 이를 중립화하기 위해, LUSPO는 각 시퀀스의 손실을 해당 시퀀스의 길이($|y_i|$)로 스케일링합니다.

알고리즘

LUSPO 최적화 목적 함수는 다음과 같이 정의됩니다:
$$J_{LUSPO}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, \{y_i\}_{i=1}^G \sim \pi_{\theta_{old}}(\cdot|x)} \left[ \frac{1}{G} \sum_{i=1}^G \min\left( s_i(\theta) \hat{A}_i, \text{clip}(s_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) \cdot |y_i| \right]$$

여기서:

• $s_i(\theta)$는 시퀀스 수준 중요도 비율입니다 (GSPO와 동일).
• $\hat{A}_i$는 그룹 기반 어드밴티지 추정치입니다.
• $|y_i|$는 응답의 길이입니다.

클리핑된 어드밴티지 항에 시퀀스 길이 $|y_i|$를 곱함으로써, 이 알고리즘은 긴 시퀀스가 그래디언트 업데이트 과정에서 불공정하게 페널티를 받지 않도록 보장합니다. 이론적 그래디언트 분석은 이 수정 사항이 GSPO에 존재하는 길이 의존적 편향을 제거하여, 그래디언트 업데이트의 크기가 시퀀스 길이에 반비례하는 것이 아니라 시퀀스 길이에 비례하도록 보장함을 확인해 줍니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. 길이 편향 분석: GRPO 및 GSPO의 목적 함수에 대한 상세한 이론적 및 실증적 분석을 통해, 내재적인 응답 길이 편향과 그에 따른 길이 붕괴를 일으키는 근본적인 메커니즘을 규명했습니다.
2. LUSPO 알고리즘: 단순한 수정(길이 스케일링)을 통해 GSPO의 길이 편향을 중립화하는 새로운 최적화 전략을 제안하여, 손실 함수를 응답 길이에 대해 편향되지 않도록 만듭了.
3. 포괄적 검증: 다양한 아키텍처(dense 및 MoE)와 모달리티(텍스트 전용 및 시각-언어)에 걸친 광범한 실험을 통해 LUSPO가 기존 방법들보다 우수한 성능과 안정성을 달encing함을 입증했습니다.

4. 실험 결과

저자들은 Qwen2.5-7B-Base (dense), Qwen3-30B-A3B-Instruct (MoE), 그리고 Qwen2.5-VL-7B-Instruct (Vision-Language)를 대상으로 실험을 수행했습니다.

훈련 역학 (Training Dynamics)

• 응답 길이: LUSPO는 응답 길이 붕괴를 일관되게 방지합니다. Qwen2.5-VL-7B-Instruct 모델에서 GSPO는 뚜렷한 응답 길이 붕괴를 보였으나, LUSPO는 안정적이고 훨씬 더 긴 응답을 유지했습니다.
• 그래디언트 안정성: 이 방법은 밀집 및 MoE 아키텍처 모두에서 안정적인 훈련 역학을 보장하며, MoE 모델에서 RLVR와 관련된 불안정성 문제를 해결합니다.

성능 벤치마크

• 텍스트 전용 모델:
  • Qwen2.5-7B-Base: LUSPO는 GSPO 대비 AIME24에서 +2.9%, MATH500에서 +7.4% 향상된 정확도를 보였습니다.
  • Qwen3-30B-A3B-Instruct: LUSPO는 GSPO 대비 AIME24에서 +6.9%, AIME25에서 **+17.1%**의 향상을 달성했습니다.
• 멀티모달 모델:
  • Qwen2.5-VL-7B-Instruct: LUSPO는 여러 벤치마크에서 GRPO와 GSPO를 모두 능가했습니다. 특히 MathVista-Mini에서 GRPO보다 +1.6%, GSPO보다 +0.5% 높은 정확도를 기록했습니다. LogicVista에서는 GSPO 대비 +6.0% 향상된 성능을 보였습니다.
• 일반화: 이 방법은 다양한 데이터셋(ViRL39K 및 DAPO-MATH-17K)에서 강건함을 입증했으며, GSPO가 심각한 길이 붕괴를 겪지 않는 시나리오에서도 일관되게 GSPO보다 우수한 성능을 보였습니다.

5. 의의 및 주장

본 논문은 LUSPO를 RLVR 훈련을 위한 새롭고 최첨단인 최적화 전략으로 포지셔ning 합니다. 저자들은 시퀀스 수준 정책 최적화의 근본적인 길이 편향을 해결함으로써 LUSPO가 다음과 같은 효과를 거둔다고 주장합니다:

• 응답 길이 붕로 해결: 모델의 복잡한 추론 능력을 저해하는 응답 길이의 퇴보를 방지합니다.
• 추론 능력 향상: 모델이 페널티 없이 더 길고 일관된 응답을 생성할 수 있도록 함으로써, LUSPO는 더 넓은 추론 패턴의 탐색을 촉진하여 복잡한 수학 및 논리 과제에서 향상된 성능을 이끌어냅니다.
• 광범한 적용 가능성: 이 방법은 밀집 및 MoE 아키텍처뿐만 아니라 텍스트 전용 및 멀티모달 환경 모두에서 효과적이므로, 차세대 대규모 모델 훈련을 위한 다재다능한 솔루션이 됩니다.

저자들은 LUSPO가 RLVR 훈련을 안정화하고 대규모 언어 모델의 추론 잠재력을 극대화하는 데 있어 중요한 진전임을 결론짓습니다.