Technisches Resümee: Length-Unbiased Sequence Policy Optimization (LUSPO)

1. Problemstellung

Reinforcement Learning with Verifiable Rewards (RLVR) ist zu einer tragenden Säule für die Verbesserung der Denkfähigkeiten von Large Language Models (LLMs) und Vision-Language Models (VLMs) geworden. Eine verbreitete Beobachtung in der RLVR-Trainingspraxis ist, dass eine erhöhte Antwortlänge oft mit verbessertem Denken korreliert, da Modelle lernen, komplexe Probleme in detaillierte Schritte zu zerlegen. Das Paper identifiziert jedoch einen kritischen Fehler in gängigen RLVR-Algorithmen, insbesondere Group Relative Policy Optimization (GRPO) und Group Sequence Policy Optimization (GSPO): Diese weisen einen inhärenten Antwortlängen-Bias auf, der zu einem „Response Length Collapse“ führen kann, bei dem Modelle zunehmend kürzere Antworten generieren, was die Effektivität des Trainings und die Tiefe des Denkprozesses untergräbt.

Die Autoren analysieren die Ursachen dieses Bias:

• In GRPO: Die Zielfunktion mittelt die Token-Level-Wichtigkeitsverhältnisse innerhalb einer Trajektorie. Diese Normalisierung führt dazu, dass Tokens in kürzeren Antworten die Gradientenaktualisierung stärker beeinflussen als Tokens in längeren Antworten. Infolgedessen wird das Modell bei korrekten Antworten dazu angereizt, kurz zu fassen; bei inkorrekten Antworten wird es weniger dafür bestraft, lang zu sein, was eine instabile Dynamik erzeugt.
• In GSPO: Obwohl GSPO die Instabilität von GRPO in Mixture-of-Experts (MoE)-Modellen durch die Verwendung von Sequenz-basierter Wichtigkeitsgewichtung adressiert, gelingt es nicht, den Antwortlängen-Bias zu beheben. Das Paper argumentiert, dass der Sequenz-basierte Clipping-Mechanismus von GSPO in Kombination mit der „Clip-Higher“-Operation negative (inkorrekte) Stichproben unverhältnismäßig stark beschneidet. Dies führt dazu, dass die Gradientenaktualisierung von positiven Stichproben dominiert wird, was aufgrund des zugrunde liegenden Längen-Bias die Generierung kürzerer Ausgaben weiter fördert. Empirische Belege zeigen, dass GRPO dazu neigt, die Antwortlänge zu erhöhen, während GSPO während des Trainings oft einen Kollaps der Antwortlänge verursacht, insbesondere in dichten Modellen und VL-Modellen.

2. Methodik: Length-Unbiased Sequence Policy Optimization (LUSPO)

Um den in GSPO inhärenten Antwortlängen-Bias zu korrigieren, schlagen die Autoren die Length-Unbiased Sequence Policy Optimization (LUSPO) vor. Die zentrale Innovation ist eine grundlegende Modifikation der GSPO-Zielfunktion.

Theoretische Grundlage

Die Autoren liefern eine theoretische Analyse, die zeigt, dass die Standard-GSPO-Verlustfunktion gegenüber längeren Sequenzen voreingenommen ist. Um dies zu neutralisieren, skaliert LUSPO den Verlust jeder Sequenz mit ihrer eigenen Länge ($|y_i|$).

Der Algorithmus

Die LUSPO-Optimierungszielgröße ist definiert als:
$$J_{LUSPO}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, \{y_i\}_{i=1}^G \sim \pi_{\theta_{old}}(\cdot|x)} \left[ \frac{1}{G} \sum_{i=1}^G \min\left( s_i(\theta) \hat{A}_i, \text{clip}(s_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) \cdot |y_i| \right]$$

Wobei:

• $s_i(\theta)$ das Sequenz-basierte Wichtigkeitsverhältnis ist (analog zu GSPO).
• $\hat{A}_i$ die gruppenbasierte Advantage-Schätzung ist.
• $|y_i|$ die Länge der Antwort ist.

Durch die Multiplikation des geclippten Advantage-Terms mit der Sequenzlänge $|y_i|$ stellt der Algorithmus sicher, dass längere Sequenzen während des Gradientenaktualisierungsprozesses nicht ungerechtfertigt benachteiligt werden. Eine theoretische Gradientenanalyse bestätigt, dass diese Modifikation den längenabhängigen Bias eliminiert, der in GSPO vorhanden ist, und sicherstellt, dass die Größenordnung der Gradientenaktualisierung proportional zur Sequenzlänge und nicht umgekehrt proportional zu ihr ist.

3. Zentrale Beiträge

Das Paper skizziert drei primäre Beiträge:

1. Analyse des Längen-Bias: Eine detaillierte theoretische und empirische Analyse der Zielfunktionen von GRPO und GSPO, die die zugrunde liegenden Mechanismen klärt, die einen inhärenten Antwortlängen-Bias und den anschließenden Längen-Kollaps verursachen.
2. LUSPO-Algorithmus: Der Vorschlag einer neuartigen Optimierungsstrategie, die den GSPO-Längen-Bias durch eine einfache Modifikation (Längen-Skalierung) neutralisiert und die Verlustfunktion gegenüber der Antwortlänge unvoreingenommen macht.
3. Umfassende Validierung: Umfangreiche Experimente über verschiedene Architekturen (Dense und MoE) und Modalitäten (Text-only und Vision-Language) hinweg, die zeigen, dass LUSPO im Vergleich zu bestehenden Methoden eine überlegene Leistung und Stabilität erzielt.

4. Experimentelle Ergebnisse

Die Autoren führten Experimente mit Qwen2.5-7B-Base (Dense), Qwen3-30B-A3B-Instruct (MoE) und Qwen2.5-VL-7B-Instruct (Vision-Language) durch.

Trainingsdynamik

• Antwortlänge: LUSPO verhindert konsistent den Kollaps der Antwortlänge. Beim Modell Qwen2.5-VL-7B-Instruct zeigte GSPO einen ausgeprägten Kollaps der Antwortlänge, während LUSPO stabile und signifikant längere Antworten beibehielt.
• Gradientenstabilität: Die Methode gewährleistet stabile Trainingsdynamiken sowohl in dichten als auch in MoE-Architekturen und adressiert die Instabilitätsprobleme, die häufig mit RLVR in MoE-Modellen assoziiert werden.

Leistungs-Benchmarks

• Text-only Modelle:
  • Qwen2.5-7B-Base: LUSPO verbesserte die Genauigkeit um +2,9 % bei AIME24 und um +7,4 % bei MATH500 im Vergleich zu GSPO.
  • Qwen3-30B-A3B-Instruct: LUSPO erreichte eine Verbesserung von +6,9 % bei AIME24 und +17,1 % bei AIME25 gegenüber GSPO.
• Multimodale Modelle:
  • Qwen2.5-VL-7B-Instruct: LUSPO übertraf sowohl GRPO als auch GSPO über mehrere Benchmarks hinweg. Bemerkenswerterweise erreichte es eine um +1,6 % höhere Genauigkeit als GRPO und um +0,5 % höhere als GSPO auf MathVista-Mini. Auf LogicVista zeigte LUSPO eine Verbesserung von +6,0 % gegenüber GSPO.
• Generalisierung: Die Methode demonstrierte Robustheit über verschiedene Datensätze (ViRL39K und DAPO-MATH-17K) hinweg und übertraf GSPO konsistent selbst in Szenarien, in denen GSPO keinen schweren Längen-Kollaps erlitt.

5. Bedeutung und Ansprüche

Das Paper positioniert LUSPO als eine neuartige, State-of-the-Art-Optimierungsstrategie für das RLVR-Training. Die Autoren behaupten, dass LUSPO durch die Adressierung des fundamentalen Längen-Bias in der sequenzbasierten Policy-Optimierung:

• Den Antwortlängen-Kollaps löst: Es verhindert die Degradation der Antwortlänge, die die Fähigkeit des Modells zur komplexen Argumentation behindert.
• Die Denkfähigkeiten verbessert: Indem es Modellen ermöglicht, längere, kohärentere Antworten ohne Strafe zu generieren, erleichtert LUSPO die Exploration breiterer Denkprozesse, was zu einer besseren Leistung bei komplexen mathematischen und logischen Aufgaben führt.
• Breite Anwendbarkeit besitzt: Die Methode ist effektiv in sowohl dichten als auch MoE-Architekturen sowie in Text-only- und Multimodal-Settings, was sie zu einer vielseitigen Lösung für das Training der nächsten Generation großer Modelle macht.

Die Autoren kommen zu dem Schluss, dass LUSPO einen bedeutenden Schritt zur Stabilisierung des RLVR-Trainings und zur Maximierung des Denkpotenzials großer Sprachmodelle darstellt.