From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training

1. Problemstellung

Das Paper adressiert eine kritische Herausforderung beim Training von Multimodalen Large Language Models (MLLMs) mit Reinforcement Learning with Verifiable Rewards (RLVR), insbesondere unter Verwendung des Group Relative Policy Optimization (GRPO) Algorithmus.

• Abhängigkeit von sauberen Daten: RLVR-Methoden sind stark auf hochwertige, korrekt gelabelte Daten angewiesen, um verifizierbare Belohnungssignale zu generieren.
• Rauschen in realen Szenarien: In der Praxis sind Datensätze oft mit erheblichem Annotationsrauschen (falschen Labels) behaftet.
• Versagen bestehender Methoden:
  • Standard-GRPO kann bei starkem Ruschen überanpassen (Overfitting) an falsche Labels.
  • Bestehende Ansätze, die auf reinem Entropie-Minimieren basieren, unterdrücken die notwendige Antwortvielfalt (Response Diversity). Diese Vielfalt ist jedoch essenziell für GRPO, um innerhalb einer Gruppe von Antworten ein zuverlässiges Vorteilssignal (Advantage Estimation) zu berechnen.
  • Ansätze, die nur Entropie-Maximierung nutzen, verhindern eine stabile Konvergenz, da die Wahrscheinlichkeitsmasse nicht auf die korrekte Antwort konzentriert wird.

2. Methodik: Zwei-Phasen-Entropie-Optimierung

Die Autoren schlagen einen neuen Ansatz vor, der das Training dynamisch in zwei Phasen unterteilt, um einen kontrollierten Übergang von Exploration (Erkundung) zu Exploitation (Ausnutzung) zu ermöglichen.

• Token-Level Entropie: Anstelle der Sequenz-Entropie wird die Entropie auf Token-Ebene berechnet. Dies misst die Unsicherheit des Modells bei jedem einzelnen Generierungsschritt.
• Die Zwei-Phasen-Strategie:
  1. Phase 1 (Exploration): Zu Beginn des Trainings wird die Token-Level-Entropie maximiert.
     • Ziel: Förderung einer vielfältigen Ausgabe. Dies dient als Regularizer, verhindert das vorzeitige Konvergieren auf falsche Labels und stellt sicher, dass GRPO genügend Variation innerhalb der Antwortgruppen hat, um korrekte Vorteile zu schätzen.
  2. Phase 2 (Exploitation): Nach einem definierten Schwellenwert ($\tau_{switch}$) wird die Entropie minimiert.
     • Ziel: Das Modell wird angeleitet, selbstbewusste und deterministische Ausgaben zu produzieren, um das während der Explorationsphase gewonnene Wissen zu konsolidieren und die Vorhersagegenauigkeit zu schärfen.
• Mathematische Formulierung: Das Gesamtverlustfunktional kombiniert den standard GRPO-Verlust ($\mathcal{L}_{GRPO}$) mit einem gewichteten Entropie-Term ($\mathcal{L}_{entropy}$). Der Koeffizient $\lambda(\tau)$ wechselt das Vorzeichen: positiv in Phase 1 (Maximierung) und negativ in Phase 2 (Minimierung).

3. Wichtige Beiträge

• Systematische Analyse: Umfassende Experimente über verschiedene Rauschlevel (0% bis 100% falsche Labels), verschiedene Modellarchitekturen (Qwen2-VL, Qwen2.5-VL, InternVL) und diverse Aufgaben (GUI-Grounding, feingranulare Klassifizierung, Open-Vocabulary Object Detection).
• Identifikation von Limitierungen: Nachweis, dass reine Entropie-Minimierung oder -Maximierung unter Rauschen suboptimal sind und dass eine dynamische Steuerung notwendig ist.
• Neue Methode: Einführung der „Two-Stage Entropy-Guided GRPO", die den Trade-off zwischen Exploration und Exploitation steuert, ohne die Konvergenzstabilität zu opfern.
• Robustheit: Demonstration, dass die Methode selbst bei 100% Rauschen (nur falsche Labels) noch signifikante Verbesserungen gegenüber dem Basis-Modell und Standard-GRPO erzielt.

4. Ergebnisse

Die Experimente wurden auf dem ScreenSpot-Datensatz (GUI-Grounding), Pets37 (Klassifizierung) und COCO (Objektdetektion) durchgeführt.

• Quantitative Leistung:
  • Auf dem ScreenSpot-Datensatz mit 50% Rauschen erreichte das vorgeschlagene Modell 80,2% Genauigkeit, verglichen mit 76,2% bei Standard-GRPO und 77,4% bei reiner Entropie-Minimierung.
  • Bei 100% Rauschen (nur falsche Labels) erreichte die Methode 75,8% (Qwen2.5-VL-3B), während Standard-GRPO nur 71,0% erreichte.
  • Die Methode übertrifft konsistent Baselines wie „External-Signal"-Methoden (z.B. LLM-as-a-Judge) und „Internal-Signal"-Methoden (z.B. zufällige Belohnungen).
• Qualitative Analyse:
  • Visualisierungen der Reasoning-Traces zeigen, dass reine Entropie-Minimierung zu einem sofortigen „Kollaps" in einen einzigen Pfad führt, der oft falsch ist.
  • Reine Entropie-Maximierung erzeugt zwar vielfältige Pfade, aber keine konsistente Konvergenz.
  • Die Zwei-Phasen-Methode erzeugt zunächst diverse Pfade (um das Rauschen zu widerstehen) und konvergiert dann präzise auf die korrekte Lösung.
• Generalisierung: Die Methode zeigt starke Out-of-Distribution (OOD) Fähigkeiten auf Benchmarks wie ScreenSpot-Pro und OS-World-G, selbst wenn sie auf verrauschten Daten trainiert wurde.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen Beitrag zur Robustheit von RLVR in multimodalen Szenarien. Die zentrale Erkenntnis ist, dass Entropie nicht statisch optimiert werden sollte, sondern als dynamischer Schedule fungieren muss.

• Praktische Relevanz: Da das Sammeln perfekt gelabelter Daten teuer und fehleranfällig ist, ermöglicht diese Methode das effektive Training von MLLMs mit kostengünstigen, aber verrauschten Datensätzen.
• Algorithmische Stabilität: Der Ansatz löst das Dilemma, dass GRPO sowohl Vielfalt (für die Vorteilsschätzung) als auch Konvergenz (für die Genauigkeit) benötigt, indem er diese Anforderungen zeitlich trennt.
• Skalierbarkeit: Die Ergebnisse deuten darauf hin, dass größere Modelle (z.B. Qwen2-VL-7B) noch stärker von dieser Zwei-Phasen-Strategie profitieren, was auf eine gute Skalierbarkeit für zukünftige MLLM-Architekturen hindeutet.

Zusammenfassend stellt die vorgeschlagene Methode einen robusten und effizienten Weg dar, um Multimodale Large Language Models auch unter realen Bedingungen mit unvollkommenen Daten zu trainieren.