All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models

1. Problemstellung und Motivation

Das Papier adressiert ein fundamentales Problem bei der Anwendung von Reinforcement Learning (RL), insbesondere der Group Relative Policy Optimization (GRPO), auf Vision-Language Models (VLMs).

• Hintergrund: Während RL-Modelle (wie Vision-R1) oft eine höhere Genauigkeit bei einzelnen Versuchen (Single-Trial) aufweisen als ihre Basis-Modelle, zeigen sie in Szenarien mit mehreren Versuchen (Multi-Sampling) oft eine geringere Leistungsfähigkeit.
• Die Entdeckung: Die Autoren identifizieren einen grundlegenden Verhaltensunterschied:
  • RL-Modelle (GRPO): Neigen zu „tiefem, aber engem" Denken. Sie verfeinern eine dominante Strategie extrem gut, neigen aber dazu, alternative Lösungswege frühzeitig zu verwerfen.
  • Basis-Modelle: Zeigen ein „divergentes Denken". Obwohl einzelne Pfade weniger verfeinert sein mögen, erkunden sie eine breitere Palette von Strategien und Lösungsansätzen.
• Das Kernproblem: GRPO ist anfällig für einen „Diversity Collapse" (Zusammenbruch der Vielfalt). Während des Trainings konvergieren die Modelle zu schnell auf eine kleine Teilmenge von Strategien und ignorieren potenziell bessere Alternativen. Dies führt zu lokalen Optima und schlechter Skalierbarkeit (Test-Time Scaling), da das Modell nicht in der Lage ist, bei komplexen Problemen verschiedene Perspektiven einzunehmen.

2. Methodik: Multi-Group Policy Optimization (MUPO)

Um das Problem des Diversity Collapse zu lösen, schlagen die Autoren MUPO vor, einen einfachen, aber effektiven Algorithmus, der GRPO ersetzt, um divergentes Denken zu incentivieren.

• Grundprinzip: Anstatt alle generierten Antworten global zu bewerten, werden die $N$ generierten Antworten in $K$ Gruppen partitioniert. Jede Gruppe repräsentiert einen distincten Denkmodus oder Lösungsstrategie.
• Lokale Vorteilsschätzung (Local Advantage Estimation):
  • Im Gegensatz zu GRPO, das Vorteile (Advantages) über die gesamte Gruppe berechnet, berechnet MUPO die Vorteile innerhalb jeder Gruppe separat. Dies ermöglicht die unabhängige Verfeinerung verschiedener Strategien, ohne dass eine dominante Strategie die anderen unterdrückt.
• Diversitäts-Belohnung (Diversity Reward):
  • Um die Trennung zwischen den Gruppen zu fördern, wird eine zusätzliche Belohnungskomponente eingeführt. Diese misst den Abstand (Cosine-Distanz) der Embeddings einer Antwort zu den Antworten aller anderen Gruppen.
  • Antworten, die sich stark von anderen Gruppen unterscheiden, erhalten eine höhere Belohnung.
• Dynamisches Gewichts-Scheduling ($\lambda$):
  • Der Einfluss der Diversitäts-Belohnung wird über ein kosinus-basiertes Scheduling annealed (von $\lambda_{max}$ auf $\lambda_{min}$).
  • Frühes Training: Hoher Fokus auf Exploration (hohe Diversität).
  • Spätes Training: Fokus verschiebt sich zur Ausbeutung (Exploitation) der vielversprechendsten Strategien, während die globale Vielfalt erhalten bleibt.
• Ziel-Funktion: Das Gesamtziel ist eine gewichtete Summe der GRPO-Ziele der einzelnen Gruppen, wobei ein Lastausgleichsfaktor ($w_k$) verhindert, dass große Gruppen den Optimierungsprozess dominieren.

3. Wichtige Beiträge

1. Analyse des Verhaltensunterschieds: Nachweis, dass RL-Modelle (GRPO) im Vergleich zu Basis-Modellen zu einem „Convergent Thinking" neigen, während Basis-Modelle trotz geringerer Einzelgenauigkeit eine überlegene „Divergent Thinking"-Fähigkeit besitzen, die bei mehreren Versuchen entscheidend ist.
2. Identifikation des Diversity Collapse: Demonstration, dass GRPO während des Trainings die inhärente Vielfalt der Basis-Modelle schnell unterdrückt, was zu lokalen Optima und begrenzter Skalierbarkeit führt.
3. Einführung von MUPO: Entwicklung eines neuen Policy-Optimierungs-Algorithmus, der durch Gruppierung und Diversitäts-Belohnung sowohl Tiefe als auch Breite im Denken sicherstellt.
4. State-of-the-Art Ergebnisse: Vorführung, dass MUPO-Modelle sowohl in der Genauigkeit als auch in der Skalierbarkeit (Test-Time Scaling) bestehende SOTA-Modelle übertreffen.

4. Ergebnisse und Evaluation

Die Autoren evaluieren MUPO auf neun Benchmarks (mathematisch und allgemein), darunter MathVerse, MathVista, LogicVista und MMStar, mit Basis-Modellen der Größen 3B und 7B (Qwen2.5-VL).

• Leistung auf Benchmarks:
  • MUPO-Thinker-7B erreicht im Durchschnitt eine Verbesserung von 2,5 % (Acc@1) auf mathematischen Benchmarks und 2,3 % auf allgemeinen Benchmarks gegenüber den bisherigen Bestwerten.
  • MUPO-Thinker-3B übertrifft stärkere 7B-Baselines in bestimmten Szenarien und zeigt signifikante Verbesserungen gegenüber anderen 3B-Modellen.
• Test-Time Scaling (Acc@4):
  • Der größte Vorteil zeigt sich bei der Bewertung mit mehreren Versuchen (Acc@4). MUPO-Thinker-7B verbessert sich um 6,0 % auf mathematischen und 6,2 % auf allgemeinen Benchmarks gegenüber starken RL-Baselines.
  • Dies belegt, dass MUPO erfolgreich die Fähigkeit zur parallelen Erkundung verschiedener Lösungswege integriert hat.
• Qualitative Analyse:
  • Visualisierungen (t-SNE) zeigen, dass MUPO-Modelle eine breite, multimodale Verteilung von Lösungsstrategien aufweisen, während GRPO-Modelle in engen Clustern verharren.
  • In Fehlerfällen, in denen GRPO scheitert, findet MUPO oft korrekte Lösungen durch alternative Strategien (z. B. Eliminierung statt Zählen, oder Nutzung von Referenzobjekten statt Schichtung).

5. Bedeutung und Fazit

Das Paper ist von großer Bedeutung, da es einen kritischen Mangel in aktuellen RL-Ansätzen für VLMs aufdeckt: den Verlust von kreativer Vielfalt zugunsten schneller Konvergenz auf lokale Optima.

• Paradigmenwechsel: MUPO zeigt, dass für komplexe visuelle Reasoning-Aufgaben nicht nur „tiefes" Denken, sondern auch „breites" Denken (divergente Strategien) notwendig ist.
• Effizienz: Der Ansatz ermöglicht es, die Stärken von Basis-Modellen (Vielfalt) und RL-Modellen (Verfeinerung) zu kombinieren.
• Skalierbarkeit: Durch die Erhaltung der Diversität verbessert sich die Fähigkeit des Modells, durch mehr Rechenaufwand zur Testzeit (Test-Time Compute) bessere Ergebnisse zu erzielen, was für die nächste Generation von KI-Systemen entscheidend ist.

Zusammenfassend beweist MUPO, dass die Incentivierung divergenten Denkens der Schlüssel ist, um die Grenzen aktueller Vision-Language-Modelle zu überwinden und robustere, skalierbare Reasoning-Fähigkeiten zu erreichen.