S-GRPO: Unified Post-Training for Large Vision-Language Models

Titel: S-GRPO: Unified Post-Training for Large Vision-Language Models

1. Problemstellung

Die Anpassung von Large Vision-Language Models (LVLMs) an spezialisierte Domänen (z. B. medizinische Diagnostik, geometrische Problemlösung) steht derzeit vor einem fundamentalen Dilemma zwischen zwei etablierten Paradigmen:

• Supervised Fine-Tuning (SFT): SFT erzwingt eine deterministische Generierung entlang einer einzigen Expertentrajektorie. Dies führt zwar zu einer schnellen Anpassung an die Domäne, verursacht jedoch oft ein katastrophales Vergessen („Alignment Tax") der allgemeinen multimodalen Fähigkeiten des Basismodells aufgrund starker Verteilungsverschiebungen.
• Reinforcement Learning (RL): Methoden wie Group Relative Policy Optimization (GRPO) explorieren mehrere Trajektorien, um die Generalisierung zu erhalten. Allerdings leiden sie in strengen, binär bewerteten Umgebungen (z. B. bei visuellen Aufgaben mit strikten Verifizierern) unter dem „Cold-Start-Problem". Wenn das unalignierte Basismodell keine korrekten Trajektorien generiert, erhalten alle Samples im Gruppe-Reward-Set einen Wert von Null. Dies führt zu einer Varianz von Null, verschwindenden Gradienten und einem Optimierungs-Zusammenbruch (Optimization Collapse), da kein Lernsignal vorhanden ist.

Die aktuelle Praxis, SFT und RL sequenziell zu kombinieren („SFT-then-RL"), ist ineffizient und kann die internen Strukturen des Modells stören, was die Wiederherstellung der Domänenanpassung im RL-Schritt erschwert.

2. Methodik: S-GRPO

Die Autoren schlagen Supervised Group Relative Policy Optimization (S-GRPO) vor, ein einheitliches Post-Training-Framework, das die Stärken von SFT und RL in einer einzigen On-Policy-Phase vereint.

Kerninnovation: Conditional Ground-Truth Trajectory Injection (CGI)

Das Herzstück von S-GRPO ist der Mechanismus der Conditional Ground-Truth Trajectory Injection (CGI). Dieser löst das Problem der Reward-Sparsity und des Cold-Starts dynamisch:

1. Online-Exploration: Für eine Eingabe $x$ werden $G-1$ Trajektorien vom aktuellen Policy $\pi_\theta$ gesampelt.
2. Verifikation: Ein strikter binärer Verifizierer (z. B. ein LLM oder ein regelbasierter Verifizierer) bewertet alle Trajektorien.
3. Bedingter Fallback (CGI):
   • Falls alle generierten Trajektorien scheitern (alle Rewards = 0): Das System erkennt einen „Cold-Start"-Zustand. Es wird eine Ground-Truth-Trajektorie ($y_{gt}$) in die Kandidatenmenge injiziert.
   • Reward-Zuweisung: Die injizierte Expertentrajektorie erhält einen garantierten maximalen Reward ($R_{max} = 1.0$), während die generierten (fehlerhaften) Trajektorien $0$ erhalten.
   • Mathematische Konsequenz: Durch das Hinzufügen eines einzigen High-Reward-Ankers wird die Varianz der Rewards im Gruppe-Set wiederhergestellt ($\text{std} > 0$). Dies erzeugt einen stark positiven Advantage-Wert für die Expertentrajektorie und negative Werte für die Fehler. Der Gradient wird somit gerettet und das Modell lernt, die korrekte Verteilung nachzuahmen.
   • Falls mindestens eine Trajektorie erfolgreich ist: Es erfolgt keine Injektion. Das Modell nutzt den Standard-GRPO-Update-Mechanismus basierend auf den selbst generierten Samples, um autonome Exploration zu fördern.

Dieser Ansatz transformiert das überwachende Lernziel (Imitation der Ground Truth) in einen hoch-advantage-basierten Teil des Policy-Gradienten, ohne die Notwendigkeit für separate Trainingsphasen.

3. Hauptbeiträge

• Einheitliches Framework: S-GRPO formalisiert die Integration von SFT-Zielen und Preference Optimization in einem einzigen Algorithmus, wodurch die Notwendigkeit für getrennte SFT- und RL-Phasen entfällt.
• CGI-Mechanismus: Die bedingte Injektion von Ground-Truth-Trajektorien löst das Cold-Start-Problem in binär-verifizierten Umgebungen, indem sie sicherstellt, dass immer ein positives Lernsignal vorhanden ist, solange das Modell noch nicht autonom erfolgreich ist.
• Vermeidung von Katastrophalem Vergessen: Im Gegensatz zu reinem SFT bewahrt S-GRPO die allgemeinen Fähigkeiten des Basismodells, da die Injektion nur als Fallback dient und das Modell mit fortschreitendem Training zunehmend auf autonome Exploration umschaltet.

4. Experimentelle Ergebnisse

Die Autoren evaluieren S-GRPO auf drei Datensätzen: COCO Caption (allgemein), Geo170K (geometrische Probleme) und OpenI (medizinische Röntgenbilder). Als Basismodell dient Qwen2.5-VL-7B.

• Vergleich mit SFT: Während Full Fine-Tuning (FFT) hohe Domänen-Metriken erreicht, führt es zu einem drastischen Einbruch bei allgemeinen Fähigkeiten (z. B. -36% bei IFEval-I, drastischer Rückgang bei MME). S-GRPO erreicht vergleichbare Domänen-Leistung, behält aber die allgemeinen Fähigkeiten nahezu vollständig bei.
• Vergleich mit RL: Standard-GRPO scheitert komplett (Reward-Collapse), wenn direkt auf dem Basismodell angewendet (z. B. nur 0.2245 BLEU-1 auf COCO). S-GRPO überwindet dies und erreicht hohe Scores.
• Vergleich mit Zwei-Phasen-Pipelines: S-GRPO (Single-Stage) übertrifft oder entspricht der Leistung der komplexen „SFT $\to$ GRPO"-Pipeline, benötigt aber keine separate, rechenintensive SFT-Phase und vermeidet die damit verbundene Degradation der Generalisierung.
• Ablationsstudien:
  • Ohne CGI (reines GRPO) führt zu keinem Lernen.
  • Unbedingte Injektion (immer Ground Truth hinzufügen) verbessert die Domänenleistung, verschlechtert aber die allgemeinen Fähigkeiten durch zu starken „Teacher-Forcing"-Bias.
  • CGI (bedingte Injektion) findet das optimale Gleichgewicht (Pareto-Optimum), insbesondere bei einem Schwellenwert $\delta = 0.9$.

5. Bedeutung und Fazit

S-GRPO bietet einen eleganten und rechnerisch effizienten Weg, um LVLMs an spezialisierte visuelle Aufgaben anzupassen, ohne deren allgemeine Intelligenz zu opfern.

• Lösung des Cold-Start-Problems: Es ermöglicht RL-basiertes Training auch in Umgebungen mit extrem spärlichen Belohnungen, wo traditionelle Methoden versagen.
• Einheitlichkeit: Es beseitigt die künstliche Trennung zwischen überwachtem Lernen und Belohnungsoptimierung.
• Skalierbarkeit: Da es keine externen Lehrer-Modelle oder komplexen Curriculum-Designs benötigt, ist es gut skalierbar für die Anpassung großer multimodaler Modelle in Nischendomänen.

Zusammenfassend demonstriert das Paper, dass durch die intelligente, bedingte Einbettung von Expertentrajektorien in den RL-Explorationsprozess die Lücke zwischen SFT und RL geschlossen werden kann, was zu robusteren und leistungsfähigeren Vision-Language-Modellen führt.