What does RL improve for Visual Reasoning? A Frankenstein-Style Analysis

Titel: Was verbessert RL beim visuellen Reasoning? Eine Frankenstein-Style-Analyse

Autoren: Xirui Li, Ming Li, Tianyi Zhou (University of Maryland & MBZUAI)
Datum: Februar 2026

---

1. Problemstellung

In der aktuellen Forschung zu Vision-Language-Modellen (VLMs) hat sich ein zweistufiger Post-Training-Ansatz etabliert: Zuerst eine Supervised Fine-Tuning (SFT) Initialisierung (IN), gefolgt von Reinforcement Learning (RL) mit verifizierbaren Belohnungen. Obwohl RL signifikante Verbesserungen auf End-to-End-Benchmarks für visuelles Reasoning zeigt, bleibt unklar, welche spezifischen Fähigkeiten tatsächlich verbessert werden.

Die bestehenden Benchmarks sind irreführend, da sie verschiedene Faktoren vermischen:

• Es ist unklar, ob RL die visuelle Wahrnehmung (Vision), die sprachbasierte Reasoning-Fähigkeit oder die Ausrichtung zwischen Vision und Reasoning (Vision-to-Reasoning Alignment) verbessert.
• Studien zeigen, dass reine Verlängerung der Inferenzzeit (mehr Reasoning-Tokens) die visuelle Genauigkeit nicht automatisch steigert und sogar Halluzinationen verstärken kann.
• Bisherige Analysen betrachten das Modell als „Black Box" und können nicht unterscheiden, ob Leistungssteigerungen durch bessere Bilderkennung oder durch bessere logische Verknüpfung existierender visueller Daten entstehen.

2. Methodik: Der „Frankenstein-Style"-Analyse-Rahmen

Um diese Lücke zu schließen, schlagen die Autoren einen neuen Analyse-Rahmen vor, der das Modell zerlegt, analysiert und wieder zusammensetzt (analog zu Frankenstein). Der Ansatz besteht aus drei Hauptkomponenten:

A. Funktionale Lokalisierung durch kausales Probing (Functional Localization)

Ziel ist es, zu bestimmen, welche Transformer-Schichten für welche Aufgaben zuständig sind.

• Visuelle Verarbeitung: Durch „Vision-Token Swapping" (Austausch von visuellen Tokens zwischen Bildpaaren in bestimmten Schichten) wird gemessen, wie stark sich die Ausgabe ändert.
  • Ergebnis: Einfache visuelle Aufgaben (Erkennung) finden in frühen Schichten statt. Komplexere Aufgaben (OCR, Grounding, Zählen) erstrecken sich über frühe bis mittlere Schichten.
• Reasoning: Durch „Layer Skipping" (Ablation ganzer Schichten) wird die Abhängigkeit von Reasoning-Aufgaben (z. B. Mathematik) gemessen.
  • Ergebnis: Reasoning-Operationen konzentrieren sich stark auf die späten Schichten des Transformers.

B. Charakterisierung der Updates durch Parametervergleich (Update Characterization)

Die Autoren vergleichen die Parameter-Updates zwischen dem IN-Modell und dem RL-Modell.

• Update-Energie (Norm): Beide Phasen (IN und RL) konzentrieren die meisten Updates in den mittleren Schichten.
• Update-Diversität (Spektrum): Hier zeigt sich der entscheidende Unterschied. RL-Updates in den mittleren bis späten Schichten weisen ein steileres Singularwert-Spektrum auf. Das bedeutet, dass die Optimierung in RL weniger diffus ist, sondern sich auf eine kleine Anzahl dominanter Richtungen konzentriert (gezielte Verfeinerung), während IN-Updates diffuser verteilt sind.

C. Transferabilitätstest durch Modell-Merging (Transferability Test)

Um zu testen, ob die durch RL gelernten Fähigkeiten modular und übertragbar sind, werden Hybridmodelle erstellt.

• Methode: Schichten aus dem IN-Modell werden mit Schichten aus dem RL-Modell kombiniert (z. B. Early-IN, Mid-RL, Late-RL).
• Ziel: Prüfen, ob das Einfügen von RL-verfeinerten Schichten in ein IN-Modell die Reasoning-Leistung verbessert, ohne das gesamte Modell neu zu trainieren.

D. Notwendigkeitsvalidierung durch Einfrieren (Necessity Validation)

Während des RL-Trainings werden bestimmte Schichten eingefroren (frozen), um zu prüfen, ob deren Aktualisierung für den Lernerfolg notwendig ist.

3. Wichtige Ergebnisse

1. Keine monotone Verbesserung aller Fähigkeiten:
   Trotz steigender Benchmarkscores verbessert sich die reine visuelle Wahrnehmung (Vision) und das reine sprachbasierte Reasoning (Reasoning) nicht zwangsläufig monoton von Base zu IN zu RL. Die Gesamtverbesserung entsteht durch eine spezifische Optimierung der Schnittstelle.

2. Konsistente Verschiebung der Aufmerksamkeit:
   RL induziert einen konsistenten Wandel im Inferenzverhalten: Die Aufmerksamkeit von Reasoning-Tokens auf visuelle Tokens nimmt signifikant in den mittleren bis späten Schichten zu. Dies geschieht unabhängig vom spezifischen Trainingsrezept.

3. Fokus auf mittlere und späte Schichten:
   RL führt zu strukturierten Verfeinerungen, die sich primär in den Mid- und Late-Layern konzentrieren. Diese Verfeinerungen sind:

   • Transferierbar: Das Merging von RL-Mid/Late-Schichten in IN-Modelle führt zu konsistenten Verbesserungen bei der Vision-to-Reasoning-Ausrichtung und der Reasoning-Leistung.
   • Notwendig: Das Einfrieren der Mid- und Late-Schichten während des RL-Trainings eliminiert die Leistungssteigerungen fast vollständig. Das Einfrieren früher Schichten hat hingegen einen geringeren Effekt.

4. Verbesserung der Ausrichtung (Alignment):
   Der Hauptbeitrag von RL ist nicht die Verbesserung der visuellen Wahrnehmung an sich, sondern die systematische Verfeinerung der Vision-to-Reasoning-Ausrichtung. RL lernt, wie man visuelle Evidenz effektiver in den Reasoning-Prozess integriert.

4. Signifikanz und Beitrag

• Entmystifizierung von RL: Die Arbeit zeigt, dass RL keine universelle Verbesserung aller Modellkomponenten darstellt, sondern eine gezielte, schichtspezifische Optimierung der Schnittstelle zwischen visueller Verarbeitung und logischem Schlussfolgern ist.
• Neue Evaluationsmetriken: Die Autoren kritisieren die Abhängigkeit von reinen End-to-End-Benchmarks und führen feingranulare Metriken ein (Vision, Vision-to-Reasoning, Reasoning), um die wahren Fortschritte zu isolieren.
• Methodischer Durchbruch: Der „Frankenstein-Style"-Ansatz (Zerlegung, Intervention, Rekonstruktion) bietet ein neues Paradigma für die mechanistische Analyse von Multimodal-Modellen, das über reine Black-Box-Evaluation hinausgeht.
• Implikationen für die Zukunft: Da die Verbesserungen in den mittleren und späten Schichten liegen, deuten die Ergebnisse darauf hin, dass zukünftige Optimierungen von VLMs weniger auf die Verbesserung des Vision-Encoders abzielen sollten, sondern auf die Architektur und das Training der Reasoning-Schichten, die visuelle Informationen verarbeiten.

Fazit: RL verbessert visuelles Reasoning nicht durch ein „besseres Sehen", sondern durch ein „besseres Denken über das Gesehene", indem es die Verarbeitungspfade in den mittleren und späten Transformer-Schichten systematisch verfeinert, um eine präzisere Ausrichtung zwischen visuellen Eingaben und logischen Schlussfolgerungen zu erreichen.