RL makes MLLMs see better than SFT

Die Studie zeigt, dass Reinforcement Learning im Vergleich zu Supervised Finetuning die visuellen Repräsentationen von Multimodalen Sprachmodellen fundamental verbessert, was zur Entwicklung der effizienten Methode PIVOT führt, mit der Vision-Encoder mit weniger als 1 % des Rechenaufwands für Standard-Pretraining trainiert werden können und dabei leistungsfähigere Modelle erzeugen.

Das Wesentliche

Titel: Warum Reinforcement Learning (RL) Multimodalen Modellen hilft, „besser zu sehen" als einfaches Lernen (SFT)

Stell dir vor, ein Multimodales Sprachmodell (MLLM) ist wie ein sehr kluger, aber blinder Assistent. Er hat ein riesiges Gehirn (das Sprachmodell, LLM), das alles über die Welt weiß, aber er kann die Bilder, die du ihm zeigst, nicht wirklich „verstehen". Um ihm die Augen zu öffnen, verbinden wir sein Gehirn mit einer Kamera (dem Vision Encoder).

Bisher dachte die Forschung: „Solange das Gehirn groß genug ist, wird der Assistent schon alles verstehen." Die Forscher haben sich also nur auf das Gehirn konzentriert und die Kamera als feststehendes, unveränderliches Teil betrachtet.

Diese neue Studie von Junha Song und seinem Team sagt jedoch: „Nein! Die Art und Weise, wie wir den Assistenten trainieren, verändert nicht nur sein Gehirn, sondern schärft auch seine Augen!"

Hier ist die einfache Erklärung der wichtigsten Punkte:

1. Der alte Weg vs. der neue Weg

• Der alte Weg (SFT - Supervised Finetuning): Stell dir vor, du lehrst den Assistenten, indem du ihm eine Bildkarte zeigst und sagst: „Das ist ein Hund." Er merkt sich das. Das ist wie auswendig lernen. Er wird gut darin, das zu wiederholen, was er gesehen hat, aber er versteht nicht unbedingt, warum es ein Hund ist oder wo genau der Hund im Bild steht.
• Der neue Weg (RL - Reinforcement Learning / DPO): Hier ist es wie ein Tutor, der Feedback gibt. Du zeigst dem Assistenten ein Bild und zwei mögliche Antworten: Eine gute und eine schlechte. Der Tutor sagt: „Die erste Antwort war toll, die zweite war falsch. Denk nach, warum die erste besser war!" Der Assistent muss nicht nur die Antwort kennen, sondern den Unterschied zwischen „gut" und „schlecht" verstehen.

2. Die große Entdeckung: Die Augen werden schärfer

Die Forscher haben herausgefunden, dass der neue Weg (RL/DPO) nicht nur den Assistenten schlauer macht, sondern auch die Kamera selbst verbessert.

• Die Analogie: Stell dir vor, der Vision Encoder ist wie eine Kamera mit einem unscharfen Objektiv.
  • Beim alten Weg (SFT) bleibt das Objektiv etwas unscharf. Der Assistent rät vielleicht, aber er sieht nicht die feinen Details.
  • Beim neuen Weg (RL) wird das Objektiv nachjustiert. Die Kamera lernt, genau auf das zu fokussieren, was wichtig ist (z. B. die Augen des Hundes), und ignoriert den Hintergrund.

Das Ergebnis: Modelle, die mit RL trainiert wurden, sehen Bilder viel detaillierter und genauer als solche, die nur mit dem alten Weg trainiert wurden. Besonders bei Aufgaben, die viel Sehen erfordern (wie das Lesen von Texten auf Bildern oder das Verstehen von Diagrammen), ist der Unterschied riesig.

3. PIVOT: Der „Rezept"-Trick

Die Forscher haben aus ihrer Entdeckung ein einfaches Rezept entwickelt, das sie PIVOT nennen.

• Was ist das? PIVOT ist wie ein Spickzettel für die Kamera. Anstatt eine brandneue, riesige Kamera zu bauen (was extrem teuer und langsam ist), nehmen sie eine bestehende, gute Kamera und trainieren sie kurz mit dem „Tutor-Modus" (RL).
• Der Clou: Diese so trainierte Kamera ist dann besser als eine viel größere, teurere Kamera, die nur auf die übliche Weise trainiert wurde.
• Die Kosten: Das Trainieren mit PIVOT kostet weniger als 1% der Rechenleistung, die normalerweise nötig wäre, um eine neue Kamera von Grund auf zu entwickeln. Es ist wie das Aufpolieren eines alten Autos, damit es schneller fährt als ein neuer, aber ungetunter Wagen.

4. Warum ist das wichtig?

Bisher dachten viele, die Leistung von KI-Modellen käme fast nur vom riesigen Sprachteil (dem Gehirn). Diese Studie zeigt: Nein, das Sehen ist genauso wichtig.

Wenn wir die „Augen" (den Vision Encoder) mit der richtigen Methode (RL/PIVOT) trainieren, können wir:

1. Bessere KI-Modelle bauen, die weniger Halluzinationen haben (die nicht Dinge erfinden, die nicht da sind).
2. Geld und Energie sparen, weil wir keine riesigen neuen Kameras mehr brauchen, sondern nur die alten clever nachtrainieren.
3. Präzisere Ergebnisse bekommen, besonders wenn es um Details geht (z. B. „Wie viele Räder hat das Auto auf dem Bild?" statt nur „Das ist ein Auto").

Zusammenfassung in einem Satz

Die Forscher haben entdeckt, dass man KI-Modellen nicht nur beibringen muss, was sie sagen sollen, sondern ihnen durch eine spezielle Trainingsmethode (RL/PIVOT) auch beibringen kann, wie sie besser sehen sollen – und das mit einem Bruchteil des bisherigen Aufwands.

Kurz gesagt: RL macht die KI nicht nur klüger, sondern auch scharfsichtiger. Und mit PIVOT können wir das fast kostenlos erreichen.

Technische Zusammenfassung

Titel: RL macht MLLMs besser sehen als SFT

Autoren: Junha Song, Sangdoo Yun, Dongyoon Han, Jaegul Choo, Byeongho Heo (KAIST & NAVER AI Lab)

---

1. Problemstellung und Motivation

Multimodale Large Language Models (MLLMs) kombinieren einen visuellen Encoder (Vision Encoder) mit einem Sprachmodell (LLM). Die vorherrschende Annahme in der Forschung ist, dass die Leistung eines MLLMs primär von der Stärke des zugrunde liegenden LLMs abhängt, während der visuelle Encoder oft als statische Komponente betrachtet wird, die lediglich „Bilder in Tokens" übersetzt.

Ein zentrales Problem ist jedoch das fehlende Verständnis dafür, wie verschiedene Trainingsstrategien die visuellen Repräsentationen im Inneren des Modells verändern. Während der Übergang von Supervised Fine-Tuning (SFT) zu Reinforcement Learning (RL) im Bereich der reinen LLMs (z. B. durch RLHF) als Durchbruch gilt, wurde der Einfluss dieser Strategien auf den visuellen Encoder in MLLMs kaum untersucht. Die Autoren fragen sich: Verändert RL die Art und Weise, wie das Modell Bilder „sieht", im Vergleich zu SFT?

2. Methodik

Die Studie verfolgt einen mehrstufigen Ansatz, um den Einfluss von SFT und RL (speziell Direct Preference Optimization, DPO) auf MLLMs und deren visuelle Encoder zu analysieren:

• Kontrolliertes Training: Die Autoren trainieren MLLMs (basierend auf LLaVA-OneVision Architektur mit Qwen2.5-LLMs und SigLIP2-Vision-Encodern) in zwei Phasen:
  1. Stage 1 (Pre-training): Standard-Alignment von Vision und Sprache.
  2. Stage 2 (Post-training): Vergleich von SFT (nur auf ausgewählten Antworten) vs. DPO (auf Paaren aus bevorzugten und abgelehnten Antworten) unter Verwendung identischer Datenmengen.
• Analyse der visuellen Repräsentationen: Um den Einfluss auf den Encoder isoliert zu betrachten, wird der Vision-Encoder nach dem Training vom LLM getrennt und auf rein visuellen Benchmarks evaluiert:
  • ImageNet-Klassifizierung: Bewertung der allgemeinen Bildverständnisfähigkeit via Linear Probing.
  • Semantische Segmentierung: Bewertung der Lokalisierungsfähigkeit (Patch-Level Recall auf ADE20K).
  • Gradienten-Visualisierung: Nutzung von Grad-CAM, um zu untersuchen, welche Bildregionen während des Trainings durch die Gradienten des Verlusts aktiviert werden.
• PIVOT (Preference-Instructed Vision OpTimization): Basierend auf den Erkenntnissen wird ein neues Trainingsschema vorgeschlagen. Dabei wird ein visueller Encoder nicht nur mit einem LLM-Head trainiert, sondern explizit durch DPO optimiert, um eine „bevorzugte" visuelle Darstellung zu lernen. Dieser Encoder wird dann in einem neuen MLLM evaluiert.

3. Wichtige Erkenntnisse und Ergebnisse

A. RL (DPO) übertrifft SFT in visuellen Aufgaben

• Leistungssteigerung: MLLMs, die mit DPO nachtrainiert wurden, schneiden auf Benchmarks, die stark visuelle Fähigkeiten erfordern (z. B. OCR, Diagramm-Verstehen, Vision-Centric VQA), signifikant besser ab als SFT-Modelle.
• Skalierung: Dieser Vorteil bleibt auch bei Skalierung des LLMs (von 0.5B bis 7B Parameter) und des Vision-Encoders (von 86M bis 1B Parameter) bestehen.
• Daten-Effizienz: DPO erreicht hohe Leistungen bereits mit weniger Trainingsdaten als SFT. Ein DPO-Modell mit 3.000 Samples übertrifft ein SFT-Modell mit 40.000 Samples.

B. RL verändert die visuellen Repräsentationen fundamental

• Stärkere und lokalisierte Features: Die Analyse zeigt, dass DPO den Vision-Encoder dazu bringt, stärkere und präzisere visuelle Merkmale zu lernen.
• Gradienten-Analyse: Die Visualisierung der Gradienten (Grad-CAM) offenbart, dass DPO-Gradienten stark auf die für die Frage relevanten Bildregionen fokussiert sind. Im Gegensatz dazu sind SFT-Gradienten oft diffus und weniger zielgerichtet.
• Bessere Objekterkennung: Auf ImageNet und bei der Segmentierung erzielen die durch DPO trainierten Encoder höhere Genauigkeiten als ihre SFT-Pendants. Dies beweist, dass das Post-Training nicht nur das Sprachverhalten, sondern die eigentliche Bildverarbeitung verbessert.

C. PIVOT: Ein neuer Ansatz für Vision-Encoder

• Konzept: PIVOT nutzt die Erkenntnis, dass DPO bessere visuelle Features erzeugt, indem es den Vision-Encoder explizit mit einem LLM-Head und DPO trainiert.
• Ergebnisse:
  • Ein mit PIVOT trainierter kleinerer Encoder (z. B. SigLIP1-So/14) übertrifft einen deutlich größeren, moderneren Encoder (SigLIP2-So/16) in MLLM-Aufgaben.
  • Ein PIVOT-optimierter SigLIP2-So/16 (400M Parameter) übertrifft den riesigen SigLIP2-g/16 (1B Parameter).
  • Effizienz: PIVOT erreicht diese Verbesserungen mit weniger als 1% der Rechenkosten im Vergleich zum Standard-Vision-Pretraining (z. B. SigLIP2 wurde auf 2.000 TPUs trainiert, PIVOT auf 8 H100 GPUs für 18 Stunden).

4. Hauptbeiträge

1. Umfassende Analyse: Erste tiefgehende Untersuchung, wie SFT vs. RL (DPO) die visuellen Repräsentationen in MLLMs verändern.
2. Nachweis der visuellen Verbesserung: Beleg, dass RL nicht nur die Sprachausgabe, sondern die zugrundeliegende visuelle Wahrnehmung (Lokalisierung, Detailerkennung) verbessert.
3. PIVOT-Recipe: Einführung einer einfachen, aber hocheffizienten Methode (PIVOT), um existierende Vision-Encoder für MLLMs zu optimieren, ohne massive Ressourcen zu benötigen.
4. Generalisierung: Die Ergebnisse gelten nicht nur für DPO, sondern wurden auch für andere RL-Methoden wie GRPO und PPO bestätigt.

5. Bedeutung und Ausblick

Diese Arbeit widerlegt die Annahme, dass die Leistung von MLLMs ausschließlich vom LLM-Basis-Modell abhängt. Sie zeigt, dass die Trainingsstrategie (SFT vs. RL) einen massiven Einfluss darauf hat, wie das Modell die Welt visuell wahrnimmt.

Signifikanz:

• Effizienz: Forscher und Entwickler können durch PIVOT leistungsstärkere MLLMs mit deutlich geringerem Rechenaufwand erstellen.
• Ressourcen: Es ist möglich, kleinere, ältere Vision-Encoder durch RL-basiertes Fein-Tuning so zu verbessern, dass sie größere, neuere Modelle übertreffen.
• Zukunft: Die Arbeit eröffnet neue Wege für die Entwicklung von Vision-Backbones, die speziell auf multimodale Aufgaben und menschliche Präferenzen zugeschnitten sind, anstatt nur auf generische Bildklassifizierung.

Zusammenfassend demonstriert das Paper, dass Reinforcement Learning (RL) MLLMs nicht nur „klüger", sondern auch „sehender" macht als reines Supervised Fine-Tuning.