💬 NLP

MIRL: Mutual Information-Guided Reinforcement Learning for Vision-Language Models

Das Papier stellt MIRL vor, ein durch gegenseitige Information geleitetes Reinforcement-Learning-Framework, das das Schlussfolgern von Vision-Language-Modellen verbessert, indem es MI als Vorfilter-Signal nutzt, um Stichprobenbudgets und entkoppelte Belohnungen effizient zuzuweisen und gezielt die visuelle Wahrnehmung zu optimieren, wodurch Halluzinationen reduziert und mit weniger vollständigen Trajektorien eine höhere Genauigkeit erreicht werden.

Ursprüngliche Autoren: Yin Zhang, Jiaxuan Zhao, Zonghan Wu, Zengxiang Li, Junfeng Fang, Kun Wang, Qingsong Wen, Yilei Shao

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yin Zhang, Jiaxuan Zhao, Zonghan Wu, Zengxiang Li, Junfeng Fang, Kun Wang, Qingsong Wen, Yilei Shao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, komplexe Rätsel zu lösen, bei denen er ein Bild betrachtet und dann eine Geschichte schreibt, um die Antwort zu erklären. Genau das tun Vision-Language Models (VLMs). Diese Roboter machen jedoch häufig einen spezifischen Fehler: Sie betrachten das Bild, „halluzinieren" aber oder bekommen die Details von Anfang an falsch. Sobald sie die Bildbeschreibung falsch haben, kann keine noch so clevere Denkweise später die endgültige Antwort retten. Es ist, als würde man versuchen, einen Kuchen mit den falschen Zutaten zu backen; keine noch so aufwendige Glasur wird ihn retten.

Die Studie stellt eine neue Trainingsmethode namens MIRL (Mutual Information-guided Reinforcement Learning) vor, um dieses Problem zu beheben. So funktioniert es, unter Verwendung einfacher Analogien:

Das Problem: Zeitverschwendung bei schlechten Anfängen

Derzeit versucht der Computer beim Training dieser Roboter, viele verschiedene „Pfade" (oder Geschichten) zu einem Problem zu finden. Es ist, als würde ein Koch versuchen, 16 verschiedene Kuchen zu backen, um zu sehen, welcher am besten schmeckt.

Die Verschwendung: Viele dieser Kuchen sind zum Scheitern verurteilt, weil der Koch in der allerersten Stufe die falschen Zutaten (die visuelle Beschreibung) ausgewählt hat. Doch der Computer verschwendet Zeit damit, den ganzen Kuchen zu backen, bevor er merkt, dass er ruiniert ist.
Die Verwirrung: Wenn der fertige Kuchen schlecht schmeckt, weiß der Computer nicht, warum. Hat der Koch schlechtes Mehl verwendet (visueller Fehler)? Oder hat er vergessen, den Ofen einzuschalten (Fehler im Schlussfolgern)? Dies macht es schwierig, dem Roboter beizubringen, was zu korrigieren ist.

Die Lösung: MIRLs „Vorab-Prüfung" und „Verzweigung"

MIRL verwandelt den Trainingsprozess in ein intelligenteres, zweistufiges Spiel.

1. Der „Geruchstest" (Mutual Information)
Bevor der ganze Kuchen gebacken wird, bittet MIRL den Roboter, lediglich die Zutaten zu beschreiben. Es verwendet ein mathematisches Werkzeug namens Mutual Information (MI), das wie ein „Geruchstest" fungiert.

Funktionsweise: MI misst, wie stark die Beschreibung des Roboters von dem tatsächlichen Bild abhängt, im Gegensatz zu bloßem Raten basierend auf dem, was er normalerweise sagt.
Die Analogie: Wenn der Roboter sagt: „Das sieht aus wie ein generisches Dreieck", ist das ein niedriger Wert (es wird geraten). Wenn er sagt: „Das ist ein Dreieck mit einem 35-Grad-Winkel und einer senkrecht nach unten verlaufenden Linie", ist das ein hoher Wert (es schaut wirklich auf das Bild).
Das Ergebnis: MIRL prüft schnell 10 verschiedene Beschreibungen. Hat eine Beschreibung einen niedrigen Wert, wird sie sofort verworfen. Der Computer spart eine enorme Menge an Zeit, indem er für diese schlechten Anfänge nicht den ganzen Kuchen backt.

2. Die „Verzweigungs"-Strategie (Forking)
Sobald MIRL die besten Beschreibungen gefunden hat (die besten 6 von 10), wählt es nicht einfach eine aus. Es nimmt diese guten Beschreibungen und „verzweigt" sie.

Die Analogie: Stellen Sie sich vor, Sie haben 6 perfekte Kuchenböden gefunden. Anstatt nur einen zu backen, nehmen Sie diese 6 Böden und backen für jeden Boden zwei verschiedene Versionen des Kuchens. Jetzt haben Sie 12 fertige Kuchen zu beurteilen, aber Sie haben nur Zeit für die 6 besten Anfänge verschwendet.
Der Vorteil: Dies ermöglicht dem Roboter, viele verschiedene Schlussfolgerungspfade zu erkunden, aber nur für diejenigen, die mit einer guten visuellen Beschreibung begonnen haben.

3. Das „Zwei-Trainer"-System (Entkoppelte Belohnungen)
Schließlich behebt MIRL die Verwirrung darüber, warum ein Kuchen gescheitert ist. Es nutzt zwei verschiedene Trainer:

Trainer A (Der visuelle Trainer): Dieser Trainer beobachtet nur den Beschreibungsteil. Wenn der Roboter das Bild gut beschreibt, gibt Trainer A eine Belohnung, selbst wenn die endgültige Antwort falsch ist. Dies lehrt den Roboter, das Bild sorgfältig zu betrachten.
Trainer B (Der Logik-Trainer): Dieser Trainer beobachtet den gesamten Prozess. Wenn die endgültige Antwort korrekt ist, gibt Trainer B eine Belohnung.
Das Ergebnis: Der Roboter lernt, „richtiges Hinsehen" von „richtigem Denken" zu trennen, und behebt beide Probleme gleichzeitig.

Die Ergebnisse

Die Studie testete diese Methode an sechs verschiedenen Arten von visuellen Rätseln (wie Matheaufgaben mit Diagrammen und allgemeinen Bildfragen).

Effizienz: MIRL schaffte es, bessere Ergebnisse als die alte Methode zu erzielen, während es 25 % weniger Rechenleistung benötigte. Es war, als würde man einen besseren Kuchen mit weniger Zutaten erhalten.
Genauigkeit: Es erreichte eine durchschnittliche Genauigkeit von 70,22 % und übertraf die Standardmethode, die mehr Ressourcen verwendete.

Kurz gesagt, lehrt MIRL den Roboter, frühzeitig seine Arbeit zu überprüfen, die Zeitverschwendung bei schlechten Ideen zu stoppen und spezifisches Feedback zu erhalten, ob es das Bild betrachtet oder nur rät.

Technische Zusammenfassung: MIRL – Mutual Information-Guided Reinforcement Learning für Vision-Language-Modelle

1. Problemstellung

Vision-Language-Modelle (VLMs) zeigen häufig Fehler in der visuellen Wahrnehmung und Halluzinationen, bei denen generierte Texte visuelle Fakten widersprechen. Diese Fehler beeinträchtigen die Genauigkeit bei komplexen Schlussfolgerungsaufgaben. Während Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) eine Lösung bietet, indem es Strategien basierend auf der Korrektheit der Antworten optimiert, weisen die vorherrschenden Methoden zwei kritische Einschränkungen auf:

Ineffiziente Exploration: Standard-RLVR-Methoden weisen Sampling-Budgets gleichmäßig über alle Trajektorien zu. Wenn jedoch die initiale visuelle Beschreibung kritische Fehler enthält (z. B. falsch identifizierte Objekte oder fehlende Details), ist die nachfolgende Schlussfolgerung zum Scheitern verurteilt. Das Generieren vollständiger Trajektorien für diese qualitativ minderwertigen Beschreibungen verschwendet erhebliche Rechenressourcen.
Belohnungsblindheit: Bestehende Methoden verlassen sich typischerweise auf spärliche Belohnungen auf Sequenzebene (Korrektheit der finalen Antwort). Wenn eine Trajektorie fehlschlägt, kann das Belohnungssignal nicht unterscheiden, ob der Fehler aus der Phase der visuellen Wahrnehmung, der Schlussfolgerungslogik oder der Formulierung der Antwort stammt. Diese Ambiguität behindert eine gezielte Optimierung der Phase der visuellen Verankerung.

2. Methodik: MIRL

Die Autoren schlagen MIRL (Mutual Information-guided Reinforcement Learning) vor, ein entkoppeltes Framework, das Sampling-Ineffizienz und Belohnungsblindheit adressiert, indem es die gegenseitige Information (Mutual Information, MI) zwischen generierten Beschreibungen und visuellen Eingaben nutzt.

Kernmechanismen

A. MI als Vorab-Screening-Signal (Sampling-Effizienz)
Die Methode geht davon aus, dass die Qualität einer visuellen Beschreibung den Erfolg nachgelagerter Aufgaben vorhersagen kann. Sie nutzt MI, um die Abhängigkeit generierter Beschreibungstokens von der visuellen Eingabe zu messen:
$MI(D; I | q) = \frac{1}{k} \sum_{t=1}^{k} [H(y_t | q, y_{<t}) - H(y_t | I, q, y_{<t})]$
Eine hohe MI zeigt an, dass das Modell inhaltsabhängig vom Bild generiert, während eine niedrige MI eine Abhängigkeit von textuellen Priors (Halluzination) nahelegt.

B. Sample-Evaluate-Fork-Strategie
Anstatt $G$ vollständige Trajektorien gleichmäßig zu sampeln, setzt MIRL eine dreiphasige Strategie ein:

Pre-Sampling: Generieren von $N$ Kandidatenantworten, wobei nur das initiale Beschreibungssegment $D$ extrahiert wird.
MI-basierte Selektion: Berechnung der MI-Werte für alle $N$ Beschreibungen. Auswahl der top- $K$ Kandidaten mit hohem MI-Wert.
Forking: Für die ausgewählten $K$ Beschreibungen werden $M$ zusätzliche Schlussfolgerungszweige (Forks) generiert, um eine Baumstruktur zu erstellen. Beschreibungen mit niedrigem MI-Wert werden von der Generierung vollständiger Trajektorien ausgeschlossen, aber für das Training der Wahrnehmung beibehalten.
Dies konzentriert das Rechenbudget auf Trajektorien mit hohem Potenzial.

C. Entkoppelte Belohnungszuweisung
Um die Belohnungsblindheit zu lösen, entkoppelt MIRL die Trainingssignale:

MI-basierte Belohnung: Alle $N$ vorgesampelten Beschreibungen erhalten eine unmittelbare Belohnung basierend auf ihrem MI-Wert. Dies liefert dichte, latenzarme Rückmeldungen speziell zur Optimierung der visuellen Wahrnehmung und Formatanpassung.
Aufgabenbasierte Belohnung: Nur die $K(M+1)$ vollständigen Trajektorien aus den ausgewählten Beschreibungen erhalten die Standard-belohnung zur Verifizierung (Korrektheit der Antwort), um Schlussfolgerung und Antwortformulierung zu überwachen.
Entkoppelte Updates: Policy-Gradienten werden separat für Beschreibungstokens (unter Verwendung von MI-Vorteilen) und vollständige Trajektorien (unter Verwendung von Aufgaben-Vorteilen) berechnet, wodurch sichergestellt wird, dass die Optimierung der visuellen Wahrnehmung nicht durch die Qualität der Schlussfolgerung verfälscht wird.

3. Hauptbeiträge

MI-gesteuerte Budget-Allokation: Die Arbeit zeigt, dass MI als rechnerisch günstiger und zuverlässiger Proxy für die Qualität der visuellen Wahrnehmung dient und eine intelligente Ressourcenallokation durch einen „Forking"-Mechanismus ermöglicht, der die Anzahl der erforderlichen vollständigen Trajektorien reduziert.
Entkoppeltes Trainingsframework: MIRL führt ein neues Trainingsparadigma ein, das die Optimierung der visuellen Wahrnehmung von der Optimierung der Schlussfolgerung trennt und unabhängige Signale bereitstellt, um das dem spärlichen RLVR inhärente Problem der Kreditvergabe zu lösen.
Modulare Integration: Der Ansatz ist so konzipiert, dass er mit bestehenden RL-Algorithmen (z. B. GRPO, DAPO) kompatibel ist, indem nur die Sampling-Strategie und die Belohnungsberechnung modifiziert werden, ohne das Kernoptimierungsframework umstrukturieren zu müssen.

4. Experimentelle Ergebnisse

Experimente wurden an sechs Benchmarks durchgeführt, die mathematische Schlussfolgerung (MathVista, MathVerse, We-Math), multimodale Chain-of-Thought (M3CoT) und allgemeines visuelles Verständnis (MMStar, RealWorldQA) abdecken, unter Verwendung des Qwen2.5-VL-7B-Instruct-Modells.

Leistung vs. Kosten: MIRL-12 (Pre-Sampling von 10, Auswahl der Top-6, Forking von 1) erreichte eine durchschnittliche Genauigkeit von 70,22 % und übertraf damit die DAPO-16-Baseline (69,76 %), während 25 % weniger vollständige Trajektorien verwendet wurden (12 vs. 16).
Effizienzgewinne: MIRL-8 erreichte eine Genauigkeit von 68,38 %, was mit DAPO-12 (69,17 %) vergleichbar ist, jedoch mit 33 % weniger Trajektorien.
Ablationsstudien:
- Selektionsstrategie: Der Ersatz der MI-basierten Selektion durch zufällige Selektion oder die Auswahl von Beschreibungen mit niedrigem MI-Wert führte zu signifikanten Leistungseinbußen, was bestätigt, dass die MI-gesteuerte Selektion der Haupttreiber der Effizienz ist.
- Belohnungskonfiguration: Die alleinige Verwendung von MI-Belohnungen oder Aufgaben-Belohnungen ergab suboptimale Ergebnisse. Der entkoppelte Ansatz (Kombination beider) erzielte das beste Gleichgewicht und validierte die Notwendigkeit einer unabhängigen Überwachung für Wahrnehmung und Schlussfolgerung.
Generalisierung: Die Korrelation zwischen MI-Werten und Aufgaben-Genauigkeit war über diverse Domänen hinweg konsistent (Pearson $r = 0,71$ bis $0,94$), was darauf hindeutet, dass MI ein universeller Indikator für die Qualität der visuellen Verankerung ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass MIRL den erheblichen Wert der gegenseitigen Information als intermediäres Bewertungssignal im Reinforcement Learning von VLMs aufzeigt. Indem die visuelle Wahrnehmung als ein distinkter Engpass behandelt wird, der unabhängig vorgefiltert und optimiert werden kann, bietet MIRL einen Weg zu effizienterem Training von großskaligen VLMs.

Die Autoren betonen, dass ihre Arbeit neue Forschungsrichtungen für das effiziente Training großskaliger VLMs eröffnet, indem sie demonstriert, dass:

Fehler in der visuellen Wahrnehmung frühzeitig erkannt und vor der kostspieligen Generierung von Schlussfolgerungen herausgefiltert werden können.
Die Entkopplung von Wahrnehmungs- und Schlussfolgerungs-Belohnungen eine gezielte Optimierung der visuellen Verankerung ermöglicht, ohne Schlussfolgerungsfähigkeiten zu beeinträchtigen.

Die Arbeit nimmt eine bescheidene Haltung bezüglich der Einschränkungen ein und stellt fest, dass die aktuelle Implementierung sich auf statische Bilder sowie mathematische und wissenschaftliche Schlussfolgerungen konzentriert und dass weitere Validierungen für dynamische visuelle Inhalte (Video) und diverse Modellarchitekturen erforderlich sind.