💻 computer science

Self-Rewarding Vision-Language Model via Reasoning Decomposition

Das Papier stellt Vision SR1 vor, ein dreistufiges, selbstbelohnendes Reinforcement-Learning-Framework, das das Reasoning in visuelle und sprachliche Komponenten zerlegt, um visuelle Halluzinationen zu mindern und die Abhängigkeit von sprachlichen Abkürzungen in Vision-Language-Modellen zu verringern, ohne externe visuelle Überwachung oder zusätzlichen GPU-Aufwand zu erfordern.

Ursprüngliche Autoren: Zongxia Li, Wenhao Yu, Chengsong Huang, Zhenwen Liang, Rui Liu, Fuxiao Liu, Jingxi Che, Dian Yu, Jordan Boyd-Graber, Haitao Mi, Dong Yu

Veröffentlicht 2026-04-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zongxia Li, Wenhao Yu, Chengsong Huang, Zhenwen Liang, Rui Liu, Fuxiao Liu, Jingxi Che, Dian Yu, Jordan Boyd-Graber, Haitao Mi, Dong Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „träumende" Künstler

Stellen Sie sich vor, Sie stellen einen brillanten Künstler ein, um ein Gemälde zu beschreiben und Fragen dazu zu beantworten. Dieser Künstler hat jedoch eine schlechte Angewohnheit: Wenn er nach dem Gemälde gefragt wird, schließt er oft die Augen und rät die Antwort einfach basierend darauf, wie das Gemälde seiner Meinung nach normalerweise aussieht, anstatt es tatsächlich anzusehen.

In der Welt der KI nennt man dies „visuelle Halluzination" (etwas erfinden) und „Sprach-Abkürzungen" (das Bild ignorieren und sich auf Textmuster verlassen).

Aktuelle KI-Trainingsmethoden sind wie ein Lehrer, der nur die endgültige Antwort bewertet. Wenn der Schüler die Antwort richtig hat, bekommt er einen goldenen Stern, selbst wenn er betrogen hat, indem er die Augen geschlossen und geraten hat. Der Lehrer überprüft nie, wie der Schüler das Bild betrachtet hat. Infolgedessen lernt die KI, das Raten dem Sehen vorzuziehen.

Die Lösung: Vision-SR1 (Das „Selbstprüfende" System)

Die Autoren stellen Vision-SR1 vor, eine neue Trainingsmethode, die die KI zwingt, ihre Arbeit zu zeigen und ihre eigene Vision zu überprüfen, ohne dass ein menschlicher Lehrer oder ein Supercomputer die Hausaufgaben kontrollieren muss.

Stellen Sie sich Vision-SR1 als ein dreistufiges Trainingslager für den KI-Künstler vor:

Schritt 1: Der „Verblindete Test" (Zerlegung)

Anstatt die KI einfach zu bitten „Schau dir das Bild an und antworte", zwingt die Methode die KI, ihr Gehirn in zwei unterschiedliche Aufgaben zu teilen:

Der Beschreiber: Zuerst muss die KI eine detaillierte Beschreibung des Bildes verfassen. Entscheidend ist, dass diese Beschreibung so vollständig sein muss, dass, wenn Sie das Bild wegnehmen und der KI nur die Textbeschreibung geben, sie die Frage dennoch korrekt beantworten könnte.
Der Denker: Dann verwendet die KI diese Textbeschreibung, um die Antwort zu finden.

Die Analogie: Stellen Sie sich einen Detektiv vor, der einen vollständigen Bericht über den Tatort verfassen muss, bevor er den Fall lösen darf. Wenn er den Fall nicht lösen kann, indem er nur seinen schriftlichen Bericht nutzt (ohne zurück auf die Fotos vom Tatort zu schauen), war sein Bericht unvollständig.

Schritt 2: Die Selbstprüfung (Selbstbelohnung)

Dies ist der Trick. Die KI braucht keinen Menschen, um ihre Beschreibung zu benoten.

Die KI generiert die Beschreibung.
Dann wird die KI gefragt: „Hier ist die Beschreibung, die du gerade geschrieben hast. Antworte nun auf die Frage, indem du NUR diesen Text verwendest."
Wenn die KI mit nur ihrer eigenen Beschreibung die richtige Antwort findet, gibt sie sich selbst einen „Goldenen Stern" (eine Belohnung), weil sie eine gute Beobachterin war.
Wenn sie scheitert, weiß sie, dass ihre Beschreibung schwach war, und erhält eine „Rote Flagge".

Die Analogie: Es ist wie ein Koch, der ein Rezept schreibt und dann versucht, das Gericht mit nur diesem Rezept zu kochen. Wenn das Gericht richtig schmeckt, war das Rezept gut. Wenn es schrecklich schmeckt, weiß der Koch, dass er eine Zutat in den Anweisungen vergessen hat. Der Koch bewertet sein eigenes Rezept, ohne einen Food-Kritiker zu benötigen.

Schritt 3: Die ausgeglichene Wertungstabelle (Multi-Reward-Optimierung)

In der Vergangenheit erhielt die KI eine Belohnung, wenn sie die endgültige Antwort richtig hatte, selbst wenn ihre Beschreibung Unsinn war. Vision-SR1 ändert die Wertungstabelle.

Es gibt eine separate Bewertung dafür, wie gut die KI das Bild beschrieben hat.
Es gibt eine separate Bewertung dafür, wie gut die KI das Problem gelöst hat.

Die Analogie: Stellen Sie sich einen Sporttrainer vor, dem früher nur daran lag, ob das Team das Spiel gewonnen hat. Jetzt hat der Trainer zwei Anzeigetafeln: eine für „Verteidigung" (das Bild ansehen) und eine für „Offensive" (die Frage beantworten). Die KI wird trainiert, sich gleichzeitig auf beiden Tafeln zu verbessern. Wenn sie bei der Verteidigung schummelt (das Ansehen überspringt), verliert sie Punkte, auch wenn sie in der Offensive Punkte erzielt.

Warum dies wichtig ist

Keine zusätzlichen Lehrer: Die meisten Methoden erfordern die Einstellung teurer „KI-Richter" (andere große Modelle) oder von Menschen, um zu überprüfen, ob die KI das Bild betrachtet. Vision-SR1 nutzt die KI selbst zur Überprüfung, was Geld und Zeit spart.
Kein „Träumen": Indem die KI gezwungen wird zu beweisen, dass sie die Frage mit nur ihrer Beschreibung beantworten kann, lernt sie, dass sie nicht einfach raten kann. Sie muss das Bild tatsächlich „sehen", um eine nützliche Beschreibung zu generieren.
Effizienz: Das Papier behauptet, dass diese Methode im Vergleich zum Standardtraining keine zusätzliche Rechenleistung (GPUs) erfordert, was sie zu einem praktischen Upgrade für bestehende Systeme macht.

Die Ergebnisse

Bei Tests mit verschiedenen Aufgaben (wie Matheaufgaben mit Diagrammen, dem Lesen von Diagrammen und allgemeinen Bildfragen) hat Vision-SR1:

Halluzinationen reduziert: Die KI erfand weniger Dinge.
Betrug gestoppt: Die KI verließ sich weniger auf Text-Abkürzungen und mehr darauf, tatsächlich das Bild anzusehen.
Genauigkeit verbessert: Sie beantwortete im Vergleich zu früheren Methoden insgesamt mehr Fragen richtig.

Kurz gesagt lehrt Vision-SR1 die KI, aufzuhören zu raten und anzufangen zu schauen, indem sie die KI dazu bringt, sich selbst zu beweisen, dass sie tatsächlich gesehen hat, was sie zu sehen behauptete.

1. Problemstellung

Vision-Language Models (VLMs) sehen sich derzeit zwei kritischen Einschränkungen in ihren Schlussfolgerungsfähigkeiten gegenüber:

Visuelle Halluzinationen: Erzeugung von Beschreibungen oder Antworten, die nicht mit dem visuellen Input übereinstimmen.
Sprachliche Abkürzungen: Umgehung des visuellen Verständnisses insgesamt und Verlassen auf Textpriors (sprachliche Abkürzungen), um die richtige Antwort zu erraten.

Bestehende Nachtrainierungsmethoden, insbesondere Reinforcement-Learning-Ansätze (RL) wie R1-ähnliche Modelle, verschärfen diese Probleme oft. Sie verlassen sich typischerweise ausschließlich auf die Übereinstimmung der Endantwort als Belohnungssignal. Diese spärliche Supervision führt nicht zur Steuerung des intermediären visuellen Schlussfolgerungsprozesses, wodurch Modelle sprachbasierte Schlussfolgerungen gegenüber der visuellen Wahrnehmung priorisieren. Darüber hinaus verlassen sich Methoden, die versuchen, visuelle Supervision hinzuzufügen, häufig auf:

Menschliche Annotationen: Diese sind arbeitsintensiv, kostspielig und schwer skalierbar.
Externe Belohnungsmodelle: Diese führen zu hoher Latenz, erfordern zusätzliche GPU-Ressourcen und leiden unter Verteilungsverschiebungen oder Verzerrungen, die von der Destillationsquelle geerbt werden.

2. Methodik: Vision-SR1

Die Autoren schlagen Vision-SR1 vor, ein dreistufiges selbstbelohnendes RL-Framework, das das visuelle Schlussfolgern ohne externe Supervision verbessert. Die Kerninnovation ist die Zerlegung des Schlussfolgerns in separate visuelle und sprachliche Komponenten, die vom Modell selbst verifiziert werden.

A. Zerlegung des Schlussfolgerns (See-Think-Format)

Das Modell wird aufgefordert, eine strukturierte Ausgabe zu generieren, die drei Komponenten trennt:

Visuelles Schlussfolgern ( $c$ ): Eine in sich geschlossene visuelle Beschreibung, die alle notwendigen Details aus dem Bild erfasst, um die Aufgabe zu lösen.
Sprachliches Schlussfolgern ( $t$ ): Chain-of-Thought (CoT)-Schlussfolgerung basierend auf der visuellen Beschreibung.
Antwort ( $a$ ): Die endgültige Antwort.

B. Der dreistufige Trainingsprozess

Das Training umfasst zwei Rollout-Pässe und ein spezifisches Optimierungsziel:

Erster Pass (Standard-Rollout):
- Input: Bild ( $i$ ) + Abfrage ( $q$ ).
- Output: Strukturierte Antwort ( $c, t, a$ ).
- Belohnung: Eine Antwort-Belohnung ( $r_{ans}$ ) wird basierend auf der Richtigkeit der Endantwort im Vergleich zum Ground Truth berechnet.
Zweiter Pass (Selbstbelohnungs-Rollout):
- Input: Abfrage ( $q$ ) + Generierte visuelle Schlussfolgerung ( $c$ ) ausschließlich. Das Originalbild ist ausgeschlossen.
- Prozess: Das Modell versucht, die richtige Antwort allein unter Verwendung der im ersten Pass generierten Textbeschreibung abzuleiten.
- Belohnung: Eine Visuelle Belohnung ( $r_{visual}$ ) wird zugewiesen. Wenn das Modell die Frage allein unter Verwendung der generierten Beschreibung korrekt beantworten kann, wird die Beschreibung als „in sich geschlossen" und „treu" eingestuft. Dies dient als intrinsische Belohnung für genaue visuelle Wahrnehmung.
Multi-Reward Policy Optimization:
- Anstatt Belohnungen einfach zu summieren (was Signale vermischt), verwendet Vision-SR1 eine Multi-Reward Policy Optimization-Strategie, die auf Group Relative Policy Optimization (GRPO) basiert.
- Entkoppelte Vorteile: Der Vorteil ( $\hat{A}$ ) und die Log-Wahrscheinlichkeiten werden separat für die Antwortgenerierung und die visuelle Schlussfolgerungsbildung berechnet.
- Verlustfunktion: Der Gesamtverlust kombiniert die Policy-Gradienten für beide Belohnungen ( $L_{actor}$ ) und separate KL-Divergenz-Strafen ( $L_{KL}$ ) für jede Komponente. Dies gewährleistet eine klare Gradientenzuordnung und ermöglicht es dem Modell, visuelle Wahrnehmung und sprachliches Schlussfolgern unabhängig voneinander zu optimieren.

C. Recheneffizienz

Keine externen Modelle: Vision-SR1 erfordert keine externen Belohnungsmodelle oder menschlichen Annotatoren.
Keine zusätzlichen GPUs: Der Selbstbelohnungsmechanismus nutzt das Policy-Modell selbst wieder und vermeidet den Overhead des Hostings separater Bewertungsmodelle.
Overhead: Der zweistufige Rollout fügt im Vergleich zum Standard-Einstufen-GRPO nur einen Rechenaufwand von ca. 10–15 % hinzu, was ihn hoch skalierbar macht.

3. Hauptbeiträge

Selbstbelohnendes Framework: Einführung einer Methode, bei der das VLM seine eigene visuelle Verankerung validiert, indem es sich selbst mit der generierten Beschreibung erneut abfragt, wodurch die Notwendigkeit externer visueller Supervision entfällt.
Zerlegung des Schlussfolgerns: Explizite Trennung der visuellen Wahrnehmung vom sprachlichen Schlussfolgern, wodurch das Modell gezwungen wird, vor dem Schlussfolgern in sich geschlossene visuelle Beschreibungen zu erzeugen.
Multi-Reward Policy Optimization: Vorschlag einer entkoppelten Verlustfunktion, die Vorteile und KL-Strafen separat für visuelle und sprachliche Komponenten berechnet, um eine Verflechtung der Belohnungen zu verhindern und eine feinkörnige Optimierung zu ermöglichen.
Metrik für Sprachliche Abkürzungen (LSR): Einführung einer neuen Metrik zur Quantifizierung, wie oft ein Modell korrekt antwortet, obwohl die visuelle Schlussfolgerung falsch oder nicht in sich geschlossen ist, und bietet somit eine Möglichkeit, die Abhängigkeit von sprachlichen Abkürzungen zu messen.

4. Experimentelle Ergebnisse

Die Methode wurde auf diversen Benchmarks unter Verwendung von Qwen2.5-VL (3B und 7B) und Mimo-VL-7B-Backbones evaluiert.

Leistungssteigerungen: Vision-SR1 übertraf Baselines (einschließlich Vision-R1 und Perception-R1) bei allgemeinem visuellem Verständnis (MMMU, RealWorldQA), mathematischem Schlussfolgern (MathVerse, MATH-Vision) und der Erkennung von Halluzinationen (HallusionBench).
- Beispiel: Auf dem 7B-Backbone erreichte Vision-SR1 eine durchschnittliche Punktzahl von 52,2, verglichen mit 44,5 für Vision-R1.
Reduzierung von Halluzinationen: Das Modell reduzierte visuelle Halluzinationen erheblich und verbesserte die Robustheit gegenüber sprachlichen Abkürzungen.
LSR-Reduktion: Vision-SR1 zeigte eine niedrigere Rate sprachlicher Abkürzungen (LSR) im Vergleich zu Baselines, was auf eine stärkere Abhängigkeit von echter visueller Wahrnehmung statt von Textpriors hindeutet.
Ablationsstudien:
- Die Entfernung des Selbstbelohnungsmechanismus führte zu einem Leistungsabfall und bestätigte die Notwendigkeit des visuellen Belohnungssignals.
- Die Methode verbesserte das räumliche Schlussfolgern (MMSI-Bench, OmniSpatial) und Aufgaben zum allgemeinen Wissen, ohne die rein textbasierten Fähigkeiten so stark zu verschlechtern wie andere RL-Methoden.
Aufmerksamkeitsanalyse: Eine schichtweise Analyse zeigte, dass das Nachtraining die Aufmerksamkeit auf visuelle Tokens in frühen Merkmalsextraktions- und späten Integrationslagen erhöhte, was bestätigt, dass das Modell gelernt hat, visuelle Informationen besser zu verarbeiten.

5. Bedeutung und Auswirkung

Skalierbarkeit: Durch die Beseitigung der Abhängigkeit von externen Belohnungsmodellen und menschlichen Annotationen bietet Vision-SR1 einen skalierbaren Weg zur Verbesserung von VLMs ohne die prohibitiven Kosten für Datenannotation oder Inferenzinfrastruktur.
Bekämpfung von „Denken statt Sehen": Das Framework wirkt dem Trend im RL-Training direkt entgegen, bei dem Modelle lernen, zu „denken" (Schlussfolgern via Sprache), ohne zu „sehen" (das Bild wahrzunehmen). Es zwingt das Modell, durch die Generierung einer ausreichenden Beschreibung nachzuweisen, dass es das Bild gesehen hat.
Effizienz: Der Ansatz erzielt State-of-the-Art-Ergebnisse mit minimalem Rechenaufwand und macht fortgeschrittenes visuelles Schlussfolgern für Modelle mit begrenzten Ressourcen zugänglich.
Zukünftige Richtung: Das Paper hebt hervor, dass Genauigkeitsgewinne im RL manchmal trügerisch sein können (Ausnutzen von Abkürzungen); Vision-SR1 bietet einen Mechanismus, um echte visuelle Verankerung vom Lernen sprachlicher Abkürzungen zu entkoppeln und setzt einen neuen Standard für die Bewertung von VLM-Schlussfolgerungen.