💻 computer science

On Asymmetric Optimization of Reasoning and Perception in Vision-Language Model Post-Training

Dieser Beitrag identifiziert und adressiert die Engpassproblematik nach dem Training, bei der vision-sprachliche Modelle die Schlussfolgerungsfähigkeit stärker verbessern als die Wahrnehmung, indem er einen Diagnoserahmen einführt, der unterschiedliche Ursachen für diese Asymmetrie im überwachten Fine-Tuning und im Reinforcement Learning aufdeckt, und gezielte Interventionen wie dynamische Verlust-Neugewichtung und wahrnehmungsbewusste Belohnungen vorschlägt, um die End-zu-End-Leistung signifikant zu steigern.

Ursprüngliche Autoren: Xueqing Wu, Yu-Chi Lin, Kai-Wei Chang, Nanyun Peng

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xueqing Wu, Yu-Chi Lin, Kai-Wei Chang, Nanyun Peng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „kluge, aber blinde" Schüler

Stellen Sie sich einen brillanten Schüler vor, der einen sehr schwierigen Test absolviert, bei dem er ein Bild betrachten und dann ein darauf basierendes Logikrätsel lösen muss.

In letzter Zeit haben Lehrer (Forscher) spezielle Trainingsmethoden eingesetzt, um diese Schüler besser im Schlussfolgern (Lösen des Logikrätsels) zu machen. Die Schüler sind in den Bereichen Mathematik und Logik unglaublich klug geworden.

Das Papier entdeckt jedoch ein seltsames Problem: Während die Schüler beim Denken klüger werden, werden sie beim Sehen nicht besser. Tatsächlich beginnen sie zu „halluzinieren" oder das Bild falsch zu interpretieren. Es ist wie ein Detektiv, der ein Genie beim Lösen von Verbrechen ist, aber den Verdächtigen auf dem Foto ständig falsch identifiziert.

Die Autoren nennen dies „Asymmetrische Optimierung". Das Training begünstigt stark den „Denk"-Teil des Gehirns, während der „Seh"-Teil vernachlässigt wird.

Das Experiment: Ein kontrolliertes Klassenzimmer

Um herauszufinden, warum dies geschieht, konnten die Forscher nicht einfach echte Fotos verwenden (die unordentlich sind und schwer perfekt zu bewerten). Stattdessen bauten sie eine digitale Sandbox mit zwei spezifischen Spielen:

Graph-Färbung: Ein Bild eines Netzwerks aus Punkten, die durch Linien verbunden sind. Die Aufgabe besteht darin, die Punkte so zu färben, dass zwei verbundene Punkte nicht dieselbe Farbe haben.
Sudoku: Ein Bild eines Zahlenrasters, das korrekt ausgefüllt werden muss.

Da diese computergeneriert waren, wussten die Forscher die exakte richtige Antwort dafür, wie das Bild aussah (Wahrnehmung), und die exakte richtige Logik, um es zu lösen (Schlussfolgern). Dies ermöglichte es ihnen, die beiden Fähigkeiten zu trennen und genau zu sehen, wo der Schüler versagte.

Sie testeten zwei Arten von Training:

SFT (Supervised Fine-Tuning / Überwachtes Feinabstimmen): Wie ein Lehrer, der dem Schüler den richtigen Lösungsschlüssel zeigt und sagt: „Lerne dies auswendig."
RL (Reinforcement Learning / Bestärkendes Lernen): Wie ein Videospiel, bei dem der Schüler nur Punkte erhält, wenn er die Endpunktzahl richtig errät, aber der Lehrer ihm nicht sagt, wie er falsch lag.

Die Entdeckung: Zwei verschiedene Täter

Die Forscher stellten fest, dass beide Trainingsmethoden das „Seh"-Problem verursachten, jedoch aus unterschiedlichen Gründen.

1. Das SFT-Problem: Das „Volumen"-Problem

Die Analogie: Stellen Sie sich einen Schüler vor, der einen langen Aufsatz schreibt. Der Lehrer bewertet den Aufsatz basierend auf der Gesamtzahl der Wörter.

Der Schüler verbringt 95 % des Aufsatzes damit, die Logik zu erklären (Schlussfolgern).
Der Schüler verbringt nur 5 % des Aufsatzes damit, das Bild zu beschreiben (Wahrnehmung).

Was passierte: Da der „Wahrnehmungs"-Teil so kurz war, war das Feedback des Lehrers (das Trainingssignal) für diesen Teil sehr schwach. Der Schüler lernte die Logik perfekt, weil sie 95 % der Aufmerksamkeit erhielt, aber er lernte kaum, wie man das Bild beschreibt, da es nur 5 % der Aufmerksamkeit erhielt.

Die Lösung: Die Forscher versuchten Loss Reweighting (Verlust-Neugewichtung). Das ist wie ein Lehrer, dem man sagt: „Obwohl die Beschreibung kurz ist, bewerte sie so, als wäre sie 50 % des Aufsatzes."

Ergebnis: Als sie das Modell zwangen, mehr Aufmerksamkeit auf den „Seh"-Teil zu legen, wurde der Schüler sowohl beim Sehen als auch beim Lösen des Rätsels viel besser. Die Gesamtpunktzahl stieg um bis zu 18,2 Punkte.

2. Das RL-Problem: Das „Noisy Reward" (Verrauschter Belohnungs)-Problem

Die Analogie: Stellen Sie sich einen Schüler vor, der ein Videospiel spielt. Er erhält nur ganz am Ende einen „Game Over"- oder „Sieg"-Bildschirm. Er erhält keine Punkte für einzelne Züge.

Wenn der Schüler das Bild falsch errät, aber aus Versehen das Rätsel trotzdem löst, erhält er trotzdem den „Sieg"-Bildschirm.
Wenn der Schüler das Bild perfekt sieht, aber einen kleinen Logikfehler macht, erhält er ein „Game Over".

Was passierte: Das „Sieg"-Signal (die Belohnung) war stark mit der Logik (Schlussfolgern) verknüpft, aber nur sehr schwach mit der Bildbeschreibung (Wahrnehmung). Das Modell lernte: „Ich muss nicht perfekt beim Sehen des Bildes sein; ich muss nur gut darin sein, die Logik zu erraten." Das Signal für das „Sehen" war zu verrauscht, um daraus zu lernen.

Die Lösung: Die Forscher versuchten Reward Augmentation (Belohnungs-Erweiterung). Sie fügten einen spezifischen „Bonuspunkt" nur für die korrekte Beschreibung des Bildes hinzu, selbst wenn die finale Logik falsch war.

Ergebnis: Dies gab dem Modell ein klares Signal, seine Vision zu verbessern. Die Gesamtpunktzahl verbesserte sich um bis zu 6,0 Punkte.
Bonus-Erkenntnis: Sie stellten auch fest, dass man, wenn man keine perfekten „Bonuspunkte" (Ground Truth) hat, eine „Surrogat"-Belohnung verwenden kann (wie z. B. ein klügeres KI-Modell, das die Bildbeschreibung bewertet). Selbst eine grobe Schätzung der Belohnung half, die Punktzahl um 3,2 Punkte zu verbessern.

Der Trade-Off: Die Waage im Gleichgewicht

Das Papier entdeckte auch ein empfindliches Gleichgewicht.

Wenn man das Modell zwingt, sich zu sehr auf das Sehen zu konzentrieren, wird es schlechter im Denken.
Wenn man es zulässt, sich zu sehr auf das Denken zu konzentrieren, wird es schlechter im Sehen.

Der optimale Punkt wurde durch moderate Aufwertung des „Seh"-Teils gefunden. Man will die Logik nicht ignorieren, aber man darf den Vision-Teil nicht als nachträglichen Gedanken behandeln.

Zusammenfassung der Erkenntnisse

Das Problem: Das aktuelle KI-Training macht Modelle großartig im Schlussfolgern, aber schlecht in der Wahrnehmung, was einen Engpass schafft, bei dem das Modell Probleme nicht lösen kann, weil es den Input nicht richtig „sehen" kann.
Die Ursache (SFT): Der „Seh"-Teil der Antwort ist zu kurz, sodass er während des Standardtrainings ignoriert wird. Lösung: Geben Sie ihm beim Bewerten mehr Gewicht.
Die Ursache (RL): Die Endpunktzahl sagt dem Modell nicht, ob es das Bild richtig gesehen hat, sondern nur, ob die Endantwort richtig war. Lösung: Fügen Sie spezifische Belohnungen für das korrekte Sehen des Bildes hinzu.
Das Ergebnis: Durch das Beheben dieser spezifischen Ungleichgewichte wurden die Modelle erheblich besser bei der gesamten Aufgabe (End-to-End-Leistung), was beweist, dass man nicht nur für das „Denken" trainieren und erwarten kann, dass sich das „Sehen" automatisch verbessert.

Technische Zusammenfassung: Asymmetrische Optimierung von Schlussfolgerung und Wahrnehmung beim Nachtrainieren von Vision-Language-Modellen

1. Problemstellung

Nachtrainierungstechniken, insbesondere Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL), haben die Schlussfolgerungsfähigkeiten fortschrittlicher Vision-Language-Modelle (VLMs) erheblich verbessert. Diese Gewinne haben sich jedoch nicht proportional auf die Wahrnehmungsfähigkeiten übertragen. Aktuelle Studien deuten darauf hin, dass das Nachtrainieren nur begrenzte Verbesserungen der Wahrnehmung bewirken oder deren Leistung sogar verschlechtern kann, was einen Engpass für die durchgängige visuelle Schlussfolgerung darstellt. Die zentrale Frage, die diese Arbeit behandelt, lautet: Warum begünstigt das Nachtrainieren die Schlussfolgerung unverhältnismäßig gegenüber der Wahrnehmung, und wie kann diese Asymmetrie gemildert werden?

Die Autoren argumentieren, dass Wahrnehmungsfehler die Wirksamkeit fortschrittlicher Schlussfolgerungen erheblich einschränken. Um dies zu untersuchen, führen sie ein kontrolliertes Diagnoseframework ein, das die Wahrnehmung von der Schlussfolgerung entkoppelt und eine unabhängige Evaluierung und Optimierung jeder Komponente ermöglicht.

2. Methodik

2.1 Kontrolliertes Diagnoseframework

Die Autoren schlagen ein Framework vor, das darauf ausgelegt ist, die Wahrnehmung ( $p$ ) und die Schlussfolgerung ( $r$ ) innerhalb der Modellausgabe zu trennen.

Entkoppelte Ausgaben: Die Ausgabesequenz ist als $y = [p, r]$ strukturiert, wobei $p$ eine textliche Transkription visueller Informationen und $r$ der Schlussfolgerungsprozess ist, getrennt durch spezielle Token. Dies erzwingt eine Reihenfolge „Wahrnehmung vor Schlussfolgerung".
Evaluierungsmetriken:
- Wahrnehmungsgenauigkeit ( $a_p$ ): Gemessen durch den Vergleich der vom Modell generierten Wahrnehmung $p$ mit einer kanonischen Ground-Truth-Repräsentation $p^*$ .
- Kontextfaktische Schlussfolgerungsgenauigkeit ( $a_r$ ): Um die Schlussfolgerungsfähigkeit von Wahrnehmungsfehlern zu isolieren, wird das Modell auf die Ground-Truth-Wahrnehmung $p^*$ konditioniert, um Schlussfolgerungen $r'$ zu generieren. Die Genauigkeit wird dann als $Acc(r' | p^*)$ gemessen.
- Durchgängige Genauigkeit ( $a$ ): Die Standardgenauigkeit der gesamten Pipeline.
Synthetische Aufgaben: Um Ground-Truth-Annotationen und eine programmatische Evaluierung sicherzustellen, nutzen die Autoren zwei synthetische Aufgaben:
1. Graphenfärbung (GC): Eingabebilder von Graphen; $p^*$ ist die Kantenliste; Korrektheit erfordert eine gültige Knotenfärbung.
2. Sudoku: Eingabebilder von Gittern; $p^*$ ist das teilweise gefüllte Gitter; Korrektheit erfordert eine gültige Lösung.
  Diese Aufgaben werden programmatisch aus textbasierten Problemen gerendert, um eine kanonische $p^*$ zu gewährleisten.

2.2 Trainingsparadigmen

Die Studie bewertet zwei dominante Nachtrainierungsmethoden:

Supervised Fine-Tuning (SFT): Optimiert den token-gemittelten Cross-Entropy-Verlust über die Ausgabesequenz.
Reinforcement Learning (RL): Verwendet Group Relative Policy Optimization (GRPO) mit der durchgängigen Genauigkeit als primärem Belohnungssignal.

2.3 Hypothesierte Mechanismen und Interventionen

Die Autoren untersuchen zwei spezifische Mechanismen, die die Asymmetrie antreiben:

Hypothese 1: Token-Ungleichgewicht (SFT)
- Mechanismus: Bei der Chain-of-Thought (CoT)-Supervision nehmen Wahrnehmungstoken einen signifikant kleineren Anteil der Gesamtausgabe ein als Schlussfolgerungstoken. Da SFT einen token-gemittelten Verlust verwendet, erhält die Wahrnehmung ein schwächeres Optimierungssignal.
- Intervention: Verlust-Neugewichtung. Der SFT-Verlust wird modifiziert zu $L_{SFT, \lambda} = \lambda \frac{L_p}{|p|} + (1-\lambda) \frac{L_r}{|r|}$ , wobei $\lambda$ das Gewicht der Wahrnehmungstoken erhöht. Sie testen auch NGDiff, eine dynamische Multi-Task-Balancing-Methode basierend auf Gradientennormen.
Hypothese 2: Belohnungskopplung (RL)
- Mechanismus: Die Ergebnisbelohnung (durchgängige Genauigkeit) korreliert stärker mit der Korrektheit der Schlussfolgerung als mit der Korrektheit der Wahrnehmung. Die Wahrnehmung beeinflusst die Belohnung nur, wenn die nachfolgende Schlussfolgerung ebenfalls korrekt ist, was zu einer verrauschten oder fehlgeleiteten Kreditvergabe für die Wahrnehmung führt.
- Intervention: Belohnungserweiterung. Die Belohnungsfunktion wird modifiziert zu $R_\alpha(y|x) = \alpha \cdot a_p + (1-\alpha) \cdot a$ , wodurch explizit ein Wahrnehmungssignal hinzugefügt wird. Sie evaluieren auch Surrogatbelohnungen (CLIP-Ähnlichkeit, Selbstbelohnung, lehrerbasierte Belohnungen) für Szenarien, in denen Ground-Truth-Wahrnehmungsbelohnungen nicht verfügbar sind.

3. Experimentelle Ergebnisse

3.1 Empirischer Aufbau

Die Experimente wurden mit Qwen3-VL-2B und InternVL3.5-2B unter Verwendung der GC- und Sudoku-Aufgaben durchgeführt. Die Datensätze umfassten 2.000 SFT-Trainingsinstanzen und 16.000 RL-Trainingsinstanzen pro Aufgabe.

3.2 Befunde zu SFT

Bestätigung der Asymmetrie: Standard-SFT verbessert die Schlussfolgerungsgenauigkeit erheblich, erzielt jedoch nur minimale Gewinne bei der Wahrnehmungsgenauigkeit.
Validierung des Token-Ungleichgewichts: Die Analyse ergab, dass die Wahrnehmung nur etwa 2,5 % der Token in CoT-Spuren ausmacht, was lediglich 1,3 % des Gesamtverlusts und 8,5 % der Gradientennorm beiträgt.
Wirksamkeit der Intervention:
- Die Erhöhung des Wahrnehmungsgewichts ( $\lambda$ ) verbessert die Wahrnehmungsgenauigkeit, erzeugt jedoch einen Zielkonflikt, bei dem eine übermäßige Gewichtung die Schlussfolgerung schädigt.
- Optimales Gleichgewicht: Die durchgängige Genauigkeit erreicht ihren Höhepunkt bei einer moderaten Aufwertung der Wahrnehmung.
- Ergebnisse: Die Verlust-Neugewichtung verbesserte die durchgängige Genauigkeit um 10,0–13,8 Punkte gegenüber Standard-SFT. Die dynamische NGDiff-Methode verbesserte dies weiter und erzielte Gewinne von bis zu 18,2 Punkten ohne manuelles Hyperparameter-Tuning.

3.3 Befunde zu RL

Bestätigung der Asymmetrie: RL verbessert ebenfalls die Schlussfolgerung mehr als die Wahrnehmung.
Ablehnung des Token-Ungleichgewichts: Im Gegensatz zu SFT milderte die Neugewichtung der Token-Wahrscheinlichkeiten im RL-Ziel die Asymmetrie nicht und destabilisierte das Training oft. Dies zeigt, dass die Tokenanzahl nicht der primäre Treiber bei RL ist.
Validierung der Belohnungskopplung: Die Pearson-Korrelationsanalyse zeigte, dass die Ergebnisbelohnung stark mit der Schlussfolgerung korreliert ( $r \approx 0,65\text{--}1,00$ ), aber schwach mit der Wahrnehmung ( $r \approx 0,34\text{--}0,43$ ).
Wirksamkeit der Intervention:
- Belohnungserweiterung: Das Hinzufügen einer Wahrnehmungsbelohnung ( $\alpha > 0$ ) verbesserte die Wahrnehmungsgenauigkeit. Ähnlich wie bei SFT besteht ein Zielkonflikt, aber die durchgängige Leistung erreicht ihren Höhepunkt bei einem von Null verschiedenen $\alpha$ .
- Ergebnisse: Die Belohnungserweiterung verbesserte die durchgängige Genauigkeit um bis zu 6,0 Punkte gegenüber Standard-RL.
- Surrogatbelohnungen: Wenn Ground-Truth-Wahrnehmungsbelohnungen nicht verfügbar waren, lieferten lehrerbasierte Belohnungen (unter Verwendung eines stärkeren Modells zur Generierung von $p^*$ ) das zuverlässigste Signal und erzielten eine Verbesserung von 3,2 Punkten. CLIP-basierte Ähnlichkeit lieferte ein vernachlässigbares Signal.

4. Hauptbeiträge

Diagnoseframework: Einführung eines kontrollierten Frameworks unter Verwendung synthetischer Aufgaben, um Wahrnehmung und Schlussfolgerung beim VLM-Nachtrainieren zu entkoppeln und unabhängig zu evaluieren.
Identifikation von Mechanismen: Identifikation einer konsistenten Wahrnehmungs-Schlussfolgerungs-Asymmetrie über SFT und RL hinweg, wobei die Ursachen auf unterschiedliche Mechanismen zurückgeführt werden: Token-Ungleichgewicht bei SFT und Belohnungskopplung bei RL.
Gezielte Interventionen: Demonstration, dass spezifische, paradigmabewusste Interventionen diese Komponenten neu ausbalancieren können:
- SFT: Verlust-Neugewichtung (statisch oder dynamisch via NGDiff).
- RL: Wahrnehmungsbewusste Belohnungserweiterung (unter Verwendung von Ground-Truth oder zuverlässigen Surrogaten).
- Diese Interventionen verbesserten die durchgängige visuelle Schlussfolgerungsleistung um bis zu 18,2 Punkte (SFT) und 6,0 Punkte (RL).

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die beobachtete Asymmetrie eine fundamentale Konsequenz standardmäßiger Nachtrainierungsziele und kein modellspezifisches Artefakt ist. Die Autoren argumentieren, dass sich allein auf Standard-SFT- oder RL-Ziele zu verlassen für eine robuste durchgängige visuelle Schlussfolgerung unzureichend ist, da die Wahrnehmung der dominante Engpass bleibt.

Die Bedeutung der Arbeit liegt in der Bereitstellung konkreter, umsetzbarer Strategien zur Milderung dieses Ungleichgewichts. Durch die Diagnose spezifischer Fehlermodi (Tokenknappheit bei SFT, schwache Belohnungssignale bei RL) schlagen die Autoren vor, dass zukünftige VLM-Nachtrainierungspipelines explizite Balancing-Mechanismen – wie Verlust-Neugewichtung oder wahrnehmungsbewusste Belohnungen – integrieren müssen, um das volle Potenzial der visuellen Schlussfolgerung zu entfalten. Die Studie betont, dass diese Interventionen praktisch sind und in reale Pipelines integriert werden können, sobald Wahrnehmungssupervision oder Proxy-Signale verfügbar sind.

Einschränkungen: Die Autoren weisen darauf hin, dass die Studie auf synthetischen Aufgaben (Graphenfärbung und Sudoku) basiert, um Variablen zu isolieren. Obwohl diese Abstraktion ein direktes Benchmarking auf der Vielfalt der realen Welt einschränkt, ist sie notwendig, um kausale Mechanismen zu etablieren, die in komplexen, mehrdeutigen realen Daten verschleiert sind. Die vorgeschlagenen Mechanismen (Token-Ungleichgewicht und Belohnungskopplung) werden als allgemeine Eigenschaften von Nachtrainierungszielen argumentiert, was darauf hindeutet, dass die Interventionen über den synthetischen Rahmen hinaus anwendbar sind.