💬 NLP

From Seeing to Thinking: Decoupling Perception and Reasoning Improves Post-Training of Vision-Language Models

Dieser Artikel zeigt, dass die Entkopplung des Nachtrainings von Vision-Sprache-Modellen in separate Phasen für visuelle Wahrnehmung, visuelles Schlussfolgern und textbasiertes Schlussfolgern – wobei die Optimierung der Wahrnehmung durch verstärkendes Lernen priorisiert wird – sowohl die Genauigkeit der Wahrnehmung als auch die des Schlussfolgerns signifikant verbessert und gleichzeitig den Bedarf an übermäßigen Schlussfolgerungsspuren reduziert.

Ursprüngliche Autoren: Juncheng Wu, Hardy Chen, Haoqin Tu, Xianfeng Tang, Freda Shi, Hui Liu, Hanqing Lu, Cihang Xie, Yuyin Zhou

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Juncheng Wu, Hardy Chen, Haoqin Tu, Xianfeng Tang, Freda Shi, Hui Liu, Hanqing Lu, Cihang Xie, Yuyin Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes mathematisches Problem zu lösen, doch das Problem steht auf einem Zettel, auf dem ein Fleck eine entscheidende Zahl verdeckt.

Wenn Sie versuchen, „intensiver" über die Mathematik nachzudenken, erhalten Sie lediglich eine selbstbewusstere, aber völlig falsche Antwort. Sie könnten einen langen, detaillierten Aufsatz verfassen, der erklärt, warum die Antwort 50 lautet, obwohl der verschmierte Zahl eigentlich bedeutete, dass die Antwort 5 sein sollte.

Genau das ist es, was die Arbeit „From Seeing to Thinking" als Geschehen bei aktuellen KI-Modellen argumentiert, die Bilder betrachten und versuchen, daraus Schlussfolgerungen zu ziehen (Vision-Language-Modelle).

Hier ist die Aufschlüsselung ihrer Entdeckung und Lösung, unter Verwendung einfacher Analogien:

Das Problem: Die „selbstbewusst falsche" KI

Die Arbeit stellt fest, dass diese KI-Modelle bei visuellen Aufgaben (wie Geometrie oder dem Lesen eines Diagramms) selten deshalb scheitern, weil sie die Mathematik oder Logik nicht beherrschen. Es liegt daran, dass sie von vornherein nicht richtig „sehen" können.

Die Analogie: Stellen Sie sich einen Detektiv vor, der versucht, ein Verbrechen aufzuklären. Wenn der Detektiv die Schuhgröße des Verdächtigen falsch identifiziert (Wahrnehmungsfehler), wird keine Menge brillanter Detektivarbeit (Schlussfolgerung) den Fall lösen. Tatsächlich wird der Detektiv, je mehr er über die falsche Schuhgröße „nachdenkt", umso mehr einen langen, verwirrenden Bericht verfassen, der zu einem falschen Schluss führt.
Die Entdeckung: Die Autoren analysierten viele gescheiterte KI-Versuche und stellten fest, dass 87 % der Fehler mit einem einfachen visuellen Fehler begannen (wie das falsche Lesen einer Zahl oder das Vertauschen einer Form). Sobald die KI diesen Fehler gemacht hatte, half „längeres Nachdenken" nicht; es ließ die KI lediglich auf dem Fehler beharren.

Die Lösung: Ein dreistufiges Trainingslager

Derzeit vermischen die meisten KI-Trainings alles miteinander: Sie lehren das Modell, zu sehen, zu lesen und zu denken, alles gleichzeitig. Die Autoren sagen, das sei wie der Versuch, jemandem beizubringen, ein Auto zu fahren, den Motor zu reparieren und eine Karte zu navigieren, alles in derselben Lektion. Es ist zu unübersichtlich.

Stattdessen schlagen sie einen „gestuften Trainingsansatz" vor, der den Lernprozess in drei distincte Phasen unterteilt:

Stufe 1: Die Augen (Visuelle Wahrnehmung)
- Ziel: Die KI lernen lassen, genau zu beschreiben, was auf dem Bild zu sehen ist, ohne bereits versucht, ein Problem zu lösen.
- Die Methode: Sie verwendeten eine spezielle Art des Trainings namens RL (Reinforcement Learning / Bestärkendes Lernen). Stellen Sie sich dies als einen strengen Trainer vor, der der KI nur dann einen „Daumen hoch" gibt, wenn sie ein Detail korrekt identifiziert (wie „es gibt 7 Straßenlaternen"), und einen „Daumen runter", wenn sie rät oder halluziniert. Sie stellten fest, dass dies viel besser war als die alte Methode, der KI einfach Bilder mit Bildunterschriften zu zeigen (SFT), was wie das Lesen eines Bilderbuchs ohne Prüfung der Details ist.
Stufe 2: Das Gehirn (Textuelles Schlussfolgern)
- Ziel: Die KI lernen lassen, logisch mit Worten zu denken, aber ohne Bilder.
- Die Analogie: Dies ist wie das Unterrichten eines Schülers in Matheaufgaben auf einer Tafel, bevor ihm ein Diagramm gegeben wird.
Stufe 3: Die Integration (Visuelles Schlussfolgern)
- Ziel: Jetzt, da die KI „gute Augen" und ein „trainiertes Gehirn" hat, lernt sie, beides zu kombinieren, um visuelle Rätsel zu lösen.

Warum diese Reihenfolge wichtig ist

Die Arbeit entdeckte, dass die Reihenfolge des Trainings entscheidend ist.

Der richtige Weg: Zuerst die Augen aufbauen, dann das Gehirn, dann beides kombinieren.
Der falsche Weg: Wenn man versucht, der KI beizubringen, komplexe visuelle Rätsel zu lösen, bevor sie gelernt hat, klar zu sehen, gerät sie in Verwirrung. Es ist wie der Versuch, einem Kind Schach beizubringen, bevor es weiß, wie die Figuren ziehen. Die Arbeit zeigte, dass das Umkehren dieser Reihenfolge die KI tatsächlich sowohl beim Sehen als auch beim Denken schlechter machte.

Die Ergebnisse: Intelligenter und schneller

Als die Autoren ihre Modelle mit dieser neuen „gestuften" Methode trainierten, waren die Ergebnisse beeindruckend:

Bessere Genauigkeit: Die Modelle wurden bei visuellen Mathematik- und realen Wahrnehmungstests deutlich besser.
Kürzeres Nachdenken: Dies ist der überraschendste Teil. Da die Modelle „gute Augen" hatten, mussten sie nicht so lange „nachdenken", um die richtige Antwort zu erhalten.
- Die Analogie: Ein Modell mit schlechten Augen liest das Problem immer wieder neu, prüft das Bild und schreibt seine Gedanken um, weil es unsicher ist. Ein Modell mit guten Augen sieht die Antwort sofort und schreibt eine kurze, klare Lösung.
- Die Daten: Ihre Modelle erreichten 1,5 % höhere Genauigkeit, während sie 20 % weniger „Nachdenkzeit" (kürzere Textantworten) benötigten als Modelle, die auf die alte, gemischte Weise trainiert wurden.

Das große Ganze: Eine neue Art zu lernen

Die Autoren führen zudem ein neues Konzept namens „Capability Curriculum" (Kompetenz-Lehrplan) ein.

Alter Weg: Die KI an einfachen Problemen trainieren, dann an mittleren, dann an schwierigen (Schwierigkeitsbasiert).
Neuer Weg: Die KI an spezifischen Fähigkeiten in einer bestimmten Reihenfolge trainieren (Wahrnehmung $\to$ Logik $\to$ Schlussfolgern).
Die Magie: Sie stellten fest, dass diese beiden Methoden am besten funktionieren, wenn sie kombiniert werden. Es ist wie eine Schule, die den Unterricht nach Fächern organisiert (Mathematik, dann Naturwissenschaft) und die Lektionen innerhalb dieser Fächer von leicht zu schwer anordnet. Beides zu tun, lieferte der KI die besten Ergebnisse überhaupt.

Zusammenfassend: Um KI besser darin zu machen, über Bilder zu „denken", müssen wir zunächst sicherstellen, dass sie diese tatsächlich korrekt „sehen" kann. Indem wir diese Fähigkeiten trennen und sie in der richtigen Reihenfolge trainieren, erhalten wir Modelle, die nicht nur intelligenter, sondern auch effizienter sind und der Falle des Überdenkens einfacher visueller Fehler entgehen.

Technische Zusammenfassung: Vom Sehen zum Denken: Entkopplung von Wahrnehmung und Schlussfolgerung verbessert das Nachtrainieren von Vision-Language-Modellen

1. Problemstellung

Die jüngsten Fortschritte bei Vision-Language-Modellen (VLMs) haben stark auf lange Chain-of-Thought-(CoT)-Schlussfolgerungen gesetzt, die häufig durch Reinforcement-Learning-(RL)-Techniken vorangetrieben werden. Diese Arbeit identifiziert jedoch eine kritische Engstelle: Die Leistung bei komplexen visuellen Aufgaben (z. B. visuelle Mathematik, Geometrie, Diagrammverständnis) wird häufig nicht durch Schlussfolgerungsfähigkeiten, sondern durch die visuelle Wahrnehmung begrenzt.

Die Autoren beobachten, dass, wenn ein VLM einen anfänglichen Fehler bei der Wahrnehmung visueller Details macht (z. B. eine falsche Identifizierung eines geometrischen Winkels oder einer Objektanzahl), nachfolgende Schlussfolgerungsschritte diesen Fehler selten korrigieren. Stattdessen verstärkt das Modell den Fehler auf Basis falscher wahrnehmungsbezogener Annahmen, was zu langen, verschachtelten Schlussfolgerungsspuren führt, die nicht zum korrekten Ergebnis gelangen. Umgekehrt neigt die Schlussfolgerung, wenn die Wahrnehmung korrekt ist, dazu, prägnant zu sein und schnell zu konvergieren. Die Arbeit argumentiert, dass aktuelle Paradigmen des Nachtrainierens, die oft Wahrnehmungs- und Schlussfolgerungsdaten zusammenführen oder der Schlussfolgerung Priorität einräumen, dieses grundlegende Defizit nicht adressieren.

2. Methodik

Die vorgeschlagene Lösung ist ein gestuftes Nachtrainierungs-Framework, das die Fähigkeiten von VLMs in drei distincte, sequenzielle Stufen zerlegt, wobei jede Stufe spezialisierte Datensätze und Trainingsstrategien nutzt:

2.1. Zerlegung der Fähigkeiten

Die Trainingspipeline ist in drei Stufen unterteilt:

Visuelle Wahrnehmung: Konzentriert sich auf die Erkennung feinabgestufter visueller Details und räumlicher Beziehungen, ohne mehrstufige Schlussfolgerungen zu erfordern.
Textuelle Schlussfolgerung: Konzentriert sich auf logische Inferenz unter Verwendung ausschließlich textbasierter Eingaben.
Visuelle Schlussfolgerung: Konzentriert sich auf komplexe multimodale Aufgaben, die sowohl präzise Wahrnehmung als auch mehrstufige Schlussfolgerungen erfordern.

2.2. Datensynthese und Kuratierung

Wahrnehmungsdaten ( $D_{perc}$ ): Aus dem DOCCI-Datensatz (feinabgestufte Bildunterschriften) synthetisiert. Ein LLM generiert wahrnehmungsorientierte Fragen auf Basis der Bildunterschriften. Ein Filtermechanismus behält nur Stichproben bei, bei denen das Basis-VLM allein mit dem Bild nicht korrekt antworten kann, aber erfolgreich ist, wenn ihm die Bildunterschrift bereitgestellt wird. Dies isoliert Stichproben, bei denen die Einschränkung rein wahrnehmungsbedingt ist.
Textuelle Schlussfolgerungsdaten ( $D_{text}$ ): Stammen aus ORZ-Math-13k und enthalten herausfordernde mathematische Probleme, die ohne visuelle Eingaben lösbar sind.
Visuelle Schlussfolgerungsdaten ( $D_{vis}$ ): Aus mehreren Open-Source-Quellen kuratiert (CLEVR-Math, GeoQA170K, Math PUMA usw.) und erfordern sowohl Wahrnehmung als auch Schlussfolgerung.

2.3. Trainingsstrategien

Gestuftes Training: Das Modell wird sequenziell ( $D_{perc} \rightarrow D_{text} \rightarrow D_{vis}$ $D_{p er c} \to D_{t e x t} \to D_{v i s}$ ) unter Verwendung von Group Relative Policy Optimization (GRPO) trainiert.
- Stufe 1 (Wahrnehmung): Die Autoren vergleichen Supervised Fine-Tuning (SFT) mit Reinforcement Learning mit Verifizierbaren Belohnungen (RLVR). Sie stellen fest, dass RLVR für die Wahrnehmung deutlich effektiver ist, da es halluzinierte Interpretationen robuster bestraft als token-basiertes SFT.
- Stufen 2 & 3: Nutzen GRPO zur Verfeinerung der Schlussfolgerungsfähigkeiten.
Umgang mit dem Vision-Encoder: In der Wahrnehmungsstufe ist der Vision-Encoder aktiv. In nachfolgenden Stufen variieren die Strategien (z. B. Einfrieren des Encoders in textuellen Schlussfolgerungsstufen), aber der Haupttreiber des Erfolgs ist die gestufte Datenreihenfolge.
Curriculum-Integration: Die Autoren zeigen, dass diese fähigkeitsbasierte Staffelung orthogonal zu traditionellen Schwierigkeits-basierten Curricula ist. Die Kombination beider (Sortierung der Daten nach Schwierigkeit innerhalb jeder Fähigkeitsstufe) ergibt additive Gewinne.

3. Hauptbeiträge

Entkopplung von Wahrnehmung und Schlussfolgerung: Die Arbeit stellt fest, dass visuelle Wahrnehmung eine distincte, fundamentale Fähigkeit ist, die vor der Verfeinerung der visuellen Schlussfolgerung gefestigt werden muss. Die Behandlung als vereinigte Aufgabe führt zu suboptimaler Leistung.
Gestuftes Trainingsparadigma: Die Autoren schlagen eine spezifische Trainingsreihenfolge vor (Wahrnehmung $\rightarrow$ Textuelle Schlussfolgerung $\rightarrow$ Visuelle Schlussfolgerung), die das vereinigte Training konsistent übertrifft. Eine Umkehrung dieser Reihenfolge (Training der Schlussfolgerung vor der Wahrnehmung) verschlechtert die Leistung.
RLVR für Wahrnehmung: Die Arbeit zeigt, dass RLVR dem bildunterschriftsbasierten SFT für das Training der visuellen Wahrnehmung überlegen ist und ein stärkeres Trainingssignal liefert, das Halluzinationen reduziert.
Effizienzgewinne: Mit diesem Ansatz trainierte Modelle erreichen eine höhere Genauigkeit mit signifikant kürzeren Schlussfolgerungsspuren (20,8 % kürzer), was darauf hindeutet, dass eine präzise Wahrnehmung den Bedarf an übermäßigem „Denken" zur Korrektur anfänglicher Fehler reduziert.
Neue Curriculum-Dimension: Die Arbeit führt das „Capability-Dimension Curriculum Learning" als ergänzenden Ansatz zu Schwierigkeits-basierten Curricula ein und zeigt, dass die Kombination beider Dimensionen weitere Verbesserungen erzielt.

4. Experimentelle Ergebnisse

Experimente wurden an den Backbones Qwen2.5-VL-7B und Qwen3-VL-8B durchgeführt und verglichen gestuftes Training mit vereinigt trainierten Modellen sowie verschiedenen Open-Weight-Baselines (z. B. OneThinker, GThinker).

Leistungssteigerungen:
- Visuelle Mathematik: Gestuftes Training verbesserte die WeMath-Genauigkeit um 5,2 % (Qwen2.5-VL-7B) und 1,5 % (Qwen3-VL-8B) gegenüber vereinigt trainierten Modellen. Auf MathVista erreichte das gestufte Qwen3-VL-8B 75,9 %.
- Wahrnehmung: Der Ansatz verbesserte die RealWorldQA-Genauigkeit um 3,7 % (Qwen3-VL-8B) und behielt eine hohe Leistung auf A-OKVQA und POPE bei, wodurch die bei reinem Schlussfolgerungstraining oft auftretende „wahrnehmungsbedingte Steuer" vermieden wurde.
- Gesamt: Das gestufte Qwen3-VL-8B erreichte einen Rekord-Gesamtdurchschnitt von 65,8 % und übertraf dabei das Basismodell sowie das auf Schlussfolgerung spezialisierte OneThinker-8B.
Effizienz: Gestufte Modelle erzeugten Schlussfolgerungsspuren, die 20,8 % kürzer waren als die von vereinigt trainierten Modellen, bei gleichzeitig höherer Genauigkeit.
Fehleranalyse: Unter Verwendung eines externen Judges (Claude-Haiku-4.5) stellten die Autoren fest, dass gestuftes Training die Rate von Wahrnehmungsfehlern in Schlussfolgerungsspuren im Vergleich zum vereinigten Training von 857 auf 781 (bei 3044 Stichproben) reduzierte.
Generalisierung: Die Vorteile des gestuften Trainings wurden über verschiedene Architekturen hinweg bestätigt, einschließlich InternVL3-8B und InternVL3.5-8B.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass der dominierende limitierende Faktor für visuelle Schlussfolgerung in aktuellen VLMs die visuelle Wahrnehmung und nicht die Schlussfolgerungsfähigkeit an sich ist. Folglich kann „längeres Denken" eine falsche Wahrnehmung nicht kompensieren.

Die Bedeutung dieser Arbeit liegt in:

Paradigmenwechsel: Weg vom vereinigten Training hin zu einem fähigkeitsentkoppelten, gestuften Ansatz.
Methodische Einsicht: Der Nachweis, dass die Reihenfolge des Trainings wichtig ist; die Wahrnehmung muss das Gerüst für die Schlussfolgerung bilden.
Trainings-Effizienz: Der Nachweis, dass eine bessere Wahrnehmung zu effizienterer Schlussfolgerung (kürzere Spuren) führt und damit Rechenkosten senkt.
Curriculum-Design: Die Etablierung der fähigkeitsbasierten Staffelung als neue, orthogonale Dimension zu Schwierigkeits-basierten Curricula, die für additive Gewinne kombiniert werden können.

Die Autoren schließen, dass die Integration spezialisierter Wahrnehmungsdaten mit einem gestuften Trainingsparadigma unerlässlich ist, um fortschrittliche, allgemeinzwecktaugliche VLMs zu entwickeln, die komplexe visuelle Aufgaben zuverlässig lösen können.