💻 computer science

LaViT: Aligning Latent Visual Thoughts for Multi-modal Reasoning

Das Paper stellt LaViT vor, ein Framework, das die Wahrnehmungslücke in der multimodalen Destillation schließt, indem es latente visuelle Gedanken und Aufmerksamkeits-Trajektorien anstatt statischer Embeddings ausrichtet, was kompakten Modellen ermöglicht, eine überlegene visuelle Denkleistung zu erzielen, die mit größeren proprietären Systemen konkurriert.

Ursprüngliche Autoren: Linquan Wu, Tianxiang Jiang, Yifei Dong, Haoyu Yang, Fengji Zhang, Shichaang Meng, Ai Xuan, Linqi Song, Jacky Keung

Veröffentlicht 2026-08-12

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Linquan Wu, Tianxiang Jiang, Yifei Dong, Haoyu Yang, Fengji Zhang, Shichaang Meng, Ai Xuan, Linqi Song, Jacky Keung

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Rätsel zu lösen. In der Welt der Künstlichen Intelligenz gibt es eine besondere Art von Roboter, ein Multimodales Großes Sprachmodell (Multimodal Large Language Model, MLLM). Betrachten Sie diese als superintelligente Detektive, die gleichzeitig Hinweise (Text) lesen und Tatortfotos (Bilder) betrachten können. Lange Zeit waren diese Roboter großartig darin, zu beschreiben, was sie sahen, aber wenn es um das Schlussfolgern ging – also darum herauszufinden, war Warum etwas passierte oder ein kniffliges Rätsel zu lösen – blieben sie oft stecken. Sie betrachteten das Bild, hörten dann auf hinzusehen und raten einfach die Antwort basierend auf dem, was sie aus Büchern wussten. Es ist wie ein Detektiv, der einen schlammigen Fußabdruck sieht, dann aber aufhört hinzusehen und den Täter basierend auf einer Vorahnung errät.

Kürzlich entdeckten Wissenschaftler einen neuen Trick namens „latentes Schlussfolgern“ (latent reasoning). Anstatt jeden einzelnen Schritt ihres Denkens in Worten auszuschreiben (wie ein langer Tagebucheintrag), begannen diese Roboter, ihre Gedanken in unsichtbare, kontinuierliche „Flüstertöne“ in ihrem Gehirn zu komprimieren. Das ist schneller und effizienter. Aber der Haken dabei ist: Als Wissenschaftler versuchten, kleinere, günstigere Roboter dazu zu bringen, von größeren, intelligenteren zu lernen (ein Prozess, der als „Destillation“ bezeichnet wird), geschah etwas Seltsames. Die kleinen Roboter lernten zwar, die richtigen Worte zu sagen, aber sie sahen nicht die richtigen Teile des Bildes an. Sie imitierten lediglich die Stimme des Lehrers, ohne die visuellen Hinweise tatsächlich zu berücksichtieren. Es ist, als würde ein Schüler eine Prüfung bestehen, indem er den Lösungsschlüssel auswendig lernt, aber die Lektion nicht verstanden hat.

Der große „Sehen-aber-nicht-Beobachten“-Fehler

Die Forscher hinter LaViT bemerkten ein seltsames Phänomen, das sie die Perzeption-Lücke (Perception Gap) nennen. Stellen Sie sich vor, Sie haben einen Meisterkoch (das „Lehrer“-Modell) und einen jungen Lehrling (das „Schüler“-Modell). Der Lehrling beobachtet den Koch bei der Zubereitung eines komplexen Gerichts. Wenn man den Lehrling nur bittet, das Rezept aufzuschreiben, schreibt er die Wörter vielleicht perfekt auf: „Fügen Sie zwei Tassen Mehl hinzu, rühren Sie drei Minuten lang.“ Aber wenn man ihn bittet, es tatsächlich zu tun, schüttet er das Mehl vielleicht auf den Boden, weil er nie wirklich auf die Hände des Kochs geachtet hat; er hat nur den Text auswendig gelernt.

In der Welt der KI fanden die Forscher heraus, dass, wenn sie kleine Modelle darauf trainierten, die Antworten großer Modelle zu kopieren, die kleinen Modelle exzellent in der „Text-Mimikry“ wurden. Sie konnten die richtige Antwort produzieren, wie etwa „Punkt A ist näher“, aber ihr internes „Auge“ (die visuelle Aufmerksamkeit) blickte auf völlig andere, irrelevante Teile des Bildes. Sie verließen sich auf sprachliche Tricks – das Raten basierend auf gängigen Phrasen – anstatt tatsächlich die visuelle Evidenz zu beobachten. Es ist wie ein Schüler, der eine Prüfung besteht, indem er den Lösungsschlüssel auswendig lernt, aber die Lektion nicht versteht.

Die Lösung: LaViT (Latent Visual Thoughts)

Um dies zu beheben, entwickelte das Team LaViT, ein neues Trainings-Framework, das den Schüler-Roboter dazu zwingt, visuell zu „denken“, bevor er spricht. Anstatt nur die endgültige Antwort zu kopieren, lässt LaViT den Schüler zuerst eine Serie von unsichtbaren „Gedanken-Token“ generieren. Stellen Sie sich diese Token als eine mentale Skizze oder einen stillen internen Monolog vor, in dem der Roboter zu sich selbst sagt: „Okay, ich muss hier auf die Schatten achten und dort auf den Winkel, bevor ich entscheide, welcher Punkt näher liegt.“

Die Magie von LaViT liegt in zwei Haupttricks:

Abgleich des „inneren Auges“: Das System prüft nicht nur, ob die endgültige Antwort des Schülers mit der des Lehrers übereinstimmt. Es prüft den „Blick“ des Schülers. Es zwingt den Schüler, die visuelle Aufmerksamkeitskarte des Lehrers zu rekonstruieren – den spezifischen Pfad, den die Augen des Lehrers über das Bild genommen haben. Wenn der Lehrer auf den Schatten blickte, um die Tiefe zu bestimmen, muss auch der Schüler auf den Schatten blicken, selbst wenn der Schüler noch kein Wort gesagt hat.
Das „Sensorische Gating-Curriculum“: Dies ist der spielerischste Teil. Stellen Sie sich vor, Sie bringen jemandem das Fahrradfahren bei. Wenn Sie ihn sofort die Straße sehen lassen, gleitet er vielleicht einfach dahin und lernt nie das Gleichgewicht zu halten. Wenn Sie ihm die Augen vollständig verbinden, wird er stürzen. LaVi-T verwendet einen Mechanismus namens „Curriculum Sensory Gating“. Zu Beginn des Trainings blockiert es die direkte Sicht des Schülers auf das Bild teilweise. Es zwingt den Schüler, sich ganz auf diese unsichtbaren „Gedanken-Token“ zu verlassen, um Dinge zu verstehen. Während der Schüler besser wird, wird die „Augenbinde“ langsam gelöst, sodass er das Bild wieder sehen kann, aber nun hat er bereits gelernt, die visuellen Hinweise intern zu verarbeiten. Dies verhindert, dass der Roboter den „einfachen Weg“ wählt, indem er nur basierend auf dem Text rät.

Was sie herausfanden

Die Ergebnisse waren überraschend leistungsstark. Die Forscher testeten ihr neues 3-Milliarden-Parameter-Modell (welches relativ klein und kompakt ist) gegen viel größere Modelle und sogar gegen einige der fortschrittlichsten proprietären Modelle, die verfügbar sind.

Der „kleine Riese“: Ihr winziges 3B-Modell, das mit LaViT trainiert wurde, übertraf größere 7B-Modelle und schlug sogar das berühmte GPT-4o bei mehreren komplexen visuellen Denkaufgaben. Zum Beispiel erreichte LaViT bei einer Aufgabe namens „Relative Tiefe“ (festzustellen, welches Objekt näher liegt) 78,23 %, während GPT-4o 64,52 % erreichte.
Behebung der Halluzinationen: Die Studie zeigte, dass Modelle ohne diese Methode oft „halluzinieren“ (Dinge erfinden), wenn sie nicht genau genug hinsehen. LaViT reduzierte dies erheblich und verbesserte die Leistung bei feingliedrigen Wahrnehmungstests um bis zu +16,94 %.
Stabilität: Die Forscher fanden auch heraus, dass LaViT den Lehrer nicht nur kopierte, sondern tatsächlich stabiler wurde. Während das riesige Lehrer-Modell manchmal einen „wackeligen“ Blick hatte (bei ähnlichen Bildern leicht unterschiedliche Stellen betrachtete), lernte das LaViT-Schüler-Modell, mit laserartiger Präzision zu fokussieren, Hintergrundrauschen zu ignorieren und sich auf die entscheidenden Details zu konzentrieren.

Warum es wichtig ist

Dieses Paper legt nahe, dass das Geheimnis, KI intelligenter zu machen, nicht nur darin besteht, die Modelle größer zu machen oder ihnen mehr Daten zu füttern. Es geht darum, ihnen beizubringen, wie man hinsieht. Indem LaViT das Modell dazu zwingt, seine internen „visuellen Gedanken“ mit seinen endgültigen Worten abzugleichen, erschafft es ein Modell, das wirklich versteht, was es sieht, anstatt nur zu raten, was es sagen sollte. Es ist der Unterschied zwischen einem Roboter, der eine Karte auswendig lernt, und einem Roboter, der tatsächlich lernt, sich im Gelände zurechtzufinden. Die Autoren schlagen vor, dass dieser Ansatz ein effizienterer Weg sein könnte, um leistungsstarke KI zu bauen, und beweisen, dass ein kleineres, gut trainiertes Gehirn oft ein größeres, abgelenktes übertreffen kann.

Technisches Resümee: LaViT – Abgleich latenter visueller Gedanken für multimodale Argumentation

1. Problemstellung: Die Wahrnehmungslücke (Perception Gap)

Aktuelle multimodale Large Language Models (MLLMs) haben Fortschritte in ihren Argumentationsfähigkeiten gemacht, indem sie häufig explizite Chains of Thought (CoT) oder latente Argumentationsparadigmen nutzen. Bestehende Methoden zur Destillation der visuellen Argumentationsfähigkeiten von großen Lehrer-Modellen auf kompakte Schüler-Modelle leiden jedoch unter einer kritischen Einschränkung, die von den Autoren als Perception Gap (Wahrnehmungslücke) identifiziert wurde.

Eine empirische Analyse zeigt, dass Standardmethoden der Wissensdestillation, die primär die finalen textuellen Ausgaben oder statischen Hidden States abgleichen, nicht in der Lage sind, die intrinsische visuelle Aufmerksamkeitsdynamik des Lehrers zu übertragen. Die Autoren beobachten Folgendes:

Textuelle Mimikry ohne visuelle Erdung: Schüler-Modelle können die textuellen Antworten eines Lehrers erfolgreich reproduzieren (lernen, was gesagt werden soll), während sie auf grundlegend unterschiedliche, oft irrelevante visuelle Regionen achten (scheitern daran zu lernen, wohin man schauen muss).
Abhängigkeit von Sprach-Priors: Wenn die visuelle Aufmerksamkeit nicht abgeglichen ist, verlassen sich die Modelle auf sprachliche Vorannahmen (Language Priors), um Antworten „blind zu raten“, was zu Halluzinationen oder unzuverlässigen Antworten bei komplexen visuellen Aufgaben führt.
Ineffektivität statischer Ausrichtung: Der Abgleich statischer visueller Embeddings oder finaler Verteilungen ist unzureichend, da er die dynamische Trajektorie der visuellen Aufmerksamkeit ignoriert, die für eine feingliedrige Argumentation erforderlich ist.

Das Kernproblem besteht darin, dass bestehende Destillationsframeworks den Schüler nicht dazu zwingen, die internen „visuellen Gedanken“ (Semantik und Blickverlauf/Gaze Trajectories) des Lehrers zu rekonstruieren, bevor eine Antwort generiert wird.

2. Methodik: Das LaViT-Framework

Um die Wahrnehmungslücke zu schließen, schlagen die Autoren LaViT (Latent Visual Thoughts) vor, ein Destillationsframework, das darauf ausgelegt ist, latente visuelle Gedanken anstatt statischer Embeddings abzugleichen. Die Methodik besteht aus drei primären Komponenten:

A. Datenerstellung: LaViT-SFT-15K

Die Autoren konstruierten einen hochwertigen Datensatz mit 14.567 Stichproben (LaViT-SFT-15K), der aus dem Visual-CoT-Datensatz abgeleitet wurde. Die Daten durchlaufen eine strenge dreistufige Filterpipeline:

Korrektheit: Die Stichproben werden verifiziert, um sicherzustellen, dass die Argumentation des Lehrers zur Grundwahrheit (Ground-Truth) führt.
Schwierigkeit: Stichproben, die auch durch rein textbasierte Modelle lösbar sind, werden entfernt, um sicherzustellen, dass echte multimodale Argumentation erforderlich ist.
Ausrichtung: Stichproben, bei denen die aggregierte Aufmerksamkeitsmasse des Lehrers weniger als 20 % innerhalb der Ground-Truth-Bounding-Box liegt, werden abgelehnt, um nicht-visuell geerdete Halluzinationen auszuschließen.

Der Datensatz enthält zwei White-Box-Signale, die aus dem Lehrer (Qwen2.5-VL-32B) extrahiert wurden:

Dynamischer visueller Blickverlauf ( $A_{traj}$ ): Die über Layer und Köpfe aggregierte Aufmerksamkeits-Trajektorie, die repräsentiert, wohin das Modell schaut.
Visuelle Semantik ( $V_{sem}$ ): Kontextualisierte visuelle Gedanken, die aus dem letzten Transformer-Layer des Lehrers abgeleitet wurden und repräsentieren, was das Modell über den visuellen Inhalt in Bezug auf die Anfrage versteht.

B. White-Box Trajectory Distillation

LaViT führt einen Mechanismus namens Latent Teacher Forcing ein. Anstatt Inputs direkt auf Text abzubilden, wird das Schüler-Modell darauf trainiert, autoregressiv eine Sequenz von $K$ kontinuierlichen latenten Tokens ( $V$ ) zu generieren, bevor die textuelle Antwort ausgegeben wird. Diese latenten Tokens fungieren als „Container für visuelle Informationen“, die die hochdimensionale visuelle Semantik und die Blickmuster des Lehrers komprimieren müssen.

Die Optimierung umfasst ein duales Destillationsschema:

Semantische Rekonstruktion ( $L_{concept}$ ): Gleicht die latenten Hidden States des Schülers mit den ganzheitlichen visuellen Konzepten des Lehrers ( $V_{sem}$ ) mittels Kosinus-Ähnlichkeit ab.
Trajektorien-Abgleich ( $L_{traj}$ ): Verwendet die Kullback-Leibler-Divergenz (KL-Divergenz), um die Aufmerksamkeitskarte des Schülers mit der Aufmerksamkeits-Trajektorie des Lehrers ( $A_{traj}$ ) abzugleichen. Entscheidend ist, dass diese Überwachung nur auf den finalen latenten Token angewendet wird, wodurch die vorangehenden Tokens gezwungen werden, als Kompressions-Bottleneck zu fungieren.

C. Curriculum Sensory Gating

Um „Shortcut Learning“ zu verhindern – also das Phänomen, bei dem das Modell den latenten Bottleneck umgeht, indem es direkt auf Bild-Patches achtet – führen die Autoren Curriculum Sensory Gating ein. Dieser Mechanismus moduliert den direkten visuellen Wahrnehmungspfad über einen zeitabhängigen Skalar $\gamma(t)$ :

Phase 1 (Sensory Warm-up): Der direkte visuelle Pfad wird stark eingeschränkt (nahezu Null-Aufmerksamkeits-Bias), was einen strikten latenten Bottleneck schafft. Das Modell wird mathematisch dazu gezwungen, die notwendigen visuellen Informationen in die latenten Tokens $V$ zu komprimieren.
Phase 2 (Fully Observable): Das Gate öffnet sich schrittweise und erlaubt dem Modell, auf feingliedrige Pixeldetails als Residualverbindung zuzugreifen, was die Inferenz-Topologie widerspiegelt und Distribution-Shifts zwischen Training und Inferenz verhindert.

3. Zentrale Beiträge

Identifizierung der Wahrnehmungslücke: Die Arbeit liefert empirische Belege dafür, dass die textuelle Ausrichtung in der Destillation keine Garantie für visuelles Verständnis ist, und hebt die Divergenz in den Aufmerksamkeits-Trajektorien zwischen Lehrern und Schülern hervor.
Abgleich latenter visueller Gedanken: LaViT schlägt ein neuartiges Framework vor, das kontinuierliche latente Tokens abgleicht, welche die visuelle Semantik und den Blickverlauf repräsentieren, anstatt lediglich statische Embeddings.
Curriculum Sensory Gating: Eine neuartige Trainingsstrategie, die früh im Training einen latenten Bottleneck erzwingt, um Shortcut Learning zu verhindern und sicherzustellen, dass das Modell auf internalisierter visueller Argumentation basiert.
Dateneffizienz und Qualität: Die Konstruktion von LaViT-SFT-15K, ein streng gefilterter Datensatz, der eine hochgradig getreue visuelle Erdung gewährleistet und zeigt, dass latente Argumentation mit der Vielfalt der Daten effizient skaliert.

4. Experimentelle Ergebnisse

Umfangreiche Experimente wurden auf diversen Benchmarks durchgeführt, darunter feingliedrige Wahrnehmung (MMVP, V*), komplexe Argumentation (BLINK) und Robustheit (MMStar).

Leistungssteigerungen: Das LaViT-3B-Modell erzielt signifikante Verbesserungen gegenüber dem Qwen2.5-VL-3B-Baseline, mit Gewinnen von +5,0 % bei MMVP und +16,9 % bei Relative Depth (BLINK).
Wettbewerbsfähigkeit über Skalen hinweg: Trotz der Kompaktheit als 3B-Modell übertrifft LaViT größere Open-Source-Varianten (z. B. Qwen2.5-VL-7B) in fünf von sieben Benchmarks und konkurriert mit oder übertrifft proprietäre Modelle wie GPT-4o in spezifischen Aufgaben (z. B. Relative Depth: 78,23 % vs. 64,52 %).
Aufmerksamkeitsdynamik: Die Analyse zeigt, dass LaViT die Aufmerksamkeitsentropie signifikant reduziert und das Modell von einem „diffusen“ Beobachtungsmodus in einen „fokussierten“ Argumentationsmodus überführt. Es erreicht zudem eine höhere Stabilität (niedrigerer Variationskoeffizient) als das Lehrer-Modell, indem es durch Top-N-Sparsifizierung die Aufmerksamkeits-Rauschsignale herausfiltert.
Ablationsstudien: Das Entfernen einer der Kernkomponenten (Trajektorien-Abgleich, semantische Rekonstruktion oder Curriculum Gating) führt zu einer signifikanten Leistungsverschlechterung, was die Notwendigkeit des vollständigen Frameworks bestätigt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Optimierung des latenten Denkens eine parametereffizientere Strategie ist als die bloße Skalierung der Modellgröße. Durch den expliziten Abgleich der „visuellen Gedanken“ (Semantik und Blickverlauf) eines Schülers mit einem Lehrer ermöglicht LaViT kompakten Modellen Argumentationsfähigkeiten, die mit wesentlich größeren Modellen und proprietären Systemen vergleichbar sind.

Die Autoren betonen, dass ihr Ansatz das fundamentale Problem des „blinden Ratens“ in der multimodalen Argumentation adressiert. Indem das Modell gezwungen wird, visuelle Beweise zu rekonstruieren, bevor es Text generiert, stellt LaViT sicher, dass die Leistungssteigerungen auf echtem visuellem Verständnis und nicht auf sprachlichen Vorannahmen beruhen. Die Arbeit legt nahe, dass zukünftige Fortschritte in MLLMs auf den Abgleich interner kognitiver Zustände und Aufmerksamkeitsdynamiken fokussiert sein sollten, anstatt lediglich die Output-Verteilung anzugleichen.