💬 NLP

UniVLR: Unifying Text and Vision in Visual Latent Reasoning for Multimodal LLMs

UniVLR führt ein einheitliches Framework für visuelles latentes Schlussfolgern für multimodale LLMs ein, das textuelle Schlussfolgerungsspuren und visuelle Evidenz in kompakte visuelle Token komprimiert und damit eine effiziente, textfreie Inferenz ermöglicht, die bestehende interleaved-Ansätze übertrifft.

Ursprüngliche Autoren: Houcheng Jiang, Jiajun Fu, Junfeng Fang, Chen Gao, Xiang Wang, Xiangnan He, Yong Li

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Houcheng Jiang, Jiajun Fu, Junfeng Fang, Chen Gao, Xiang Wang, Xiangnan He, Yong Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „unordentliche Schreibtisch" des KI-Denkens

Stellen Sie sich vor, Sie versuchen, ein komplexes Puzzle zu lösen, wie etwa eine knifflige Matheaufgabe mit einem Diagramm oder einer hochauflösenden Karte.

Aktuelle KI-Modelle (Multimodale Large Language Models) versuchen dies, indem sie mit sich selbst sprechen. Sie schauen sich das Bild an, schreiben einen Gedankensatz, schauen sich das Bild erneut an, schreiben einen weiteren Satz und so weiter.

Die Analogie: Es ist, als würde man versuchen, ein Puzzle zu lösen, während man ständig zwischen einem Notizbuch (Text) und einer Tafel (Bilder) hin- und herwechselt. Man schreibt eine Notiz, schaut auf die Tafel, schreibt eine weitere Notiz, schaut wieder hin.
Das Problem: Das ist langsam und chaotisch. Die KI verbringt viel Zeit damit, lange Sätze des „Denkens" aufzuschreiben, die sie eigentlich gar nicht zurücklesen muss. Es ist, als würde man einen schweren Rucksack voller Notizen tragen, obwohl man nur ein paar schnelle Skizzen benötigt hätte.

Die Lösung: UniVLR (Der „vereinheitlichte Skizzenblock")

Die Forscher hinter UniVLR stellten eine einfache Frage: Warum müssen wir die Gedanken überhaupt in Worten aufschreiben? Können wir nicht einfach in Bildern denken?

Sie entwickelten ein neues System, bei dem die KI keine Sätze schreibt, um zu denken. Stattdessen zeichnet sie eine einzelne, vereinheitlichte Skizze, die sowohl das Problem als auch die Lösungsschritte enthält.

Wie es funktioniert (Die kreative Analogie)

Stellen Sie sich vor, die KI hat einen digitalen Skizzenblock.

Alte Methode (Verflochten): Die KI schaut sich ein Diagramm an, schreibt „Schritt 1: Schau dir den roten Balken an", und zeichnet dann den Balken. Dann schreibt sie „Schritt 2: Vergleiche mit dem blauen Balken" und zeichnet den blauen Balken. Sie wechselt ständig zwischen dem Schreiben von Text und dem Zeichnen.
UniVLR-Methode (Vereinheitlicht): Die KI nimmt das Diagramm, die Textanweisungen und die „Gedanken" darüber, wonach sie suchen soll, und fügt sie alle zu einem einzigen Bild zusammen.
- Sie verwandelt die Textgedanken in ein visuelles Diagramm (wie einen Flussdiagramm oder ein hervorgehobenes Bild).
- Sie kombiniert dies mit dem Originalbild.
- Jetzt hat die KI ein Masterbild, das alle Informationen enthält.

Der „magische" Schritt: Komprimierung der Skizze

Sobald die KI dieses „Masterbild" hat (das das Originalfoto + die Textgedanken + die Anmerkungen enthält), muss sie das gesamte Bild nicht mehr behalten.

Die Komprimierung: Die KI lernt, dieses gesamte „Masterbild" zu einem winzigen, unsichtbaren mentalen Schnappschuss zu verkleinern.
Die Metapher: Stellen Sie sich vor, Sie nehmen ein 100-seitiges Comicbuch, lesen es und falten es dann so lange zusammen, bis es in eine einzige Zigarettenbox passt.
Das Ergebnis: Die KI hält diese „Zigarettenbox" (ein visueller latenter Token) in ihrem Geist. Sie muss nicht die 100 Seiten Text ausschreiben. Sie hält einfach die komprimierte „Zigarettenbox" des gesamten Denkprozesses.

Warum ist das besser?

Das Papier behauptet, diese neue Methode sei aus drei Gründen ein riesiger Fortschritt:

Es ist schneller (Effizienz):
- Alte Methode: Die KI muss hunderte von Wörtern Text generieren, um ihr Denken zu erklären.
- UniVLR-Methode: Die KI generiert eine winzige, unsichtbare „Zigarettenbox" (etwa 12 Tokens) anstelle von hunderten Wörtern. Es ist wie das Senden einer Textnachricht im Vergleich zum Schreiben eines Romans, um denselben Punkt zu vermitteln.
- Ergebnis: Die KI löst Probleme 15-mal schneller in Bezug auf die Anzahl der „Schritte", die sie zum Denken benötigt.
Es fokussiert besser (Aufmerksamkeit):
- Alte Methode: Da die KI zwischen Text und Bildern hin- und herwechselt, vergisst sie manchmal, auf die wichtigen Teile des Bildes zu schauen, während sie damit beschäftigt ist, Text zu schreiben.
- UniVLR-Methode: Da alles auf einer einzigen „Leinwand" ist, ist die Aufmerksamkeit der KI wie ein Scheinwerfer, der fest auf das gesamte Bild gerichtet bleibt. Sie wird nicht durch das Wechseln der Kanäle abgelenkt.
Es ist intelligenter (Genauigkeit):
- Obwohl es weniger „Schritte" (Tokens) verwendet, zeigt das Papier, dass UniVLR bei schwierigen visuellen Denkaufgaben (wie dem Lesen komplexer Diagramme oder dem Finden von Details in hochauflösenden Fotos) tatsächlich bessere Ergebnisse erzielt als die alten Methoden, die lange Textketten schreiben.

Der Trainingsprozess (Wie sie die KI unterrichteten)

Die Forscher sagten der KI nicht einfach, sie solle aufhören zu schreiben; sie lehrten sie zuerst, in Bildern zu denken.

Stufe 1: Sie zeigten der KI Bilder und lehrten sie, „mentale Schnappschüsse" (latente Tokens) zu generieren, die dem Bild entsprechen.
Stufe 2: Sie nahmen die geschriebenen Gedanken der KI, verwandelten sie in Bilder (wie einen Screenshot des Textes) und kombinierten sie mit dem Originalbild. Dann lehrten sie die KI, dieses kombinierte Bild in einen mentalen Schnappschuss zu komprimieren.
Der Gewinn: Wenn die KI nun ein neues Problem sieht, überspringt sie den Schreibteil vollständig. Sie erstellt einfach den mentalen Schnappschuss, denkt einen Moment nach und gibt dann die endgültige Antwort aus.

Zusammenfassung

UniVLR ist wie das Unterrichten einer KI darin, aufhören zu lernen, Notizen in einem Tagebuch zu machen, und stattdessen in mentalen Schnappschüssen zu denken.

Früher: „Schau dir die rote Linie an. Schreibe 'Die rote Linie ist hoch'. Schau dir die blaue Linie an. Schreibe 'Die blaue Linie ist niedrig'..." (Langsam, wortreich).
UniVLR: „Sieh das gesamte Diagramm mit den hervorgehobenen roten und blauen Linien im Auge meines Geistes. Ich habe es verstanden." (Schnell, effizient und genau).

Das Papier beweist, dass durch die Vereinheitlichung von Text und Vision in einem einzigen visuellen „Arbeitsbereich" die KI schneller und effektiver denken kann, ohne lange Erklärungen an sich selbst ausschreiben zu müssen.

Technische Zusammenfassung: UniVLR

Problemstellung

Multimodale Large Language Models (MLLMs) werden zunehmend erwartet, „mit Bildern zu denken", insbesondere in wahrnehmungsintensiven Szenarien wie der Lösung geometrischer Probleme und dem Verständnis hochauflösender visueller Inhalte. Aktuelle Ansätze für visuelles Reasoning fallen im Allgemeinen in zwei Kategorien, die beide Einschränkungen aufweisen:

Tool-basiertes visuelles Reasoning: Diese Methoden verknüpfen expliziten textuellen Chain-of-Thought (CoT) mit extern generierten Hilfsbildern (z. B. Ausschnitte, Skizzen). Obwohl effektiv, leidet dieses Paradigma unter der Starrheit vordefinierter Tools, Latenz durch externe Aufrufe und Instabilität bei generierten Bildern.
Bestehendes visuelles latentes Reasoning: Um externe Tools zu vermeiden, generieren neuere Methoden latente visuelle Tokens autoregressiv. Die meisten bestehenden Methoden übernehmen jedoch weiterhin ein interleaved Design, das expliziten textuellen CoT mit latenten visuellen Tokens abwechseln lässt. Die Autoren identifizieren zwei kritische Mängel in diesem Design:
- Ineffizienz: Das interleaved Paradigma erfordert immer noch vollständige explizite Textsegmente zwischen visuellen latenten Schritten und reduziert die Generierungskosten im Vergleich zum standardmäßigen textbasierten CoT nicht substantiell.
- Fragmentierte Aufmerksamkeit: Da Text und latente Tokens in heterogener Form auftreten, verlassen sich Modelle oft auf nahegelegene Text-Tokens, während sie versagen, konsistent auf frühere Hilfsbilder zu achten. Analysen zeigen, dass nachfolgende CoT-Tokens eine spärliche und diffuse Aufmerksamkeit gegenüber Hilfsbildern aufweisen, was bedeutet, dass das visuelle Beweismaterial nicht vollständig in den Reasoning-Prozess integriert wird.

Die zentrale Frage lautet, ob expliziter textlicher CoT als separater Reasoning-Kanal bestehen bleiben muss oder ob er innerhalb eines gemeinsamen wahrnehmungsbezogenen Arbeitsraums zusammen mit Hilfsbildern visualisiert und organisiert werden kann.

Methodik: UniVLR

Die Autoren schlagen UniVLR (Unified Visual Latent Reasoning) vor, ein Framework, das textuelles Reasoning und visuelle Hilfsbeweise als gemeinsamen visuellen Arbeitsraum behandelt. Anstatt textuellen CoT als unabhängigen Pfad zur Inferenzzeit zu bewahren, rendert UniVLR Reasoning-Spuren und Hilfsbilder in eine einheitliche visuelle Leinwand, komprimiert diese Darstellung in kompakte visuelle latente Tokens und führt das Reasoning zur Inferenzzeit ausschließlich durch diese Latenzen durch.

1. Rendering der einheitlichen visuellen Leinwand

UniVLR wandelt heterogene Reasoning-Spuren mithilfe einer Rendering-Funktion $\Phi(\cdot)$ in eine einzige visuelle Darstellung um:

Konstruktion: Für eine Trainingsinstanz mit textuellem Reasoning $R$ und Hilfsbildern $U komponiert die Funktion diese zu einer einheitlichen Leinwand $c = \Phi(R, U)$ .
Adaptives Rendering: Das System wendet leichte Strategien an, um Kompaktheit und Lesbarkeit zu gewährleisten. Text wird mit adaptiven Schriftgrößen und Umbrüchen gerendert, während Hilfsbilder vergrößert und mit visuellen Hinweisen (z. B. Boxen, Pfeile) hervorgehoben werden.
Ziel-Extraktion: Die einheitliche Leinwand wird vom Vision-Encoder des Basis-MLLM verarbeitet, um eine 2D-Feature-Karte zu extrahieren. Diese Karte wird dann adaptiv gepoolt (unter Verwendung von aspektbewusstem 2D-Pooling) in eine festgelegte Sequenz latenter Ziele $\tilde{Z} = [\tilde{z}_1, \dots, \tilde{z}_K]$ .

2. Zwei-Stufen-Latenz-Ausrichtung

Das Modell wird durch ein zweistufiges Curriculum trainiert, um seine internen Zustände mit diesen einheitlichen visuellen Darstellungen auszurichten:

Stufe I: Visuelle Latenz-Grounding: Das Modell wird trainiert, kontinuierliche latente Tokens autoregressiv zu generieren, wobei ausschließlich Hilfsbilder als Ausrichtungsziele dienen. Dies etabliert eine grundlegende kontinuierliche Reasoning-Schnittstelle zwischen dem MLLM und dem visuellen Embedding-Raum.
Stufe II: Text-Vision-einheitliche Ausrichtung: Das Modell wird mit den einheitlichen Leinwand-Zielen (die sowohl gerenderten Text als auch Hilfsbilder enthalten) feinabgestimmt. Diese Stufe lehrt das Modell, explizite Reasoning-Spuren und visuelle Beweise durch denselben latenten visuellen Kanal darzustellen.
Ziel: Das Trainingsziel kombiniert standardmäßiges Sprachmodellieren (für die endgültige Antwort und Kontroll-Tokens) mit einem normalisierten Regressionsverlust ( $L_{align}$ ), der vorhergesagte latente Tokens mit den Ziel-Visual-Embeddings ausrichtet. Der Verlust umfasst sowohl MSE- als auch Kosinus-Ähnlichkeitskomponenten.

3. Kontinuierliche autoregressive Inferenz

Zur Inferenzzeit werden die Rendering-Funktion, der Vision-Encoder und die Lehrer-Ziele verworfen. Das Modell arbeitet wie folgt:

Es erhält den ursprünglichen multimodalen Prompt $(Q, I)$ .
Beim Generieren des Tokens <|univlr_start|> wechselt es in den latenten Reasoning-Modus.
Es generiert autoregressiv $K$ kontinuierliche visuelle latente Tokens und speist jeden vorhergesagten Token als Eingabe für den nächsten Schritt zurück.
Beim Generieren von <|univlr_end|> wechselt es zurück zum diskreten Vokabular, um die endgültige natürliche Sprachantwort zu decodieren.
Entscheidend ist, dass während der Reasoning-Phase kein expliziter intermedier textlicher CoT generiert wird.

Hauptbeiträge

Einheitliches Paradigma: UniVLR führt ein Paradigma ein, bei dem textuelles Reasoning und visuelle Hilfsbeweise in einen einzigen visuellen latenten Kanal vereinheitlicht werden, wodurch die Notwendigkeit für interleaved Text- und Latent-Tokens entfällt.
Effizienz: Durch das Entfernen der expliziten Textgenerierung während des Reasonings reduziert UniVLR die Anzahl der generierten Tokens erheblich, während die Reasoning-Genauigkeit erhalten bleibt oder verbessert wird.
Verbesserte Aufmerksamkeit: Das einheitliche Design induziert eine dichtere und fokussiertere Aufmerksamkeit auf Hilfsbilder im Vergleich zu interleaved Designs, da das Modell alle Reasoning-Beweise durch denselben visuellen Pfad verarbeitet.
Zweistufiges Training: Das vorgeschlagene Curriculum (Grounding gefolgt von Vereinheitlichung) stabilisiert das Lernen des kontinuierlichen latenten Reasonings und verhindert den Zusammenbruch der Repräsentation.

Experimentelle Ergebnisse

Experimente wurden an realen Wahrnehmungs- und Reasoning-Benchmarks (V*, HRBench4K/8K, MME-RealWorld-Lite) mit Qwen2.5-VL-7B als Basismodell durchgeführt.

Leistung: UniVLR übertrifft frühere Methoden für visuelles latentes Reasoning (Monet, LVR, SkiLa, CoVT) und textbasierte Reasoning-Baselines. Im Durchschnitt verbessert es die Reasoning-Genauigkeit um 5,4 % im Vergleich zu den besten Baselines.
Effizienz: UniVLR erzielt diese Gewinne bei deutlich weniger generierten Tokens. Es reduziert die Anzahl der generierten Reasoning-Tokens um den Faktor 15,2 im Vergleich zu interleaved Methoden (unter Verwendung von nur 12 latenten Tokens gegenüber 190–270 Text-Tokens).
Analyse der latenten Repräsentation:
- Visuelles Grounding: Die Verteilungen der versteckten Zustände der latenten Tokens von UniVLR stimmen stärker mit Bild-Token-Repräsentationen als mit Text-Token-Repräsentationen überein, was bestätigt, dass das Modell einen visuell fundierten Kanal verwendet.
- Informationsgehalt: Perturbationsanalysen (Nullsetzen oder Hinzufügen von Rauschen zu latenten Zuständen) führen zu signifikanten Genauigkeitsabfällen, was beweist, dass die latenten Tokens taskspezifische Reasoning-Informationen tragen und keine bloßen Platzhalter sind.
Ablationsstudien:
- Rendering-Strategie: Vertikales Layout-Rendering und adaptives Umbrechen wurden als entscheidend für den Umgang mit komplexer Logik befunden.
- Datenfilterung: Eine strenge Filterung der Trainingsdaten (Entfernen von Stichproben, die ohne visuelles Reasoning lösbar sind, oder solcher mit verrauschten Zielen) war für ein stabiles Training der Stufe II unerlässlich.
- Teacher Forcing: Vollständiges latentes Teacher Forcing während des Trainings ergab bessere Ergebnisse als Scheduled Sampling, was darauf hindeutet, dass die Stabilisierung des latenten Mannigfaltigkeitsraums in diesem kontinuierlichen Setting wichtiger ist als die Reduzierung von Exposure Bias.
Generalisierung: UniVLR zeigt kein katastrophales Vergessen bei allgemeinen multimodalen Aufgaben (TextVQA, POPE, MME-Übersetzung) und verbessert tatsächlich die Leistung bei Objekthalluzinationen (POPE) und dem Verständnis textreicher Bilder (TextVQA).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass UniVLR visuelles latentes Reasoning in Richtung eines einheitlicheren und effizienteren Paradigmas für multimodales Denken vorantreibt. Durch den Nachweis, dass expliziter textlicher CoT in einen einheitlichen visuellen latenten Kanal aufgenommen werden kann, legt die Arbeit nahe, dass MLLMs komplexes, mehrstufiges Reasoning ohne den Overhead umständlicher Textgenerierung oder externer Tool-Aufrufe durchführen können.

Die Autoren betonen, dass die Methode, obwohl sie Effizienz und Leistung verbessert, mit Kompromissen einhergeht: Der latente Reasoning-Prozess ist weniger direkt überprüfbar als expliziter textlicher CoT, was das Debugging und die Prüfung potenziell erschwert. Darüber hinaus verlässt sich die Methode auf die OCR- und Layout-Verständnisfähigkeiten des Vision-Encoders. Die Arbeit positioniert UniVLR nicht als Ersatz für tool-basiertes Reasoning bei Aufgaben, die exakte Messungen oder exhaustive Suche erfordern, sondern als einen bedeutenden Schritt zur Internalisierung visueller Überlegungen innerhalb eines kompakten, einheitlichen latenten Raums.