💻 computer science

Self-Consistent Latent Reasoning: Long Latent Sequence Reasoning for Vision-Language Model

Das Papier stellt SCOLAR vor, ein neuartiges Framework, das den „Information Gain Collapse" überwindet, der bestehende Methoden für latentes visuelles Reasoning begrenzt, indem es einen leichten Detransformer zur Generierung unabhängiger, selbstkonsistenter visueller Tokens verwendet, wodurch deutlich längere Reasoning-Ketten ermöglicht und auf realen Benchmarks State-of-the-Art-Leistung erzielt wird.

Ursprüngliche Autoren: Chenfeng Wang, Wei He, Xuhan Zhu, Chunpeng Zhou, Qizhen Li, Song Yan, Yufei Zheng, Chengjun Yu, Fan Lu, Wei Zhai, Yang Cao, Pengfei Yu, Zheng-Jun Zha

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chenfeng Wang, Wei He, Xuhan Zhu, Chunpeng Zhou, Qizhen Li, Song Yan, Yufei Zheng, Chengjun Yu, Fan Lu, Wei Zhai, Yang Cao, Pengfei Yu, Zheng-Jun Zha

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes Puzzle zu lösen, wie etwa eine mathematische Aufgabe, die eine geometrische Form beinhaltet. Sie haben ein Bild der Form und müssen darüber „nachdenken", um die Antwort zu finden.

In der Welt der Künstlichen Intelligenz (KI) gibt es eine beliebte Idee namens „Chain of Thought" (Gedankenkette). Es ist, als würde man der KI ein Notizbuch geben, um ihre DenkSchritte vor der Antwort aufzuschreiben. Für textbasierte KI führt das Schreiben von mehr Schritten normalerweise zu besseren Antworten. Es ist, als würde man sagen: „Je mehr ich darüber nachdenke, desto klüger werde ich."

Forscher versuchten, diese gleiche Idee auf Vision-Language-Modelle (KI, die Bilder sieht) anzuwenden. Sie wollten, dass die KI „latente Gedanken" – unsichtbare, interne Notizen über das Bild – aufschreibt, bevor sie antwortet. Sie gingen davon aus, dass die KI, wenn sie eine längere Liste dieser unsichtbaren Notizen schreibt, besser darin wird, visuelle Rätsel zu lösen.

Das überraschende Problem: Der „Flüster-Ketten"-Effekt
Die Forscher entdeckten etwas Seltsames und kontraintuitives. Wenn diese KI-Modelle versuchten, lange Listen unsichtbarer Notizen über ein Bild zu schreiben, wurden sie tatsächlich dümmer.

Stellen Sie sich ein Spiel „Stille Post" (oder „Flüstern durch die Gasse") vor.

Der alte Weg: Die KI schreibt Notiz #1. Dann liest sie Notiz #1, um Notiz #2 zu schreiben. Dann liest sie Notiz #2, um Notiz #3 zu schreiben.
Das Ergebnis: Bis die KI bei Notiz #50 ankommt, sind die ursprünglichen Details des Bildes verunstaltet und vergessen. Es ist, als würde die erste Person im Stille-Post-Spiel „Die Katze ist blau" flüstern, und bei der 50. Person sagen sie „Die Katze ist eine Blaubeere". Die Information kollabiert. Je länger die Kette, desto mehr vergisst die KI, worauf sie tatsächlich schaut.

Der Artikel nennt dies „Information Gain Collapse" (Kollaps des Informationsgewinns). Die KI hört auf, Neues über das Bild zu lernen, und beginnt einfach, dieselben verwirrten, verschwommenen Ideen immer wieder zu wiederholen.

Die Lösung: SCOLAR (Der „Snapshot"-Ansatz)
Das von Chenfeng Wang und seinem Team geleitete Forscherteam entwickelte ein neues System namens SCOLAR, um dies zu beheben.

Anstatt dass die KI sich in einer langen Kette Notizen zuflüstert, verwendet SCOLAR ein spezielles Werkzeug namens „Detransformer". Stellen Sie sich dieses Werkzeug als Fotografen mit einer superschnellen Kamera vor.

Der alte Weg (Autoregressiv): Die KI schaut sich das Bild an, schreibt eine Notiz, schaut sich die Notiz an, schreibt eine weitere Notiz, schaut sich diese Notiz an ... und verliert langsam das Bild aus den Augen.
Der SCOLAR-Weg (Single-Shot): Die KI schaut sich das Bild und die Frage an. Sie macht eine Pause. Dann schnappt der „Detransformer" sofort einen vollständigen Satz hochwertiger mentaler Schnappschüsse des Bildes auf einmal.

Wie es in einfachen Worten funktioniert:

Unabhängigkeit: Jedes einzelne „Gedanken-Token" (Notiz), das SCOLAR erstellt, ist direkt am ursprünglichen, scharfen Bild verankert. Sie sind nicht darauf angewiesen, dass die vorherige Notiz existiert. Notiz #100 ist genauso klar und mit dem Originalfoto verbunden wie Notiz #1.
Kein Verfall: Da alle in einem „Schuss" aus dem vollständigen Kontext generiert werden, verblasst die Information nicht. Die KI kann eine Kette von 1.000 Notizen haben, und jede einzelne hält immer noch ein klares Stück des visuellen Puzzles fest.

Das Training: Die KI beibringen, „visuell zu denken"
Um dies zu ermöglichen, unterrichtete das Team die KI in drei Phasen:

Lernen zu Sehen: Sie lehrten den Detransformer, wie er die internen Gedanken der KI zurück in klare visuelle Merkmale verwandeln kann (wie ein Übersetzer, der lernt, die Sprache der Bilder zu sprechen).
Lernen, wann man aufhört: Sie lehrten die KI zu erkennen, wann sie diese zusätzlichen visuellen Notizen aufnehmen muss. Sie lernt zu sagen: „Ich muss mir dieses Dreieck genauer ansehen", und löst das Snapshot-Werkzeug aus.
Verstärkung: Sie verwendeten ein Belohnungssystem (wie eine Video-Spiel-Punktzahl), um die KI zu ermutigen, diese visuellen Notizen nur dann zu verwenden, wenn sie tatsächlich zur Lösung des Problems beitragen, und sie zu ignorieren, wenn sie nicht benötigt werden.

Die Ergebnisse
Der Artikel behauptet, dass SCOLAR ein enormer Erfolg ist:

Skalierbarkeit: Während andere Methoden nach etwa 10 Notizen versagen, kann SCOLAR 30-mal mehr (bis zu 1.000 Notizen) bewältigen und wird tatsächlich besser, je länger die Kette wird.
Leistung: Es schlug andere Open-Source-Modelle bei realen Reasoning-Tests (wie dem Verständnis komplexer Diagramme oder realer Szenen) mit einem deutlichen Vorsprung.
Die Giganten schlagen: Bei einem spezifischen Test (V*Bench) erzielte SCOLAR (ein Modell mit 7 Milliarden Parametern) 83,77 % und schlug das berühmte Closed-Source-Modell GPT-4o (das 67,50 % erreichte).

In Kürze
Der Artikel argumentiert, dass der Versuch, KI dazu zu bringen, über Bilder nachzudenken, indem man einen Stab durch eine lange Reihe von Flüstern weiterreicht, nicht funktioniert, weil die Botschaft verloren geht. Stattdessen gibt SCOLAR der KI einen Stapel frischer, hochwertiger Fotos ihrer eigenen Gedanken auf einmal. Dies ermöglicht der KI, so tief und so lange zu denken, wie sie möchte, ohne jemals den Blick auf das Originalbild zu verlieren.

Technische Zusammenfassung: Selbstkonsistentes Latentes Reasoning (SCOLAR)

1. Problemstellung

Während das „Compute-for-Performance"-Scaling bei Sprachmodellen gezeigt hat, dass längere Chains of Thought (CoT) die Reasoning-Fähigkeiten konsistent verbessern, hat die Anwendung dieses Prinzips auf Vision-Language-Modelle (VLMs) über latentes visuelles Reasoning zu kontraintuitiven Ergebnissen geführt. Bestehende Methoden, die während der Generierung intermediate latente visuelle Repräsentationen einführen, leiden unter einer systematischen Leistungsverschlechterung, sobald die Länge der latenten Sequenz zunimmt.

Die Arbeit identifiziert zwei Ursachen für dieses Phänomen, das als Information Gain Collapse bezeichnet wird:

Autoregressive Abhängigkeit: Beim traditionellen latenten Reasoning wird jedes Token basierend auf dem vorherigen generiert. Dies erzeugt eine Abhängigkeitskette, in der visuelle Informationen beim Propagieren unvermeidlich zerfallen, wodurch nachfolgende Tokens bestehende Informationen wiederholen, anstatt neuen semantischen Inhalt einzuführen.
Bedeutungslose Überwachungsziele: Viele bestehende Methoden verlassen sich stark auf gepoolte (z. B. $\ge 128\times$ ) Bild-Embeddings als Überwachungsziele. Die Autoren zeigen, dass diese gepoolten Merkmale als „bedeutungslose Platzhalter" fungieren, die kein stärkeres Signal als Rauschen liefern und kein effektives visuelles Reasoning steuern können.

Folglich werden längere latente Ketten bei aktuellen Methoden zu einer Last statt zu einem Vorteil, was die Skalierbarkeit des visuellen Reasonings begrenzt.

2. Methodik: SCOLAR

Um den Information Gain Collapse zu adressieren, schlagen die Autoren SCOLAR (Self-COnsistent LAtent Reasoning) vor. Die Kerninnovation ist ein Paradigmenwechsel von der autoregressiven latenten Generierung hin zu einem Single-Shot-, selbstkonsistenten Generierungsansatz.

Architektur

Aufbauend auf dem Standard-ViT–Projector–LLM-Framework führt SCOLAR einen leichten Detransformer-Zweig ein:

Eingabe: Der Detransformer nimmt die Hidden States der Vollsequenz ( $H$ ) des LLM (einschließlich Text-Reasoning und des Trigger-Tokens) als Eingabe.
Mechanismus: Anstatt latente Tokens nacheinander zu generieren, erzeugt der Detransformer eine gesamte Sequenz von auxiliary visuellen Tokens ( $A_0$ ) in einem einzelnen Forward-Pass.
Selbstkonsistenz: Jeder generierte auxiliary Token ist unabhängig im ursprünglichen visuellen semantischen Raum (Eingabeauflösung) verankert. Dies bricht die autoregressive Abhängigkeitskette und stellt sicher, dass jeder Token genuine, nicht-redundante visuelle Informationen einführt.
Fusion: Die auxiliary Tokens werden über gated residual Addition mit den originalen visuellen Tokens fusioniert ( $A = V + g(A_0)$ ), wobei ein Gating-Mechanismus die Editierstärke steuert.

Trainingspipeline

SCOLAR employs eine dreistufige Supervised Fine-Tuning (SFT)-Strategie, gefolgt von Reinforcement Learning (RL), um Verteilungsunterschiede zwischen Training (unter Verwendung von Ground-Truth-auxiliary-Bildern) und Inferenz (unter Verwendung von selbstgenerierten Latents) zu lösen:

Stufe 1: Detransformer-Pretraining: Der Detransformer wird trainiert, die Differenz zwischen dem Eingabebild und einem Ground-Truth-auxiliary-Bild ( $\Delta_{aux}$ ) unter Verwendung eines Rekonstruktionsverlusts zu rekonstruieren. Das LLM-Backbone wird in dieser Stufe eingefroren, um semantischen Kollaps zu verhindern.
Stufe 2: Trigger-Token-Lernen: Das Modell lernt autonom zu entscheiden, wann latentes Reasoning aktiviert werden soll. Dies wird durch gewichtete Next-Token-Prediction (NTP) erreicht, wobei dem <auxiliary>-Trigger-Token ein höherer Verlustgewicht auferlegt wird, um sicherzustellen, dass das Modell lernt, den Mechanismus bei Bedarf zu aktivieren.
Stufe 3: Joint Reasoning mit Teacher-Forcing-Annealing: Das Modell lernt, unter Verwendung seiner eigenen generierten auxiliary Tokens zu reasoning. Um den Verteilungsunterschied zu mildern, geht der Trainingsprozess schrittweise von der Verwendung von Ground-Truth-auxiliary-Merkmalen zu selbstgenerierten über (lineare Abnahme von 1,0 auf 0,0 Wahrscheinlichkeit).
ALPO (Auxiliary Latents Policy Optimization): Da auxiliary Embeddings kontinuierlich sind und nicht direkt über standardmäßige diskrete Token-Policy-Gradienten (wie GRPO) optimiert werden können, schlagen die Autoren ALPO vor. Diese Methode entkoppelt das kontinuierliche visuelle Reasoning von der diskreten Text-Policy. Während des Rollouts werden auxiliary Embeddings generiert und gecacht; während des Actor-Updates werden sie als fester Kontext injiziert, und der Policy-Gradient wird nur über die diskreten Text-Tokens berechnet. Eine spezifische Belohnungskomponente ( $r_{aux}$ ) fördert die korrekte Aktivierung des <auxiliary>-Triggers.

3. Hauptbeiträge

Identifikation des Information Gain Collapse: Die Arbeit diagnostiziert systematisch die Ursache der Leistungsverschlechterung bei bestehenden Methoden des latenten visuellen Reasonings und führt sie auf autoregressiven Informationszerfall und die Verwendung übermäßig gepoolter Überwachungsziele zurück.
SCOLAR-Framework: Ein neuartiges Single-Shot-Paradigma unter Verwendung eines leichten Detransformers, der auxiliary visuelle Tokens erzeugt, die unabhängig im ursprünglichen visuellen Raum verankert sind, was wirklich skalierbare Längen für latentes Reasoning ermöglicht.
Trainingsstrategie: Die Entwicklung einer dreistufigen SFT mit Teacher-Forcing-Annealing und des neuartigen ALPO-Algorithmus zur Bewältigung der einzigartigen Herausforderungen der Optimierung kontinuierlicher latenter Räume innerhalb eines diskreten Token-Policy-Rahmens.
Empirische Validierung: Umfangreiche Experimente zeigen, dass SCOLAR die akzeptable Länge des latenten CoT im Vergleich zu früheren Methoden um über 30 $\times$ erweitert und gleichzeitig die Leistung verbessert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SCOLAR (basierend auf dem Qwen2.5-VL-7B-Backbone) gegen state-of-the-art Open-Source-Modelle und proprietäre Systeme (GPT-4o, GPT-5.2) über mehrere Benchmarks:

Real-World-Reasoning: SCOLAR erzielte unter Open-Source-Modellen die beste Leistung.
- MME-RealWorld-Lite: +14,12 % Verbesserung gegenüber dem Backbone.
- V*Bench: Erreichte 83,77 % und übertraf GPT-4o (67,50 %) um mehr als 16 Prozentpunkte.
- HRBench4K/8K: Deutliche Gewinne bei feinabgestuften räumlichen Wahrnehmungsaufgaben.
Out-of-Distribution (OOD)-Generalisierung: Auf dem VisualPuzzles-Benchmark (der vollständig in den Trainingsdaten fehlte) zeigte SCOLAR eine starke Generalisierung, insbesondere bei räumlichen und analogischen Reasoning-Aufgaben, und übertraf andere Open-Source-Modelle.
Latente Längenskaling:
- Monet und LVR: Die Leistung verschlechterte sich systematisch, wenn die latente Länge von 3 auf 1000 Tokens erhöht wurde.
- SCOLAR: Die Leistung verbesserte sich kontinuierlich mit zunehmender latenter Länge und erreichte ihren Höhepunkt bei voller Auflösung (kein Pooling).
Information Gain-Analyse: Mithilfe orthogonaler Projektionsresiduen zeigten die Autoren, dass SCOLAR über 1000 Tokens hinweg einen hohen Information Gain (ca. 10–30) beibehält, während der Gain von LVR nach 10 Tokens auf nahezu Null kollabiert und der Gain von Monet monoton abnimmt.
Experimente mit bedeutungslosem Padding: Der Ersatz der latenten Tokens von SCOLAR durch bedeutungsloses Padding führte zu katastrophalen Leistungsabfällen, die mit der Sequenzlänge zunahmen, was bestätigt, dass das Modell auf dem genuine semantischen Inhalt der Tokens und nicht nur auf deren struktureller Präsenz beruht.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass SCOLAR das Skalierbarkeitsproblem im visuellen latenten Reasoning fundamental löst. Durch die Entkopplung der Generierung auxiliary Tokens von autoregressiven Abhängigkeiten beweist SCOLAR, dass „längere Ketten" im visuellen Bereich tatsächlich zu „besserem Reasoning" führen können, sofern die Tokens genuine, nicht zerfallende visuelle Semantik tragen.

Die Autoren behaupten, dass SCOLAR die Lücke zwischen kleinen Open-Source-Modellen und großen proprietären Systemen schließt und zeigt, dass ein 7B-Modell mit effektivem latentem Scaling komplexe Reasoning-Benchmarks deutlich besser bewältigen kann als wesentlich größere Closed-Source-Modelle. Die Arbeit hinterfragt die vorherrschende Abhängigkeit von stark gepoolten Merkmalen und autoregressiver Generierung im latenten Reasoning und schlägt eine neue Richtung für skalierbares, selbstkonsistentes multimodales Reasoning vor.

Anerkannte Einschränkungen: Der aktuelle Ansatz relies auf gepaarte Eingabe-auxiliary-Bilddaten für die Überwachung, und die Optimierung des Detransformers in der RL-Phase bleibt implizit statt explizit. Als zukünftige Arbeit wird vorgeschlagen, unüberwachte Settings und explizite End-to-End-Gradientensignale für den kontinuierlichen visuellen Raum zu erforschen.