Technische Zusammenfassung: Vision-aligned Latent Reasoning für Multi-modale Large Language Models

1. Problemstellung

Trotz signifikanter Fortschritte bei Multi-modalen Large Language Models (MLLMs) für Aufgaben wie Bildunterschriften und visuelle Fragebeantwortung (VQA) haben diese Modelle Schwierigkeiten mit Problemen, die umfangreiche mehrstufige Schlussfolgerungen erfordern. Die Hauptengpassstelle ist die progressive Verdünnung visueller Informationen während der Generierung langer Kontexte. Mit zunehmender Länge der generierten Textsequenz nimmt die Fähigkeit des Modells ab, visuelle Signale zu behalten und auszunutzen, was die Anwendung von Skalierungsgesetzen zur Laufzeit behindert, wie sie bei reinen Sprachmodellen beobachtet werden.

Bestehende Ansätze zur Verbesserung des Schlussfolgerns verlassen sich häufig auf:

• Textzentrierte Methoden: Überwachtes Feinabstimmen (SFT) oder verstärktes Lernen, das sich auf linguistische Denkketten (CoT) konzentriert, jedoch unter der Abschwächung visueller Signale über lange Sequenzen leidet.
• Statische visuelle Wiedereinführung: Das Einfügen visueller Tokens oder das Generieren von Bildern. Diese Methoden behandeln visuelle Merkmale jedoch typischerweise als festen Anfangskontext oder verlassen sich auf statische Einzelansichtsmerkmale, was zu einem allmählichen Verlust des visuellen Kontexts führt, während die Schlussfolgerung fortschreitet.

2. Methodik: Vision-aligned Latent Reasoning (VaLR)

Die Autoren schlagen Vision-aligned Latent Reasoning (VaLR) vor, ein Framework, das entwickelt wurde, um vor jedem Schritt der Schlussfolgerung dynamisch vision-ausgerichtete latente Tokens zu generieren. Dieser Ansatz erstellt „visuelle Checkpoints", die den Schlussfolgerungsprozess in der latenten Ebene auf perzeptuelle Hinweise gründen und den Zerfall visueller Informationen verhindern.

Kernmechanismus

VaLR arbeitet während der Inferenz durch Abwechseln zwischen zwei Modi:

1. Sprachmodus: Generiert Standard-Text-Tokens für die Antwort.
2. Latenter Modus: Generiert nicht-textuelle „latente Schlussfolgerungstokens", die nicht direkt sichtbar sind, aber als Zwischenschritte der Schlussfolgerung dienen.

Während des latenten Modus wird das Modell trainiert, seine intermediären versteckten Zustände mit dichten visuellen Darstellungen aus externen, vortrainierten Vision-Encodern (z. B. DINOv2/v3, CLIP, SigLIP, $\pi^3$) auszurichten.

Trainingspipeline

VaLR verwendet eine zweistufige Curriculum-Learning-Strategie:

• Stufe 1 (Standard-SFT): Das Modell wird auf allgemeinen CoT-VQA-Datensätzen feinabgestimmt, um grundlegende multi-modale Schlussfolgerungsfähigkeiten zu etablieren. Der Vision-Encoder wird eingefroren, und nur das Sprach-Backbone wird trainiert.
• Stufe 2 (Training latenter Tokens mit REPA): Das Modell wird trainiert, vor jedem sprachlichen Schlussfolgerungsschritt $K$ latente Tokens einzufügen. Eine Representation Alignment (REPA)-Verlustfunktion wird eingeführt, um die intermediären Merkmale des MLLM mit Merkmalen aus externen Vision-Encodern auszurichten.
  • Ausrichtungsziel: Die Verlustfunktion maximiert die Kosinus-Ähnlichkeit zwischen den projizierten intermediären Merkmalen des MLLM und den patchweisen visuellen Merkmalen, die vom entsprechenden Bildrahmen durch den Vision-Encoder extrahiert wurden.
  • Multi-Encoder-Ausrichtung: Das Framework unterstützt die gleichzeitige Ausrichtung mit mehreren Vision-Encodern, um komplementäre Stärken zu erfassen (z. B. semantisches Verständnis von CLIP, feinkörniges Erscheinungsbild von DINO und 3D-Raumstruktur von $\pi^3$).

Es ist bemerkenswert, dass die externen Vision-Encoder nur während des Trainings verwendet werden. Zum Testzeitpunkt verlässt sich das Modell auf das erlernte visuelle Grounding innerhalb seiner latenten Tokens, ohne die externen Encoder zu benötigen.

3. Hauptbeiträge

• Dynamisches visuelles Grounding: Im Gegensatz zu Methoden, die statische visuelle Merkmale verwenden, weist VaLR visuelle Details in jeder Schlussfolgerungsphase dynamisch zu und gewährleistet so die Informationserhaltung während langer Kontext-Schlussfolgerungen.
• Skalierung zur Laufzeit: Das Framework ermöglicht es MLLMs, Skalierungsverhalten zur Laufzeit zu zeigen, bei dem die Leistung mit längeren Schlussfolgerungsketten verbessert wird, ein Phänomen, das bei MLLMs aufgrund der Abschwächung visueller Signale bisher nicht beobachtet wurde.
• Modellagnostisches Design: VaLR kann an verschiedene Vision-Encoder (DINO, SigLIP, CLIP, $\pi^3$) angepasst werden und funktioniert effektiv sogar mit den eigenständigen Vision-Encodern des ursprünglichen MLLM.
• Zweistufiges Curriculum: Eine strukturierte Trainingspipeline, die zunächst Schlussfolgerungsfähigkeiten etabliert und diese dann mit visueller Ausrichtung verfeinert, was ein robustes Verständnis langer Kontexte ermöglicht.

4. Experimentelle Ergebnisse

Umfassende Evaluierungen wurden an mehreren Benchmarks durchgeführt, darunter VSI-Bench (3D-Raum-Schlussfolgerung), BLINK, MMVP, MMStar und MathVista.

• Schlussfolgerung in langen Kontexten (VSI-Bench): VaLR übertraf bestehende Baselines erheblich. Insbesondere auf VSI-Bench verbesserte VaLR die Genauigkeit des Basismodells Qwen2.5-VL von 33,0 % auf 52,9 %, ein Gewinn von 19,9 Prozentpunkten. Es übertraf auch starke Schlussfolgerungsmodelle wie R1-OneVision und Ocean-R1.
• Wahrnehmungsaufgaben: VaLR zeigte auf Wahrnehmungs-Benchmarks (BLINK, MMVP, V*) überlegene Leistung und erreichte unter offenen Modellen State-of-the-Art-Ergebnisse, wobei es in bestimmten Konfigurationen API-Modelle wie GPT-4o übertraf.
• Analyse der Schlussfolgerungslänge: Im Gegensatz zu Baseline-Modellen, die bei mittleren Schlussfolgerungslängen ihren Höhepunkt erreichen und dann abfallen (die Raten von Halluzinationen steigen), zeigte VaLR eine monotone Leistungsverbesserung, wenn die Schlussfolgerungslänge zunahm, was seine Fähigkeit bestätigt, über längere Ketten hinweg visuelles Grounding aufrechtzuerhalten.
• Ablationsstudien:
  • Das Entfernen der Komponente für die Repräsentationsausrichtung (REPA) führte zu signifikanten Leistungseinbußen und bestätigte die Notwendigkeit der visuellen Ausrichtung.
  • Die Verwendung mehrerer Encoder (VaLR-M) erzeugte synergistische Effekte, insbesondere für 3D-Raum-Aufgaben, im Vergleich zu Varianten mit einem einzelnen Encoder.
  • Die Methode zeigte eine hohe Daten-Skalierbarkeit und erreichte mit deutlich weniger Trainingsstichproben eine vergleichbare Leistung wie Vanilla-SFT-Modelle (schnellere Konvergenz).

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass VaLR eine kritische Einschränkung aktueller MLLMs adressiert: die Unfähigkeit, visuellen Kontext während komplexer, mehrstufiger Schlussfolgerungen aufrechtzuerhalten. Durch das Einfügen von vision-ausgerichteten latenten Tokens mildert die Methode die Verdünnung visueller Signale effektiv und ermöglicht robuste Planung und Schlussfolgerung über lange Horizonte.

Die Autoren betonen, dass diese Arbeit den Einsatz von MLLMs in komplexen Anwendungen erleichtert, die ein Verständnis langer Kontexte erfordern, wie z. B. Computer-Use-Agents (CUA) und Vision-Language-Action (VLA)-Modelle. Die Fähigkeit, echte Skalierung zur Laufzeit im multi-modalen Bereich zu erreichen, deutet auf einen Weg hin zu zuverlässigeren und leistungsfähigeren autonomen Agenten, die über längere Sequenzen hinweg schlussfolgern können, ohne den visuellen Kontext aus den Augen zu verlieren.