L2V-CoT: Cross-Modal Transfer of Chain-of-Thought Reasoning via Latent Intervention

1. Problemstellung

Große Sprachmodelle (LLMs) haben durch die Chain-of-Thought (CoT)-Methode erhebliche Fortschritte beim Lösen komplexer, mehrstufiger Aufgaben gemacht. Im Gegensatz dazu kämpfen Vision-Language-Modelle (VLMs) weiterhin mit solchen Aufgaben (z. B. Diagrammanalyse, geometrische Probleme), da ihnen multimodale CoT-Daten fehlen. Das Generieren solcher Daten ist ressourcenintensiv.

Bestehende Lösungsansätze zur Übertragung von CoT-Fähigkeiten von LLMs auf VLMs haben erhebliche Nachteile:

• Training-basierte Methoden: Erfordern hohe Trainingskosten und große Mengen an annotierten Daten.
• Modell-Merging: Erfordert eine architekturelle Ausrichtung (Alignment) zwischen dem VLM und dem Quell-LLM, was in realen Szenarien oft nicht gegeben ist.

Die zentrale Frage lautet: Wie können CoT-Reasoning-Fähigkeiten von LLMs auf VLMs übertragen werden, ohne Training und ohne architektonische Übereinstimmung?

2. Methodik: L2V-CoT

Die Autoren schlagen L2V-CoT (Latent Intervention for LLM-to-VLM CoT Transfer) vor, eine training-freie Methode, die auf der Analyse und Manipulation latenter Repräsentationen basiert.

A. Theoretische Grundlage & Empirische Analyse

Die Autoren nutzen Linear Artificial Tomography (LAT), um die internen Repräsentationen von LLMs und VLMs zu untersuchen.

• Erkenntnis 1: Sowohl LLMs als auch VLMs zeigen ähnliche Muster in ihren latenten Repräsentationen für CoT-Reasoning.
• Erkenntnis 2: Die niederfrequenten Komponenten (Low-Frequency) der CoT-Richtungsrepräsentationen sind entscheidend für das Reasoning. Hochfrequente Komponenten enthalten oft Rauschen oder modality-spezifische Informationen, die das Reasoning nicht unterstützen.
• Erkenntnis 3: Nach Anwendung eines Low-Pass-Filters (Frequenzbereich) weisen die CoT-Repräsentationen von VLMs eine sehr ähnliche Verteilung wie die von LLMs auf. Dies deutet auf eine gemeinsame latente Struktur hin, die einen Transfer ermöglicht.

B. Der L2V-CoT Algorithmus

Der Prozess läuft in folgenden Schritten ab:

1. Extraktion von CoT-Richtungen: Aus einem leistungsstarken LLM (z. B. DeepSeek-R1) werden Paare aus CoT-Antworten und direkten (Non-CoT) Antworten generiert. Die Differenz der versteckten Zustände (Hidden States) bildet die CoT-Richtungsrepräsentation.
2. Frequenzbereich-Filterung & Resampling:
   • Da LLM und VLM unterschiedliche Dimensionen haben, wird die CoT-Richtung des LLM im Frequenzbereich (mittels FFT) gefiltert, um niederfrequente, wesentliche Informationen zu erhalten.
   • Anschließend wird eine Resampling-Technik (LMN-Methode) im Frequenzbereich angewendet, um die Dimensionen an das Ziel-VLM anzupassen, ohne die CoT-Information zu verlieren.
3. Latente Intervention (Inference):
   • Während der Inferenz des VLM wird die gefilterte und resamplete Repräsentation des LLM in die versteckten Zustände des VLM injiziert.
   • Die Formel lautet: $\hat{h}_V = \text{Normalize}(h_V + \alpha \cdot \hat{v}_{LPF})$, wobei $\alpha$ die Stärke der Injektion steuert.
   • Dies zwingt das VLM quasi in einen „Slow-Thinking"-Modus, indem es die Reasoning-Patterns des LLM übernimmt.

3. Schlüsselbeiträge

• Erste Analyse mittels LAT: Die Autoren sind die ersten, die Linear Artificial Tomography nutzen, um die Übertragbarkeit von Reasoning-Fähigkeiten zwischen unterschiedlichen Modalitäten (Text vs. Bild-Text) zu analysieren.
• Training-freie Architektur-Unabhängigkeit: L2V-CoT funktioniert ohne Fine-Tuning und ist nicht an eine spezifische Architektur gebunden, solange die Dimensionen im Frequenzbereich angepasst werden können.
• Frequenzbasierte Trennung: Der Nachweis, dass niederfrequente Anteile der latenten Repräsentation den Kern des Reasoning-Prozesses tragen und somit ideal für den Transfer zwischen Modellen geeignet sind.

4. Ergebnisse

Die Methode wurde auf mehreren VLM-Architekturen (LLaVA, InternVL, Qwen-VL, Idefics) und Benchmarks (MathVista, MathVerse, MMStar, DynaMath, MathVision) getestet.

• Leistungssteigerung: L2V-CoT übertrifft konsistent andere training-freie Baselines (wie Few-Shot CoT, RoT, MathNeuro).
• Vergleich mit Supervised Methods: In vielen Fällen übertrifft L2V-CoT sogar Methoden, die auf überwachtem Fine-Tuning basieren (z. B. Finetuned CoT).
• Quantitative Verbesserungen: Auf verschiedenen Benchmarks wurden durchschnittliche Verbesserungen von 3,7 % und Spitzenwerte von bis zu 8,6 % erreicht.
• Analyse der Injektion:
  • Die Injektion in mittlere Schichten des VLM erweist sich als optimal.
  • Die Stärke der Injektion ($\alpha$) muss moderat sein; zu starke Injektion stört die semantische Information.
  • Die Verwendung von Repräsentationen eines stärkeren LLM führt zu besseren Ergebnissen.
• Verhalten: Das Modell generiert bei L2V-CoT längere Antworten und zeigt ein deutliches „Schritt-für-Schritt"-Denken, ähnlich dem Quell-LLM.

5. Bedeutung und Fazit

L2V-CoT adressiert eine kritische Lücke in der Entwicklung von multimodalen KI-Systemen. Es zeigt, dass Reasoning-Fähigkeiten nicht zwingend durch massives Training multimodaler Daten erlernt werden müssen, sondern durch gezielte Manipulation latenter Räume transferiert werden können.

• Effizienz: Da keine neuen Trainingsdaten oder Rechenzyklen für das Training benötigt werden, ist die Methode extrem ressourcenschonend.
• Generalisierbarkeit: Der Ansatz ist universell einsetzbar für verschiedene VLM-Architekturen und fördert die Entwicklung von „Reasoning"-fähigen Multimodal-Modellen ohne die Notwendigkeit teurer, spezialisierter Datensätze.
• Einblick in die KI: Die Arbeit liefert tiefe Einblicke in die Struktur von Reasoning-Fähigkeiten in neuronalen Netzen und zeigt, dass diese in niederfrequenten latenten Mustern kodiert sind, die modalitätsübergreifend konsistent sind.

Zusammenfassend bietet L2V-CoT einen eleganten, effektiven und kostengünstigen Weg, um die fortschrittlichen Reasoning-Fähigkeiten von reinen Text-LLMs auf Vision-Language-Modelle zu übertragen.