L2V-CoT: Cross-Modal Transfer of Chain-of-Thought Reasoning via Latent Intervention

Probleemstelling

Hoewel Chain-of-Thought (CoT) redenering de prestaties van Large Language Models (LLMs) aanzienlijk heeft verbeterd door complexe problemen op te splitsen in tussenstappen, kampen Vision-Language Models (VLMs) nog steeds met moeite bij multi-stap redeneringstaken (zoals grafiek- en geometrische analyse). De belangrijkste oorzaak is het gebrek aan multimodale redeneringsdata; het genereren van dergelijke data is duur en tijdrovend.

Bestaande oplossingen om redeneervermogen van LLMs naar VLMs over te dragen, hebben twee grote nadelen:

1. Hoge trainingskosten: Methoden die VLMs trainen op tekstuele CoT-data (zoals Virgo) vereisen aanzienlijke rekenkracht.
2. Architecturale beperkingen: Methoden die gebruikmaken van modelmerging vereisen dat de VLM en de bron-LLM dezelfde architectuur hebben. In de praktijk zijn de backbones van VLMs vaak niet uitgelijnd met sterke tekstuele redeneermodellen, wat de overdracht beperkt.

Het centrale vraagstuk is: Hoe kunnen we redeneervermogen van LLMs naar VLMs overdragen over verschillende architecturen heen, zonder extra training?

Methodologie: L2V-CoT

De auteurs introduceren L2V-CoT, een trainingsvrije methode die gebruikmaakt van Latent Intervention (ingrijpen in de verborgen representaties) om CoT-redenering over te dragen. De aanpak is gebaseerd op drie kernstappen:

1. Empirische Analyse met Linear Artificial Tomography (LAT)

De auteurs gebruiken LAT om de interne representaties van LLMs en VLMs te analyseren. Ze stellen vast dat:

• Zowel LLMs als VLMs een vergelijkbare laag-frequentie structuur hebben voor CoT-representaties.
• De CoT-richting (het verschil tussen representaties van CoT-antwoorden en directe antwoorden) in VLMs echter meer ruis bevat en minder geclusterd is dan in LLMs, voornamelijk door de heterogeniteit van visuele en tekstuele modaliteiten.
• Cruciaal inzicht: De laag-frequentie componenten van de CoT-richting in VLMs bevatten de essentiële redeneerinformatie, terwijl de hoog-frequentie componenten voornamelijk ruis vertegenwoordigen.

2. Extractie en Transformatie van Representaties

Om de redeneerkracht van een sterke LLM naar een VLM te transfereren, doorloopt het systeem de volgende pipeline:

• Extractie: Er worden contrastieve voorbeelden gegenereerd (CoT-antwoorden vs. directe antwoorden) met een sterke LLM (bijv. DeepSeek-R1). De CoT-richtingsrepresentatie wordt berekend als het verschil tussen de verborgen staten van deze twee soorten antwoorden.
• Frequentiedomein Filtering (Low-Pass Filtering): Omdat de representaties van de LLM en VLM verschillende dimensies hebben en de VLM-risicovolle ruis bevat, wordt de CoT-richting van de LLM onderworpen aan een Low-Pass Filter (LPF) in het frequentiedomein (via FFT). Dit behoudt de essentiële, laag-frequentie redeneerpatronen en verwijdert ruis.
• Resampling: Om de dimensie-mismatch tussen de LLM en VLM op te lossen, wordt de gefilterde representatie opnieuw bemonsterd (resampled) in het frequentiedomein (met behulp van de LMN-methode) zodat deze past bij de dimensie van de VLM.

3. Latente Interventie tijdens Inferentie

Tijdens de inferentie van de VLM wordt de verwerkte CoT-richtingsrepresentatie van de LLM direct geïnjecteerd in de verborgen staten van de VLM:

• De representatie wordt toegevoegd aan de interne activatie van de VLM op een specifieke laag.
• De resulterende vector wordt genormaliseerd om de oorspronkelijke semantische ruimte van de VLM te behouden en interferentie te minimaliseren.
• Dit proces is model-agnostisch en vereist geen gewichtsupdates (training-free).

Belangrijkste Bijdragen

1. Eerste LAT-analyse: Dit is het eerste werk dat Linear Artificial Tomography gebruikt om de overdraagbaarheid van redeneervermogen tussen LLMs en VLMs te analyseren. Het bewijst dat er een gedeelde, laag-frequentie latent structuur bestaat ondanks architecturale verschillen.
2. L2V-CoT Methode: Een nieuwe, trainingsvrije methode die CoT-redenering overdraagt via frequentiedomein-filtering en latente injectie, waardoor de beperking van architecturale uitlijning wordt opgeheven.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat deze methode niet alleen beter presteert dan andere trainingsvrije baselines, maar zelfs superieur is aan sommige methoden met supervisie (fine-tuning).

Resultaten

De auteurs hebben L2V-CoT getest op diverse VLM-architecturen (LLaVA, InternVL, QwenVL, Idefics) en benchmarks (MathVista, MathVerse, MMStar, DynaMath, MathVision).

• Prestatieverbetering: L2V-CoT behaalde consistent de beste resultaten. Op de MathVista-benchmark verbeterde het de prestaties van LLaVA met ongeveer 6,6 punten (van 35,2 naar 41,8) en InternVL met 2,3 punten.
• Vergelijking met Baselines: De methode overtrof zowel "Few-shot CoT" (die vaak misleidt) als "Model Merging" (dat architecturale uitlijning vereist).
• Superioriteit t.o.v. Fine-tuning: Opmerkelijk genoeg presteerde L2V-CoT beter dan modellen die waren gefinetuned op dezelfde CoT-data, wat aantoont dat het injecteren van de patroonrepresentatie effectiever is dan het leren van het patroon via gewichtsupdates.
• Analyse van Injectie:
  • Laag-afhankelijkheid: Injectie in midden- en hogere lagen gaf de beste resultaten voor redeneringstaken, terwijl injectie in lage lagen de perceptie kon verstoren.
  • Sterkte: Een gematigde injectiesterkte was optimaal; te zwak had geen effect, te sterk verstoorde de semantiek.
  • Aantal voorbeelden: Meer CoT-voorbeelden leidden tot robuustere patronen en betere prestaties.

Betekenis en Impact

L2V-CoT biedt een krachtige, efficiënte en flexibele oplossing voor het tekort aan multimodale redeneringsdata. Door de "slow thinking" (langzame, stap-voor-stap redenering) van geavanceerde LLMs direct te injecteren in VLMs zonder training, maakt het complexe redeneringstaken toegankelijk voor een breed scala aan visuele modellen. Dit opent de deur voor snellere ontwikkeling van slimme multimodale systemen zonder de enorme kosten van gespecialiseerde datasets en training. De methode benadrukt bovendien dat fundamentele redeneerpatronen universeel zijn en in de latent ruimte van neurale netwerken kunnen worden gevangen en getransporteerd, ongeacht de specifieke modale input.