L2V-CoT: Cross-Modal Transfer of Chain-of-Thought Reasoning via Latent Intervention

1. Il Problema

I modelli linguistici su larga scala (LLM) hanno dimostrato capacità eccezionali nel ragionamento complesso grazie alla metodologia Chain-of-Thought (CoT), che scompone i problemi in passaggi intermedi. Tuttavia, i Modelli Vision-Language (VLM) faticano ancora a svolgere compiti di ragionamento multi-step (come l'analisi di grafici o geometria) a causa della scarsità di dati di ragionamento multimodale di alta qualità.
Le soluzioni esistenti per trasferire le capacità di ragionamento dagli LLM ai VLM presentano limiti significativi:

• Addestramento costoso: Metodi come Virgo richiedono l'addestramento su grandi quantità di dati CoT testuali, con costi computazionali elevati e scarsa generalizzazione.
• Allineamento architetturale: Metodi basati sulla fusione di modelli (Model Merging) funzionano solo se il backbone dell'LLM e del VLM sono architetturalmente allineati, il che non è sempre vero negli scenari reali.
• Mancanza di metodi agnostici: Non esisteva un metodo "training-free" (senza addestramento) capace di trasferire capacità di ragionamento tra architetture diverse.

2. Metodologia: L2V-CoT

Gli autori propongono L2V-CoT, un approccio innovativo basato sull'Intervento Latente (Latent Intervention) che trasferisce le capacità di ragionamento CoT dagli LLM ai VLM senza richiedere alcun addestramento.

Analisi Empirica e Isomorfismo Latente

Prima di proporre il metodo, gli autori utilizzano la Tomografia Artificiale Lineare (LAT) per analizzare le rappresentazioni interne dei modelli. Le scoperte chiave sono:

1. Componenti a bassa frequenza: Le rappresentazioni direzionali del CoT (la differenza tra stati latenti di risposte CoT e non-CoT) contengono informazioni di ragionamento principalmente nelle loro componenti a bassa frequenza. Le componenti ad alta frequenza sono spesso rumore specifico del dominio (es. visivo).
2. Allineamento strutturale: Nonostante le differenze architetturali, le distribuzioni delle rappresentazioni a bassa frequenza del CoT negli LLM e nei VLM sono sorprendentemente simili e sovrapponibili nello spazio latente.

Il Processo L2V-CoT

Il metodo opera in tre fasi principali durante l'inferenza:

1. Estrazione del Pattern CoT dall'LLM:

   • Si generano coppie di input contrastivi (domande con prompt "pensiamo passo dopo passo" vs "rispondi direttamente") su un LLM addestrato al ragionamento (es. DeepSeek-R1).
   • Si estraggono gli stati nascosti e si calcola la rappresentazione direzionale del CoT ($u_L$) come differenza tra gli stati delle risposte CoT e non-CoT.
   • Si calcola la media di queste direzioni per ottenere un vettore di pattern CoT ($v_L$).

2. Allineamento delle Dimensioni e Filtraggio (Resampling):

   • Poiché LLM e VLM hanno dimensioni di embedding diverse, è necessario allinearle.
   • Si applica un filtro passa-basso (Low-Pass Filtering - LPF) nel dominio della frequenza (usando la Trasformata di Fourier Rapida - FFT) alla rappresentazione dell'LLM. Questo rimuove il rumore ad alta frequenza preservando l'informazione essenziale del ragionamento.
   • Si utilizza il metodo LMN (Waveform resampling) per ricampionare la rappresentazione filtrata nel dominio della frequenza, adattandola alla dimensione del VLM target.
   • Il vettore risultante ($\hat{v}_{LPF}$) viene normalizzato per preservare la direzione.

3. Intervento Latente sul VLM:

   • Durante l'inferenza del VLM, il vettore $\hat{v}_{LPF}$ viene iniettato negli stati nascosti del VLM (tipicamente negli strati intermedi) tramite una semplice addizione:
     $$\hat{h}_V = h_V + \alpha \cdot \hat{v}_{LPF}$$
     dove $\alpha$ è un coefficiente di intensità.
   • Viene applicata una normalizzazione successiva per preservare la scala originale delle attivazioni e minimizzare l'interferenza con lo spazio semantico originale del VLM.

3. Contributi Chiave

• Prima analisi LAT cross-modale: Per la prima volta, viene utilizzata la Tomografia Artificiale Lineare per dimostrare empiricamente che le rappresentazioni latenti del ragionamento CoT sono strutturalmente allineate tra LLM e VLM, specialmente nelle componenti a bassa frequenza.
• Metodo Training-Free e Agnostico: L2V-CoT è il primo metodo che trasferisce capacità di ragionamento tra modelli di architetture diverse senza richiedere fine-tuning, fusione di parametri o allineamento architetturale.
• Ingegneria delle Attivazioni Cross-Modale: Estende il campo dell'activation engineering (precedentemente usato per allineamento o controllo del sentiment) al trasferimento di capacità di ragionamento complesso tra modalità diverse (testo -> visione+testo).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi VLM (LLaVA, InternVL, Qwen2-VL, Idefics) e su benchmark rigorosi di ragionamento visivo-matematico (MathVista, MathVerse, MMStar, DynaMath, MathVision).

• Prestazioni Superiori: L2V-CoT supera costantemente i baseline "training-free" (come Few-shot CoT, RoT, MathNeuro) e, in molti casi, supera anche metodi supervisionati che richiedono fine-tuning (Finetuned CoT).
• Miglioramenti Quantitativi: Si registra un miglioramento medio del 3.7% e fino all'8.6% su vari benchmark rispetto ai VLM vanilla.
• Analisi degli Strati: L'iniezione negli strati intermedi del VLM si è rivelata ottimale, migliorando sia i compiti di percezione che quelli di ragionamento.
• Robustezza: Il metodo funziona bene su modelli di diverse dimensioni e dimostra che l'uso di LLM più potenti (es. 32B vs 7B) per estrarre il pattern CoT porta a trasferimenti di capacità superiori.
• Combinabilità: Il metodo è ortogonale e combinabile con tecniche di ragionamento esplicite (es. Monte Carlo Tree Search), portando a ulteriori guadagni di performance.

5. Significato e Impatto

Questo lavoro risolve una delle principali colli di bottiglia nell'evoluzione dei modelli multimodali: la scarsità di dati di ragionamento visivo.

• Efficienza: Elimina la necessità di costosi processi di addestramento o raccolta dati per insegnare ai VLM a "pensare".
• Generalizzazione: Dimostra che il ragionamento è una proprietà emergente che può essere estratta e iniettata in modelli diversi, indipendentemente dalla loro architettura di base.
• Interpretabilità: Fornisce nuove intuizioni sulla natura delle rappresentazioni neurali, suggerendo che il "pensiero" (CoT) risiede in strutture latenti a bassa frequenza che sono condivise tra modalità diverse.

In sintesi, L2V-CoT rappresenta un passo avanti significativo verso l'abilitazione di capacità di ragionamento avanzate in modelli visivi esistenti, rendendoli più capaci di affrontare compiti complessi come l'analisi di grafici, la geometria e la risoluzione di problemi scientifici.