Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer

1. Il Problema

I Large Vision-Language Models (LVLM) hanno fatto rapidi progressi in compiti come la descrizione di immagini e l'interazione, ma mostrano ancora un deficit significativo nelle capacità di inferenza multi-step e nel processo decisionale compositivo rispetto ai potenti Large Language Models (LLM) basati solo sul testo.
Le strategie attuali per colmare questo divario si basano principalmente sul scaling (aumento dei dati multimodali e delle dimensioni del modello). Tuttavia, questo approccio incontra ostacoli:

• La disponibilità di dati "immagine-ragionamento" accoppiati è limitata rispetto ai vasti corpus testuali.
• Non è chiaro come le capacità generali acquisite dagli LLM possano essere trasferite efficacemente agli ambienti multimodali.
  Il paper si pone la domanda fondamentale: È possibile sfruttare le capacità di inferenza mature degli LLM per potenziare gli LVLM a un costo computazionale ridotto, senza un addestramento su larga scala?

2. Metodologia e Approccio

Gli autori ipotizzano che, dato che LLM e LVLM condividono architetture Transformer simili, potrebbero utilizzare circuiti computazionali interni comuni per l'inferenza. La metodologia si articola in tre fasi principali:

A. Profilazione Neurale e Identificazione dei Neuroni Condivisi

• Profilazione dell'Attivazione: Gli autori hanno analizzato l'attivazione dei neuroni (singole righe/colonne nelle matrici di peso) durante compiti di inferenza sia su modelli puramente testuali (es. Qwen2.5-Math) che su modelli vision-language (es. Qwen2.5-VL).
• Definizione di "Neuroni di Base per l'Inferenza": Hanno identificato l'insieme di neuroni che si attivano in modo coerente in entrambi i tipi di modelli quando processano input di ragionamento.
• Validazione Causale: Per verificare il ruolo funzionale di questi neuroni, hanno utilizzato una tecnica di amplificazione dell'attivazione (aumentando artificialmente l'attivazione di un neurone) e di disattivazione (azzerando i parametri). Hanno osservato che disattivare i neuroni condivisi fa crollare le prestazioni di inferenza a zero, mentre la disattivazione casuale ha un impatto minore.

B. Scoperta dei Meccanismi

• Hanno scoperto che oltre il 50% dei neuroni più attivi durante l'inferenza è condiviso tra LLM e LVLM.
• Questi neuroni condivisi sono concentrati principalmente nelle matrici di Key dell'attenzione (attn.k) e, in misura minore, nelle matrici Value (attn.v), con cluster distinti negli strati iniziali e finali della rete.
• L'analisi semantica (tramite word cloud generati dall'amplificazione) ha rivelato che molti di questi neuroni codificano concetti specifici legati alla matematica (es. algebra, geometria, numeri), suggerendo che sono vettori di conoscenza inferenziale trasferibile.

C. SNRF (Shared Neuron Low-Rank Fusion)

Sulla base di queste evidenze, gli autori propongono SNRF, un framework efficiente in termini di parametri per trasferire le capacità di inferenza:

1. Identificazione: Si individuano gli indici dei neuroni condivisi ($S_{\ell,p}$) tra un modello sorgente (LLM) e un modello target (LVLM).
2. Approssimazione Low-Rank: Si calcola la differenza di peso tra i due modelli ($\Delta = W_{src} - W_{tgt}$) e se ne ottiene un'approssimazione a rango ridotto (SVD) solo per i neuroni condivisi.
3. Fusione Selettiva: L'aggiornamento a rango ridotto viene proiettato esclusivamente sullo spazio dei neuroni condivisi, lasciando invariati i neuroni specializzati nella percezione visiva del modello target.
   • Formula: $\tilde{W}_{\ell,p} = W_{tgt} + \beta \cdot M_{S_{\ell,p}}(\Delta^{(r)}_{\ell,p})$
   • Questo approccio evita di disturbare le capacità percettive dell'LVLM, trasferendo solo i segnali di ragionamento.

3. Contributi Chiave

1. Evidenza Empirica: Dimostrazione che LLM e LVLM condividono un sottospazio di neuroni significativo (oltre il 50% dei neuroni top-attivati) dedicato all'inferenza, indipendentemente dalla modalità di input (testo vs immagine+testo).
2. Analisi Funzionale e Causale: Validazione che questi neuroni condivisi non sono solo statisticamente sovrapposti, ma codificano concetti interpretabili (soprattutto matematici) e sono causalmente necessari per il ragionamento. La loro rimozione distrugge le capacità di inferenza.
3. Metodo SNRF: Introduzione di un metodo di fusione parametricamente efficiente che trasferisce capacità di ragionamento mature dagli LLM agli LVLM senza richiedere un ri-addestramento su larga scala (fine-tuning multimodale), preservando al contempo le capacità percettive originali.

4. Risultati Sperimentali

Il metodo SNRF è stato valutato su diversi benchmark multimodali (MathVista, MME, ScienceQA, MMMU, POPE) utilizzando backbones come Qwen2.5-VL, Intern2.5-VL e Idefics3.

• Miglioramento dell'Inferenza: SNRF ha mostrato miglioramenti consistenti sui compiti di ragionamento.
  • Su MathVista, ha ottenuto guadagni medi di +2.0 punti nella soluzione e +1.66 nel Chain-of-Thought (CoT).
  • Su ScienceQA, ha registrato un aumento medio di +7.64 punti, con picchi di +22.6 per Qwen2.5-VL-3B.
  • Su MMMU-Pro (un benchmark più rigoroso), ha migliorato le prestazioni in modo significativo (es. da 0.000 a 0.186 su Intern2.5-VL-4B).
• Preservazione delle Capacità Percettive: A differenza di altri metodi di fusione lineare o fine-tuning massivo, SNRF mantiene stabili le metriche di percezione (MME) e riduce le allucinazioni (POPE), confermando che i neuroni percettivi non sono stati danneggiati.
• Confronto con Baseline: SNRF supera sia i modelli base che altre tecniche di fusione (come Linear Merge, DARE, FRANK) e approcci basati sull'addestramento (SFT, RL) in termini di efficienza e prestazioni su compiti di ragionamento complesso.

5. Significato e Implicazioni

Questo lavoro offre una nuova prospettiva sulla comprensione interna dei modelli multimodali:

• Ponte Interpretativo: Dimostra che esiste un "ponte neurale" interpretabile tra il ragionamento testuale e quello multimodale. Le capacità di inferenza non sono un mistero emergente, ma risiedono in circuiti specifici che possono essere mappati e trasferiti.
• Efficienza: Fornisce una via pratica ed economica per potenziare gli LVLM. Invece di raccogliere enormi dataset di ragionamento visivo (che sono scarsi), si può "innestare" la logica di un LLM esperto direttamente nella struttura neurale di un LVLM.
• Generalizzabilità: Suggerisce che i meccanismi di inferenza sono universali e trascendono le differenze architetturali e i domini di addestramento, aprendo la strada a tecniche di trasferimento della conoscenza più sofisticate tra modelli di diverse modalità.

In sintesi, il paper dimostra che gli LLM e gli LVLM condividono l'hardware neurale per il ragionamento e che sfruttare questa sovrapposizione tramite una fusione selettiva a basso rango è una strategia vincente per colmare il divario di ragionamento nei modelli multimodali.