Reasoning Resides in Layers: Restoring Temporal Reasoning in Video-Language Models with Layer-Selective Merging

Titolo: Reasoning Resides in Layers: Restoring Temporal Reasoning in Video-Language Models with Layer-Selective Merging

Framework Proposto: MERIT (Merging for Enhanced Reasoning In Temporal Tasks)

1. Il Problema: Il Trade-off tra Percezione e Ragionamento

I modelli linguistici di grandi dimensioni (LLM) possiedono capacità di ragionamento sofisticate acquisite durante il pre-addestramento testuale. Tuttavia, quando questi modelli vengono adattati per diventare Video-Language Models (VLM) tramite l'aggiunta di encoder visivi, si verifica un fenomeno critico:

• Degrado del Ragionamento Temporale (TR): L'adattamento multimodale, focalizzato sull'allineamento spaziale e sulla percezione di oggetti, tende a indebolire o distruggere le capacità di ragionamento temporale e causale ereditate dal backbone linguistico.
• Il Dilemma: I VLM esistenti spesso riescono a percepire correttamente oggetti e azioni (Percezione Temporale - TP), ma falliscono nel comprendere la struttura causale e l'ordine degli eventi (Ragionamento Temporale - TR).
• Limiti delle Soluzioni Esistenti:
  • I metodi basati sul ri-addestramento (es. DPO) richiedono grandi quantità di dati e risorse computazionali.
  • I metodi di model merging (fusione di modelli) esistenti operano a livello globale, fondendo uniformemente tutti i parametri del modello. Questo approccio "coarse-grained" (a grana grossa) è inefficiente, spesso fallisce nel recuperare il ragionamento e può degradare ulteriormente le prestazioni percettive.

2. Metodologia: MERIT

Gli autori propongono MERIT, un framework senza ri-addestramento (training-free) e guidato dal compito, che ripristina il ragionamento temporale attraverso una fusione selettiva a livello di layer.

Concetto Chiave

L'ipotesi fondamentale è che il ragionamento non sia distribuito uniformemente in tutto il modello, ma risieda in modo sproporzionato in un sottoinsieme specifico di layer (specialmente quelli dell'attenzione self-attention). Pertanto, è possibile recuperare il ragionamento ripristinando selettivamente i layer del backbone testuale originale, minimizzando l'interferenza con la percezione visiva appresa dal VLM.

Algoritmo e Formulazione

1. Obiettivo di Ottimizzazione:
   MERIT cerca una "ricetta" di fusione a livello di layer che massimizzi il guadagno nel Ragionamento Temporale (TR) mentre penalizza il degrado nella Percezione Temporale (TP).
   La funzione obiettivo è:
   $$g^* = \arg \max_g \left( Acc_{TR}(g) - \lambda \cdot D_{TP}(g) \right)$$
   Dove $D_{TP}(g)$ è il degrado della percezione rispetto al VLM originale e $\lambda$ è un parametro di controllo.

2. Ricerca Evolutiva (CMA-ES):
   Poiché lo spazio delle combinazioni di layer è enorme e la funzione obiettivo non è differenziabile (richiede valutazione su benchmark), gli autori utilizzano la strategia evolutiva CMA-ES (Covariance Matrix Adaptation Evolution Strategy).

   • Parametrizzazione: Ogni ricetta è definita da un vettore di gate continuo $g \in [0, 1]^L$ (dove $L$ è il numero di layer).
   • Fusione Direzionale: Per ogni layer $\ell$, i parametri vengono interpolati in modo direzionale tra il VLM ($M$) e il backbone testuale ($N$) in base al gate discretizzato:
     $$\theta_\ell = \begin{cases} \alpha \theta^M_\ell + (1-\alpha) \theta^N_\ell & \text{se } \hat{g}_\ell = 1 \\ (1-\alpha) \theta^M_\ell + \alpha \theta^N_\ell & \text{se } \hat{g}_\ell = 0 \end{cases}$$
     Questo permette di biasare certi layer verso la percezione visiva o verso il ragionamento testuale.

3. Efficienza: La ricerca viene condotta su un sottoinsieme mirato di dati (Video-MME), rendendo il processo efficiente senza richiedere l'addestramento su interi dataset.

3. Contributi Chiave

1. Framework Training-Free: Dimostra che è possibile ripristinare capacità di ragionamento avanzate nei VLM senza costi computazionali di ri-addestramento, utilizzando solo la fusione di pesi.
2. Selettività dei Layer: Fornisce evidenze empiriche che il ragionamento temporale risiede in layer specifici. La fusione uniforme (tutti i layer) o casuale (layer a caso) è significativamente meno efficace della fusione selettiva guidata da MERIT.
3. Preservazione della Percezione: A differenza di altri metodi che sacrificano la percezione per il ragionamento, MERIT mantiene o migliora le capacità percettive grazie alla penalizzazione esplicita nel processo di ottimizzazione.
4. Analisi Causale e Attribution: Attraverso esperimenti di mascheramento (masking) e attribuzione a livello di frame, gli autori dimostrano che i layer selezionati da MERIT sono cruciali per il ragionamento e che il modello fuso sposta il suo focus da evidenze visive locali e fuorvianti a prove temporali e causali più distanti ma rilevanti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre VLM rappresentativi (LongVA-7B, InternVL3-8B, Qwen3-VL-4B) e su diversi benchmark video (Video-MME, LongVideoBench, LVBench, MMBench-Video, Video-Holmes).

• Miglioramento del Ragionamento Temporale (TR):
  • Su Video-MME, MERIT ha mostrato miglioramenti consistenti: +23.9% per LongVA-7B, +10.8% per InternVL3-8B e +3.8% per Qwen3-VL-4B rispetto alla versione base.
  • Questi guadagni si sono generalizzati a benchmark non visti durante la ricerca, indicando che il ragionamento recuperato è robusto e trasferibile.
• Preservazione della Percezione (TP):
  • Le prestazioni di percezione temporale sono state mantenute o leggermente migliorate, confermando che la fusione selettiva non distrugge le capacità visive.
• Confronto con Baseline:
  • ALL-LAYER (Fusione Uniforme): Ha mostrato guadagni inconsistenti e spesso ha degradato le prestazioni complessive.
  • RANDOM-K (Selezione Casuale): Ha performato peggio di MERIT con alta varianza, dimostrando che non è solo il numero di layer a contare, ma quali specifici layer vengono selezionati.
• Analisi Interventale:
  • Mascherando i layer selezionati da MERIT nel modello originale, si è osservato un crollo drastico delle prestazioni di ragionamento (es. -51.7% per LongVA-7B a $\kappa=0$), mentre le prestazioni generali e di "altro" sono calate molto meno. Questo prova che quei layer sono specifici per il ragionamento.
• Casi Studio (Video-Holmes):
  • I casi studio mostrano che il modello base tende a basarsi su eventi locali salienti ma fuorvianti (es. un oggetto visibile in un singolo frame). MERIT, invece, riesce a collegare eventi temporalmente distanti per inferire la causa corretta (es. collegare un'azione iniziale a una conseguenza finale), dimostrando un grounding temporale superiore.

5. Significato e Implicazioni

Questo lavoro sfida l'idea che il degrado del ragionamento nei modelli multimodali sia un problema fondamentale irrisolvibile senza ri-addestramento massiccio.

• Scalabilità: Offre una via scalabile per migliorare i sistemi multimodali esistenti semplicemente "riparando" i layer critici attraverso la fusione.
• Comprensione dell'Architettura: Contribuisce alla comprensione di dove risiede l'intelligenza nei LLM, suggerendo che capacità diverse (percezione vs. ragionamento) possono essere localizzate in sottoreti specifiche e manipolate indipendentemente.
• Futuro: Apre la strada a framework di fusione mirati per recuperare altre capacità specializzate (es. ragionamento matematico o logico) in modelli multimodali senza i costi proibitivi del training.

In sintesi, MERIT dimostra che un intervento architetturale mirato e consapevole della percezione può ripristinare efficacemente il ragionamento temporale nei VLM, superando i limiti delle fusioni globali e offrendo una soluzione pratica ed efficiente per il futuro dei modelli video-linguistici.