How to Teach Large Multimodal Models New Skills

1. Il Problema: Dimenticanza Catastrofica negli LMM

I Large Multimodal Models (LMM), come LLaVA e Qwen2.5-VL, sono eccellenti in compiti generali visione-linguaggio, ma spesso necessitano di essere adattati per acquisire nuove abilità specifiche (es. conteggio di oggetti, lettura di orologi, diagnosi medica).
Il problema centrale affrontato è la dimenticanza catastrofica: quando un modello viene adattato (fine-tuning) su una nuova attività, tende a perdere drasticamente le sue capacità generali precedentemente apprese. Le strategie tradizionali di Continual Learning (apprendimento continuo) spesso richiedono:

• Replay: Memorizzare e riesaminare dati dei task precedenti (costoso in termini di memoria e privacy).
• Architetture complesse: Espansione della rete (Mixture-of-Experts) o aggiunta di parametri ausiliari.
• Distillazione pesante: Richiede un modello "insegnante" fisso e calcoli aggiuntivi.

L'obiettivo del paper è insegnare nuove abilità agli LMM senza cancellare le capacità pregresse, utilizzando strategie di tuning semplici, senza replay e senza espansione architetturale.

2. Metodologia e Sperimentazione

Setup Sperimentale

Gli autori hanno sviluppato una suite di valutazione controllata per studiare la dinamica di apprendimento e dimenticanza:

• Task Target (5 abilità): Classificazione di uccelli (CUB200), Conteggio (PixmoCount), VQA Medico (PathVQA), Lettura OCR (TextVQA), Lettura orologi (TimeClock).
• Suite di Mantenimento (8 benchmark): Set di dati tenuti fuori dal training (AI2D, ChartQA, DocVQA, ecc.) per misurare la capacità generale del modello.
• Modelli Testati: Tre famiglie di modelli: LLaVA-OneVision, LLaVA-NeXT (basato su LLaMA-3) e Qwen2.5-VL.
• Protocollo: Adattamento sequenziale (un task dopo l'altro) senza mescolare i dati dei task precedenti.

Analisi Meccanistica

Il cuore della metodologia è un'analisi meccanicistica dei componenti del Transformer decoder:

1. Self-Attention Projections (SA Proj.): Agiscono principalmente come "router" che selezionano e combinano informazioni dal contesto.
2. MLP (Feed-Forward Network): Agiscono come memorie "chiave-valore" che proiettano le caratteristiche attivate nel residual stream, influenzando direttamente la distribuzione dei token di output.

Gli autori ipotizzano che la "dimenticanza" non sia una perdita permanente di conoscenza, ma uno spostamento della distribuzione di output (bias verso formati di risposta specifici del task corrente, es. il modello inizia a rispondere sempre con numeri dopo un task di conteggio).

Strategie di Tuning Proposte

Invece di aggiornare l'intero modello, gli autori testano quali sottocomponenti aggiornare per massimizzare l'apprendimento minimizzando lo spostamento della distribuzione:

1. SA Proj.: Aggiornare solo i pesi delle proiezioni dell'attenzione ($W_Q, W_K, W_V, W_O$).
2. MLP Gate & Up: Aggiornare solo i pesi di gate e up ($W_{gate}, W_{up}$) del MLP, congelando il peso di down ($W_{down}$) che proietta le informazioni nel residual stream.

3. Risultati Chiave

1. Il Paradosso della Dimenticanza Recuperabile

Un risultato sorprendente è che la perdita di prestazioni sui task tenuti fuori (held-out) dopo un task specifico (es. Conteggio) è spesso recuperabile quando si addestra il modello su un task successivo diverso (es. VQA Medico). Questo suggerisce che la conoscenza non viene persa, ma resa temporaneamente inaccessibile a causa di un bias nella distribuzione di output.

2. Le Ricette di Tuning Superiori

Le due strategie proposte superano nettamente il fine-tuning completo e le tecniche di mitigazione standard (LoRA, LwF, MoE):

• SA Proj.: Ottiene un miglioramento significativo sul task target (+24.9 punti) con una dimenticanza quasi nulla (-0.6 punti sulla suite tenuta fuori).
• MLP (Gate & Up): Offre il miglior compromesso, con un apprendimento quasi massimo (+30.5 punti) e una dimenticanza molto contenuta (-2.1 punti).
• Confronto: Il fine-tuning completo (Full-LLM) porta a un forte apprendimento (+31.8) ma a una dimenticanza catastrofica (-23.3).

3. La Prova del Bias di Output

Utilizzando un "probe" per il bias numerico (misurando la probabilità che il modello generi token numerici su descrizioni di immagini generiche), gli autori dimostrano una forte correlazione (Spearman $\rho \approx 0.84$) tra l'aumento del bias verso i numeri e il calo delle prestazioni generali.

• Aggiornare il MLP completo aumenta drasticamente questo bias.
• Aggiornare solo SA Proj. o MLP Gate&Up mantiene il bias vicino alla linea di base, spiegando perché queste strategie preservano le capacità generali.

4. Generalizzazione ed Efficienza

• I risultati si sono mantenuti validi su tre diverse architetture di modelli (LLaVA-OneVision, LLaVA-NeXT, Qwen2.5-VL).
• Le strategie proposte sono computazionalmente efficienti, superando LoRA e MoE in termini di throughput di addestramento (samples/sec) e non richiedendo parametri aggiuntivi o replay di dati.

4. Contributi Principali

1. Scoperta Meccanistica: Identificazione che la dimenticanza negli LMM è principalmente guidata da uno spostamento della distribuzione dei token di output causato dall'aggiornamento dei layer di scrittura (down-projection) del MLP.
2. Ricette Semplici ed Efficaci: Dimostrazione che aggiornare selettivamente solo i layer di proiezione dell'attenzione (SA Proj.) o solo i layer di gate/up del MLP permette di apprendere nuove abilità senza dimenticare le precedenti, senza bisogno di replay o architetture complesse.
3. Suite di Valutazione Completa: Creazione di un benchmark rigoroso con 5 task target sequenziali e 8 benchmark di mantenimento su tre famiglie di modelli, fornendo una base solida per la ricerca futura sull'apprendimento continuo multimodale.
4. Analisi della Recupero: Evidenza empirica che la "dimenticanza" può essere reversibile semplicemente cambiando il task di addestramento, che corregge il bias di distribuzione.

5. Significato e Impatto

Questo lavoro cambia la prospettiva sull'adattamento degli LMM. Invece di vedere la dimenticanza come un problema irrisolvibile che richiede complessi meccanismi di regolarizzazione o replay, mostra che è possibile controllarla scegliendo quali parametri aggiornare.

• Praticità: Le soluzioni proposte (SA Proj. e MLP Gate&Up) sono facili da implementare, non richiedono dati storici e sono efficienti.
• Teorico: Conferma che i layer di attenzione gestiscono il routing delle informazioni (preservando la struttura generale), mentre i layer MLP gestiscono la memorizzazione fattuale e la distribuzione di output. Limitare l'aggiornamento dei percorsi di "scrittura" (write-back) previene la distorsione delle capacità generali.

In sintesi, il paper fornisce una guida pratica e teoricamente fondata per insegnare nuove competenze ai modelli multimodali mantenendoli robusti e versatili, risolvendo il trade-off tra apprendimento e stabilità in modo elegante.