CompoDistill: Attention Distillation for Compositional Reasoning in Multimodal LLMs

1. Il Problema: Il Limite della Distillazione di Conoscenza (KD) negli MLLM

Le Multimodal Large Language Models (MLLM) hanno dimostrato prestazioni superiori in compiti visione-linguaggio, ma i loro costi computazionali e di memoria ne limitano l'adozione pratica. La Distillazione di Conoscenza (Knowledge Distillation - KD) è stata proposta come soluzione per trasferire le capacità da un modello "insegnante" grande a un modello "studente" più piccolo.

Tuttavia, gli autori identificano un problema critico finora trascurato:

• Distorsione delle capacità: I metodi KD esistenti migliorano efficacemente il riconoscimento visivo (es. classificazione di oggetti, VQA - Visual Question Answering), ma falliscono nel trasferire le capacità di percezione visiva (comprensione delle relazioni tra oggetti, attributi complessi e ragionamento compositivo).
• Mancata allineamento dell'attenzione: L'analisi mostra che, sebbene gli studenti distillati performino bene su VQA, le loro prestazioni su compiti di Ragionamento Compositivo (CR) sono paragonabili a quelle di modelli addestrati solo con Supervised Fine-Tuning (SFT), senza benefici significativi dalla distillazione.
• Causa radice: L'analisi delle mappe di attenzione rivela un disallineamento visivo (visual attention misalignment). Mentre il modello insegnante focalizza l'attenzione sulle regioni rilevanti dell'immagine per rispondere a una query, il modello studente tende a focalizzarsi su regioni irrilevanti, fallendo nell'ereditare il meccanismo di attenzione visiva potente dell'insegnante.

2. Metodologia: CompoDistill

Per risolvere il disallineamento dell'attenzione e migliorare la percezione visiva, gli autori propongono CompoDistill, un nuovo framework di distillazione basato su tre componenti principali:

A. Modulo di Allineamento dell'Attenzione Visiva (VAT - Visual ATtention alignment)

Questo modulo mira a forzare esplicitamente l'attenzione visiva dello studente ad allinearsi a quella dell'insegnante.

• Focus: L'allineamento avviene specificamente negli strati intermedi del LLM (definiti "strati di comprensione visiva"), dove avviene l'integrazione semantica fine.
• Strategia di Matching a Gruppi (Group Layer Matching): Poiché l'insegnante ha più strati dello studente, un matching uno-a-uno è subottimale. CompoDistill utilizza una strategia uno-a-molti: ogni strato dello studente viene allineato a un gruppo di strati consecutivi dell'insegnante. Questo permette allo studente di catturare una conoscenza più ampia e robusta distribuita tra gli strati dell'insegnante.
• Funzione di Perdita: Viene minimizzata la distanza coseno tra la matrice di attenzione dello studente e la media delle matrici di attenzione del gruppo di strati dell'insegnante.

B. Modulo di Recupero dell'Adattatore dell'Insegnante (TAF - Teacher Adapter Fetch)

Un problema fondamentale è che l'attenzione dell'insegnante è ottimizzata per il suo spazio di feature visivo specifico (generato dal suo adattatore). Trasferire direttamente questa attenzione su uno studente con uno spazio di feature incompatibile crea conflitti.

• Soluzione: Il modulo TAF utilizza l'adattatore pre-addestrato e congelato dell'insegnante ($P^t_{\psi_t}$) per elaborare le feature visive grezze. L'output viene poi proiettato nello spazio dimensionale dello studente tramite un leggero MLP addestrabile ($P^s_{\psi_s}$).
• Vantaggio: Questo garantisce che lo studente elabori l'input visivo attraverso la stessa "lente" dell'insegnante, rendendo il trasferimento dell'attenzione efficace e coerente.

C. Strategia di Addestramento in Tre Fasi

Il framework utilizza una strategia di training sequenziale:

1. Distilled Pre-Training (DPT): Allineamento dello spazio delle feature visive con lo spazio linguistico. Si utilizza il modulo TAF e si addestra solo l'adattatore dello studente (LLM e Vision Encoder congelati) con perdita di linguaggio e divergenza KL.
2. Distilled Fine-Tuning (DFT): Allineamento dell'attenzione visiva. Si addestrano sia l'LLM che l'adattatore dello studente, minimizzando la perdita di distillazione dell'attenzione (VAT) insieme alle perdite standard (LLM + KL).
3. Supervised Fine-Tuning (SFT): Affinamento finale solo con la perdita di linguaggio autoregressivo per consolidare le conoscenze e migliorare la capacità di seguire le istruzioni.

3. Risultati Chiave

Gli esperimenti sono stati condotti su modelli di diverse dimensioni (es. Studente 1.8B/2B, Insegnante 4B/7B) e su benchmark standard.

• Prestazioni su Ragionamento Compositivo (CR): CompoDistill supera significativamente i metodi KD esistenti (come LLaVA-KD, LLaVA-MoD) e i modelli SFT. In particolare, raggiunge prestazioni competitive con modelli da 4B su dataset come SugarCrepe, SADE, BiVLC e Winoground, un risultato non ottenuto in precedenza da metodi di distillazione.
• Prestazioni su VQA: Il metodo mantiene prestazioni elevate (State-of-the-Art) sui compiti di riconoscimento visivo (VQAv2, GQA, TextVQA), dimostrando di non sacrificare le capacità di base.
• Efficienza dei Dati: CompoDistill ottiene questi risultati con solo 1.2M di campioni di addestramento, dimostrando un'efficienza superiore rispetto a metodi che richiedono dataset massicci (es. 5M+ o 570M).
• Riduzione delle Allucinazioni Relazionali: Il modello riduce significativamente le allucinazioni relazionali (es. confondere "uomo che tiene la bici" con "uomo che guida la bici") su benchmark come R-Bench e Reefknot, avvicinandosi alle prestazioni del modello insegnante.
• Generalizzabilità: Il metodo funziona efficacemente anche con backbone diversi (es. MobileLLaMA) e con insegnanti di dimensioni maggiori (fino a 7B), confermando la sua robustezza.

4. Contributi Principali

1. Identificazione del Problema: Per la prima volta, il paper identifica e analizza il disallineamento dell'attenzione visiva come il fattore critico che impedisce la distillazione efficace delle capacità di percezione visiva negli MLLM.
2. Framework Innovativo: Propone CompoDistill, che combina l'allineamento esplicito dell'attenzione (VAT) con il recupero dello spazio delle feature (TAF) per colmare il divario tra insegnante e studente.
3. Analisi Empirica: Dimostra attraverso esperimenti controllati che l'allineamento dell'attenzione è direttamente correlato alle prestazioni nei compiti di ragionamento compositivo.
4. Risultati SOTA: Raggiunge nuove prestazioni massime per modelli piccoli (<2B) su compiti di ragionamento complesso, mantenendo l'efficienza computazionale.

5. Significato e Impatto

Questo lavoro offre una nuova prospettiva sulla distillazione di conoscenza per i modelli multimodali. Sposta il focus dal semplice trasferimento delle probabilità di output (logit) al trasferimento della dinamica interna di attenzione, che è cruciale per la comprensione visiva profonda.
CompoDistill dimostra che è possibile creare modelli multimodali piccoli, efficienti e accessibili che non solo "vedono" gli oggetti, ma comprendono le relazioni e il contesto, rendendo gli MLLM più pratici per applicazioni reali che richiedono ragionamento complesso senza i costi di modelli giganti.