Riassunto Tecnico: CAPA – Pruning Consapevole del Contributo e Approssimazione FFN per Modelli Vision-Language Grandi ed Efficienti

1. Definizione del Problema

I modelli Large Vision-Language (LVLM) affrontano colli di bottiglia computazionali significativi a causa dell'alto costo di elaborazione di migliaia di token visivi, particolarmente quando gestiscono immagini ad alta risoluzione. Sebbene il pruning dei token visivi sia emerso come una strategia di accelerazione primaria, i metodi esistenti si affidano pesantemente ai punteggi di attenzione grezzi o a metriche euristiche derivate da essi per identificare i token non importanti. Gli autori sostengono che i punteggi di attenzione siano un proxy imperfetto per l'effettiva importanza del token perché ignorano l'ampiezza dei vettori di valore associati.

Inoltre, gli approoli attuali tendono a trattare i token visivi e testuali in modo uniforme. Tuttavia, evidenze recenti suggeriscono che i backbone degli LVLM elaborino queste modalità in modo differente. Nello specifico, la ridondanza nelle reti Feed-Forward (FFN) riguardo ai token visivi rimane ampiamente inesplorata. Il lavoro precedente nel dominio degli LLM ha esplorato l'approssimazione FFN (ad esempio, l'approssimazione sparsa, il MoE), ma queste tecniche non sono state estese ai pattern di ridondanza specifici dei token visivi negli LVLM.

2. Analisi Empirica e Osservazioni Chiave

Gli autori hanno condotto analisi empiriche su LVLM (LLaVA-1.5, Qwen2.5-VL, InternVL3) per decostruire i comportamenti dei token visivi, portando a due osservazioni critiche:

1. Eterogeneità dei Sink di Attenzione Visiva:

   • I tradizionali "attention sinks" (token con una massa di attenzione sproporzionatamente alta) non sono funzionalmente uniformi.
   • Utilizzando una nuova metrica, il Contributo di Attenzione, gli autori distinguono tra due tipi di sink:
     • Tipo I (Dumping di Probabilità): Token con pesi di attenzione elevati ma magnitudo dei vettori di valore bassa. Questi agiscono come ricettacoli passivi per l'eccesso di massa di probabilità e contribuiscono minimamente allo stream residuo. Sono sicuri da eliminare (pruning).
     • Tipo II (Ancore Strutturali): Token con pesi di attenzione elevati e magnitudo dei vettori di valore massicce. Questi sono critici per mantenere le prestazioni del modello; la loro rimozione causa un collasso rappresentazionale.
   • Conclusione: Affidarsi esclusivamente ai punteggi di attenzione non permette di distinguere tra questi due tipi, portando alla rimozione accidentale di token essenziali.

2. Ridondanza Dipendente dalla Modalità:

   • Gli autori hanno misurato la linearità delle trasformazioni FFN calcolando la similarità del coseno tra lo stato nascosto di input $x$ e l'output residuo $x + \text{FFN}(x)$.
   • Risultati: I token delle immagini esibiscono una mappatura quasi identica (similarità > 0.96) attraverso la maggior parte degli strati intermedi, indicando che le trasformazioni FFN sono effettivamente lineari e ridondanti per i dati visivi. Al contrario, i token di testo mostrano una significativa non-linearità negli strati iniziali e medi.
   • Conclusione: Le costose computazioni FFN $O(d^2)$ per i token visivi negli strati intermedi possono essere sostituite con approssimazioni lineari leggere senza compromettere l'integrità rappresentazionale.

3. Metodologia: Framework CAPA

Sulla base di queste scoperte, gli autori propongono CAPA (Contribution-Aware Pruning and FFN Approximation), un framework a doppia strategia:

A. Pruning Consapevole del Contributo

Invece di utilizzare i punteggi di attenzione grezzi, CAPA calcola un Punteggio di Contributo di Attenzione ($C_i$) per ogni token visivo $i$. Questo punteggio pesa la probabilità di attenzione per la magnitudo del vettore di valore proiettato dalla matrice di output.

• Formula: $C_i = \left\| \sum_{h=1}^{H} A_{i,h} (x_i W_{V,h}) W_{O,h} \right\|_2$
• Meccanismo: Durante la generazione, il sistema seleziona dinamicamente i top-$k$ token visivi con i punteggi di contributo più elevati per mantenere nella cache key-value, eliminando quelli con contributi trascurabili. Ciò assicura che le "Ancore Strutturali" siano preservate mentre i "Dumping di Probabilità" vengono rimossi.

B. Identificazione della Ridondanza e Approssimazione FFN

Per gli strati identificati come aventi alta ridondanza (dove la similarità del coseno input-output supera una soglia $\eta$), CAPA sostituisce la standard FFN densa con un prodotto di Hadamard leggero.

• Approssimazione: Il blocco residuo $y^{(l)} = x^{(l)} + \text{FFN}(x^{(l)})$ è approssimato come $\hat{y}^{(l)} = x^{(l)} \odot \alpha$, dove $\alpha$ è un vettore di scaling elemento per elemento appreso.
• Riduzione della Complessità: Questo riduce la complessità computazionale dello strato da $O(d^2)$ a $O(d)$.
• Ottimizzazione: Il vettore di scaling ottimale $\alpha$ è derivato analiticamente utilizzando una soluzione di Minimi Quadrati Ordinari (OLS) su un set di calibrazione, evitando il gradiente discendente iterativo.

4. Risultati Sperimentali

Il framework è stato valutato su tre backbone LVLM (LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B) su sei benchmark (VQAv2, MMBench, MMVet, TextVQA, SEED-Bench, MMMU).

• Performance vs. Baseline: CAPA ha costantemente superato le baseline di pruning esistenti (FastV, Feather, Uniform pruning) in tutti i benchmark. In particolare, nei "layer di transizione" critici dove il pruning è più sensibile, CAPA ha mantenuto prestazioni vicine al modello Vanilla non sottoposto a pruning, mentre le baseline hanno subito una degradazione significativa.
• Robustezza: CAPA ha dimostrato una robustezza superiore ad alti livelli di sparsità. Mentre le baseline hanno subito cali drastici di performance oltre il 50% di pruning, CAPA ha mantenuto una precisione quasi pari al modello vanilla anche al 75% di pruning.
• Guadagni di Efficienza:
  • Token Pruning: Ha ridotto il costo quadratico associato alla lunghezza della sequenza.
  • Approssimazione FFN: Ha eliminato il costo dominante $O(d^2)$ negli strati ridondanti.
  • Impatto Totale: L'approccio combinato ha ottenuto una riduzione del 78% dei FLOP totali preservando le prestazioni del task.
• Studi di Ablazione:
  • Divergenza dei Logit: Il pruning basato sul Contributo di Attenzione ha prodotto distanze di Hellinger inferiori (più vicine alla distribuzione di output del modello vanilla) rispetto al pruning basato sui punteggi di attenzione, specialmente nella generazione a lungo termine.
  • Sostituzione FFN: Saltare semplicemente gli strati FFN ha causato cali di performance, ma sostituirli con il prodotto di Hadamard ha recuperato con successo la maggior parte della performance persa, validando l'ipotesi di linearità.

5. Significato e Rivendicazioni

Il paper sostiene che CAPA affronti una lacuna critica nell'ottimizzazione degli LVLM riconoscendo che i token visivi si comportano diversamente dai token di testo sia nei meccanismi di attenzione che nell'elaborazione FFN.

• Spostamento del Paradigma di Pruning: Gli autori sostengono che i punteggi di attenzione siano insufficienti per la selezione dei token. Introducendo il Contributo di Attenzione, forniscono un segnale più fedele per identificare quali token visivi sono funzionalmente necessari.
• Ottimizzazione Specifica per Modalità: Il lavoro evidenzia che i guadagni di efficienza negli LVLM richiedono strategie distinte per le modalità visive e testuali. Nello specifico, l'identificazione della ridondanza lineare nelle FFN visive consente una semplificazione architettonica che non è applicabile all'elaborazione del testo.
• Trade-off Efficienza-Performance: CAPA raggiunge un trade-off favorevole, offrendo un'accelerazione significativa dell'inferenza (riduzione del 78% dei FLOP) senza compromettere la robustezza del modello o le prestazioni del task, superando le baseline esistenti basate solo sul pruning dei token.

6. Limitazioni

Gli autori riconoscono che CAPA è una strategia post-hoc che opera su backbone pre-addestrati fissi. Di conseguenza, non può sfruttare appieno i benefici della selezione congiunta dei token e del calcolo del modello. Il lavoro futuro suggerisce direzioni quali:

• Progettazione di controller appresi per la ritenzione adattiva dei token.
• Sviluppo di backbone vision-language con moduli FFN nativi ed efficienti progettati per i token visivi.
• Valutazione di queste strategie attraverso diverse distribuzioni di shift e investigazione dell'interpretabilità delle policy apprese.