CATP: Cross-Attention Token Pruning for Accuracy Preserved Multimodal Model Inference

1. Il Problema

L'articolo affronta le sfide legate all'efficienza computazionale dei Modelli Multimodali su Larga Scala (LMM), in particolare il modello BLIP-2.

• Costo Computazionale: In BLIP-2, il Decodificatore LLM (Large Language Model) rappresenta oltre l'87% dei parametri totali (2,7 miliardi su 3,1 miliardi) ed è responsabile della maggior parte del tempo di inferenza.
• Limiti delle Strategie Attuali: Le tecniche di pruning (potatura) dello stato dell'arte, progettate per modelli unimodali (es. basate sulla magnitudine dei pesi o sull'auto-attenzione), falliscono quando applicate a modelli multimodali. Nel contesto di BLIP-2, questi metodi causano un degrado significativo dell'accuratezza, rendendoli inutilizzabili per compiti complessi come la Visual Question Answering (VQA).
• Obiettivo: Sviluppare una pipeline di pruning post-allenamento che riduca la complessità computazionale (specialmente nella dimensione della sequenza dei token di query) mantenendo un'accuratezza accettabile.

2. Metodologia: CATP (Cross-Attention Token Pruning)

Gli autori propongono CATP, un metodo innovativo che sfrutta le informazioni incrociate tra le modalità visiva e testuale per determinare l'importanza dei token.

• Concetto Fondamentale: L'importanza di un token di query nell'LLM Decoder non dipende solo dalle sue interazioni interne, ma dalla sua rilevanza cross-attention rispetto ai token dell'immagine estratti dal modulo Q-Former (Querying Transformer). Mantenere i token di query strettamente correlati a tutti i token dell'immagine è cruciale per preservare l'accuratezza.
• Il Problema della Somma: Non è possibile calcolare l'importanza semplicemente sommando le probabilità di cross-attention, poiché queste sono normalizzate tramite la funzione softmax e sommano a 1 per ogni token di query.
• Soluzione: Strategia di Voto (Voting Strategy):
  • CATP trasforma le probabilità di cross-attention in punteggi di importanza attraverso un meccanismo di voto.
  • Per ogni token di query, ogni token dell'immagine assegna un numero di punti basato sulla probabilità di cross-attention tra loro.
  • Algoritmo di Voto: In ogni testa di attenzione (head) e per ogni strato (layer), il token dell'immagine assegna $L_0 - n$ punti al token di query che occupa la $n$-esima posizione nella lista delle probabilità più alte (dove $L_0$ è il numero totale di token di query).
  • Aggregazione: I punteggi vengono accumulati attraverso tutti gli strati e le teste di attenzione.
  • Potatura: Vengono rimossi i token di query con i punteggi di importanza più bassi, in base a un rapporto di pruning ($p$).

3. Contributi Chiave

1. Pruning Basato su Cross-Attention: È il primo approccio che utilizza specificamente le probabilità di cross-attention tra immagini e testo per guidare il pruning dei token di query nei modelli multimodali, superando i limiti dei metodi basati sull'auto-attenzione.
2. Strategia di Voto Raffinata: Introduzione di un meccanismo di voto che converte le probabilità normalizzate in punteggi discriminativi, permettendo una selezione più precisa dei token da mantenere.
3. Analisi dell'Importanza degli Strati e dei Token:
   • Importanza degli Strati: L'analisi mostra che gli strati di cross-attention iniziali e finali forniscono informazioni più preziose rispetto agli strati intermedi.
   • Ponderazione dei Token Immagine: Un'estensione del metodo assegna pesi diversi ai token dell'immagine basandosi sui loro punteggi di auto-attenzione (normalizzati), migliorando ulteriormente la strategia di voto.

4. Risultati Sperimentali

Le valutazioni sono state condotte sul modello BLIP-2 (blip2-opt-2.7b) sul dataset VQA (Visual Question Answering) con un tasso di campionamento del 10%.

• Confronto con lo Stato dell'Arte:
  • Baseline L2-norm: Il pruning basato sulla norma L2 ha portato a un crollo dell'accuratezza (es. 9,50% a metà pruning).
  • Baseline Self-Attention (SpAtten): Anche i metodi basati sull'auto-attenzione hanno mostrato prestazioni scadenti (es. 44,22% a metà pruning, crollando a 1,92% a 1/8).
  • CATP: Ha dimostrato prestazioni superiori.
    • A un rapporto di pruning di 1/2 (mantenendo la metà dei token), CATP ha raggiunto un'accuratezza del 41,14% (vs 9,50% della baseline L2 e 44,22% della baseline Self-Attention).
    • A un pruning più aggressivo (1/8), CATP ha mantenuto un'accuratezza del 23,27%, mentre le baseline sono crollate sotto il 10%.
• Miglioramenti Relativi: CATP ha mostrato un miglioramento di accuratezza fino a 6,6 volte rispetto alla baseline L2-norm e fino a 12,1 volte rispetto alla baseline Self-Attention in determinate configurazioni.
• Varianti: L'uso di tutti gli strati di attenzione o solo del primo ha mostrato risultati simili, ma l'aggiunta della ponderazione dei token immagine ha ulteriormente migliorato l'accuratezza (es. 29,30% a 1/8 contro 23,27% senza ponderazione).

5. Significato e Impatto

Il lavoro di CATP è significativo per diversi motivi:

• Efficienza senza Sacrifici: Dimostra che è possibile ridurre drasticamente il costo computazionale dei modelli multimodali (riducendo la sequenza di input) senza sacrificare l'accuratezza, un compromesso che i metodi precedenti non riuscivano a gestire.
• Nuova Prospettiva Multimodale: Sposta il paradigma del pruning dai modelli unimodali a quelli multimodali, riconoscendo che l'importanza di un token testuale è intrinsecamente legata alla sua relazione con l'input visivo.
• Scalabilità: Poiché BLIP-2 è open-source e ampiamente utilizzato, CATP offre una soluzione pratica e immediatamente applicabile per rendere l'inferenza di modelli multimodali più veloce ed economica, facilitando il loro utilizzo in scenari reali con risorse limitate.

In sintesi, CATP risolve il dilemma tra efficienza e precisione nei modelli multimodali introducendo un meccanismo di selezione dei token guidato dalla comprensione congiunta di testo e immagine.