Beyond Self-Attention: Sub-Quadratic Vision Transformers for Fast Image Captioning

Sintesi Tecnica: Oltre l'Auto-Attenzione: Vision Transformer Sub-Quadratici per il Fast Image Captioning

Definizione del Problema
L'image captioning richiede la generazione di descrizioni testuali coerenti e semanticamente significative dal contenuto visivo, colmando il divario tra computer vision e natural language processing. Sebbene le architetture basate su Transformer abbiano fatto avanzare significativamente il campo catturando dipendenze contestuali a lungo raggio attraverso l'auto-attenzione, esse affrontano due limitazioni primarie. Primo, i meccanismi di auto-attenzione standard calcolano le interazioni a coppie tra tutti i patch dell'immagine, risultando in una complessità computazionale quadratica ($O(n^2)$). Ciò crea un carico eccessivo in termini di memoria e computazione, particolarmente per immagini ad alta risoluzione e applicazioni su larga scala. Secondo, gli approcci esistenti soffrono spesso di una mancanza di rappresentazioni ricche delle caratteristiche locali e di ridondanza computazionale, poiché elaborano tutti i patch allo stesso modo anche quando molti mancano di informazioni semanticamente critiche.

Metodologia
L'architettura proposta affronta queste limitazioni ristrutturando il framework Vision Transformer (ViT) per sostituire il convenzionale meccanismo di auto-attenzione con un approccio di clustering probabilistico basato su un Modello a Miscela di Gaussiane (GMM). Il sistema opera in due fasi principali:

1. Codifica dell'Immagine (GMM-Transformer):

   • Patch Embedding: Le immagini in input vengono divise in patch non sovrapponibili, proiettate in embedding a $D$ dimensioni e aumentate con codifiche posizionali.
   • Clustering GMM Pesato dal Contesto: Invece di calcolare i punteggi di attenzione a coppie, il modello tratta gli embedding dei patch come variabili casuali continue generate da una miscela di $K$ distribuzioni Gaussiane multivariate ($K \ll N$).
   • Pesi di Contesto Apprendibili: Un sottolivello assegna pesi spaziali apprendibili ai patch, modulati dalle proprietà statistiche (media e varianza), permettendo al modello di dare priorità alle regioni semanticamente significative.
   • Algoritmo EM: L'algoritmo Expectation-Maximization (EM) viene impiegato per eseguire il soft-clustering. Nel passaggio E (E-step), il modello calcola le "responsabilità" (probabilità di assegnazione soft) che indicano il grado in cui ogni patch appartiene a un cluster. Nel passaggio M (M-step), i parametri del cluster (medie, covarianze e coefficienti di miscelazione) vengono aggiornati.
   • Riduzione della Complessità: Questo processo sostituisce la matrice di attenzione $N \times N$ con una matrice di responsabilità $N \times K$, riducendo la complessità computazionale da quadratica $O(n^2)$ a quasi-lineare $O(nK)$.
   • Aggregazione: Le caratteristiche raffinate dei patch vengono elaborate attraverso reti feed-forward con connessioni residue e normalizzazione di livello. Infine, un'operazione di Global Average Pooling aggrega i centroidi dei cluster in un vettore globale compatto.

2. Decodifica del Linguaggio (Decoder Unificato basato su GPT):

   • Il decoder utilizza un Transformer di tipo GPT autoregressivo.
   • Attenzione Unificata: A differenza dei modelli encoder-decoder tradizionali che separano l'auto-attenzione mascherata dalla cross-attention, questa architettura le integra in un singolo blocco multi-testa di attenzione.
   • Meccanismo: I token testuali fungono da vettori query, mentre la sequenza combinata di token visivi (centroidi dei cluster) e dei precedenti token testuali funge da vetti key e value.
   • Mascheramento Causale: Una maschera causale specializzata assicura che i token testuali prestino attenzione a tutti i token visivi ma solo ai token testuali precedentemente generati, mantenendo le proprietà di generazione autoregressiva.
   • Generazione: L'output viene proiettato attraverso un livello Softmax per predire iterativamente il token successivo nella sequenza.

Contributi Chiave

• Riduzione della Complessità: L'architettura riduce la complessità temporale del transformer encoder da quadratica a quasi-lineare ($O(nK)$) sostituendo l'auto-attenzione con il soft-clustering basato su GMM, mantenendo al contempo la capacità di generare didascalie contestualmente coerenti.
• Design del Decoder Efficiente: Viene impiegato un decoder personalizzato basato su GPT che unifica la masked self-attention e la cross-attention in un singolo blocco computazionale, migliorando l'interazione multimodale e riducendo la ridondanza.
• Validazione Empirica: Una valutazione completa sul dataset Flickr30k dimostra le prestazioni competitive del modello rispetto agli attuali lavori state-of-the-art (SOTA), bilanciando l'efficienza computazionale con la qualità della didascalia.

Risultati Sperimentali
Il modello è stato valutato sul dataset Flickr30k (utilizzando la divisione Karpathy) con una configurazione di 8 strati transformer, 4 teste di attenzione e una dimensione nascosta di 768.

• Metriche di Performance: Il modello proposto ha ottenuto i punteggi più alti nelle metriche semantiche avanzate: BLEU-4 (0.364), METEOR (0.368) e SPICE (0.199). Questi risultati indicano una struttura di frase e una mappatura del grafo della scena superiori rispetto a diversi modelli SOTA (es. TAKG, GNN-Visual, Scene Graph).
• Confronto con i Baseline: Sebbene il modello resti indietro rispetto al modello ADA nelle metriche di precisione di base (BLEU-1: 0.733 vs 0.794; ROUGE: 0.568 vs 0.608; CIDEr: 0.723 vs 0.946), supera altri baseline come TopDown e GNN-Visual. Gli autori osservano che l'architettura favorisce il contesto profondo rispetto alla semplice replicazione.
• Efficienza: Il modello opera con un costo computazionale di circa 21.17 GFLOPs e contiene circa 32.8 milioni di parametri addestrabili. L'analisi della matrice di confusione ha mostrato alti tassi di veri positivi (45.580) e bassi conteggi di falsi positivi/negativi, indicando una forte capacità di classificazione.

Significatività e Rivendicazioni
Il paper sostiene che il framework proposto affronta con successo l'inefficienza computazionale inerente ai classici Vision Transformer. Sfruttando il Modello a Miscela di Gaussiane e l'algoritmo Expectation-Maximization, il modello ottiene una significativa riduzione della complessità computazionale da quadratica a quasi-lineare senza sacrificare la capacità di catturare relazioni di caratteristiche significative. Gli autori affermano che il modello esibisce una forte capacità predittiva e una codifica delle caratteristiche scalabile, offrendo un equilibrio migliorato tra qualità della didascalia, efficienza computazionale e scalabilità. Il lavoro futuro è diretto verso l'integrazione di pre-training multimodale avanzato, l'adattamento a dataset specifici del dominio e il deployment di modelli leggeri per applicazioni edge in tempo reale.