Riepilogo Tecnico: GRAMformer – Interazioni tra Modalità di Qualsiasi Ordine tramite Cross-Attention Volumetrica Multimodale

Definizione del Problema

Le attuali architetture transformer multimodali si affidano pesantemente ai meccanismi di attenzione per integrare informazioni eterogenee. Tuttavia, gli approcci esistenti soffrono di limitazioni fondamentali nella modellazione delle interazioni tra più di due modalità:

1. Limitazioni a coppie (Pairwise): La cross-attention standard calcola la rilevanza in modo indipendente tra una query e ciascun key specifico per modalità. Questa formulazione dot-product a coppie non riesce a modellare esplicitamente le interazioni che dipendono dalla configurazione congiunta di più rappresentazioni (ad esempio, se un insieme di vettori giace in un comune sottospazio a bassa dimensionalità).
2. Scalabilità ed Efficienza:
   • Strategie di Concatenazione: I metodi di early-fusion concatenano tutti i token delle modalità in una singola sequenza per la self-attention congiunta. Ciò comporta una complessità quadratica in termini di memoria e calcolo all'aumentare del numero di modalità, e non riesce a calcolare le interazioni tra le modalità concatenate stesse.
   • Architetture a Coppie (Pairwise): I metodi che utilizzano moduli di cross-attention separati per ogni coppia di modalità scalano quadraticamente con il numero di modalità rispetto a parametri e memoria, pur non riuscendo comunque a catturare dipendenze di ordine superiore che coinvolgono tre o più modalità simultaneamente.
   • Approcci Tensorizzati: Recenti tentativi di estendere l'attenzione a tre modalità tramite prodotti tensoriali o fattorizzazioni spesso richiedono severe approssimazioni o la selezione del rango, il che può sopprimere dipendenze fini o specifiche per modalità.

Di conseguenza, vi è una mancanza di meccanismi che possano definire esplicitamente l'attenzione come una funzione su un insieme di rappresentazioni modali per catturare una vera allineamento multimodale di ordine superiore senza costi computazionali proibitivi.

Metodologia

Cross-Attention Multimodale Volumetrica (VMA)

Gli autori propongono la Cross-Attention Multimodale Volumetrica (VMA), un meccanismo innovativo che sostituisce la similarità a coppie con una misura geometrica unificata. Invece di valutare la similarità token per token, la VMA calcola i punteggi di attenzione basandosi sulla geometria congiunta di una query e di molteplici key specifici per modalità.

• Formulazione Geometrica: Per un token di query $q$ e un insieme di token key allineati $\{k_1, \dots, k_M\}$ da $M$ modalità, il metodo costruisce una matrice $Z = [q, k_1, \dots, k_M]$. La similarità multimodale congiunta è definita dal volume del parallelepipedo spaziato da questi vettori, calcolato come la radice quadrata del determinante della matrice Gram associata $G = Z^\top Z$:
  $$\text{Vol}(q, k_1, \dots, k_M) = \sqrt{\det(G) + \epsilon}$$
  Questo volume funge da misura scalare della dipendenza lineare congiunta: è basso quando i vettori sono mutuamente allineati (vicini a un sottospazio a dimensione inferiore) e aumenta man mano che spaziano in una regione a dimensionalità superiore.
• Logit di Attenzione: Il logit di attenzione finale combina questo termine geometrico di ordine superiore con una regolarizzazione dot-product standard per preservare le forti interazioni bimodali:
  $$s(q, k_1, \dots, k_M) = -\beta \cdot \text{Vol}(q, k_1, \dots, k_M) + \sum_{m=1}^M \frac{\langle q, k_m \rangle}{\sqrt{d}}$$
  Qui, $\beta$ controlla l'iniezione di informazioni di ordine superiore. Il termine di volume è invariante rispetto a trasformazioni ortogonali e permutazioni delle modalità di condizionamento.
• Aggregazione dei Valori: Un meccanismo di gating dipendente dalla query controlla dinamicamente il contributo di ciascuna modalità prima di mediarle per formare l'output finale.
• Estensione Multi-Testa (M-VMA): Il meccanismo è esteso a una formulazione multi-testa dove l'attenzione volumetrica è calcolata indipendentemente in $H$ sottospazi, rimanendo matematicamente valida finché il numero di modalità più uno non supera la dimensione della testa.

Architettura GRAMformer

Gli autori integrano la VMA in una nuova architettura transformer chiamata GRAMformer.

• Design: GRAMformer segue la struttura standard del transformer encoder (connessioni residue, layer normalization, reti feed-forward) ma sostituisce i convenzionali strati di cross-attention con VMA o M-VMA.
• Strategia di Fusione: Nella configurazione di classificazione multimodale, una modalità (tipicamente il testo) funge da flusso di query, mentre le restanti modalità fungono da flussi di condizionamento. Il blocco VMA presta attenzione congiuntamente a tutte le modalità di condizionamento ad ogni strato, modellando esplicitamente le loro interazioni invece di fare affidamento sulla fusione a coppie.
• Efficienza: L'architettura è progettata per essere leggera. A differenza delle strategie di concatenazione o a coppie, la VMA scala efficientemente con il numero di modalità senza richiedere un aumento drastico di parametri o memoria.

Contributi Chiave

1. Identificazione delle Limitazioni: Il documento evidenzia l'incapacità fondamentale dei meccanismi di attenzione a coppie di modellare le dipendenze multimodali di ordine superiore e l'inefficienza delle attuali strategie di fusione.
2. Cross-Attention Multimodale Volumetrica (VMA): Introduzione di un nuovo meccanismo di attenzione che definisce i punteggi di attenzione come funzione della geometria congiunta (volume) di query e molteplici key, consentendo la modellazione nativa di interazioni tra modalità di qualsiasi ordine.
3. GRAMformer: L'integrazione della VMA in un'architettura transformer leggera che dimostra una migliore efficacia ed efficienza attraverso compiti multimodali senza fare affidamento esclusivamente su calcoli a coppia o pesanti operazioni di concatenazione.

Risultati Sperimentali

Il modello proposto è stato valutato sulla suite MultiBench, che include l'analisi del sentiment (MOSI, MOSEI), la rilevazione di umorismo/sarcasmo (UR-FUNNY, MUsTARD) e dataset di robotica (MuJoCo Push, Vision & Touch).

• Performance: GRAMformer ha raggiunto risultati allo stato dell'arte o competitivi in diversi dataset.
  • Su MOSI, ha ottenuto un Acc-2 dell'87.90% (con feature pre-estratte) e dell'89.94% (con fine-tuning di BERT), superando solidi baseline come MMML, MulT e Self-MM.
  • Su MOSEI, ha ottenuto un Acc-2 dell'84.07% (pre-estratto) e dell'87.39% (finetunato).
  • Su UR-FUNNY e MUsTARD, ha ottenuto rispettivamente l'accuratezza del 62.46% e del 63.96%, superando i baseline come MulT e TF.
• Efficienza:
  • Conteggio dei Parametri: GRAMformer è significativamente più leggero. Ad esempio, sul dataset MOSI con BERT finetunato, ha utilizzato 110.1M di parametri rispetto ai 110.7M di TeTFN e agli 889.6M di MMML. Nell'impostazione con feature pre-estratte, ha utilizzato solo 0.66M di parametri.
  • Scalabilità: All'aumentare del numero di modalità (da 2 a 6), GRAMformer mantiene una crescita lineare o quasi lineare in termini di parametri e memoria, mentre i metodi a coppia e di concatenazione mostrano una crescita quadratica.

Significato e Rivendicazioni

Il documento sostiene che GRAMformer affronti una lacuna critica nell'apprendimento multimodale fornendo un meccanismo che modella esplicitamente l'allineamento congiunto multimodale anziché fare affidamento su approssimazioni implicite o a coppie. Utilizzando il volume geometrico degli spazi di rappresentazione, il modello cattura dipendenze di ordine superiore che vanno perse nella standard dot-product attention.

Gli autori sottolineano che questo approccio consente di:

1. Modellare nativamente interazioni di qualsiasi ordine: Il meccanismo funziona per qualsiasi numero di modalità senza richiedere assunzioni di basso rango restrittive o fattorizzazioni tensoriali.
2. Efficienza Computazionale: Ottiene prestazioni superiori con un numero di parametri e un footprint di memoria significativamente ridotti rispetto agli esistenti transformer multimodali ad alte prestazioni.
3. Compatibilità Architetturale: Il design preserva i bias induttivi e le procedure di addestramento dei transformer standard, rendendolo un sostituto "drop-in" per i livelli di cross-attention nei sistemi esistenti.

Il lavoro suggerisce che andare oltre la similarità a coppie verso un'attenzione basata sul volume geometrico sia una via valida ed efficace per scalare i sistemi multimodali verso scenari multimodali complessi.