Technische Samenvatting: GRAMformer – Any-Order Modality Interactions via Volumetric Multimodal Cross-Attention

Probleemstelling

Huidige multimodale transformer-architecturen vertrouwen zwaar op aandachtmechanismen om heterogene informatie te integreren. Echter, bestaande benaderingen lijden onder fundamentele beperkingen bij het modelleren van interacties tussen meer dan twee modaliteiten:

1. Paarwise Beperkingen: Standaard cross-attention berekent relevantie onafhankelijk tussen een query en elke modaliteit-specifieke key. Deze paarwise dot-product formulering faalt in het expliciet modelleren van interacties die afhangen van de gezamenlijke configuratie van meerdere representaties (bijv. of een set vectoren in een gemeenschappelijke laagdimensionale subspace ligt).
2. Schaalbaarheid en Efficiëntie:
   • Concatenatie-strategieën: Early-fusion methoden concateneren alle modaliteit-tokens in een enkele sequentie voor gezamenlijke self-attention. Dit leidt tot een kwadratische complexiteit in geheugen en rekenkracht naarmate het aantal modaliteiten toeneemt, en het faalt in het berekenen van interacties tussen de geconcateneerde modaliteiten zelf.
   • Pairwise Architecturen: Methoden die aparte cross-attention modules gebruiken voor elk paar modaliteiten schalen kwadratisch met het aantal modaliteiten wat betreft parameters en geheugen, terwijl ze nog steeds erin falen hogere-orde afhankelijkheden te vangen die drie of meer modaliteiten simultaan betreffen.
   • Tensorized Benaderingen: Recente pogingen om attention uit te breiden naar drie modaliteiten via tensorproducten of factorisatie vereisen vaak zware benaderingen of rangselectie, wat fijnmazige of modaliteit-specifieke afhankelijkheden kan onderdrukken.

Consequent is er een gebrek aan mechanismen die de aandacht expliciet kunnen definiëren als een functie over een set van modaliteit-representaties om ware hogere-orde multimodale uitlijning te vangen zonder prohibitieve computationele kosten.

Methodologie

Volumetric Multimodal Cross-Attention (VMA)

De auteurs stellen Volumetric Multimodal Cross-Attention (VMA) voor, een nieuw mechanisme dat de plaatsvervangt voor pairwise similarity door een verenigde geometrische maatstaf. In plaats van gelijkenis token-voor-token te evalueren, berekent VMA aandachtsscores op basis van de gezamenlijke geometrie van een query en meerdere modaliteit-specifieke keys.

• Geometrische Formulering: Voor een query token $q$ en een set uitgelijnde key tokens $\{k_1, \dots, k_M\}$ uit $M$ modaliteiten, construeert de methode een matrix $Z = [q, k_1, \dots, k_M]$. De gezamenlijke multimodale gelijkenis wordt gedefinieerd door het volume van de parallellepiped gespannen door deze vectoren, berekend als de vierkantswortel van de determinant van de bijbehorende Gram-matrix $G = Z^\top Z$:
  $$\text{Vol}(q, k_1, \dots, k_M) = \sqrt{\det(G) + \epsilon}$$
  Dit volume dient als een scalaire maat voor gezamenlijke lineaire afhankelijkheid: het is laag wanneer vectoren wederzijds uitgelijnd zijn (dicht bij een lagerdimensionale subspace) en neemt toe naarmate ze een hogerdimensionaal gebied opspannen.
• Attention Logits: De uiteindelijke attention logit combineert deze hogere-orde geometrische term met een standaard dot-product regularisatie om sterke bimodale interacties te behouden:
  $$s(q, k_1, \dots, k_M) = -\beta \cdot \text{Vol}(q, k_1, \dots, k_M) + \sum_{m=1}^M \frac{\langle q, k_m \rangle}{\sqrt{d}}$$
  Hier controleert $\beta$ de injectie van hogere-orde informatie. De volumeterm is invariant onder orthogonale transformaties en permutaties van de conditionerende modaliteiten.
• Waarde Aggregatie: Om de bijdrage van elke modaliteit dynamisch te controleren, moduleert een query-afhankelijk gating-mechanisme de geëxtraheerde informatie van elke modaliteit voordat deze wordt gemiddeld om de uiteindelijke output te vormen.
• Multi-Head Extensie (M-VMA): Het mechanisme wordt uitgebreid naar een multi-head formulering waarbij volumetrische aandacht onafhankelijk over $H$ subspaces wordt berekend, wat wiskundig geldig blijft zolang het aantal modaliteiten plus één de head-dimensie niet overschrijdt.

GRAMformer Architectuur

De auteurs integreren VMA in een nieuwe transformer-architectuur genaamd GRAMformer.

• Ontwerp: GRAMformer volgt de standaard transformer encoder structuur (residual connections, layer normalization, feed-forward networks) maar vervangt conventionele cross-attention lagen door VMA of M-VMA.
• Fusie Strategie: In de multimodale classificatie-opstelling fungeert één modaliteit (meestal tekst) als de query-stream, terwijl de overige modaliteiten fungeren als conditioning-streams. De VMA-block participeert gezamenlijk in de aandacht op alle conditioning modaliteiten bij elke laag, waardoor ze expliciet hun interacties modelleren in plaats van te vertrouwen op pairwise fusie.
• Efficiëntie: De architectuur is ontworpen om lichtgewicht te zijn. In tegenclus van concatenatie of pairwise strategieën, schaalt VMA efficiënt met het aantal modaliteiten zonder dat dit leidt tot een drastische toename in parameters of geheugen.

Belangrijkste Bijdragen

1. Identificatie van Beperkingen: Het artikel benadrukt het fundamentele onvermogen van pairwise attention mechanismen om hogere-orde multimodale afhankelijkheden te modelleren en de inefficiëntie van huidige fusiestrategieën.
2. Volumetric Multimodal Cross-Attention (VMA): Introductie van een nieuw attention mechanisme dat aandachtsscores definieert als een functie van de gezamenlijke geometrie (volume) van een query en meerdere keys, wat natuurlijke modellering van any-order modaliteit interacties mogelijk maakt.
3. GRAMformer: De integratie van VMA in een lichtgewicht transformer-architectuur die verbeterde effectiviteit en efficiëntie demonstreert over diverse multimodale taken zonder uitsluitend te vertrouwen op pairwise berekeningen of zware concatenatie-operaties.

Experimentele Resultaten

Het voorgestelde model werd geëvalueerd op de MultiBench suite, inclusief sentimentanalyse (MOSI, MOSEI), humor/sarcasme detectie (UR-FUNNY, MUsTARD) en robotica datasets (MuJoCo Push, Vision & Touch).

• Prestaties: GRAMformer behaalde state-of-the-art of competitieve resultaten over meerdere datasets.
  • Op MOSI behaalde het een Acc-2 van 87.90% (met pre-geëxtraheerde features) en 89.94% (met BERT finetuning), waarmee het sterke baselines zoals MMML, MulT en Self-MM verslaat.
  • Op MOSEI behaalde het een Acc-2 van 84.07% (pre-geëxtraheerd) en 87.39% (gefinetuned).
  • Op UR-FUNNY en MUsTARD behaalde het respectievelijk 62.46% en 63.96% nauwkeurigheid, waarmee het baselines zoals MulT en TF overtreft.
• Efficiëntie:
  • Aantal Parameters: GRAMformer is aanzienlijk lichter. Zo gebruikte GRAMformer op de MOSI dataset met finetuned BERT 110.1M parameters vergeleken met 110.7M voor TeTFN en 889.6M voor MMML. In de pre-geëxtraheerde setting gebruikte het slechts 0.66M parameters.
  • Schaalbaarheid: Naarmate het aantal modaliteiten toeneemt (van 2 naar 6), behoudt GRAMformer een lineaire of bijna lineaire groei in parameters en geheugen, terwijl pairwise en concatenatie methoden een kwadratische groei vertonen.

Betekenis en Claims

Het artikel claimt dat GRAMformer een kritieke kloof in multimodale learning adresseert door een mechanisme te bieden dat expliciet gezamenlijke multimodale uitlijning modelleert in plaats van te vertrouven op impliciete of pairwise benaderingen. Door gebruik te maken van het geometrische volume van representatieruimtes, vangt het model hogere-orde afhankelijkheden die verloren gaan in standaard dot-product attention.

De auteurs benadrukken dat deze aanpak de volgende mogelijkheden biedt:

1. Natuurlijke modellering van any-order interacties: Het mechanisme werkt voor een willekeurig aantal modaliteiten zonder restrictieve low-rank aannames of tensor factorisaties te vereisen.
2. Computationele Efficiëntie: Het bereikt superieure prestaties met een aanzienlijk lager aantal parameters en een kleinere geheugenvoetafdruk vergeleken met bestaande hoogpresterende multimodale transformers.
3. Architecturale Compatibiliteit: Het ontwerp behoudt de inductieve biases en trainingsprocedures van standaard transformers en is daarmee een "drop-in" vervanging voor cross-attention lagen in bestaande systemen.

Het werk suggereert dat het bewegen van pairwise gelijkenis naar geometrische volume-gebaseerde aandacht een levensvatbaar en effectief pad is om multimodale systemen op te schalen naar complexe, multi-modale scenario's.