Résumé Technique : GRAMformer – Interactions de Modalités d'Ordre Quelconque via l'Attention Croisée Multimodale Volumétrique

Énoncé du Problème

Les architectures actuelles de transformeurs multimodaux reposent fortement sur des mécanismes d'attention pour intégrer des informations hétérogènes. Cependant, les approches existantes souffrent de limitations fondamentales lors de la modélisation des interactions entre plus de deux modalités :

1. Limitations de la paire (Pairwise) : L'attention croisée standard calcule la pertinence de manière indépendante entre une requête et chaque clé spécifique à une modalité. Cette formulation par produit scalaire de paires ne parvient pas à modéliser explicitement les interactions qui dépendent de la configuration conjointe de plusieurs représentations (par exemple, si un ensemble de vecteurs se situe dans un sous-espace de faible dimension commun).
2. Scalabilité et Efficacité :
   • Stratégies de Concatenation : Les méthodes de fusion précoce concatènent tous les jetons de modalité en une séquence unique pour une auto-attention conjointe. Cela entraîne une complexité quadratique en mémoire et en calcul à mesure que le nombre de modalités augmente, et cela échoue à calculer les interactions entre les modalités concaténées elles-mêmes.
   • Architectures de Paires (Pairwise) : Les méthodes utilisant des modules d'attention croisée distincts pour chaque paire de modalités passent à une croissance quadratique par rapport au nombre de modalités en termes de paramètres et de mémoire, tout en échouant toujours à capturer les dépendances d'ordre supérieur impliquant trois modalités ou plus simultanément.
   • Approches Tensorisées : Les tentatives récentes d'extension de l'attention à trois modalités via des produits tensoriels ou des factorisations nécessitent souvent de sévères approximations ou une sélection de rang, ce qui peut supprimer les dépendances fines ou spécifiques à une modalité.

Par conséquent, il existe un manque de mécanismes capables de définir explicitement l'attention comme une fonction sur un ensemble de représentations de modalités afin de capturer un véritable alignement multimodal d'ordre supérieur sans coûts de calcul prohibitifs.

Méthodologie

Attention Croisée Multimodale Volumétrique (VMA)

Les auteurs proposent l'Attention Croisée Multimodale Volumétrique (VMA), un mécanisme novateur qui remplace la similitude par paires par une mesure géométrique unifiée. Au lieu d'évaluer la similitude jeton par jeton, la VMA calcule les scores d'attention basés sur la géométrie conjointe d'une requête et de plusieurs clés spécifiques aux modalités.

• Formulation Géométrique : Pour un jeton de requête $q$ et un ensemble de jetons clés alignés $\{k_1, \dots, k_M\}$ provenant de $M$ modalités, la méthode construit une matrice $Z = [q, k_1, \dots, k_M]$. La similitude multimodale conjointe est définie par le volume du parallélépipède engendré par ces vecteurs, calculé comme la racine carrée du déterminant de la matrice de Gram associée $G = Z^\top Z$ :
  $$\text{Vol}(q, k_1, \dots, k_M) = \sqrt{\det(G) + \epsilon}$$
  Ce volume sert de mesure scalaire de la dépendance linéaire conjointe : il est faible lorsque les vecteurs sont mutuellement alignés (proches d'un sous-espace de dimension inférieure) et augmente à mesure qu'ils engendrent une région de dimension supérieure.
• Logits d'Attention : Le logit d'attention final combine ce terme géométrique d'ordre supérieur avec une régularisation par produit scalaire standard pour préserver les fortes interactions bimodales :
  $$s(q, k_1, \dots, k_M) = -\beta \cdot \text{Vol}(q, k_1, \dots, k_M) + \sum_{m=1}^M \frac{\langle q, k_m \rangle}{\sqrt{d}}$$
  Ici, $\beta$ contrôle l'injection d'informations d'ordre supérieur. Le terme de volume est invariant par transformations orthogonales et par permutations des modalités de conditionnement.
• Agrégation des Valeurs : Pour contrôler dynamiquement la contribution de chaque modalité, un mécanisme de porte dépendant de la requête module l'information extraite de chaque modalité avant de les moyenner pour former la sortie finale.
• Extension Multi-Têtes (M-VMA) : Le mécanisme est étendu à une formulation multi-têtes où l'attention volumétrique est calculée indépendamment à travers $H$ sous-espaces, restant mathématiquement valide tant que le nombre de modalités plus un ne dépasse pas la dimension de la tête.

Architecture GRAMformer

Les auteurs intègrent la VMA dans une nouvelle architecture de transformeur nommée GRAMformer.

• Conception : GRAMformer suit la structure standard d'un encodeur de transformeur (connexions résiduelles, normalisation de couche, réseaux de neurones à propagation avant) mais remplace les couches d'attention croisée conventionnelles par la VMA ou la M-VMA.
• Stratégie de Fusion : Dans la configuration de classification multimodale, une modalité (généralement le texte) agit comme le flux de requête, tandis que les autres modalités agissent comme des flux de conditionnement. Le bloc VMA prête attention conjointement à toutes les modalités de conditionnement à chaque couche, modélisant explicitement leurs interactions plutôt que de s'appuyer sur une fusion par paires.
• Efficacité : L'architecture est conçue pour être légère. Contrairement aux stratégies de concaténation ou de paires, la VMA passe à l'échelle efficacement avec le nombre de modalités sans nécessiter une augmentation drastique des paramètres ou de la mémoire.

Contributions Clés

1. Identification des Limitations : L'article souligne l'incapacité fondamentale des mécanismes d'attention par paires à modéliser les dépendances multimodales d'ordre supérieur et l'inefficacité des stratégies de fusion actuelles.
2. Attention Croisée Multimodale Volumétrique (VMA) : Introduction d'un nouveau mécanisme d'attention qui définit les scores d'attention comme une fonction de la géométrie conjointe (volume) d'une requête et de plusieurs clés, permettant la modélisation native des interactions de modalités d'ordre quelconque.
3. GRAMformer : L'intégration de la VMA dans une architecture de transformeur légère qui démontre une efficacité et une performance accrues à travers diverses tâches multimodales sans reposer uniquement sur des calculs par paires ou des opérations de concaténation lourdes.

Résultats Expérimentaux

Le modèle proposé a été évalué sur la suite MultiBench, incluant l'analyse de sentiment (MOSI, MOSEI), la détection de l'humour/sarcasme (UR-FUNNY, MUsTARD) et des jeux de données de robotique (MuJoCo Push, Vision & Touch).

• Performance : GRAMformer a atteint des résultats de pointe (SOTA) ou compétitifs sur plusieurs jeux de données.
  • Sur MOSI, il a atteint un Acc-2 de 87,90 % (avec caractéristiques pré-extraites) et 89,94 % (avec fine-tuning de BERT), surpassant des bases solides comme MMML, MulT et Self-MM.
  • Sur MOSEI, il a atteint un Acc-2 de 84,07 % (pré-extrait) et 87,39 % (fine-tuné).
  • Sur UR-FUNNY et MUsTARD, il a atteint respectivement 62,46 % et 63,96 % de précision, dépassant les bases comme MulT et TF.
• Efficacité :
  • Nombre de Paramètres : GRAMformer est nettement plus léger. Par exemple, sur le jeu de données MOSI avec BERT fine-tuné, il utilise 110,1M de paramètres comparé à 110,7M pour TeTFN et 889,6M pour MMML. En configuration de caractéristiques pré-extraites, il n'utilise que 0,66M de paramètres.
  • Scalabilité : À mesure que le nombre de modalités augmente (de 2 à 6), GRAMformer maintient une croissance linéaire ou quasi-linéaire en termes de paramètres et de mémoire, alors que les méthodes de paires et de concaténation présentent une croissance quadratique.

Signification et Revendications

L'article affirme que GRAMformer comble une lacune critique dans l'apprentissage multimodal en fournissant un mécanisme qui modélise explicitement l'alignement multimodal conjoint plutôt que de compter sur des approximations par paires ou implicites. En utilisant le volume géométrique des espaces de représentation, le modèle capture les dépendances d'ordre supérieur qui sont perdues dans l'attention classique par produit scalaire.

Les auteurs soulignent que cette approche permet :

1. Modélisation native des interactions d'ordre quelconque : Le mécanisme fonctionne pour n'importe quel nombre de modalités sans nécessiter d'hypothèses restrictives de rang faible ou de factorisations tensorielles.
2. Efficacité Computationnelle : Il atteint une performance supérieure avec un nombre de paramètres et une empreinte mémoire considérablement réduits par rapport aux transformeurs multimodaux performants existants.
3. Compatibilité Architecturale : La conception préserve les biais inductifs et les procédures d'entraînement des transformeurs standards, ce qui en fait un remplacement direct ("drop-in replacement") pour les couches d'attention croisée dans les systèmes existants.

Ce travail suggère que passer de la similitude par paires à une attention basée sur le volume géométrique est une voie viable et efficace pour passer à l'échelle des systèmes multimodaux vers des scénarios multimodaux complexes.