Beyond Self-Attention: Sub-Quadratic Vision Transformers for Fast Image Captioning

Résumé technique : Au-delà de l'auto-attention : des Vision Transformers sous-quadratiques pour le légendage d'images rapide

Énoncé du problème
Le légendage d'images consiste à générer des descriptions textuelles cohérentes et sémantiquement significatives à partir de contenus visuels, faisant le pont entre la vision par ordinateur et le traitement du langage naturel. Bien que les architectures basées sur les Transformers aient considérablement fait progresser le domaine en capturant des dépendances contextuelles à longue portée grâce à l'auto-attention, elles font face à deux limitations principales. Premièrement, les mécanismes d'auto-attention standard calculent les interactions par paires entre tous les patchs d'image, ce qui entraîne une complexité computationnelle quadratique ($O(n^2)$). Cela crée une surcharge de mémoire et de calcul substantielle, particulièrement pour les images à haute résolution et les applications à grande échelle. Deuxièmement, les approches existantes souffrent souvent d'un manque de représentations de caractéristiques locales riches et d'une redondance computationnelle, car elles traitent tous les patchs de manière égale, même lorsque beaucoup manquent d'informations sémantiquement critiques.

Méthodologie
L'architecture proposée répond à ces limitations en restructurant le cadre du Vision Transformer (ViT) pour remplacer le mécanisme d'auto-attention conventionnel par une approche de regroupement probabiliste basée sur un modèle de mélange gaussien (GMM). Le système fonctionne en deux étapes principales :

1. Encodage d'image (GMM-Transformer) :

   • Embedding de patch : Les images d'entrée sont divisées en patchs non chevauchants, projetées dans des embeddings de dimension $D$, et augmentées de codages positionnels.
   • Regroupement GMM pondéré par le contexte : Au lieu de calculer des scores d'attention par paires, le modèle traite les embeddings de patch comme des variables aléatoires continues générées par un mélange de $K$ distributions gaussiennes multivariées ($K \ll N$).
   • Poids de contexte apprenables : Une sous-couche assigne des poids spatiaux apprenables aux patchs, modulés par des propriétés statistiques (moyenne et variance), permettant au modèle de prioriser les régions sémantiquement significatives.
   • Algorithme EM : L'algorithme Espérance-Maximisation (EM) est employé pour effectuer un regroupement souple (soft-clustering). Dans l'étape E, le modèle calcule les « responsabilités » (probabilités d'assignation souple) indiquant le degré auquel chaque patch appartient à un cluster. Dans l'étape M, les paramètres des clusters (moyennes, covariances et coefficients de mélange) sont mis à jour.
   • Réduction de la complexité : Ce processus remplace la matrice d'attention $N \times N$ par une matrice de responsabilité $N \times K$, réduisant la complexité computationnelle de quadratique $O(n^2)$ à quasi-linéaire $O(nK)$.
   • Agrégation : Les caractéristiques de patch raffinées sont traitées par des réseaux de propagation vers l'avant avec des connexions résiduelles et une normalisation de couche. Enfin, une opération de pooling moyen global (Global Average Pooling) agrège les centroïdes de cluster en un vecteur de caractéristiques globales compact.

2. Décodage de langage (Décodeur unifié de type GPT) :

   • Le décodeur utilise un Transformer de type GPT autorégressif.
   • Attention unifiée : Contrairement aux modèles encodeur-décodeur traditionnels qui séparent l'auto-attention masquée et l'attention croisée, cette architecture les intègre dans un bloc d'attention multi-têtes unique.
   • Mécanisme : Les jetons textuels servent de vecteurs de requête (query), tandis que la séquence combinée de jetons visuels (centroïdes de cluster) et des jetons textuels précédents sert de clés (key) et de valeurs (value).
   • Masquage causal : Un masque causal spécialisé garantit que les jetons textuels portent attention à tous les jetons visuels mais seulement aux jetons textuels précédemment générés, maintenant les propriétés de génération autorégressive.
   • Génération : La sortie est projetée via une couche Softmax pour prédire le jeton suivant dans la séquence de manière itérative.

Contributions clés

• Réduction de la complexité : L'architecture réduit la complexité temporelle du transformer encodeur de quadratique à quasi-linéaire ($O(nK)$) en substituant l'auto-attention par un regroupement souple basé sur le GMM, tout en maintenant la capacité de générer des légendes contextuellement cohérentes.
• Conception de décodeur efficace : Un décodeur personnalisé de type GPT est employé, unifiant l'auto-attention masquée et l'attention croisée en un seul bloc de calcul, améliorant l'interaction multimodale et réduisant la redondance.
• Validation empirique : Une évaluation complète sur le jeu de données Flickr30k démontre les performances compétitives du modèle par rapport aux travaux de l'état de l'art (SOTA) existants, équilibrant l'efficacité computationnelle et la qualité du légendage.

Résultats expérimentaux
Le modèle a été évalué sur le jeu de données Flickr30k (utilisant la division Karpathy) avec une configuration de 8 couches de transformer, 4 têtes d'attention et une dimension cachée de 768.

• Métriques de performance : Le modèle proposé a obtenu les scores les plus élevés dans les métriques sémantiques avancées : BLEU-4 (0,364), METEOR (0,368) et SPICE (0,199). Ces résultats indiquent une structure de phrase et une cartographie de graphe de scène supérieures à plusieurs modèles SOTA (par exemple, TAKG, GNN-Visual, Scene Graph).
• Comparaison avec les bases de référence : Bien que le modèle soit en retrait par rapport au modèle ADA dans les métriques de précision de base (BLEU-1 : 0,733 contre 0,794 ; ROUGE : 0,568 contre 0,608 ; CIDEr : 0,723 contre 0,946), il surpasse d'autres bases de référence telles que TopDown et GNN-Visual. Les auteurs notent que l'architecture privilégie le contexte profond plutôt que la simple réplication.
• Efficacité : Le modèle opère avec un coût de calcul d'environ 21,17 GFLOPs et contient environ 32,8 millions de paramètres entraînables. L'analyse de la matrice de confusion a montré des taux de vrais positifs élevés (45 580) et de faibles comptes de faux positifs/négatifs, indiquant une forte capacité de classification.

Signification et affirmations
L'article affirme que le cadre proposé répond avec succès à l'inefficacité computationnelle inhérente aux Vision Transformers standards. En exploitant le modèle de mélange gaussien et l'algorithme Espérance-Maximisation, le modèle parvient à une réduction significative de la complexité computationnelle de quadratique à quasi-linéaire sans sacrifier la capacité à capturer des relations de caractéristiques significatives. Les auteurs affirment que le modèle présente une forte capacité prédictive et un encodage de caractéristiques évolutif, offrant un meilleur équilibre entre la qualité du légendage, l'efficacité computationnelle et la scalabilité. Les travaux futurs sont orientés vers l'incorporation de pré-entraînements multimodaux avancés, l'adaptation à des jeux de données spécifiques à des domaines, et le déploiement de modèles légers pour des applications de bord en temps réel.