Résumé technique : Attention par regard pour les modèles de langage multimodaux de grande taille

Énoncé du problème

Les modèles de langage multimodaux de grande taille (MLLM) actuels traitent les entrées visuelles en accordant une attention uniforme à tous les jetons visuels à chaque étape de génération. Ce mécanisme d'« attention dense » entraîne deux problèmes principaux :

1. Focus dilué : Le modèle traite des régions visuelles non pertinentes parallèlement aux régions pertinentes pour la tâche, échouant à imiter la nature sélective de la perception visuelle humaine, où le regard se déplace dynamiquement pour se fixer sur les régions pertinentes à la description visée.
2. Surcharge computationnelle : L'attention portée à l'ensemble de la séquence de jetons visuels (qui peut être massive dans le cas d'images haute résolution ou de vidéos longues) crée des charges computationnelles et mémoire significatives, en particulier dans le cache clé-valeur (KV).

Les approches existantes pour atténuer ce problème, telles que la compression de jetons ou l'éviction du cache KV, déterminent généralement quelles informations visuelles conserver avant le début de la génération (par exemple, sur la base d'une estimation de pertinence unique dérivée de la question d'entrée). Ces méthodes statiques omettent souvent des détails fins ou échouent à s'adapter lorsque les étapes de génération ultérieures nécessitent des informations provenant de régions différentes, préalablement rejetées. Elles manquent de la capacité de sélectionner dynamiquement des régions visuelles à chaque étape de décodage.

Méthodologie : Attention par regard

Les auteurs proposent l'Attention par regard, un mécanisme permettant aux MLLM d'accorder une attention sélective aux régions visuelles pertinentes de manière dynamique au cours du processus de génération. La méthode se compose de trois composants principaux :

1. Régions de regard et descripteurs

Au lieu de traiter les jetons visuels comme une séquence plate, la méthode regroupe spatialement les vecteurs clés visuels (provenant du cache KV) en régions de regard compactes.

• Partitionnement : Les clés visuelles sont remodelées selon leur disposition spatiale originale (et temporelle, pour la vidéo) et partitionnées en régions de taille $r_h \times r_w \times r_t$.
• Descripteurs : Chaque région est résumée par un descripteur léger ($d_g$), obtenu par moyennage des vecteurs clés au sein de cette région. Cela réduit l'ensemble des candidats de la séquence complète de jetons au niveau des régions.
• Routage dynamique : À chaque étape de décodage $j$, le jeton de requête $q_j$ calcule des scores de similarité avec tous les descripteurs de région. Le modèle sélectionne les $K$ régions les plus pertinentes ($G_j$) et restreint le mécanisme d'attention pour qu'il ne porte que sur les paires clé-valeur contenues dans ces régions sélectionnées.
• Stabilité : Pour remédier à l'instabilité d'entraînement inhérente à l'apprentissage d'une attention sparse à partir de zéro, un calendrier progressif de Top-K est employé. L'entraînement commence avec un paramétrage dense (sélection de toutes les régions) et réduit progressivement $K$ au fur et à mesure que l'entraînement avance, permettant au modèle d'apprendre des signaux de routage discriminatifs sans être contraint à des décisions sparse prématurées.

2. Jetons de contexte apprenables

Pour éviter la perte d'informations globales de la scène causée par une attention localisée, les auteurs introduisent des jetons de contexte apprenables.

• Un petit ensemble de jetons apprenables est ajouté à chaque image ou trame vidéo à l'entrée du LLM.
• Ces jetons forment des clés de résumé compactes ($K_C$) qui restent visibles tout au long du processus de génération, indépendamment des régions de regard spécifiques sélectionnées.
• Cela garantit que le modèle conserve une conscience visuelle holistique (contexte global) tout en effectuant une attention sélective fine sur des régions locales, analogue à la façon dont les humains perçoivent une scène dans son ensemble avant de se concentrer sur les détails.

3. Formulation unifiée de l'attention

Le mécanisme d'attention final combine trois sources de paires clé-valeur pour toute requête donnée :

1. Jetons textuels.
2. Jetons de contexte global ($K_C$).
3. Jetons visuels provenant des régions de regard dynamiquement sélectionnées ($K_{selected}$).

Cette formulation permet au modèle de maintenir la cohérence linguistique et la conscience visuelle globale tout en allouant la majeure partie de son budget de calcul visuel aux régions pertinentes pour la tâche.

Contributions clés

• Attention sélective dynamique : Contrairement aux méthodes antérieures qui fixent l'attention visuelle sur la base de scores d'importance pré-calculés, l'Attention par regard achemine les requêtes vers les régions pertinentes à chaque étape de génération, s'adaptant aux besoins évolutifs du texte en cours de génération.
• Efficacité sans perte globale : La méthode réalise des économies computationnelles significatives en restreignant l'attention à un sous-ensemble de régions tout en préservant le contexte global grâce à des jetons apprenables, évitant le « flou » ou le « rejet » de détails courants dans les méthodes de compression de jetons ou d'éviction statique.
• Comportement de regard émergent : Le modèle apprend à déplacer son « regard » pour correspondre au sujet du jeton généré (par exemple, se concentrer sur un chien lors de la génération du mot « chien ») uniquement par la prédiction du jeton suivant, sans supervision explicite du regard.

Résultats

Les auteurs ont évalué l'Attention par regard sur 13 benchmarks de compréhension d'images et 6 de compréhension vidéo, en la comparant à des bases de référence à attention dense et à des méthodes existantes d'éviction de cache KV (par exemple, InfiniPot-V, HERMES).

• Performance : L'Attention par regard égale ou dépasse les bases de référence à attention dense sur tous les benchmarks. Dans certains cas, elle surpasse les bases de référence même avec des tailles de cache KV considérablement réduites.
• Efficacité : La méthode réduit le nombre d'entrées KV visuelles impliquées dans le calcul de l'attention jusqu'à 90 %.
  • Dans les tâches d'images, elle maintient les performances avec seulement ~16 % des FLOPs de l'attention dense.
  • Dans les tâches vidéo, elle surpasse les bases de référence à attention dense contraintes par le même budget KV.
• Comparaison avec les méthodes d'éviction : Les méthodes d'éviction existantes (InfiniPot-V, HERMES) subissent des baisses de performance significatives lors d'une réduction agressive de la taille du cache KV, en particulier dans les configurations d'image unique, car elles ne peuvent pas adapter leur sélection une fois la génération commencée. L'Attention par regard reste robuste sous une compression similaire ou plus agressive.
• Visualisation : Les visualisations de cartes d'attention confirment que l'Attention par regard produit des motifs d'attention concentrés et interprétables, focalisés sur les objets pertinents, tandis que l'attention dense génère des motifs diffus et ambigus.

Importance et revendications

L'article revendique que la capacité des MLLM à accorder une attention sélective aux régions visuelles pertinentes constitue une alternative prometteuse à l'attention dense. En imitant le comportement du regard humain — déplaçant dynamiquement le focus en fonction de l'étape de génération actuelle — l'Attention par regard offre une voie pour :

1. Réduire les coûts computationnels : Réduire considérablement les FLOPs et l'utilisation mémoire (jusqu'à ~80 % de réduction des FLOPs d'attention et ~80 % de la mémoire du cache KV) sans sacrifier les performances.
2. Améliorer l'interprétabilité : Générer des cartes d'attention concentrées qui s'alignent sur le contenu sémantique du texte généré.
3. Renforcer l'adaptabilité : Permettre aux modèles d'accéder à différents détails visuels à différents stades de la génération, surmontant les limites de la sélection visuelle statique et pré-calculée.

Les auteurs notent que cette approche comble le fossé entre les mécanismes d'attention efficaces (généralement étudiés pour le texte) et l'attention visuelle sélective pour la compréhension multimodale, démontrant qu'une haute performance peut être atteinte avec une fraction du contexte visuel traité.