🤖 AI

CATP: Cross-Attention Token Pruning for Accuracy Preserved Multimodal Model Inference

Ce papier présente CATP, une méthode d'élagage de tokens basée sur l'attention croisée qui permet d'accélérer l'inférence des modèles multimodaux tout en préservant leur précision, surpassant les techniques existantes jusqu'à 12,1 fois en termes d'exactitude.

Auteurs originaux : Ruqi Liao, Chuqing Zhao, Jin Li, Weiqi Feng, Yi Lyu, Bingxian Chen, Haochen Yang

Publié 2026-02-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ruqi Liao, Chuqing Zhao, Jin Li, Weiqi Feng, Yi Lyu, Bingxian Chen, Haochen Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami très intelligent, mais très lent, qui s'appelle BLIP-2. C'est un expert capable de regarder une photo et de répondre à des questions dessus (comme "Quelle est la couleur du chat ?"). Cependant, pour faire son travail, il doit lire des milliers de petits morceaux de l'image (qu'on appelle des "tokens") et les comparer à ses propres pensées. C'est comme si, pour répondre à une question simple, il devait lire tout un livre page par page avant de parler. C'est épuisant et ça prend beaucoup de temps !

Les chercheurs de ce papier ont voulu rendre cet ami plus rapide sans le rendre stupide. Voici comment ils ont fait, expliqué simplement :

1. Le Problème : Trop de bruit dans la conversation

Normalement, pour aller plus vite, on essaie de supprimer les informations inutiles. Mais les méthodes habituelles sont comme un crieur de foule qui jette des pierres au hasard : il enlève des morceaux de l'image au hasard ou en se basant sur leur taille, sans vraiment comprendre ce qui est important. Résultat ? L'ami perd sa capacité à voir les détails et ses réponses deviennent bêtes.

2. La Solution : CATP (Le "Système de Vote" Intelligent)

Les chercheurs ont inventé une méthode appelée CATP. Imaginez que l'image est une salle de réunion remplie de gens (les "tokens" de l'image) et que votre ami pose une question à un groupe de conseillers (les "tokens" de la question).

Au lieu de supprimer des conseillers au hasard, CATP utilise un système de vote très précis :

Chaque personne dans la salle d'image (le pixel) regarde chaque conseiller et dit : "Celui-ci, il m'intéresse beaucoup !" ou "Celui-là, je m'en fiche".
C'est basé sur ce qu'on appelle l'"attention croisée" (Cross-Attention). C'est comme si chaque détail de la photo votait pour les conseillers qui sont les plus pertinents pour le comprendre.
À la fin, on compte les voix. Les conseillers qui ont le moins de voix (ceux qui ne sont liés à rien d'important dans l'image) sont éliminés.

3. L'Analogie du Chef d'Orchestre

Imaginez un chef d'orchestre (le modèle) qui dirige une symphonie.

Les anciennes méthodes : Le chef dit "Coupez la moitié des violons !" sans écouter la musique. Le résultat est chaotique.
La méthode CATP : Le chef écoute attentivement la partition. Il voit que certains violons jouent des notes cruciales pour la mélodie, tandis que d'autres ne font que du bruit de fond. Il ne garde que les violons essentiels pour que la musique reste belle, tout en jouant beaucoup plus vite.

4. Les Résultats : Plus rapide, mais aussi intelligent

Grâce à cette astuce de "vote", les chercheurs ont pu supprimer jusqu'à 7/8èmes des informations inutiles (garder seulement 1 token sur 8) tout en conservant une excellente précision.

Comparé aux anciennes méthodes qui faisaient chuter la qualité de réponse à 1% ou 2%, CATP a maintenu une précision très élevée (jusqu'à 12 fois meilleure que les concurrents).
Ils ont même affiné le système en donnant plus de poids aux votes des "images importantes" (comme un chef qui écoute plus attentivement les solistes que les musiciens d'accompagnement).

En résumé

Ce papier nous dit : "Ne coupez pas les informations au hasard !". Au lieu de cela, utilisez le lien naturel entre l'image et la question pour décider de quoi garder. C'est comme trier une valise avant un voyage : on ne jette pas tout, on garde juste ce qui est vraiment nécessaire pour arriver à destination, ce qui rend le voyage (l'informatique) beaucoup plus rapide et efficace, sans perdre l'essentiel.

1. Problématique

Les modèles multimodaux à grande échelle, tels que BLIP-2, rencontrent des défis majeurs en termes d'efficacité computationnelle et de préservation de la précision lors de l'inférence.

Coût computationnel : Dans l'architecture BLIP-2, le décodeur de Grand Modèle de Langage (LLM) représente plus de 87 % des paramètres (2,7 milliards sur 3,1 milliards) et est responsable de la majeure partie du coût de calcul. La complexité de l'attention dans les transformateurs étant quadratique par rapport à la longueur de la séquence, réduire la taille des entrées (tokens de requête) est une voie prometteuse pour accélérer l'inférence.
Limites des méthodes existantes : Les stratégies d'élagage (pruning) actuelles, conçues principalement pour des modèles unimodaux (basées sur la magnitude des poids ou l'attention auto-référencée/self-attention), échouent sur les modèles multimodaux. Elles entraînent une dégradation significative de la précision, rendant les modèles inutilisables pour des tâches complexes comme la réponse aux questions visuelles (VQA).
Objectif : Concevoir un pipeline d'élagage post-entraînement qui réduit la charge computationnelle tout en maintenant une précision acceptable pour les modèles multimodaux.

2. Méthodologie : CATP

Les auteurs proposent CATP (Cross-Attention Token Pruning), une méthode novatrice qui exploite les couches d'attention croisée spécifiques aux modèles multimodaux (comme le Q-Former dans BLIP-2) pour déterminer l'importance des tokens.

Principe Fondamental

Contrairement aux méthodes qui regardent uniquement l'attention interne (self-attention), CATP postule que l'importance d'un token de requête (pour l'LLM) dépend de sa relation avec les tokens d'image (provenant de l'encodeur visuel). Les probabilités d'attention croisée indiquent la pertinence entre une image et un token de texte.

Algorithme de Vote (Voting Strategy)

Comme les probabilités d'attention croisée sont normalisées par une fonction softmax (somme égale à 1), une simple accumulation ne suffit pas. CATP introduit un mécanisme de vote sophistiqué :

Extraction : Le système extrait les cartes de probabilité d'attention croisée de chaque tête d'attention et de chaque couche du Q-Former.
Vote par token image : Pour chaque token de requête, chaque token d'image lui attribue un nombre de points.
- Le token d'image attribue $L_0 - n$ points au token de requête ayant la $n$ -ième plus grande probabilité d'attention croisée (où $L_0$ est le nombre total de tokens de requête).
Agrégation : Le score d'importance de chaque token de requête est la somme des points reçus à travers toutes les têtes et toutes les couches.
Élagage : Les tokens de requête ayant les scores d'importance les plus faibles sont supprimés selon un ratio d'élagage $p$ .

Variantes et Optimisations

Pondération des tokens image : Une version améliorée pondère les votes des tokens d'image en fonction de leur propre score d'attention auto-référencée (self-attention), supposant que les tokens d'image plus "importants" doivent avoir plus d'influence sur le vote.
Importance des couches : Les expériences montrent que les couches d'attention croisée initiales et finales sont plus informatives que les couches intermédiaires.

3. Contributions Clés

Première approche ciblée sur l'attention croisée : CATP est la première méthode à utiliser spécifiquement les mécanismes d'attention croisée (liant vision et langage) pour guider l'élagage des tokens dans les modèles multimodaux, plutôt que de se fier à l'attention interne.
Stratégie de vote agrégée : Introduction d'un algorithme de vote multi-têtes et multi-couches qui transforme les probabilités normalisées en scores d'importance discriminants.
Préservation de la précision : La méthode permet de réduire drastiquement la complexité computationnelle sans sacrifier la performance du modèle, comblant le fossé entre efficacité et précision.

4. Résultats Expérimentaux

Les évaluations ont été menées sur le modèle BLIP-2 (blip2-opt-2.7b) sur le jeu de données VQA (Visual Question Answering).

Comparaison avec les SOTA :
- Baseline L2-norm : L'élagage basé sur la norme L2 fait chuter la précision à des niveaux inacceptables (ex: 9,50 % pour garder 1/2 des tokens).
- Baseline Self-Attention (SpAtten) : Bien que meilleure, elle chute également fortement (44,22 % pour 1/2, 1,92 % pour 1/8).
- CATP : Surpasse largement les méthodes existantes.
  - Pour un ratio de conservation de 1/8 (élagage agressif), CATP atteint 23,27 % (toutes couches) et 30,17 % (première couche uniquement), contre seulement 1,92 % pour la baseline Self-Attention.
  - Gain de performance : CATP offre une amélioration de précision allant jusqu'à 6,6 fois par rapport à la baseline L2-norm et 12,1 fois par rapport à la baseline Self-Attention.
Impact des optimisations :
- L'ajout de la pondération des tokens image améliore encore les résultats (ex: 29,30 % vs 23,27 % pour un ratio 1/8).
- L'analyse par couche révèle que l'utilisation des couches d'attention croisée initiales et finales est cruciale pour maintenir une haute précision.

5. Signification et Conclusion

Ce travail démontre que les méthodes d'élagage conçues pour les modèles de langage pur ne sont pas directement transférables aux modèles multimodaux. En exploitant la structure unique des modèles comme BLIP-2, et plus particulièrement les couches d'attention croisée qui font le pont entre l'image et le texte, il est possible de concevoir des stratégies d'élagage beaucoup plus intelligentes.

CATP représente une avancée significative pour le déploiement efficace de modèles multimodaux à grande échelle, permettant des inférences plus rapides tout en préservant une précision critique pour des applications réelles telles que la description d'images, la réponse aux questions visuelles et les conversations multimodales.