Résumé Technique : CAPA – Élagage sensible à la contribution et approximation des FFN pour l'efficacité des grands modèles de vision-langage

1. Énoncé du problème

Les grands modèles de vision-langage (LVLM) font face à des goulots d'étranglement computationnels importants en raison du coût élevé du traitement de milliers de jetons visuels, particulièrement lors de la gestion d'images à haute résolution. Bien que l'élagage des jetons visuels soit devenu une stratégie d'accélération primaire, les méthodes existantes reposent lourdement sur les scores d'attention bruts ou des métriques heuristiques dérivées de ceux-ci pour identifier les jetons non importants. Les auteurs soutiennent que les scores d'attention sont un indicateur imparfait de l'importance réelle des jetons car ils ignorent l'amplitude des vecteurs de valeur associés.

De plus, les approches actuelles traitent souvent les jetons visuels et textuels de manière uniforme. Cependant, des preuves récentes suggèrent que les architectures de base des LVLM traitent ces modalités différemment. Plus précisément, la redondance dans les réseaux de neurones à propagation avant (FFN) concernant les jetons visuels reste largement inexplorée. Des travaux antérieurs dans le domaine des LLM ont exploré l'approximation des FFN (par exemple, l'approximation parcimonieuse, le MoE), mais ces techniques n'ont pas été étendues aux motifs de redondance spécifiques des jetons visuels dans les LVLM.

2. Analyse empirique et observations clés

Les auteurs ont mené des analyses empiriques sur des LVLM (LLaVA-1.5, Qwen2.5-VL, InternVL3) pour déconstruire les comportements des jetons visuels, menant à deux observations critiques :

1. Hétérogénéité des puits d'attention (Attention Sinks) :

   • Les « puits d'attention » traditionnels (jetons avec une masse d'attention disproportionnellement élevée) ne sont pas fonctionnellement uniformes.
   • En utilisant une nouvelle métrique, la Contribution de l'Attention, les auteurs distinguent deux types de puits :
     • Type I (Dépôts de probabilité) : Jetons avec des poids d'attention élevés mais de faibles amplitudes de vecteurs de valeur. Ils agissent comme des réceptacles passifs pour l'excès de masse de probabilité et contribuent de manière négligeable au flux résiduel. Ils sont sûrs à élaguer.
     • Type II (Ancres structurelles) : Jetons possédant à la fois des poids d'attention élevés et des amplitudes de vecteurs de valeur massives. Ils sont critiques pour maintenir la performance du modèle ; leur suppression provoque un effondrement de la représentation.
   • Conclusion : Se fier uniquement aux scores d'attention ne permet pas de distinguer ces deux types, conduisant à l'élagage accidentel de jetons essentiels.

2. Redondance dépendante de la modalité :

   • Les auteurs ont mesuré la linéarité des transformations FFN en calculant la similitude cosinus entre l'état caché d'entrée $x$ et la sortie résiduelle $x + \text{FFN}(x)$.
   • Résultats : Les jetons d'image présentent une cartographie quasi-identité (similitude > 0,96) à travers la majorité des couches intermédiaires, indiquant que les transformations FFN sont effectivement linéaires et redondantes pour les données visuelles. En revanche, les jetons de texte présentent une non-linéarité significative dans les premières et moyennes couches.
   • Conclusion : Les coûteuses calculs FFN en $O(d^2)$ pour les jetons visuels dans les couches intermédiaires peuvent être remplacés par des approximations linéaires légères sans compromettre l'intégrité de la représentation.

3. Méthodologie : Cadre CAPA

Sur la base de ces découvertes, les auteurs proposent CAPA (Contribution-Aware Pruning and FFN Approximation), un cadre à double stratégie :

A. Élagage sensible à la contribution

Au lieu d'utiliser les scores d'attention bruts, CAPA calcule un Score de Contribution de l'Attention ($C_i$) pour chaque jeton visuel $i$. Ce score pondère la probabilité d'attention par l'amplitude du vecteur de valeur projeté par la matrice de sortie.

• Formule : $C_i = \left\| \sum_{h=1}^{H} A_{i,h} (x_i W_{V,h}) W_{O,h} \right\|_2$
• Mécanisme : Pendant la génération, le système sélectionne dynamiquement les top-$k$ jetons visuels ayant les scores de contribution les plus élevés pour les conserver dans le cache clé-valeur (KV cache), élaguant ceux dont la contribution est négligeable. Cela garantit la préservation des « Ancres structurelles » tout en supprimant les « Dépôts de probabilité ».

B. Identification de la redondance et approximation des FFN

Pour les couches identifiées comme ayant une haute redondance (où la similitude cosinus entrée-sortie dépasse un seuil $\eta$), CAPA remplace le FFN dense standard par un produit de Hadamard léger.

• Approximation : Le bloc résiduel $y^{(l)} = x^{(l)} + \text{FFN}(x^{(l)})$ est approximé par $\hat{y}^{(l)} = x^{(l)} \odot \alpha$, où $\alpha$ est un vecteur de mise à l'échelle élément par élément appris.
• Réduction de complexité : Cela réduit la complexité computationnelle de la couche de $O(d^2)$ à $O(d)$.
• Optimisation : Le vecteur de mise à l'échelle $\alpha$ optimal est dérivé analytiquement en utilisant une solution de moindres carrés ordinaires (OLS) sur un ensemble de calibration, évitant ainsi la descente de gradient itérative.

4. Résultats expérimentaux

Le cadre a été évalué sur trois backbones de LVLM (LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B) à travers six benchmarks (VQAv2, MMBench, MMVet, TextVQA, SEED-Bench, MMMU).

• Performance vs Baselines : CAPA a systématiquement surpassé les baselines d'élagage existantes (FastV, Feather, élagage uniforme) sur tous les benchmarks. Notamment, aux « couches de transition » critiques où l'élagage est le plus sensible, CAPA a maintenu une performance proche du modèle Vanilla non élagué, là où les baselines ont subi une dégradation significative.
• Robustesse : CAPA a démontré une robustesse supérieure aux niveaux de parcimonie élevés. Alors que les baselines ont connu des chutes de performance précipitées au-delà de 50 % d'élagage, CAPA a maintenu une précision proche de celle du modèle original même à 75 % d'élagage.
• Gains d'efficacité :
  • Élagage de jetons : Réduction du coût quadratique associé à la longueur de la séquence.
  • Approximation FFN : Élimination du coût dominant en $O(d^2)$ dans les couches redondantes.
  • Impact Total : L'approche combinée a permis une réduction de 78 % des FLOPs totaux tout en préservant la performance des tâches.
• Études d'ablation :
  • Divergence de Logit : L'élagage basé sur la Contribution de l'Attention a entraîné des distances de Hellinger plus faibles (plus proches de la distribution de sortie du modèle vanilla) par rapport à l'élagage basé sur le score d'attention, particulièrement pour la génération longue.
  • Remplacement FFN : Le simple fait de sauter les couches FFN a causé des chutes de performance, mais le remplacement par le produit de Hadamard a réussi à récupérer la majeure partie de la performance perdue, validant l'hypothèse de linéarité.

5. Signification et revendications

L'article affirme que CAPA comble une lacune critique dans l'optimisation des LVLM en reconnaissant que les jetons visuels se comportent différemment des jetons textuels tant dans les mécanismes d'attention que dans le traitement des FFN.

• Changement de paradigme de l'élagage : Les auteurs soutiennent que les scores d'attention sont insuffisants pour la sélection de jetons. En introduisant la Contribution de l'Attention, ils fournissent un signal plus fidèle pour identifier quels jetons visuels sont fonctionnellement nécessaires.
• Optimisation spécifique à la modalité : Ce travail souligne que les gains d'efficacité dans les LVLM nécessitent des stratégies distinctes pour les modalités visuelle et textuelle. Plus précisément, l'identification de la redondance linéaire dans les FFN visuels permet une simplification architecturale qui n'est pas applicable au traitement du texte.
• Compromis Efficacité-Performance : CAPA offre un compromis favorable, délivrant une accélération d'inférence substantielle (réduction de 78 % des FLOPs) sans compromettre la robustesse du modèle ou la performance des tâches, surpassant les baselines existantes de type élagage de jetons uniquement.

6. Limites

Les auteurs reconnaissent que CAPA est une stratégie post-hoc opérant sur des backbones pré-entraînés fixes. Par conséquent, elle ne peut pas pleinement exploiter les avantages d'un apprentissage conjoint de la sélection de jetons et du calcul du modèle. Des travaux futurs sont suggérés dans les directions suivantes :

• Conception de contrôleurs appris pour une rétention de jetons adaptative.
• Développement de backbones vision-langage avec des modules FFN natifs et efficaces adaptés aux jetons visuels.
• Évaluation de ces stratégies à travers diverses dérives de distribution et investigation de l'interprétabilité des politiques apprises.