Résumé technique : Denoising Attention for Visual Tasks (DnA)

1. Énoncé du problème

Le mécanisme d'attention standard dans les Vision Transformers (ViT) et d'autres modèles de perception visuelle repose sur la fonction d'activation softmax pour normaliser les poids d'attention. Bien que le softmax soit théoriquement fondé sur les principes de l'entropie maximale, les auteurs soutiennent qu'il introduit des limitations spécifiques dans les tâches visuelles :

• Asymétrie et bruit : Le softmax amplifie les scores positifs dominants tout en compressant les scores négatifs ou de faible magnitude vers zéro. Cette asymétrie peut supprimer les interactions « négatives » informatives (par exemple, des caractéristiques qui sont étroitement associées à un objet mais appartiennent à une classe différente, adverse).
• Mauvaise allocation de l'attention : En traitant toutes les interactions au sein d'un seul sous-espace, l'attention standard dilue souvent les caractéristiques pertinentes avec un contexte bruyant. Par exemple, lors de l'identification d'un objet primaire, le modèle peut par inadvertance porter attention à des objets secondaires ou adverses (par exemple, une personne ou un casque lors de l'identification d'une plastron) car le mécanisme softmax ne peut pas distinguer explicitement les caractéristiques « pertinentes » des caractéristiques « étroitement associées mais non pertinentes ».
• Limitations des sous-espaces : L'analyse théorique suggère que l'erreur de classification est inversement proportionnelle aux angles principaux entre les sous-espaces de classes. L'attention standard projette toutes les interactions dans un seul sous-espace de valeurs ($V$), limitant la séparation géométrique requise pour discriminer entre les interactions de jetons positives et négatives.

2. Méthodologie : Denoising Attention (DnA)

Les auteurs proposent la Denoising Attention (DnA), un mécanisme qui remplace la Multi-Head Self-Attention (MHSA) traditionnelle en modélisant explicitement les interactions de jetons positives et négatives à travers deux sous-espaces distincts et quasi-orthogonaux.

Principes de conception fondamentaux

1. Mécanisme de requête dual : Au lieu d'une requête unique, la DnA emploie deux ensembles de requêtes sur les mêmes clés :
   • Requête Positive ($Q^+$) : Identifie les caractéristiques appartenant à la classe correcte.
   • Requête Négative ($Q^-$) : Identifie les caractéristiques qui sont étroitement associées à la classe correcte mais qui sont non pertinentes (adversaires ou distractives).
2. Fonctions d'activation duales :
   • La branche positive utilise le softmax pour amplifier les scores positifs dominants.
   • La branche négative utilise le softmin (défini comme $\sigma(-z)$) pour amplifier les interactions fortement négatives, capturant ainsi les structures contrastives que le softmax standard supprime.
3. Séparation des sous-espaces :
   • Les interactions des branches positive et négative sont projetées dans deux sous-espaces de valeurs distincts ($V^+$ et $V^-$).
   • La motivation théorique (Théorème 2) suggère que des angles principaux plus larges entre ces sous-espaces réduisent l'erreur de classification.
   • L'architecture impose une quasi-orthogonalité entre $V^+$ et $V^-$ via l'initialisation et la dynamique d'entraînement, plutôt que d'imposer une orthogonalité stricte à chaque itération.
4. Formulation mathématique :
   Pour une tête $h$ donnée, la sortie de la DnA est calculée comme suit :
   $$\mathcal{A}^{Q^{\pm}V^{\pm}}_h = \boldsymbol{\sigma}\left(\frac{Q_h^{+} K_h^\top}{\sqrt{d}}\right)V_h^{+} + \alpha_h\boldsymbol{\hat{\sigma}}\left(\frac{Q_h^{-} K_h^\top}{\sqrt{d}}\right)V_h^{-}$$
   Où $\boldsymbol{\sigma}$ est le softmax, $\boldsymbol{\hat{\sigma}}$ est le softmin, et $\alpha_h$ est un paramètre d'équilibrage apprenable.

Intégration

• Classification d'images : La DnA remplace la MHSA dans les backbones ViT standards (ex. : ViT-B).
• Compréhension vidéo :
  • Transformers Vidéo : La DnA remplace les mécanismes d'auto-attention spatiale et temporelle dans des modèles comme TimeSformer.
  • Video LLMs : La DnA est intégrée dans les modules de cross-attention des sondes visuelles (ex. : dans VisCoP/VideoLLaMA3), permettant au modèle de filtrer les interactions de jetons nuisibles avant de transmettre les indices visuels au LLM.

3. Contributions clés

• Aperçu théorique : L'article établit un lien entre la séparation des sous-espaces (angles principaux) et l'erreur de classification, motivant la séparation des interactions positives et négatives en sous-espaces distincts.
• Innovation architecturale : L'introduction de la DnA, qui utilise un cadre de double requête, double valeur et double activation (softmax/softmin) pour dénoiser explicitement les cartes d'attention.
• Validation empirique : Des expériences approfondies démontrant que la DnA surpasse l'attention standard et d'autres alternatives (comme la Differential Attention) sur les tâches d'image et de vidéo.
• Analyse des sous-espaces : Preuves quantitatives (via l'analyse de la "dimension intruse" et les mesures du produit scalaire de Frobenius) confirmant que les branches de la DnA opèrent dans des sous-espaces plus orthogonaux par rapport aux alternatives à sous-espace unique, conduisant à une meilleure suppression du bruit.

4. Résultats expérimentaux

Les auteurs ont évalué la DnA sur plusieurs benchmarks, rapportant des gains absolus par rapport aux bases de référence :

• Classification d'images (ImageNet-1K) :

  • En utilisant un backbone ViT-B, la DnA a obtenu un gain absolu de 0,8 % en précision Top-1 par rapport au baseline ViT-B (81,9 % contre 81,1 %).
  • Elle a surpassé les modèles utilisant la Differential Attention et la Cog Attention.
  • Robustesse : La DnA a montré une performance supérieure sur ImageNet-A (exemples adverses), atteignant une fiabilité (AURRA) plus élevée et une erreur de calibration (RMSE) plus faible que les bases de référence.

• Compréhension vidéo :

  • Reconnaissance d'actions : Sur Toyota Smarthome, la DnA a amélioré les performances de 1,3 % (Cross-Subject) et de 4,0 % (Cross-View) par rapport à TimeSformer. Sur NTU RGB+D 60, elle a obtenu un gain de 1,2 %.
  • Video LLMs : Intégrée dans VideoLLaMA3 pour le benchmark Ego-in-Exo PerceptionMCQ, la DnA a produit un gain absolu de 0,5 % par rapport au baseline VisCoP, particulièrement dans les tâches de compréhension d'actions et d'interaction humain-objet.

• Analyse qualitative :

  • Les visualisations d'attention montrent que, tandis que l'attention softmax standard est souvent dispersée ou se concentre sur des objets de fond adverses, la DnA se focalise nettement sur l'objet primaire.
  • La branche négative ($AQ^-V^-$) supprime efficacement les zones de fond non pertinentes, créant un contraste clair entre les caractéristiques de la classe et le bruit.

5. Signification et affirmations

L'article affirme que la DnA répond à une limitation fondamentale des modèles de vision basés sur l'attention : l'incapacité du softmax standard à distinguer les caractéristiques pertinentes du bruit étroitement associé mais non pertinent.

• Effet de débruitage : En modélisant explicitement les interactions négatives et en les projetant dans un sous-espace séparé, la DnA agit comme un filtre de "débruitage", empêchant le modèle d'être induit en erreur par des indices visuels adverses ou distractifs.
• Justification géométrique : Les gains de performance sont attribués à la séparation géométrique des interactions de jetons positives et négatives, ce qui réduit les bornes d'erreur de classification comme prédit par l'analyse théorique.
• Généralisabilité : Le mécanisme s'avère efficace non seulement pour la classification d'images standard, mais aussi pour des tâches complexes de compréhension vidéo, incluant la reconnaissance d'actions fines et le raisonnement vidéo-langage.
• Efficacité : Bien que la DnA introduise des paramètres supplémentaires (environ 3 % pour les Video LLMs, jusqu'à 23 % pour les Video Transformers), les auteurs notent que ceux-ci résident dans des têtes d'attention parallélisables, maintenant un débit comparable aux modèles de base.

Les auteurs concluent que la DnA fournit une alternative fondée sur des principes à l'attention standard pour les tâches visuelles, en exploitant la séparation des sous-espaces pour améliorer la discriminabilité et la robustesse sans nécesser de refonte complète de l'architecture Transformer.