Résumé technique : Attention parcimonieuse pour la prédiction dense en vocabulaire ouvert avec CLIP

Problématique

Le pré-entraînement contrastif de langage et d'image (CLIP) et ses variantes à grande échelle (par exemple, EVA-CLIP, SigLIP) excellent dans la sémantique globale au niveau de l'image grâce à leurs objectifs d'entraînement contrastifs. Cependant, lorsqu'ils sont appliqués à des tâches de prédiction dense comme la segmentation sémantique ou la recherche de régions fines, ils souffrent d'une mauvaise localisation spatiale. Le problème central réside dans le mécanisme d'auto-attention à densité de softmax utilisée dans les dernières couches de l'encodeur visuel.

Le softmax assigne une masse de probabilité strictement positive à chaque paire de jetons (tokens), y compris aux jetons de fond sémantiquement non pertinents. Bien qu'efficace pour collecter un contexte large lors du pré-entraînement, cette distribution « dense » répartit l'attention sur des jetons de faible saillance, créant un bruit qui occulte les indices spatiaux fins nécessaires aux tâches de niveau pixel ou de niveau région. Les méthodes existantes sans réentraînement qui modifient la source de l'attention (par exemple, passer de la corrélation requête-clé à l'auto-corrélation de type $Q-Q$ ou $V-V$) améliorent la localisation mais ne parviennent pas à traiter le rôle fondamental du normalisateur softmax dans la répartition globale de la masse sur l'ensemble des jetons.

Méthodologie

Les auteurs proposent une substitution sans entraînement, au moment de l'inférence, du normalisateur softmax par ligne dans les dernières couches d'auto-attention visuelle d'un encodeur CLIP gelé, en utilisant la transformation $\alpha$-entmax.

La transformation $\alpha$-entmax

Contrairement au softmax, qui est la solution d'un objectif régularisé par l'entropie de Shannon, l'$\alpha$-entmax est dérivée d'un régulariseur d'entropie de Tsallis $\alpha$ ($\alpha \in (1, 2]$).

• Mécanisme : Elle applique un seuil $\tau$ dépendant des données aux scores d'attention. Les scores inférieurs à ce seuil sont exactement mis à zéro, tandis que les scores restants sont renormalisés pour sommer à un.
• Effet : Cela agit comme un débruiteur implicite, annulant les dépendances contextuellement non pertinentes (la « longue traîne » des jetons de fond à faible pertinence) et redistribuant la masse de probabilité sur les jetons les plus pertinents.
• Paramètres : La méthode n'introduit aucun paramètre apprenable et laisse l'architecture et les poids pré-entraînés intacts. Elle généralise de manière fluide le softmax (en le retrouvant lorsque $\alpha \to 1$).

Configuration expérimentale

L'étude évalue cette substitution à travers deux tâches principales :

1. Segmentation sémantique dense : Prédiction au niveau du pixel sur Pascal VOC, Pascal Context et ADE20K.
2. Détection en vocabulaire ouvert à grain fin (FG-OVD) : Reconnaissance au niveau de la région se concentrant sur la discrimination d'attributs (couleur, matériau, motif).

Les auteurs testent diverses sources de scores d'attention :

• Standard ($QK^\top$) : Attention requête-clé native.
• Auto-corrélation ($SS^\top$) : Remplacement du produit requête-clé par des produits de soi des projections Requête ($Q$), Clé ($K$) ou Valeur ($V$) (par exemple, $Q-Q$, $K-K$, $V-V$, et leurs combinaisons).

Les expériences sont menées sur des backbones CLIP ViT-B/16 et ViT-L/14 gelés.

Contributions clés

1. Parcimonisation sans entraînement : Le papier évalue empiriquement le remplacement du softmax par l'$\alpha$-entmax dans les dernières couches des encodeurs CLIP gelés, isolant la densité de l'attention comme une variable unique sans modifier l'architecture ou les poids du modèle.
2. Analyse de la parcimonie de l'attention : Les auteurs établissent un résultat central : le gain de performance de la parcimonisation est proportionnel à la diffusivité de l'attention de base.
   • Si l'attention de base est déjà concentrée sur la classe cible, l'entmax offre peu de bénéfices ou peut dégrader les performances en écartant une masse utile.
   • Si l'attention de base est diffuse (répartissant la masse sur des jetons non appartenant à la classe), l'entmax améliore significativement les performances en élaguant la traîne non pertinente.
3. Échelle de résolution et de backbone : L'étude démontre que les bénéfices de la parcimonisation augmentent avec des résolutions d'entrée plus élevées et des backbones plus larges (par exemple, ViT-L/14), car ces conditions augmentent le nombre de jetons et l'étendue de la « traîne bruyante » que l'entmax peut élaguer.

Résultats

L'évaluation révèle des comportements distincts selon les distributions d'attention :

• Auto-corrélation + Entmax : La combinaison de l'attention par auto-corrélation (par exemple, $Q-Q$, $K-K$, $V-V$) avec l'$\alpha$-entmax produit des gains constants et significatifs.
  • Sur ADE20K (ViT-B/16, $Q-Q$), le mIoU est passé de 5,69 à 12,90.
  • Sur FG-OVD (ViT-B/16, $Q-Q$), le mHME est passé de 9,96 à 17,50.
  • Les gains sont monotones à travers les jeux de données et les échelles de modèles.
• Attention $QK$ standard : Bien que l'entmax améliore l'attention $QK$ standard, les scores absolus restent inférieurs aux méthodes d'auto-corrélation. Cela est dû au fait que l'attention $QK$ standard est intrinsèquement diffuse globalement ; l'entmax ne peut que réduire la traîne d'une distribution déjà bruitée, mais l'opérateur de regroupement sous-jacent reste sous-optimal pour la localisation.
• Anomalie de la Valeur seule ($V-V$) : Sur le backbone plus petit ViT-B/16, la distribution $V-V$ concentre déjà bien la masse sur les jetons pertinents. Appliquer l'entmax ici dégrade les performances (par exemple, -2,8 mIoU sur VOC) car le seuillage écarte une masse utile. Cependant, sur le ViT-L/14 plus diffus, le $V-V$ bénéficie de l'entmax, confirmant l'hypothèse du « gain proportionnel à la diffusité ».
• Échelle de résolution : À mesure que la résolution augmente (224 $\to$ 448), l'écart entre le softmax et l'entmax s'élargit de manière monotone pour les distributions d'auto-corrélation, car l'augmentation du nombre de jetons étend la traîne bruyante que l'entmax élimine.

Signification et affirmations

Le papier affirme que la parcimonie de l'attention est un facteur pertinent, bien que largement négligé, pour traiter les limites de CLIP pour la prédiction dense.

• Débruitage vs Parcimonisation : Les auteurs soulignent que le bénéfice ne vient pas simplement de la parcimonisation de la distribution, mais d'un retrait de bruit conscient du contenu. Un masque aléatoire avec le même niveau de parcimonie ne produit pas de gains similaires ; le seuil spécifique dépendant des données de l'entmax est crucial pour identifier et mettre à zéro les jetons non pertinents.
• Séparation des variables : En gardant l'architecture gelée et en ne changeant que le normalisateur, l'étude sépare l'effet de la source du score (par exemple, $QK$ vs $VV$) de la fonction de normalisation (softmax vs entmax). Cela clarifie que si l'auto-corrélation améliore la localisation, le normalisateur softmax répartit toujours la masse globalement, et l'entmax est nécessaire pour réaliser pleinement le potentiel des caractéristiques localisées.
• Portée modeste : Les auteurs positionnent ce travail comme une analyse systématique plutôt que comme un nouveau pipeline d'état de l'art. La méthode est strictement limitée à l'inférence et sans entraînement, conçue pour expliquer où et pourquoi la parcimonisation de l'attention aide, plutôt que pour proposer un nouveau paradigme d'entraînement.