Suppressing Non-Semantic Noise in Masked Image Modeling Representations

1. Problématique

L'apprentissage auto-supervisé (SSL) via la Modélisation d'Images Masquées (MIM) est devenu un paradigme dominant pour l'entraînement de modèles de vision par ordinateur (comme MAE, DINOv2, iBOT). Cependant, les auteurs identifient un problème fondamental : les objectifs MIM incitent les modèles à encoder non seulement le contenu sémantique, mais aussi une quantité significative d'informations non sémantiques, principalement liées à la position des patches (bruit positionnel).

• Le constat : Pour reconstruire les patches masqués, le modèle apprend à utiliser des indices de position comme raccourcis ("cheating") plutôt que de se concentrer uniquement sur la sémantique.
• La conséquence : Ces représentations contiennent du bruit qui persiste même dans des images sans contenu sémantique (bruit synthétique). Ce bruit dégrade les performances des modèles lors de l'inférence "zero-shot" (sans réentraînement) sur des tâches en aval, en particulier celles nécessitant une compréhension fine de la structure locale ou de la segmentation.
• L'hypothèse centrale : Le bruit non sémantique se manifeste par une invariance sémantique : les composantes du modèle répondent de manière similaire, que l'entrée soit une image naturelle ou un bruit synthétique.

2. Méthodologie

L'approche proposée se divise en trois étapes principales : l'analyse, la quantification et la suppression.

A. Analyse par PCA (Analyse en Composantes Principales)

Les auteurs appliquent une PCA sur l'espace des embeddings des patches. Ils observent que les premières composantes principales des modèles MIM présentent un biais fort lié à la position (ex: gauche/droite, haut/bas), contrairement aux modèles basés sur l'apprentissage contrastif (comme DINO) ou supervisés.

B. Le Score d'Invariance Sémantique (Semantic Invariance Score - SI)

Pour quantifier ce bruit, ils introduisent un score agnostique au modèle :

1. Données : Ils comparent les réponses du modèle sur un ensemble d'images réelles (ImageNet) et un ensemble d'images synthétiques non sémantiques (générées par un mélange de bruit rose, blanc modulé et champs de gradients).
2. Calcul : Pour chaque composante principale $d$, ils calculent la distribution d'activation binaire sur les images réelles ($P_d$) et synthétiques ($Q_d$).
3. Métrique : Le score SI mesure la similarité entre $P_d$ et $Q_d$. Un score élevé indique que la composante réagit de la même manière quel que soit le contenu sémantique (donc c'est du bruit positionnel ou structurel). La formule utilisée est une variante du coefficient de Dice-Sørensen, adaptée pour pénaliser l'incertitude (quand les probabilités sont proches de 0,5).

C. SOAP : Projection Orthogonale d'Artefacts Sémantiques

Basé sur le score SI, les auteurs proposent SOAP, une méthode de débruitage post-hoc (après entraînement) :

• Principe : SOAP projette les embeddings bruts $z$ dans un sous-espace orthogonal aux composantes identifiées comme "non sémantiques" (ceux ayant un score SI élevé).
• Implémentation : C'est une projection linéaire simple utilisant le processus de Gram-Schmidt.
  $$\hat{z} = P_\phi z = (I - V W V^\top) z$$
  Où $V$ sont les vecteurs propres de la PCA et $W$ est une matrice diagonale de poids.
• Filtrage intelligent : Pour éviter de supprimer trop d'informations, ils utilisent une fenêtre de Fermi (fonction sigmoïde) pour lisser les poids. Seules les composantes ayant les scores SI les plus élevés (les plus bruyantes) sont fortement atténuées, tandis que les autres sont conservées.
• Avantage clé : SOAP ne nécessite aucun réentraînement (zero training) et peut être attaché comme une simple tête linéaire à n'importe quel backbone pré-entraîné.

3. Contributions Clés

1. Analyse approfondie : Démonstration que les objectifs MIM biaisent systématiquement les représentations vers l'encodage du bruit positionnel, un phénomène absent ou minime dans les modèles contrastifs purs.
2. Nouvelle métrique (SI Score) : Introduction d'un outil de diagnostic pour mesurer le compromis entre bruit positionnel et information sémantique dans les représentations SSL.
3. Méthode SOAP : Proposition d'une technique de débruitage post-hoc, légère et efficace, qui supprime le bruit non sémantique sans coût computationnel d'entraînement.
4. Améliorations Zero-Shot : Preuve expérimentale que SOAP améliore les performances sur des tâches en aval sans réadaptation du modèle.

4. Résultats Expérimentaux

Les auteurs ont évalué SOAP sur plusieurs modèles (MAE, I-JEPA, CAPI, DINOv2, DINOv3, iBOT) et tâches :

• Segmentation Saillante (Zero-Shot) : Utilisation de la méthode TokenCut.
  • Résultat : Amélioration significative pour tous les modèles MIM. Par exemple, sur le jeu de données ECSSD, MAE passe de ~79.9 à ~82.1 (max Fβ), et DINOv2 de ~71.3 à ~80.6.
  • Observation : Les modèles MIM, initialement inférieurs à DINO (qui n'utilise pas MIM), surpassent ou égalisent DINO après application de SOAP.
• Segmentation Sémantique (kNN) : Sur ADE20k et PascalVOC.
  • Résultat : Amélioration constante du mIoU (Mean Intersection over Union) pour tous les modèles MIM (ex: +0.77 pour MAE sur ADE20k).
• Classification (kNN) : Sur ImageNet.
  • Résultat : Améliorations modestes mais positives (ex: +1.32% pour MAE en top-1), confirmant que le bruit positionnel affecte même la classification, bien que moins que les tâches denses.
• Comparaison avec RASA : SOAP surpasse RASA (une méthode précédente nécessitant un entraînement de couches linéaires pour prédire les positions), tout en étant plus simple et ne nécessitant aucun entraînement.
• Robustesse : Le score SI est stable quel que soit le jeu de données utilisé pour le calcul, et la méthode fonctionne sur différentes architectures et types d'encodage positionnel (additif ou RoPE).

5. Signification et Conclusion

Cet article met en lumière un compromis fondamental dans l'apprentissage auto-supervisé par MIM : la capacité à reconstruire des patches masqués encourage le modèle à "tricher" en utilisant des indices de position, ce qui nuit à la fidélité sémantique des représentations.

• Impact pratique : SOAP offre un outil immédiat pour les praticiens souhaitant utiliser des modèles MIM pré-entraînés pour des tâches de vision dense (segmentation, détection) sans avoir à réentraîner le modèle.
• Impact théorique : Il suggère que les signaux d'apprentissage MIM ne sont pas optimaux pour l'extraction de caractéristiques sémantiques pures et qu'une étape de débruitage post-entraînement est nécessaire pour atteindre le plein potentiel de ces modèles.
• Limites : L'étude se concentre sur les embeddings bruts des patches. Les auteurs notent que l'utilisation de têtes d'évaluation apprenables (linear probing) peut masquer l'effet du bruit, car ces têtes peuvent s'adapter pour ignorer le bruit positionnel, ce qui rend les protocoles zero-shot (comme kNN) plus pertinents pour évaluer la qualité intrinsèque des représentations.

En résumé, SOAP est une solution élégante et efficace pour purifier les représentations visuelles des modèles MIM, transformant des modèles biaisés par le positionnement en représentations plus robustes et sémantiquement fidèles.