What DINO saw: ALiBi positional encoding reduces positional bias in Vision Transformers

Cet article propose d'utiliser le codage de position ALiBi pour réduire les biais positionnels dans les Vision Transformers, permettant ainsi une adaptation plus efficace pour des tâches comme la segmentation d'images de microscopie où l'orientation n'est pas préférentielle.

L'essentiel

Le Titre : Ce que DINO a vu (et ce qu'il n'aurait pas dû voir)

Imaginez que vous avez un super-robot peintre nommé DINOv2. Ce robot est un génie : il a regardé des millions de photos de chats, de voitures et de paysages pour apprendre à reconnaître les objets. Il est si doué qu'on peut lui donner une photo d'un objet qu'il n'a jamais vu (comme une batterie de voiture ou un métal microscopique) et il peut dire : "Ah, c'est un chat !" ou "C'est une roue !".

Cependant, il y a un petit problème : DINO a un "accident de parcours" dans sa tête.

1. Le Problème : La Maladie de la "Position"

Quand DINO regarde une photo, il la découpe en petits carrés (comme un puzzle). Pour savoir où se trouve chaque carré, il a reçu une étiquette spéciale au début de son entraînement.

Le problème, c'est que cette étiquette est trop collante.

• Imaginez que DINO regarde une photo d'un chat. Au lieu de juste voir "un chat", son cerveau associe aussi inconsciemment : "Les oreilles sont toujours en haut à gauche, la queue en bas à droite".
• Si vous lui montrez une photo d'un chat qui flotte au milieu de l'image, ou une photo d'un métal uniforme (comme une tranche de gâteau), DINO panique. Il dit : "Attends, ce n'est pas normal ! Il n'y a pas d'oreille en haut à gauche, donc ce n'est pas un chat !"

En termes scientifiques, on appelle cela un biais positionnel. DINO confond "où est l'objet" avec "ce qu'est l'objet". Pour les photos de la vie de tous les jours (nature), ça va. Mais pour les scientifiques qui regardent des matériaux (comme des métaux ou des batteries) qui sont souvent uniformes et sans direction préférée, DINO fait des erreurs grossières. Il dessine des lignes ou des dégradés là où il n'y en a pas.

2. La Solution : Le "Système de Navigation" ALiBi

Les chercheurs ont décidé de réparer DINO. Ils ont dit : "Stop ! On va changer la façon dont tu apprends la position."

Au lieu de donner à DINO une étiquette fixe qui lui dit "Tu es au coin gauche", ils lui ont donné un système de navigation relatif, appelé ALiBi.

• L'analogie : Imaginez que DINO est dans une pièce.
  • L'ancien système (DINOv2) : Il a une carte fixe. S'il voit un objet à gauche, il pense "C'est l'objet de gauche".
  • Le nouveau système (ALiBi) : Il n'a pas de carte fixe. Il dit juste : "Cet objet est près de moi, celui-là est loin". Il ne se soucie pas de savoir s'il est à gauche ou à droite de la pièce, seulement de la distance entre les objets.

C'est comme passer d'une carte routière rigide à un GPS qui dit simplement "tourne à gauche dans 50 mètres", peu importe où vous êtes dans le monde.

3. L'Expérience : Le Remplacement

Les chercheurs ont pris le cerveau de DINO (qui était déjà très intelligent), ils ont arraché l'ancienne étiquette de position (la carte fixe) et ils ont collé le nouveau système de navigation (ALiBi). Ensuite, ils l'ont un peu ré-entraîné pour qu'il s'habitue.

Le résultat ?

• Avant : Si vous demandiez à DINO de découper une photo d'une batterie en deux parties (le positif et le négatif), il dessinait souvent une ligne verticale ou horizontale au milieu, juste parce que c'était "au milieu de l'image".
• Après : Avec le nouveau système, il regarde vraiment la matière. Il voit les trous, les fissures et les particules, peu importe où elles sont sur la photo. Il ne se trompe plus de direction.

4. Pourquoi c'est important pour tout le monde ?

Vous vous demandez peut-être : "Et alors ?"

C'est crucial pour la science des matériaux. Imaginez des ingénieurs qui essaient de créer des batteries de voitures électriques plus performantes. Ils regardent des images microscopiques de l'intérieur de la batterie. Ces images sont souvent grises, uniformes et n'ont pas de "haut" ou de "bas".

• Avec l'ancien DINO, l'ordinateur se trompait et disait : "Il y a un trou ici" alors qu'il n'y en avait pas, juste parce que c'était en haut de l'image.
• Avec le nouveau DINO-ALiBi, l'ordinateur voit la vérité. Il aide les scientifiques à mieux comprendre comment leurs batteries vieillissent, comment elles se fissurent, et comment les rendre plus sûres.

En résumé

Les chercheurs ont pris un super-robot (DINOv2) qui était un peu trop obsédé par l'emplacement des choses sur une photo. Ils lui ont donné une nouvelle façon de voir le monde (ALiBi) qui se concentre sur les relations entre les objets plutôt que sur leur position fixe.

Résultat : Le robot est devenu plus juste, plus intelligent, et surtout, il ne fait plus d'erreurs quand il regarde des images scientifiques complexes. C'est comme si on avait enlevé des lunettes de couleur qui faisaient voir des lignes partout, pour enfin voir la réalité telle qu'elle est.

Résumé technique

1. Problématique : Le biais positionnel dans les Vision Transformers

Les Vision Transformers (ViT), et en particulier les modèles de fondation de caractéristiques (feature foundation models) comme DINOv2, ont démontré des performances exceptionnelles pour de nombreuses tâches en aval. Cependant, ces modèles souffrent d'un défaut architectural majeur : un biais positionnel intrinsèque.

• Nature du problème : Les encodages positionnels appris (learned positional encodings) ou certaines formes d'encodages relatifs (comme RoPE dans DINOv3) entraînent le modèle à associer des artefacts de caractéristiques à la position spatiale des patches, indépendamment du contenu sémantique de l'image.
• Conséquences :
  • Dans les images naturelles, ce biais est souvent masqué par la richesse du contenu sémantique.
  • Dans des domaines comme la science des matériaux (microscopie électronique SEM/TEM), où les images sont souvent des coupes transversales homogènes sans direction privilégiée, ce biais devient critique.
  • Il conduit à des segmentations erronées en zero-shot ou en apprentissage faible (weakly-supervised), car le classificateur apprend à prédire les classes basées sur la position (ex: "le bas de l'image est du pore") plutôt que sur la texture ou la structure réelle.
• Limites des solutions existantes : Des approches antérieures comme l'ajout de "register tokens" ou l'utilisation de réseaux débruiteurs (DVT) atténuent le problème mais ne l'éliminent pas totalement, laissant persister des gradients positionnels (gauche-droite ou haut-bas).

2. Méthodologie : Remplacement par l'encodage ALiBi

Les auteurs proposent une approche systématique pour caractériser et éliminer ce biais en modifiant l'architecture d'un modèle pré-entraîné (DINOv2).

A. Caractérisation par sondage linéaire (Linear Probing)

Pour quantifier le biais, les auteurs entraînent des sondes linéaires simples pour prédire des fonctions de rampe 1D (gauche-droite, haut-bas, diagonale, radiale) à partir des canaux de sortie des ViT.

• Résultat préliminaire : Ils constatent que certains canaux de sortie de DINOv2, DINOv3 et MAE sont presque purement corrélés à la position (fonctions de rampe), indépendamment de l'image d'entrée. Les modèles supervisés (comme ViT-ImageNet) ne présentent pas ce phénomène.

B. Entraînement du modèle ALiBi-Dv2

L'objectif est de remplacer l'encodage positionnel biaisé de DINOv2 par un encodage ALiBi (Attention with Linear Biases) qui est intrinsèquement homogène.

• Architecture :
  • Suppression de l'encodage positionnel appris de DINOv2 (gelé à zéro).
  • Injection d'encodages positionnels ALiBi 2D-aware dans chaque couche d'attention.
  • Utilisation de la distance euclidienne avec des conditions aux limites cylindriques (wrap-around) pour éviter les asymétries.
  • Application de facteurs d'échelle fixes ($m=1$) pour les têtes d'attention afin d'éviter l'apprentissage de biais de distance spécifiques.
• Stratégie d'entraînement (Distillation) :
  • Le modèle est finetuné (affiné) pour reconstruire les embeddings originaux de DINOv2 (biaisés) comme cible.
  • Hypothèse clé : Les embeddings de DINOv2 contiennent la sémantique riche désirée. En forçant le modèle à utiliser ALiBi (qui ne peut pas exprimer facilement les biais positionnels) pour prédire ces cibles, le modèle est contraint de préserver la sémantique tout en éliminant les artefacts positionnels.
  • Les quatre canaux les plus "positionnels" identifiés lors de l'analyse sont mis à zéro pendant l'entraînement pour accélérer la convergence.

3. Contributions Clés

1. Analyse approfondie du biais : Démonstration que le biais positionnel est omniprésent dans les modèles ViT auto-supervisés (DINO, MAE) et même dans les modèles utilisant RoPE (DINOv3), mais absent ou faible dans les modèles supervisés.
2. Méthode de correction efficace : Une méthode simple consistant à remplacer l'encodage positionnel d'un modèle pré-entraîné par ALiBi et à le finetuner avec les embeddings originaux comme cible, sans nécessiter un ré-entraînement complet à partir de zéro.
3. Modèle ALiBi-Dv2 : Introduction d'un nouveau modèle qui conserve les propriétés sémantiques de DINOv2 tout en produisant des caractéristiques (features) homogènes et dépourvues de biais positionnel.
4. Validation dans un domaine critique : Application réussie à la segmentation d'images de microscopie électronique (matériaux), un domaine où les biais positionnels sont particulièrement délétères.

4. Résultats

Les résultats sont validés sur plusieurs axes :

• Réduction du biais (Sondage linéaire) :

  • Le modèle ALiBi-Dv2 obtient des scores $R^2$ très faibles (voire négatifs) lorsqu'on tente de prédire des rampes positionnelles à partir de ses caractéristiques, contre des scores élevés (>0.8) pour DINOv2.
  • L'analyse par canaux et par couches montre que l'information positionnelle est uniformément répartie et faible, contrairement à DINOv2 où des canaux "outliers" dominent.

• Visualisation des caractéristiques (PCA) :

  • Les visualisations PCA montrent une réduction marquée des gradients positionnels (bords, rampes) dans ALiBi-Dv2.
  • Le modèle conserve une géométrie de tokens lisse et une capacité à décomposer les objets sémantiques (ex: tête vs corps d'un chien) tout en étant homogène sur des images de matériaux (ex: cathodes de batteries).

• Performance en segmentation sémantique (Benchmarks) :

  • Sur les ensembles de données standards (VOC, ADE20K), ALiBi-Dv2 maintient, voire améliore légèrement, les performances de segmentation par sondage linéaire par rapport à DINOv2. Cela prouve que la sémantique générale n'a pas été perdue.

• Segmentation entraînable (Trainable Segmentation) en Science des Matériaux :

  • C'est le résultat le plus significatif. Lors de la segmentation d'images SEM de batteries (cathodes, anodes), les modèles DINOv2 et DVT produisent des segmentations biaisées (ex: échec de segmentation au centre ou en bas de l'image).
  • ALiBi-Dv2 produit des segmentations homogènes et correctes, capturant efficacement des effets complexes comme l'effet "pore-back" (matériau hors plan apparaissant dans la coupe), là où les autres modèles échouent en raison de leur biais positionnel.

5. Signification et Impact

Ce travail est crucial pour l'application des modèles de fondation (Foundation Models) à des domaines scientifiques où les données diffèrent radicalement des images naturelles (homogénéité, absence de direction privilégiée).

• Fiabilité accrue : Il permet d'utiliser des modèles puissants comme DINOv2 dans des pipelines "zero-shot" ou "faible apprentissage" sans risquer que le modèle apprenne des artefacts de position plutôt que des propriétés physiques des matériaux.
• Généralité : La méthode suggère que le biais positionnel est une propriété générale de l'apprentissage auto-supervisé sur les ViT, et que l'encodage ALiBi offre une solution robuste pour y remédier.
• Ouverture : Bien que l'approche fonctionne bien via le finetuning, les auteurs soulignent que l'entraînement d'un modèle de type DINO à partir de zéro avec ALiBi reste une piste de recherche prometteuse pour l'avenir.

En résumé, l'article démontre que la sémantique riche de DINOv2 peut être préservée tout en éliminant ses biais positionnels indésirables grâce à une adaptation architecturale vers ALiBi, rendant ces modèles beaucoup plus fiables pour l'analyse d'images scientifiques complexes.