🤖 machine learning

Positional Encodings Anchor Spatial Structure in Vision Transformers: A Geometric Perspective on Robustness

Cet article démontre que les encodages de position dans les Vision Transformers sont essentiels pour établir une structure spatiale stable et ancrée sur des indices qui garantit la robustesse contre les décalages de distribution perturbateurs de contenu, quel que soit le mécanisme d'encodage spécifique utilisé.

Auteurs originaux : Mahmoud Mannes

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mahmoud Mannes

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Vision Transformer (ViT) comme une équipe de détectives essayant de résoudre un mystère en regardant une photo. La photo est découpée en de nombreux petits morceaux de puzzle (appelés « tokens »). Les détectives peuvent discuter entre eux pour partager des indices, mais il y a un problème : l'équipe ne sait pas où chaque morceau se trouve dans l'image originale. Si vous leur donnez les morceaux dans un ordre aléatoire, ils pourraient être confus par la scène.

Pour corriger cela, nous donnons généralement à chaque détective un « badge nominatif » ou un « numéro de siège » (appelé Codage Positionnel). Cela leur dit : « Vous êtes le morceau du coin supérieur gauche », ou « Vous êtes du coin inférieur droit ».

Cette étude pose une question simple mais profonde : Ces badges nominatifs comptent-ils réellement pour la performance de l'équipe lors de la résolution du mystère, surtout lorsque la photo devient floue ou déformée ?

Voici l'histoire de ce que les chercheurs ont découvert, expliquée à travers des analogies de la vie quotidienne :

1. La « Carte Fantôme » (Que se passe-t-il sans badges ?)

Les chercheurs ont d'abord tenté de voir si les détectives pouvaient comprendre la disposition de la pièce rien qu'en regardant les morceaux de l'image eux-mêmes, sans aucun badge.

La Découverte : Étonnamment, oui, ils le pouvaient. Si les détectives regardent un morceau avec une texture de « ciel », ils savent qu'il appartient probablement en haut. S'ils voient de l'« herbe », cela va en bas.
Le Piège : Cette « carte fantôme » est très fragile. Si vous mélangez les morceaux (comme si vous mélangiez un jeu de cartes), les détectives perdent immédiatement leur sens de l'orientation. Leur carte interne s'effondre car elle a été construite entièrement sur le contenu des morceaux, et non sur leur emplacement.

2. L'Effet « Ancre » (Que se passe-t-il avec les badges ?)

Ensuite, ils ont donné aux détectives différents types de badges (certains appris par l'équipe, d'autres pré-imprimés, d'autres rotatifs).

La Découverte : Lorsque les détectives avaient des badges, quelque chose de magique s'est produit. Même si vous mélangiez les morceaux, l'équipe pouvait toujours se souvenir : « Hé, le Morceau n°4 est censé être dans le coin supérieur gauche, même s'il se trouve actuellement à côté du Morceau n°10. »
La Métaphore : Considérez les badges comme des ancres. Sans eux, l'équipe est un bateau dérivant au gré du courant (le contenu de l'image). Avec eux, le bateau est amarré à un quai (l'indice/la position). Même si l'eau devient agitée ou que le paysage change, le bateau reste à sa place.

3. Le « Test de Mélange » (Comment ils ont mesuré cela)

Pour prouver cela, les chercheurs ont utilisé un truc appelé Permutation Aléatoire.

Ils ont pris une équipe entraînée, ont mélangé l'ordre des pièces du puzzle, mais ont conservé les badges attachés à leurs sièges d'origine.
Résultat : Les équipes avec des badges pouvaient encore reconstruire la disposition spatiale. Les équipes sans badges (ou avec des badges cassés) ont complètement perdu leur chemin.
Intuition Clé : Peu importait le type de badge qu'ils avaient (appris, mathématique ou rotatif). Ce qui comptait, c'était qu'ils possédaient un référentiel stable. Tant que l'équipe savait que « le Siège 1 est toujours en haut à gauche », elle pouvait gérer le chaos.

4. Robustesse : Pourquoi les ancres sauvent la mise

Les chercheurs ont ensuite testé la capacité de ces équipes à gérer des « mauvaises photos » (comme des photos fortement compressées ou floues).

Le Score de « Fragilité » : Ils ont mesuré la facilité avec laquelle l'équipe échouait.
Le Résultat : Les équipes avec des ancres stables (badges) étaient beaucoup plus solides. Elles pouvaient encore reconnaître l'objet même lorsque la photo était déformée. Les équipes sans ancres (ou avec des ancres mélangées) s'effondraient beaucoup plus rapidement.
Le Twist : Il s'avère que le type de badge importait très peu. Qu'il s'agisse d'un simple numéro ou d'une rotation complexe, les équipes étaient tout aussi robustes. La recette secrète n'était pas le badge lui-même ; c'était la stabilité de la carte.

5. L'Expérience du « Bouton de Volume »

Enfin, ils ont essayé de baisser le volume des badges (en les rendant plus faibles) sans réentraîner l'équipe.

La Découverte : À mesure qu'ils baissaient le volume, la capacité de l'équipe à maintenir leur carte spatiale a commencé à s'effriter.
Le Lien : Dès que l'« ancre » devenait trop faible pour maintenir l'équipe en place, leur capacité à gérer les photos déformées chutait brutalement. Cela a prouvé un lien direct : Une carte positionnelle forte et stable = Un modèle robuste et résistant.

L'Essentiel

Ce document nous indique que les Codages Positionnels ne sont pas seulement un moyen sophistiqué de dire à l'IA « où » se trouvent les choses. Ils agissent comme une colonne vertébrale structurelle.

Sans eux : L'IA construit une carte basée sur ce que les choses ressemblent. Si l'apparence change (flou, bruit), la carte se brise.
Avec eux : L'IA construit une carte basée sur l'endroit où se trouvent les choses. Même si l'apparence change, la carte tient bon car l'« adresse » du morceau n'a pas changé.

Le point le plus important est que la cohérence est la clé. Peu importe que le système d'adressage soit complexe ou simple ; il doit simplement être stable et cohérent pour que l'IA ne se perde pas lorsque le monde autour d'elle devient désordonné.

Résumé technique : Les encodages positionnels ancrent la structure spatiale dans les Vision Transformers

Énoncé du problème

Les Vision Transformers (ViT) manquent des biais inductifs intrinsèques pour la localité et l'équivariance par translation que l'on trouve dans les réseaux de neurones convolutifs. Par conséquent, ils dépendent des encodages positionnels (PE - Positional Embeddings) pour injecter des informations spatiales, permettant au modèle de distinguer les jetons (tokens) en fonction de leur emplacement. Cependant, le rôle fonctionnel des PE reste ambigu. Des travaux antérieurs indiquent que les ViT peuvent conserver des performances substantielles même lorsque les PE sont supprimés ou dégradés, suggérant que la structure spatiale peut partiellement émerger du contenu des patchs à elle seule.

Cela crée un puzzle central : si la structure spatiale peut émerger sans guidage positionnel explicite, quel est le rôle spécifique des PE ? Les études existantes ont largement abordé cette question via des comparaisons de performances en aval ou des variations architecturales, laissant largement inexploré l'impact mécaniste des PE sur la géométrie des représentations internes et sa relation spécifique avec la robustesse face aux changements de distribution.

Méthodologie

Les auteurs adoptent une perspective géométrique pour analyser comment les PE façonnent les représentations des jetons à travers la pile de transformateurs. La méthodologie repose sur trois composantes clés :

Corrélation de distance de similitude spatiale (SSDC) :
Une nouvelle métrique introduite pour quantifier la structure spatiale. La SSDC calcule la corrélation de rang de Spearman entre la matrice de similitude des jetons ( $S$ ) et la matrice de distance spatiale négative ( $D$ ) entre les paires de jetons.
$SSDC = \rho_{Spearman} (\{S_{ij}\}_{i<j}, \{-D_{ij}\}_{i<j})$
Des valeurs de SSDC plus élevées indiquent que les jetons spatialement proches ont des représentations plus similaires. Les auteurs utilisent la SSDC comme un proxy comparatif pour suivre les changements selon la profondeur et la sensibilité aux interventions, plutôt que comme une mesure absolue d'un mécanisme spécifique.
Interventions par permutation :
Pour distinguer l'organisation spatiale basée sur l'indice (ancrée à la position du jeton) de celle basée sur le contenu (pilotée par le contenu visuel du patch), les auteurs emploient deux interventions :
- Permutation aléatoire à l'inférence (RPI) : L'ordre des jetons est mélangé lors de l'inférence tandis que les indices positionnels restent fixes. Cela brise le lien entre le contenu du jeton et sa localisation spatiale. Si la structure spatiale persiste, elle est ancrée à l'indice ; si elle s'effondre, elle est pilotée par le contenu.
- Entraînement par permutation aléatoire (RPT) : Les jetons sont mélangés à chaque passage direct (forward pass) pendant l'entraînement tandis que les PE restent fixés aux indices d'origine. Cela empêche le modèle d'apprendre une correspondance constante entre l'indice et la localisation, détruisant ainsi le référentiel de position stable.
Évaluation de la robustesse :
Les auteurs évaluent les modèles sous des changements de distribution perturbant le contenu (compression JPEG et flou gaussien) en utilisant un Score de Fragilité (FS), défini comme la chute relative de précision ( $1 - A_{shift}/A_{normal}$ ).
Mise à l'échelle positionnelle :
La magnitude des encodages positionnels absolus (APE) appris est mise à l'échelle par un facteur $\alpha \in [0, 1]$ lors de l'inférence. Cela permet la dégradation continue du signal spatial basé sur l'indice sans réentraînement.

Contributions clés et résultats

1. Émergence d'une structure pilotée par le contenu sans PE

Même dans les modèles entraînés sans PE (« ablatés »), une structure spatiale non triviale émerge pendant l'entraînement. Cependant, cette structure est pilotée par le contenu. Sous RPI, la SSDC des modèles ablatés s'effondre vers presque zéro à travers toutes les couches, indiquant que leur organisation spatiale repose entièrement sur le contenu des patchs et échoue lorsque la correspondance contenu-localisation est rompue.

2. Les PE induisent une organisation spatiale ancrée à l'indice

Les modèles entraînés avec des PE (Absolu Appris, Sinusoïdal, et Rotatif/RoPE) présentent un basculement distinct vers une organisation spatiale ancrée à l'indice.

Sous RPI, ces modèles montrent une récupération substantielle de la SSDC, indiquant que leurs représentations restent partiellement ancrées aux indices des jetons même lorsque le contenu des patchs est permuté.
Trajectoires selon la profondeur : Bien que tous les types de PE induisent ce basculement, ils diffèrent dans la manière dont la structure se développe :
- APE et Sinusoïdal : Présentent une augmentation rapide de la SSDC dans les premières couches, suggérant une injection précoce de la structure spatiale via des signaux additifs.
- RoPE : Montre une accumulation graduelle et continue de la structure à travers la profondeur, cohérente avec son intégration multiplicative dans les mécanismes d'attention.

3. La primauté d'un référentiel stable

L'étude démontre que la présence d'un référentiel de position stable est le facteur critique pour la robustesse, plutôt que la forme spécifique de l'encodage.

Modèles RPT : Malgré la présence de PE, les modèles entraînés avec RPT (où la correspondance indice-localisation est incohérente) ne parviennent pas à récupérer la SSDC sous RPI et présentent des scores de fragilité similaires aux modèles ablatés.
Conclusion : La simple présence de PE est insuffisante ; le modèle doit apprendre une correspondance cohérente entre les indices des jetons et les localisations spatiales pour atteindre la robustesse.

4. La robustesse est corrélée à l'organisation basée sur l'indice

Il existe une forte corrélation entre la stabilité de l'organisation spatiale basée sur l'indice et la robustesse aux changements de distribution perturbant le contenu :

Scores de Fragilité : Les modèles dotés d'une organisation stable ancrée à l'indice (APE, Sinusoïdal, RoPE) sont nettement plus robustes à la compression JPEG (Fragilité $\sim 0.30–0.43$ ) que les modèles ablatés ou RPT (Fragilité $\sim 0.66$ ).
Variation secondaire : Bien que tous les modèles basés sur les PE soient robustes, RoPE obtient systématiquement la fragilité la plus faible, suggérant que le mécanisme d'encodage joue un rôle secondaire, possiblement dû à son intégration progressive selon la profondeur.
Expériences de mise à l'échelle : À mesure que la magnitude de l'APE ( $\alpha$ ) diminue, la $\Delta SSDC$ (la récupération de la structure spatiale) s'effondre, et la fragilité augmente brusquement. Une fois l'organisation spatiale totalement perturbée ( $\alpha \le 0.4$ ), la fragilité plafonne. Cela confirme que la dégradation de la robustesse suit la perte de la structure spatiale.

Signification et affirmations

L'article fournit un compte géométrique du fonctionnement des encodages positionnels dans les Vision Transformers. Les auteurs affirment que :

La robustesse dépend du référentiel : Le principal moteur de la robustesse face aux changements de distribution perturbant le contenu est l'établissement d'une organisation spatiale stable ancrée à l'indice, et non la forme mathématique spécifique du PE (appris vs fixe, additif vs multiplicatif).
Preuves par intervention : La relation entre l'organisation spatiale et la robustesse est identifiée grâce à des interventions contrôlées (RPI, RPT, mise à l'échelle). Les auteurs précisent explicitement que bien que les preuves soient solides, elles identifient une relation plutôt qu'un mécanisme causal strictement isolé.
Implications de conception : Les futurs schémas d'encodage devraient prioriser la capacité à établir un référentiel de position cohérent. Le mécanisme d'encodage spécifique importe moins que la stabilité de la correspondance indice-localisation apprise pendant l'entraînement.

Les auteurs restent modestes quant à la généralisation, notant que ces conclusions sont basées sur des modèles ViT-S entraînés à partir de zéro sur ImageNet-100 et que l'évaluation de la robustesse est spécifique aux perturbations perturbant le contenu, et ne s'étend pas nécessairement aux changements de distribution sémantique ou adverses.