Résumé technique : Marginalisation de phase pour l'instabilité de la grille de patchs dans les Vision Transformers

1. Énoncé du problème : Instabilité de la phase de la grille de patchs

Les Vision Transformers (ViT) reposent sur un processus de patchification fixe pour convertir les images en séquences de tokens. Cela introduit une phase spatiale discrète : l'assignation spécifique des pixels aux tokens dépend de l'alignement de la grille de patchs par rapport au système de coordonnées de l'image. L'article identifie cette phase de la grille de patchs comme une « variable de nuisance » qui provoque une instabilité dépendante de la phase dans les tâches de prédiction dense (ex. : segmentation, estimation de la profondeur, appariement local).

Plus précisément, le décalage de la grille de patchs de quelques pixels (un décalage de phase $\phi$) peut altérer l'évidence des tokens disponible pour le modèle, particulièrement près des frontières sémantiques où les pixels voisins appartiennent à des classes ou des profondeurs différentes. Si les prédictions denses d'un modèle changent de manière significative lorsque la grille de patchs est décalée, le modèle présente une instabilité. Cela se distingue des perturbations d'images génériques (comme le bruit ou la rotation) et représente un artefact de quantification architecturale spécifique inhérent à la tokenisation par patchs non chevauchants.

2. Méthodologie : Marginalisation de phase

L'article propose la Marginalisation de phase, un wrapper d'inférence post-hoc, sans réentraînement, conçu pour atténuer cette instabilité sans modifier le backbone ou réentraîner le modèle.

Mécanisme central

La méthode traite la phase de la grille de patchs comme une variable à marginaliser. Au lieu d'une passe avant unique avec une grille canonique ($\phi = (0,0)$), le modèle évalue l'image sous un ensemble structuré de décalages de phase $\Phi_K = \{\phi_1, \dots, \phi_K\}$.

1. Décalage de phase : Pour chaque phase $\phi_k$, l'image d'entrée est traitée à l'aide d'un opérateur de décalage de phase $S_{\phi_k}$ (impliquant un padding réflexif et un recadrage) pour décaler la grille de patchs.
2. Inférence : Un encodeur ViT gelé et une tête dense produisent une carte de logits $z_{\phi_k}$ pour chaque phase.
3. Alignement inverse : Chaque sortie est projetée vers le système de coordonnées d'origine de l'image en utilisant un opérateur d'alignement inverse $A^{-1}_{\phi_k}$. Cela implique un remodelage, un suréchantillonnage bilinéaire (avec align-corners=False) et un recadrage pour récupérer la résolution originale.
4. Agrégation : Les logits alignés sont moyennés pour produire la prédiction finale :
   $$\bar{z}(p) = \frac{1}{K} \sum_{k=1}^K \mathcal{A}^{-1}_{\phi_k}(z_{\phi_k})(p)$$

Variante principale : Marginalisation de phase uniforme

La contribution centrale est la Margalisation de phase uniforme avec $K=4$. Pour une taille de patch $P$ paire, la méthode échantillonne quatre quadrants canoniques de l'espace de phase des sous-patchs :
$$\Phi_4 = \{(0,0), (0, P/2), (P/2, 0), (P/2, P/2)\}$$
Cette approche est l'équivalent computationnel d'un ensemble de Test-Time Augmentation (TTA) à quatre passes, mais elle échantillonne spécifiquement la variable de nuisance de l'alignement de la grille de patchs plutôt que des transformations d'images génériques.

Variantes secondaires (audits)

L'article évalue également plusieurs variantes apprises et adaptées comme audits secondaires, notamment :

• Attention phase-feature apprise : Un module entraîné qui apprend à pondérer les caractéristiques spécifiques à la phase en fonction de la variance locale.
• Ajustement partiel de l'encodeur : Le dégel des derniers blocs de l'encodeur tout en utilisant l'attention de phase.
• Moyennage pré-Transformer : Moyennage des embeddings de patchs avant l'auto-attention (une variante de conception négative).
• Fusion spécifique à la profondeur : Variantes adaptées pour l'estimation de la profondeur avec correction résiduelle.
  Celles-ci sont présentées comme des comparaisons exploratoires plutôt que comme la méthode principale proposée.

3. Contributions clés

1. Définition du phénomène : L'article définit formellement l'instabilité de la phase de la grille de patchs comme une variable de nuisance mesurable pour la prédiction dense des ViT, la distinguant de l'aliasing de décalage générique des CNN.
2. Proposition de méthode : Il introduit la Marginalisation de phase uniforme, une procédure post-hoc sans entraînement qui agrège les prédictions sur des phases structurées de la grille de patchs.
3. Preuve empirique : La méthode démontre des améliorations constantes par rapport à la référence canonique $K=1$ dans les tâches de segmentation, de profondeur et d'appariement de caractéristiques locales.
4. Comparaisons contrôlées : Elle fournit des comparaisons avec un budget de calcul équivalent contre le TTA basé sur des décalages génériques et une étude de mise à l'échelle ($K=4, 8, 16$) pour établir $K=4$ comme un compromis coût-précision pratique.

4. Résultats expérimentaux

La méthode a été évaluée sur la segmentation sémantique (GTA5→Cityscapes, SYNTHIA→Cityscapes, ADE20K), l'estimation de la profondeur (NYU Depth v2) et l'appariement de caractéristiques locales (HPatches).

• Gains de performance : La marginalisation de phase uniforme ($K=4$) a apporté des améliorations par rapport à la référence $K=1$ dans chaque configuration mesurée.
  • Segmentation : Les améliorations ont varié de +0,76 à +1,39 mIoU sur ADE20K et les configurations cross-domain (ex. : +0,82 mIoU sur GTA5→Cityscapes).
  • Profondeur : Réduction de l'RMSE de 0,6506 à 0,6277 sur NYU Depth v2.
  • Appariement : Amélioration de la précision sur HPatches (ex. : +3,75 % pour DINOv2).
• Comparaison au TTA : Dans une expérience Cityscapes contrôlée avec un budget de quatre passes identique, la marginalisation de phase uniforme a fourni un léger avantage (+0,31 mIoU) par rapport au TTA par décalage de ligne générique, suggérant que l'échantillonnage spécifique de la phase de la grille de patchs est plus efficace qu'un décalage d'image générique.
• Étude de mise à l'échelle : L'augmentation de $K$ au-delà de 4 a produit des rendements décroissants. $K=8$ n'a montré pratiquement aucun changement, et $K=16$ a ajouté peu de précision pour une latence nettement plus élevée, validant $K=4$ comme le défaut pratique.

5. Signification et revendications

L'article positionne la phase de la grille de patchs comme une source mesurable d'instabilité dans les ViT qui peut être atténuée sans redessiner l'architecture ou réentraîner le modèle.

• Utilité diagnostique : La méthode sert d'outil de diagnostic simple ; une variance de phase élevée indique que les prédictions d'un modèle sont sensibles à l'alignement arbitraire de la grille.
• Référence pratique : Elle offre une « référence de diagnostic simple et de marginalisation post-hoc » pour la prédiction dense des ViT.
• Déploiement : Contrairement aux solutions architecturales (ex. : Swin, PVT ou tokens chevauchants) qui nécessitent une refonte du modèle ou de nouveaux régimes d'entraînement, la marginalisation de phase est un wrapper d'inférence léger compatible avec les backbones gelés (tels que les modèles de type DINO).

Les auteurs maintiennent un ton modeste, présentant la méthode non pas comme un remplacement des innovations architecturales, mais comme une correction nécessaire d'un artefact de quantification spécifique, améliorant la robustesse et la généralisation dans les pipelines de prédiction dense existants.