Zero-Ablation Overstates Register Content Dependence in DINO Vision Transformers

1. Problématique

Les Transformers pour la vision (ViT), en particulier les modèles auto-supervisés de la famille DINO (DINOv2, DINOv3), utilisent des tokens "registres" (des tokens apprenables sans signification spatiale) pour absorber les artefacts de calcul global et protéger les représentations des patches (tokens spatiaux) de la dépendance excessive au token [CLS].

La méthode standard pour évaluer la fonction de ces registres est l'ablation par zéro (Zero-Ablation), qui consiste à remplacer les activations des tokens registres par des vecteurs nuls. Les résultats antérieurs suggéraient que les registres étaient indispensables, car leur mise à zéro entraînait des chutes drastiques de performance (jusqu'à -36,6 points de pourcentage en classification et -30,9 en segmentation).

Le problème central identifié par les auteurs est que l'ablation par zéro introduit un déplacement de distribution (out-of-distribution) massif. Les vecteurs nuls sont des activations implausibles par rapport aux activations natives des registres. Cette perturbation artificielle pourrait surestimer la dépendance réelle du modèle au contenu spécifique des registres, en confondant la perte de fonctionnalité avec le simple fait de sortir le réseau de son espace d'activation habituel.

2. Méthodologie

Pour distinguer la dépendance au contenu spécifique des registres de la simple nécessité de leur présence (ou de la structure de l'activation), les auteurs proposent un cadre expérimental comparant l'ablation par zéro à trois contrôles de remplacement in-distribution :

1. Substitution par la moyenne (Mean-substitution) : Remplacement des activations par la moyenne calculée sur le jeu de données (par couche).
2. Substitution par du bruit (Noise-substitution) : Remplacement par du bruit gaussien dont la moyenne et la variance correspondent à celles des activations natives.
3. Mélange inter-images (Cross-image shuffling) : Permutation des activations des registres entre différentes images au sein d'un même lot (batch), préservant la structure d'activation réelle mais brisant le lien avec le contenu spécifique de l'image.

Protocole expérimental :

• Modèles : DINOv2 (sans registres), DINOv2+registres, et DINOv3 (avec distillation ancrée sur la matrice de Gram).
• Échelles : ViT-S (21M paramètres) et ViT-B (86M paramètres).
• Intervention : Hooks PyTorch appliqués à chaque bloc de sortie (de la couche 1 à la dernière) pour remplacer les tokens [CLS] ou les registres.
• Tâches d'évaluation : Classification (ImageNet), Recherche (kNN), Correspondance (SPair-71k, SPair synthétique), et Segmentation (Pascal VOC).
• Mesures : Performance des tâches, similarité cosinus des patches, divergence JS des motifs d'attention, et rang effectif (effective rank) de la géométrie des patches.

3. Contributions Clés

1. Démonstration de la surestimation par l'ablation par zéro : L'article prouve que l'ablation par zéro injecte des vecteurs hors distribution qui provoquent une cascade de perturbations dans toutes les couches suivantes (divergence JS 10 à 100 fois plus élevée que les contrôles plausibles).
2. Validation de l'hypothèse de "présence" vs "contenu" : Les trois contrôles de remplacement (moyenne, bruit, mélange) préservent les performances sur toutes les tâches (classification, correspondance, segmentation) avec une dégradation inférieure à ~1 point de pourcentage, contrairement à l'ablation par zéro qui effondre les performances.
3. Analyse structurelle des registres : Les registres agissent comme des canaux de contexte structuraux qui :
   • Tamponnent les caractéristiques denses (patches) contre la dépendance au token [CLS].
   • Compressent la géométrie des patches (réduction du rang effectif), améliorant ainsi la qualité des caractéristiques denses.
4. Généralisation d'échelle : Ces résultats sont répliqués et confirmés à l'échelle ViT-B, renforçant la validité des conclusions.

4. Résultats Principaux

• Impact de l'ablation par zéro :

  • Sur DINOv3, mettre les registres à zéro fait chuter la classification de 36,6 pp et la segmentation de 30,9 pp.
  • À l'inverse, mettre le token [CLS] à zéro n'a presque aucun impact sur la segmentation (0,0 pp) lorsque les registres sont présents, confirmant leur rôle de tampon.

• Résultats des contrôles de remplacement :

  • Substitution par la moyenne, bruit et mélange : Toutes les tâches restent stables (ex: Classification DINOv3 ~62%, Segmentation ~78,6%), restant dans la marge d'erreur du modèle non modifié.
  • Preuve de perturbation réelle : Bien que les performances soient préservées, la similarité cosinus par patch montre que ces remplacements modifient réellement les représentations internes (cosinus 0,95–0,999 vs 0,58 pour le zéro), prouvant que le modèle ne fonctionne pas simplement en "ignorant" les registres, mais qu'il tolère des activations plausibles sans contenu spécifique.

• Géométrie et Compression :

  • L'ajout de registres réduit le rang effectif des matrices de Gram des patches (de 13,5 à 4,0 pour DINOv3), indiquant une compression de l'espace des caractéristiques qui améliore la tâche dense.
  • Cette compression est présente dès les couches intermédiaires (couche 6), alors que la dépendance fonctionnelle pour la classification n'émerge qu'aux dernières couches (10-11).

• Attention :

  • L'attention du token [CLS] vers les registres augmente progressivement au fil des couches, mais la dépendance fonctionnelle (mesurée par la chute de performance lors du zéro) est un phénomène tardif, dissociant le routage de l'attention de la dépendance fonctionnelle immédiate.

5. Signification et Conclusion

Ce travail remet en question l'interprétation courante des études d'ablation dans les Transformers vision. Il conclut que :

1. Le contenu exact des registres n'est pas indispensable pour les tâches d'évaluation sur caractéristiques figées (frozen-feature). Le modèle dépend de la présence d'activations plausibles (statistiquement cohérentes avec la distribution d'entraînement) plutôt que de valeurs spécifiques à l'image.
2. L'ablation par zéro est une méthode biaisée pour étudier les registres car elle crée un artefact de distribution qui masque la véritable fonction structurelle du composant.
3. Rôle structurel : Les registres jouent un rôle crucial en tant que "canaux de contexte" qui absorbent le calcul global, permettant aux patches de conserver une géométrie spatiale compressée et non corrompue par le token [CLS].

Recommandation : Les auteurs suggèrent d'adopter systématiquement des contrôles de remplacement (comme le mélange inter-images ou la substitution par la moyenne) en complément de l'ablation par zéro pour éviter de conclure à tort à une dépendance fonctionnelle forte là où il n'y a qu'une dépendance structurelle à la distribution.