Zero-Ablation Overstates Register Content Dependence in DINO Vision Transformers

1. Il Problema

Nel campo dei Vision Transformers (ViT), in particolare nei modelli auto-supervisionati come la famiglia DINO (DINOv2, DINOv3), sono stati introdotti dei token "register" (registri). Questi sono token apprendibili aggiuntivi privi di significato spaziale, progettati per assorbire le informazioni globali e gli artefatti di calcolo che altrimenti corromperebbero le rappresentazioni dei token delle patch (funzione densa).

La comunità scientifica ha finora utilizzato la zero-ablation (sostituzione delle attivazioni dei token con vettori zero) per valutare la loro importanza funzionale. I risultati precedenti suggerivano che i registri fossero indispensabili: azzerarli causava crolli drastici nelle prestazioni (fino a -36.6 punti percentuali nella classificazione e -30.9 nella segmentazione).

Tuttavia, gli autori identificano un problema fondamentale: la zero-ablation introduce vettori "fuori distribuzione" (out-of-distribution, OOD). Poiché le attivazioni native dei registri non sono mai zero, sostituirle con lo zero crea uno spostamento distribuzionale che si propaga a cascata attraverso tutti i layer successivi, esagerando la dipendenza del modello dal contenuto esatto dei registri. Il paper si chiede: i modelli dipendono davvero dal contenuto specifico dei registri o semplicemente dalla loro presenza e dalla loro struttura statistica plausibile?

2. Metodologia

Per distinguere tra dipendenza dal contenuto e dipendenza dalla presenza strutturale, gli autori propongono un framework sperimentale che confronta la zero-ablation con tre controlli di sostituzione in-distribution:

1. Zero-Ablation (Baseline): Sostituzione delle attivazioni con vettori zero.
2. Mean-Substitution: Sostituzione con la media delle attivazioni del dataset (calcolata per layer su 5.000 immagini ImageNet).
3. Noise-Substitution: Sostituzione con rumore gaussiano che corrisponde alla media e alla varianza delle attivazioni native.
4. Cross-Image Register Shuffling: Permutazione delle attivazioni dei registri tra immagini diverse all'interno dello stesso batch. Questo distrugge il contenuto specifico legato all'immagine ma preserva la struttura statistica reale delle attivazioni.

Setup Sperimentale:

• Modelli: DINOv2 (senza registri), DINOv2+registri, e DINOv3 (con distillazione ancorata a Gram).
• Scale: Testati su ViT-S (21M parametri) e ViT-B (86M parametri).
• Interventi: Hook-based ablation su ogni blocco del transformer (dall'output del blocco 1 fino all'ultimo).
• Task di Valutazione:
  • Globali: Classificazione (ImageNet), Retrieval (kNN).
  • Densi: Corrispondenza (SPair-71k, patch matching), Segmentazione (Pascal VOC).

3. Risultati Chiave

A. La Zero-Ablation esagera la dipendenza

Mentre la zero-ablation causa crolli catastrofici nelle prestazioni, tutte e tre le sostituzioni plausibili (Mean, Noise, Shuffle) preservano le prestazioni quasi perfettamente.

• Classificazione: Variazioni ≤ 1 punto percentuale rispetto alla baseline non modificata.
• Segmentazione e Corrispondenza: Simili risultati, con differenze trascurabili (< 1 pp).
• Conclusione: Il modello non dipende dal contenuto specifico (image-specific) dei registri, ma dalla presenza di attivazioni "plausibili" che mantengono la distribuzione interna coerente.

B. Perturbazione delle Rappresentazioni Interne

L'analisi della similarità coseno tra le patch e la condizione completa mostra che:

• Le sostituzioni plausibili alterano effettivamente le rappresentazioni interne (similarità coseno 0.95–0.999), smentendo l'ipotesi che non facciano nulla.
• La zero-ablation, invece, causa una perturbazione sproporzionata (similarità coseno scende a ~0.6), generando una divergenza JS (Jensen-Shannon) nelle mappe di attenzione decine o centinaia di volte superiore rispetto alle sostituzioni plausibili. Questo conferma che il crollo delle prestazioni è dovuto allo spostamento distribuzionale, non alla mancanza di "informazione specifica".

C. Ruolo Strutturale dei Registri

Nonostante il contenuto non sia critico, i registri svolgono una funzione strutturale vitale:

• Bufferizzazione: I registri proteggono le feature dense (patch) dalla dipendenza dal token [CLS]. Senza registri, azzerare il [CLS] distrugge la segmentazione (-37 pp); con i registri, l'effetto è nullo (<1 pp).
• Compressione Geometrica: L'introduzione dei registri riduce il "rank effettivo" (effective rank) della geometria delle patch.
  • DINOv2: Rank ~13.5.
  • DINOv2+Reg: Rank ~8.7.
  • DINOv3: Rank ~4.0 (compressione del 54% rispetto a DINOv2+Reg).
    Questo indica che i registri permettono alle patch di occupare uno spazio latente più compatto e denso, migliorando le task dense.

D. Validazione di Scala

Tutti i risultati si replicano coerentemente alla scala ViT-B, confermando che il fenomeno non è limitato ai modelli più piccoli.

4. Contributi Principali

1. Smascheramento dell'Artefatto di Ablazione: Dimostrano che la zero-ablation è un metodo ingannevole per valutare la dipendenza dai token nei ViT, poiché introduce artefatti OOD che non riflettono la dipendenza funzionale reale.
2. Nuovi Controlli Standard: Propongono l'uso di sostituzioni in-distribution (media, rumore, shuffling) come standard per le analisi di causalità nei transformer visivi.
3. Ridefinizione del Ruolo dei Registri: I registri agiscono come canali di contesto strutturale. Il loro compito è assorbire il calcolo globale e comprimere la geometria delle patch, ma non necessitano di trasportare informazioni specifiche per immagine per funzionare nelle valutazioni con feature congelate (frozen-feature).
4. Dissociazione Routing-Funzione: Mostrano che il routing dell'attenzione verso i registri si sviluppa gradualmente dai layer intermedi, mentre la dipendenza funzionale per la classificazione emerge solo negli ultimi layer (10-11), suggerendo una separazione tra struttura e funzione immediata.

5. Significato e Implicazioni

Questo lavoro ha implicazioni profonde per l'interpretazione meccanica (mechanistic interpretability) delle reti neurali:

• Metodologia: Avverte i ricercatori che l'ablazione a zero può portare a conclusioni errate sulla localizzazione della funzione, specialmente quando i componenti ablati occupano regioni distinte dello spazio delle attivazioni.
• Architettura ViT: Conferma che i registri sono essenziali per la stabilità e la qualità delle feature dense, ma il loro valore risiede nella loro esistenza statistica e nella loro capacità di "pulire" lo spazio delle patch, non nel contenuto semantico specifico che trasportano.
• Futuro: Suggerisce che per compiti di adattamento fine (fine-tuning) o generazione, la dipendenza dal contenuto specifico dei registri potrebbe emergere, ma nelle valutazioni standard di feature congelate, la loro funzione è puramente strutturale.

In sintesi, il paper ribalta la convinzione che i registri siano "indispensabili per il loro contenuto", dimostrando invece che sono "indispensabili per la loro presenza strutturale plausibile", e che la zero-ablation ha finora sovrastimato drammaticamente la loro dipendenza dal contenuto.