Sintesi Tecnica: Le Codifiche Posizionali Ancorano la Struttura Spaziale nei Vision Transformer

Definizione del Problema

I Vision Transformer (ViT) mancano dei bias induttivi intrinseci per la località e l'equivarianza per traslazione tipici delle reti neurali convoluzionali. Di conseguenza, essi si affidano ai Positional Embeddings (PE) per iniettare informazioni spaziali, consentendo al modello di distinguere i token in base alla loro posizione. Tuttavia, il ruolo funzionale dei PE rimane ambiguo. Studi precedenti indicano che i ViT possono mantenere prestazioni sostanziali anche quando i PE vengono rimossi o degradati, suggerendo che la struttura spaziale possa emergere parzialmente dal contenuto dei patch da sola.

Ciò crea un enigma centrale: se la struttura spaziale può sorgere senza una guida posizionale esplicita, quale ruolo specifico svolgono i PE? Gli studi esistenti hanno affrontato la questione principalmente attraverso confronti sulle prestazioni a valle o variazioni architettoniche, lasciando in gran parte inesplorato il impatto meccanicistico dei PE sulla geometria rappresentazionale interna e la loro specifica relazione con la robustezza sotto shift distribuzionali.

Metodologia

Gli autori adottano una prospettiva geometrica per analizzare come i PE modellino le rappresentazioni dei token attraverso lo stack del transformer. La metodologia si basa su tre componenti principali:

1. Spatial Similarity Distance Correlation (SSDT):
   Una nuova metrica introdotta per quantificare la struttura spaziale. La SSDT calcola la correlazione di rango di Spearman tra la matrice di similarità dei token ($S$) e la matrice di distanza spaziale negativa ($D$) tra le coppie di token.
   $$SSDT = \rho_{Spearman} (\{S_{ij}\}_{i<j}, \{-D_{ij}\}_{i<j})$$
   Valori di SSDT più elevati indicano che i token spazialmente prossimi hanno rappresentazioni più simili. Gli autori utilizzano la SSDT come un proxy comparativo per tracciare i cambiamenti attraverso la profondità e la sensibilità alle intervezioni, piuttosto che come misura assoluta di un meccanismo specifico.

2. Interventi di Permutazione:
   Per distinguere tra organizzazione spaziale basata sull'indice (ancorata alla posizione del token) e basata sul contenuto (guidata dal contenuto del patch visivo), gli autori impiegano due interventi:

   • Random Permutation at Inference (RPI): L'ordine dei token viene rimescolato durante l'inferenza mentre gli indici posizionali rimangono fissi. Questo rompe il legame tra il contenuto del token e la posizione spaziale. Se la struttura spaziale persiste, è ancorata all'indice; se collassa, è guidata dal contenuto.
   • Random Permutation Training (RPT): I token vengono rimescolati ad ogni passaggio forward durante l'addestramento, mentre i PE rimangono fissi agli indici originali. Ciò impedisce al modello di apprendere una mappatura consistente tra indice e posizione, distruggendo efficacemente il riferimento spaziale stabile.

3. Valutazione della Robustezza:
   Gli autori valutano i modelli sotto shift distribuzionali che disturbano il contenuto (compressione JPEG e sfocatura gaussiana) utilizzando un Fragility Score (FS), definito come il calo relativo dell'accuratezza ($1 - A_{shift}/A_{normal}$).

4. Scaling Posizionale:
   Per indagare il legame causale tra organizzazione spaziale e robustezza, l'entità dei positional embeddings assoluti (APE) appresi viene scalata per un fattore $\alpha \in [0, 1]$ durante l'inferenza. Ciò consente la degradazione continua del segnale spaziale basato sull'indice senza necessità di riaddestramento.

Contributi Chiave e Risultati

1. Emergenza di Struttura Guidata dal Contenuto Senza PE

Anche nei modelli addestrati senza PE ("ablati"), emerge una struttura spaziale non trascurabile durante l'addestramento. Tuttavia, questa struttura è guidata dal contenuto. Sotto l'intervento RPI, la SSDT dei modelli ablati collassa verso lo zero in tutti gli strati, indicando che la loro organizzazione spaziale si basa interamente sul contenuto dei patch e fallisce quando la corrispondenza contenuto-posizione viene interrotta.

2. I PE Inducono un'Organizzazione Spaziale Ancorata all'Indice

I modelli addestrati con PE (Learned Absolute, Sinusoidal e Rotary/RoPE) mostrano uno spostamento distinto verso un'organizzazione spaziale ancorata all'indice.

• Sotto RPI, questi modelli mostrano un recupero sostanziale della SSDT, indicando che le loro rappresentazioni rimangono parzialmente ancorate agli indici dei token anche quando il contenuto dei patch viene permutato.
• Traiettorie rispetto alla profondità: Sebbene tutti i tipi di PE inducano questo spostamento, essi differiscono nel modo in cui la struttura si sviluppa:
  • APE e Sinusoidal: Mostrano un rapido aumento della SSDT negli strati iniziali, suggerendo un'iniezione precoce di struttura spaziale tramite segnali additivi.
  • RoPE: Mostra un accumulo graduale e continuo di struttura attraverso la profondità, coerente con la sua integrazione moltiplicativa nei meccanismi di attenzione.

3. La Primazia di un Sistema di Riferimento Stabile

Lo studio dimostra che la presenza di un sistema di riferimento posizionale stabile è il fattore critico per la robustezza, piuttosto che il meccanismo di codifica specifico.

• Modelli RPT: Nonostante la presenza dei PE, i modelli addestrati con RPT (dove la mappatura indice-posizione è incoerente) falliscono nel recuperare la SSDT sotto RPI e mostrano fragilità simili ai modelli ablati.
• Conclusione: La mera presenza di PE non è sufficiente; il modello deve apprendere una mappatura coerente tra gli indici dei token e le posizioni spaziali per raggiungere la robustezza.

4. La Robustezza Correlata all'Organizzazione Basata sull'Indice

Esiste una forte correlazione tra la stabilità dell'organizzazione spaziale basata sull'indice e la robustezza agli shift che disturbano il contenuto:

• Fragility Scores: I modelli con organizzazione ancorata all'indice (APE, Sinusoidal, RoPE) sono significativamente più robusti alla compressione JPEG (Fragilità $\sim 0.30–0.43$) rispetto ai modelli ablati o RPT (Fragilità $\sim 0.66$).
• Variazione Secondaria: Sebbene tutti i modelli basati su PE siano robusti, RoPE ottiene costantemente la fragilità più bassa, suggerendo che il meccanismo di codifica giochi un ruolo secondario, possibilmente a causa della sua integrazione progressiva rispetto alla profondità.
• Esperimenti di Scaling: Man mano che l'entità di APE ($\alpha$) viene ridotta, $\Delta SSDC$ (il recupero della struttura spaziale) collassa e la fragilità aumenta bruscamente. Una volta che l'organizzazione spaziale è completamente interrotta ($\alpha \le 0.4$), la fragilità si stabilizza. Ciò conferma che la degradazione della robustezza segue la perdita della struttura spaziale.

Significato e Rivendicazioni

Il documento fornisce un conto geometrico di come funzionano le codifiche posizionali nei Vision Transformer. Gli autori affermano che:

1. La robustezza dipende dal sistema di riferimento: Il driver primario della robustezza agli shift che disturbano il contenuto è l'instaurazione di un'organizzazione spaziale stabile e ancorata all'indice, non la forma matematica specifica del PE (appreso vs fisso, additivo vs moltiplicativo).
2. Evidenza basata su interventi: La relazione tra organizzazione spaziale e robustezza è identificata attraverso interventi controllati (RPI, RPT, scaling). Gli autori dichiarano esplicitamente che, sebbene l'evidenza sia forte, essa identifica una relazione piuttosto che un meccanismo causale strettamente isolato.
3. Implicazioni di design: I futi schemi di codifica dovrebbero dare priorità alla capacità di stabilire un sistema di riferimento posizionale coerente. Il meccanismo di codifica specifico conta meno della stabilità della mappatura indice-posizione appresa durante l'addestramento.

Gli autori rimangono modesti riguardo alla generalizzazione, notando che queste scoperte si basano su modelli ViT-S addestrati da zero su ImageNet-100 e che la valutazione della robustezza è specifica per perturbazioni che disturbano il contenuto, non necessariamente estendibile a shift avversari o cambiamenti nella distribuzione semantica.