Sintesi Tecnica: Marginalizzazione della Fase per l'Instabilità della Griglia di Patch nei Vision Transformer

1. Definizione del Problema: Instabilità della Fase Griglia-Patch

I Vision Transformer (ViT) si affidano a un processo di patchificazione fisso per convertire le immagini in sequenze di token. Ciò introduce una fase spaziale discreta: l'assegnazione specifica dei pixel ai token dipende dall'allineamento della griglia di patch rispetto al sistema di coordinate dell'immagine. Il documento identifica questa fase griglia-patch come una "variabile di disturbo" che causa instabilità dipendente dalla fase nei compiti di predizione densa (es. segmentazione, stima della profondità, matching locale).

Nello specifico, spostare la griglia di patch di pochi pixel (un offset di fase $\phi$) può alterare l'evidenza dei token disponibile per il modello, particolarmente vicino ai confini semantici dove i pixel vicini appartengono a classi o profondità diverse. Se le predizioni dense di un modello cambiano significativamente quando la griglia di patch viene spostata, il modello esibisce instabilità. Questo è distinto dalle generiche perturbazioni dell'immagine (come rumore o rotazione) e rappresenta un particolare artefatto di quantizzazione architettonica inerente alla tokenizzazione di patch non sovrapposte.

2. Metodologia: Marginalizzazione della Fase

Il documento propone la Marginalizzazione della Fase, un wrapper di inferenza post-hoc, privo di addestramento (training-free), progettato per mitigare questa instabilità senza modificare il backbone o riaddestrare il modello.

Meccanismo Centrale

Il metodo tratta la fase della griglia-patch come una variabile da marginalizzare. Inveve di un singolo passaggio in avanti con una griglia canonica ($\phi = (0,0)$), il modello valuta l'immagine sotto un insieme strutturato di offset di fase $\Phi_K = \{\phi_1, \dots, \phi_K\}$.

1. Spostamento di Fase (Phase Shifting): Per ogni fase $\phi_k$, l'immagine di input viene elaborata utilizzando un operatore di spostamento di fase $S_{\phi_k}$ (che prevede padding riflettente e ritaglio) per spostare la griglia di patch.
2. Inferenza: Un encoder ViT congelato e una testa densa producono una mappa di logit $z_{\phi_k}$ per ogni fase.
3. Allineamento Inverso: Ogni output viene mappato nuovamente nel sistema di coordinate originale dell'immagine utilizzando un operatore di allineamento inverso $A^{-1}_{\phi_k}$. Ciò comporta reshaping, upsampling bilineare (con align-corners=False e ritaglio) per recuperare la risoluzione originale.
4. Aggregazione: I logit allineati vengono mediati per produrre la predizione finale:
   $$\bar{z}(p) = \frac{1}{K} \sum_{k=1}^K \mathcal{A}^{-1}_{\phi_k}(z_{\phi_k})(p)$$

Variante Primaria: Marginalizzazione della Fase Uniforme

Il contributo centrale è la Marginalizzazione della Fase Uniforme con $K=4$. Per una dimensione di patch pari $P$, il metodo campiona quattro quadranti canonici dello spazio di fase sub-patch:
$$\Phi_4 = \{(0,0), (0, P/2), (P/2, 0), (P/2, P/2)\}$$
Questo approccio è computazionalmente equivalente a un ensemble di 4 passaggi in avanti di Test-Time Augmentation (TTA), ma campiona la specifica variabile di disturbo dell'allineamento della griglia-patch anziché trasformazioni d'immagine generiche.

Varianti Secondarie (Audit)

Il documento valuta anche diverse varianti apprese e adattate come audit secondari, tra cui:

• Attenzione Feature-Fase Appresa: Un modulo addestrato che impara a pesare le feature specifiche della fase in base alla varianza locale.
• Tuning Parziale dell'Encoder: Scongelare gli ultimi blocchi dell'encoder utilizzando l'attenzione di fase.
• Media Pre-Transformer: Mediare le embedding delle patch prima dell'auto-attenzione (una variante di design negativa).
• Fusione Specifica della Profondità: Varianti adattate per la stima della profondità con correzione residua.
  Queste sono presentate come confronti esplorativi piuttosto che come il metodo principale proposto.

3. Contributi Chiave

1. Definizione del Fenomeno: Il documento definisce formalmente l'instabilità della fase griglia-patch come una variabile di disturbo misurabile per la predizione densa dei ViT, separandola dal generico aliasing di spostamento (shift-aliasing) dei CNN.
2. Proposta del Metodo: Introduce la Marginalità della Fase Uniforme, una procedura post-hoc, training-free, che aggrega le predizioni su fasi griglia-patch strutturate.
3. Evidenza Empirica: Il metodo dimostra miglioramenti consistenti rispetto al baseline canonico $K=1$ in compiti di segmentazione, profondità e matching locale.
4. Confronti Controllati: Fornisce confronti a parità di calcolo contro la TTA basata su spostamenti generici e uno studio di scalabilità ($K=4, 8, 16$) per stabilire $K=4$ come un pratico compromesso tra costo e accuratezza.

4. Risultati Sperimentali

Il metodo è stato valutato sulla segmentazione semantica (GTA5→Cityscapes, SYNTHIA→Cityscapes, ADE20K), stima della profondità (NYU Depth v2) e matching di feature locali (HPatches).

• Guadagni di Performance: La Marginalizzazione della Fase Uniforme ($K=4$) ha migliorato il baseline $K=1$ in ogni scenario misurato.
  • Segmentazione: I miglioramenti sono variati da +0.76 a +1.39 mIoU su ADE20K e scenari cross-domain (es. +0.82 mIoU su GTA5→Cityscapes).
  • Profondità: Ha ridotto l'RMSE da 0.6506 a 0.6277 su NYU Depth v2.
  • Matching: Ha migliorato l'accuratezza su HPatches (es. +3.75% per DINOv2).
• Confronto con TTA: In un esperimento controllato su Cityscapes con un budget di quattro passaggi in avanti, la Marginalizzazione della Fase Uniforme ha fornito un modesto vantaggio (+0.31 mIoU) rispetto alla TTA basata su spostamenti di riga generici, suggerendo che il campionamento specifico della fase della griglia-patch è più efficace rispetto allo spostamento generico dell'immagine.
• Studio di Scalabilità: Aumentare $K$ oltre 4 ha prodotto rendimenti decrescenti. $K=8$ non ha mostrato cambiamenti sostanziali, e $K=16$ ha aggiunto poca accuratezza a fronte di una latenza significativamente maggiore, validando $K=4$ come default pratico.

5. Significato e Rivendicazioni

Il documento posiziona la fase griglia-patch come una fonte misurabile di instabilità nei ViT che può essere mitigata senza riprogettazione architettonica o riaddestramento.

• Utilità Diagnostica: Il metodo funge da semplice strumento diagnostico; un'alta varianza di fase indica che le predizioni di un modello sono sensibili all'allineamento arbitrario della griglia.
• Baseline Pratica: Offre un "semplice strumento diagnostico e una baseline di marginalizzazione post-hoc" per la predizione densa dei ViT.
• Deployment: A differenza delle soluzioni architettoniche (es. Swin, PVT o token sovrapposti) che richiedono la riprogettazione del modello o nuovi regimi di addestramento, la Marginalizzazione della Fase è un wrapper di inferenza leggero compatibile con backbone congelati (come i modelli stile DINO).

Gli autori mantengono un tono modesto, inquadrando il metodo non come un sostituto delle innovazioni architettoniche, ma come una necessaria correzione per un particolare artefatto di quantizzazione, migliorando la robustezza e la generalizzazione nelle pipeline di predizione densa esistenti.