Technische Samenvatting: Fase-marginalisatie voor Patch-Grid Instabiliteit in Vision Transformers

1. Probleemstelling: Patch-Grid Fase-instabiliteit

Vision Transformers (ViT's) vertrouwen op een vast patchificatieproces om afbeeldingen om te zetten in token-sequenties. Dit introduceert een discrete ruimtelijke fase: de specifieke toewijzing van pixels aan tokens hangt af van de uitlijning van het patch-grid ten opzichte van het coördinatensysteem van de afbeelding. Het artikel identificeert deze patch-grid fase als een "nuisance variable" (storende variabele) die zorgt voor fase-afhankelijke instabiliteit bij taken met dichte voorspellingen (bijv. segmentatie, diepte-inschatting, lokale matching).

Specifiek kan het verschuiven van het patch-grid met enkele pixels (een fase-offset $\phi$) de token-informatie die beschikbaar is voor het model veranderen, met name nabij semantische grenzen waar naburige pixels tot verschillende klassen of dieptes behoren. Als de dichte voorspellingen van een model significant veranderen wanneer het patch-grid wordt verschoven, vertoont het model instabiliteit. Dit is verschillend van generieke beeldperturbaties (zoals ruis of rotatie) en vertegenwoordigt een specifiek architecturaal kwantiseringsartefact dat inherent is aan niet-overlappende patch-tokenisatie.

2. Methodologie: Fase-marginalisatie

Het artikel stelt Fase-marginalisatie voor, een post-hoc, training-vrije inference-wrapper die is ontworpen om deze instabiliteit te verzachten zonder de backbone aan te passen of het model opnieuw te trainen.

Kernmechanisme

De methode behandelt de patch-grid fase als een variabele waarover gemarginaliseerd moet worden. In plaats van een enkele forward pass met een canoniek grid ($\phi = (0,0)$), evalueert het model de afbeelding onder een gestructureerde set fase-offsets $\Phi_K = \{\phi_1, \dots, \phi_K\}$.

1. Fase-verschuiving: Voor elke fase $\phi_k$ wordt de invoerafbeelding verwerkt met een fase-verschuivingsoperator $S_{\phi_k}$ (inclusief reflectieve padding en cropping) om het patch-grid te verschuiven.
2. Inference: Een bevroren ViT-encoder en dichte head produceren een logit-map $z_{\phi_k}$ voor elke fase.
3. Inverse Uitlijning: Elke output wordt teruggekaart naar het oorspronkelijke afbeeldingscoördinatensysteem met behulp van een inverse-uitlijningsoperator $A^{-1}_{\phi_k}$. Dit omvat herschikken (reshaping), bilineaire upsampling (met align-corners=False), en cropping om de oorspronkelijke resolutie te herstellen.
4. Aggregatie: De uitgelijnde logits worden gemiddeld om de uiteindelijke voorspelling te produceren:
   $$\bar{z}(p) = \frac{1}{K} \sum_{k=1}^K \mathcal{A}^{-1}_{\phi_k}(z_{\phi_k})(p)$$

Primaire Variant: Uniforme Fase-marginalisatie

De centrale bijdrage is Uniforme Fase-marginalisatie met $K=4$. Voor een even patch-grootte $P$ samplet de methode vier canonieke kwadranten van de sub-patch fase-ruimte:
$$\Phi_4 = \{(0,0), (0, P/2), (P/2, 0), (P/2, P/2)\}$$
Deze aanpak is computationeel equivalent aan een 4-forward Test-Time Augmentation (TTA) ensemble, maar samplet specifiek de nuisance-variabele van de patch-grid uitlijning in plaats van generieke beeldtransformaties.

Secundaire Varianten (Audits)

Het artikel evalueert ook verschillende geleerde en aangepaste varianten als secundaire audits, waaronder:

• Learned Phase-Feature Attention: Een getrainde module die leert om fase-specifieke features te wegen op basis van lokale variantie.
• Partial Encoder Tuning: Het deblokkeren van de laatste encoder-blokken terwijl fase-attentie wordt gebruikt.
• Pre-Transformer Averaging: Het middelen van patch-embeddings vóór de self-attention (een negatieve design-variant).
• Depth-Specific Fusion: Varianten die specifiek zijn afgestemd op diepte-inschatting met residuele correctie.
  Deze worden gepresenteerd als exploratieve vergelijkingen in plaats van de primaire voorgestelde methode.

3. Belangrijkste Bijdragen

1. Definitie van Fenomeen: Het artikel definieert patch-grid fase-instabiliteit formeel als een meetbare nuisance-variabele voor dichte ViT-voorspellingen, waarbij het onderscheid maakt met generieke shift-aliasing in CNN's.
2. Methodevoorstel: Het introduceert Uniforme Fase-marginalisatie, een training-vrije, post-hoc procedure die voorspellingen aggregeert over gestructureerde patch-grid fases.
3. Empirisch Bewijs: De methode toont consistente verbeteringen over de canonieke $K=1$ baseline bij taken zoals segmentatie, diepte-inschatting en lokale matching.
4. Gecontroleerde Vergelijkingen: Het biedt rekenkundig evenwaardige vergelijkingen met generieke shift-gebaseerde TTA en een schalingstudie ($K=4, 8, 16$) om vast te stellen dat $K=4$ een praktische afweging is tussen kosten en nauwkeurigheid.

4. Experimentele Resultaten

De methode werd geëvalueerd op semantische segmentatie (GTA5→Cityscapes, SYNTHIA→Cityscapes, ADE20K), diepte-inschatting (NYU Depth v2) en lokale feature matching (HPatches).

• Prestatiewinsten: Uniforme Fase-marginalisatie ($K=4$) verbeterde de prestaties ten opzichte van de $K=1$ baseline in elke gemeten setting.
  • Segmentatie: Verbeteringen varieerden van +0,76 tot +1,39 mIoU op ADE20K en cross-domein settings (bijv. +0,82 mIoU op GTA5→Cityscapes).
  • Diepte: Verminderde de RMSE van 0,6506 naar 0,6277 op NYU Depth v2.
  • Matching: Verbeterde de nauwkeurigheid op HPatches (bijv. +3,75% voor DINOv2).
• Vergelijking met TTA: In een gecontroleerd Cityscapes-experiment met een gelijkwaardig budget van vier forward passes, bood Uniforme Fase-marginalisatie een bescheiden voordeel (+0,31 mIoU) ten opzichte van generieke rij-gebaseerde shift TTA, wat suggereert dat het specifiek samplen van de patch-grid fase effectiever is dan generieke beeldverschuiving.
• Schaalingsstudie: Het verhogen van $K$ boven de 4 leverde verminderde meeropbrengsten op. $K=8$ vertoonde vrijwel geen verandering, en $K=16$ voegde weinig nauwkeurigheid toe tegen aanzienlijk hogere latentie, wat valideert dat $K=4$ de praktische standaard is.

5. Betekenis en Claims

Het artikel positioneert patch-grid fase als een meetbare bron van instabiliteit in ViT's die kan worden gemitigeerd zonder architecturale herontwerp of hertraining.

• Diagnostisch Nut: De methode dient als een eenvoudig diagnostisch hulpmiddel; een hoge fase-variantie geeft aan dat de voorspellingen van een model gevoelig zijn voor willekeurige grid-uitlijning.
• Praktische Baseline: Het biedt een "eenvoudige diagnostische en post-hoc marginalisatie baseline" voor dichte ViT-voorspellingen.
• Implementatie: In tegenstelling tot architecturale oplossingen (zoals Swin, PVT of overlappende tokens) die architecturaal herontwerp of nieuwe trainingsregimes vereisen, is Fase-marginalisatie een lichtgewicht inference-wrapper die compatibel is met bevroren backbones (zoals DINO-stijl modellen).

De auteurs hanteren een bescheiden toon en presenteren de methode niet als een vervanging voor architecturale innovaties, maar als een noodzakelijke correctie voor een specifiek kwantiseringsartefact, wat de robuustheid en generalisatie in bestaande dichte voorspellingspipelines verbetert.