Technische Samenvatting: Positional Encodings Verankeren de Ruimtelijke Structuur in Vision Transformers

Probleemstelling

Vision Transformers (ViTs) missen de ingebouwde inductieve biases voor lokaliteit en translatie-equivariante eigenschappen die wel aanwezig zijn in convolutionele neurale netwerken. Bijgevolg vertrouwen ze op Positional Embeddings (PEs) om ruimtelijke informatie te injecteren, wat het model in staat stelt om tokens te onderscheiden op basis van hun locatie. De functionele rol van PEs blijft echter ambigu. Voorgaand onderzoek wijst erop dat ViTs aanzienlijke prestaties kunnen behouden zelfs wanneer PEs worden verwijderd of gedegradeerd, wat suggereert dat ruimtelijke structuur gedeeltelijk kan voortkomen uit de inhoud van de patches alleen.

Dit creëert een centraal raadsel: als ruimtelijke structuur kan ontstaan zonder expliciete positionele sturing, wat is dan de specifieke rol van PEs? Bestaande studies hebben dit grotendeels geadresseerd via vergelijkingen van downstream-prestaties of architecturale variaties, waardoor de mechanistische impact van PEs op de interne representationele geometrie en de specifieke relatie met robuustheid onder distributieverschuivingen grotendeels onverkend zijn gebleven.

Methodologie

De auteurs hanteren een geometrisch perspectief om te analyseren hoe PEs de token-representaties door de transformer-stack heen vormgeven. De methodologie steunt op drie kerncomponenten:

1. Spatial Similarity Distance Correlation (SSDC):
   Een nieuwe metriek die is geïntroduceerd om ruimtelijke structuur te kwantificeren. SSDC berekent de Spearman rangcorrelatie tussen de token-gelijkenismatrix ($S$) en de negatieve ruimtelijke afstandmatrix ($D$) tussen paren tokens.
   $$SSDC = \rho_{Spearman} (\{S_{ij}\}_{i<j}, \{-D_{ij}\}_{i<j})$$
   Hogere SSDC-waarden geven aan dat ruimtelijk nabije tokens meer gelijkaardige representaties hebben. De auteurs gebruiken SSDC als een vergelijkende proxy om veranderingen door diepte en gevoeligheid voor interventies te volgen, in plaats van als een absolute maatstaf voor een specifiek mechanisme.

2. Permutatie-interventies:
   Om onderscheid te maken tussen index-gebaseerde (verankerd aan de positie van de token) en inhoud-gebaseerde (gedreven door de visuele patch-inhoud) ruimtelijke organisatie, gebruiken de auteurs twee interventies:

   • Random Permutation at Inference (RPI): De volgorde van tokens wordt tijdens de inferentie gehusseld terwijl de positionele indices vast blijven staan. Dit verbreekt de link tussen de token-inhoud en de ruimtelijke locatie. Als de ruimtelijke structuur persisteert, is deze index-verankerd; als deze instort, is deze inhoud-gedreven.
   • Random Permutation Training (RPT): Tokens worden bij elke forward pass tijdens de training gehusseld, terwijl de PEs vast blijven aan de oorspronkelijke indices. Dit voorkt dat het model een consistente index-naar-locatie mapping leert, wat effectief de stabiele positionele referentiekader vernietigt.

3. Evaluatie van Robuustheid:
   De auteurs evalueren modellen onder inhoud-verstorende distributieverschuivingen (JPEG-compressie en Gaussische vervaging) met behulp van een Fragility Score (FS), gedefinieerd als de relatieve daling in nauwkeurigheid ($1 - A_{shift}/A_{normal}$).

4. Positionele Schaling:
   Om de causale link tussen ruimtelijke organisatie en robuustheid te onderzoeken, wordt de magnitude van geleerde absolute positionele embeddings (APE) geschaald met een factor $\alpha \in [0, 1]$ tijdens de inferentie. Dit maakt de continue degradatie van het index-gebaseerde ruimtelijke signaal mogelijk zonder hertraining.

Belangrijkste Bijdragen en Resultaten

1. Emergentie van Inhoud-Gedreven Structuur Zonder PEs

Zelfs in modellen die getraind zijn zonder PEs ("geablateerde" modellen), ontstaat er tijdens de training een niet-trivialische ruimtelijke structuur. Deze structuur is echter inhoud-gedreven. Onder RPI stort de SSDC van geablateerde modellen over alle lagen bijna naar nul in, wat aangeeft dat hun ruimtelijke organisatie volledig rust op de patch-inhoud en faalt wanneer de correspondentie tussen inhoud en locatie wordt verbroken.

2. PEs Induceren Index-Verankerde Ruimtelijke Organisatie

Modellen getraind met PEs (Learned Absolute, Sinusoidal, en Rotary/RoPE) vertonen een duidelijke verschuiving naar index-verankerde ruimtelijke organisatie.

• Onder RPI vertonen deze modellen een substantiële SSDC-herstel, wat aangeeft dat hun representaties deels verankerd blijven aan de token-indices, zelfs wanneer de patch-inhoud wordt gepermuteerd.
• Diepte-trajecten: Hoewel alle PE-typen deze verschuiving induceren, verschillen ze in hoe de structuur zich ontwikkelt:
  • APE en Sinusoidal: Vertonen een snelle toename van SSDC in de vroeere lagen, wat wijst op een vroege injectie van ruimtelijke structuur via additieve signalen.
  • RoPE: Toont een geleidelijke, continue accumulatie van structuur over de diepte, consistent met de multiplicatieve integratie in aandachtmechanismen.

3. De Primaat van een Stabiel Referentiekader

De studie toont aan dat de aanwezigheid van een stabiel positioneel referentiekader de kritieke factor is voor robuustheid, in plaats van de specifieke coderingmechanisme.

• RPT Modellen: Ondanks de aanwezigheid van PEs, falen modellen getraind met RPT (waarbij de index-locatie mapping inconsistent is) om SSDC te herstellen onder RPI en vertonen zij fragiliteitsscores die vergelijkbaar zijn met geablateerde modellen.
• Conclusie: De loutere aanwezigheid van PEs is onvoldoende; het model moet een consistente mapping leren tussen token-indices en ruimtelijke locaties om robuustheid te bereiken.

4. Robuustheid Correleert met Index-Gebaseerde Organisatie

Er is een sterke correlatie tussen de stabiliteit van de index-gebaseerde ruimtelijke organisatie en de robuustheid tegen inhoud-verstorende verschuivingen:

• Fragility Scores: Modellen met een stabiele index-verankerde organisatie (APE, Sinusoidal, RoPE) zijn aanzienlijk robuuster tegen JPEG-compressie (Fragiliteit $\sim 0.30–0.43$) dan geablateerde of RPT-modellen (Fragiliteit $\sim 0.66$).
• Secundaire Variatie: Hoewel alle PE-gebaseerde modellen robuust zijn, bereikt RoPE consequent de laagste fragiliteit, wat suggereert dat het coderingmechanisme een secundaire rol speelt, mogelijk door de progressieve diepte-wijze integratie.
• Schaalexperimenten: Naarmate de magnitude van APE ($\alpha$) wordt verminderd, stort $\Delta SSDC$ (het herstel van de ruimtelijke structuur) in en neemt de fragiliteit scherp toe. Zodra de ruimtelijke organisatie volledig is verstoord ($\alpha \le 0.4$), vlakt de fragiliteit af. Dit bevestigt dat de degradatie van robuustheid de afname van de ruimtelijke structuur volgt.

Betekenis en Claims

Het artikel biedt een geometrische verklaring voor hoe positionele encodings functioneren in Vision Transformers. De auteurs beweren dat:

1. Robuustheid hangt af van het referentiekader: De primaire drijfveer voor robuustheid tegen inhoud-verstorende verschuivingen is het vestigen van een stabiele, index-verankerde ruimtelijke organisatie, en niet de specifieke wiskundige vorm van de PE (geleerd versus vast, additief versus multiplicatief).
2. Bewijs door interventie: De relatie tussen ruimtelijke organisatie en robuustheid wordt geïdentificeerd door gecontroleerde interventies (RPI, RPT, schaling). De auteurs geven expliciet aan dat hoewel het bewijs sterk is, het een relatie identificeert in plaats van een strikt geïsoleerd causaal mechanisme.
3. Ontwerpimplicaties: Toekomstige coderingstechnieken zouden prioriteit moeten geven aan het vermogen om een consistent positioneel referentiekader te vestigen. Het specifieke coderingmechanisme doet er minder toe dan de stabiliteit van de index-naar-locatie mapping die tijdens de training wordt geleerd.

De auteurs blijven bescheiden over de generalisatie en merken op dat deze bevindingen gebaseerd zijn op ViT-S modellen getraind vanaf nul op ImageNet-100 en dat de evaluatie van robuustheid specifiek is voor inhoud-verstorende perturbaties, en niet noodzakelijkerwijs uitbreidt naar adversariële verschuivingen of semantische distributieveranderingen.