Technische Samenvatting: Het Induceren van Ruimtelijke Localiteit in Vision Transformers via het Trainingsprotocol

Probleemstelling

Vision Transformers (ViTs) hebben concurrerende prestaties behaald in beeldclassificatie, maar verschillen fundamenteel van Convolutional Neural Networks (CNNs) in hun inductieve bias. Waar CNNs ruimtelijke localiteit expliciet incorporeren via convoluties en beperkte receptieve velden, maken ViTs gebruik van globale self-attention, waardoor elke token naar elke andere token kan kijken zonder ruimtelijke restrictie. Hoewel deze flexibiliteit het vastleggen van lange-afstandsafhankelijkheden mogelijk maakt, vereist het dat het model leert lokaal te attenderen als dit gedrag voordelig is voor de taak.

Vorig werk van Raghu et al. [12] toonde aan dat localiteit in vroege ViT-lagen voornamelijk ontstaat door grootschalige pretraining (bijvoorbeeld op JFT-300M) of wanneer de modelcapaciteit laag is ten opzichte van de datasetgrootte. Het blijft echter onduidelijk of het trainingsprotocol zelf – specifiek de augmentatie- en regularisatietechnieken die worden toegepast bij training vanaf nul – ruimtelijke localiteit kan induceren op datasets van gemiddelde schaal (50.000–100.000 afbeeldingen) zonder de noodzaak van massale pretraining.

Methodologie

De auteurs ontwierpen een gecontroleerd experiment om de effecten van trainingsprotocollen op de interne attentiestructuur van ViTs te isoleren.

Experimentele Opstelling

• Architectuur: Een compacte ViT (Diepte $L=8$, Embedding $D=192$, 8 heads, $\approx$2,4M parameters) getraind vanaf nul. Interne dropout werd ingesteld op 0,0 om ervoor te zorgen dat alle waargenomen effecten uitsluitend toe te schrijven waren aan het trainingsprotocol en niet aan stochastische regularisatie binnen het netwerk.
• Datasets: Drie datasets van toenemende complexiteit werden gebruikt: CIFAR-10, CIFAR-100 en Tiny-ImageNet. Om vergelijkbaarheid van ruimtelijke metrieken te waarborgen, werden alle afbeeldingen verwerkt tot $N_p=64$ patches (een $8 \times 8$ rooster).
• Protocollen:
  • Basislijn: Minimale augmentatie (Random Crop, Random Horizontal Flip) en standaard CrossEntropy-verlies.
  • Modern: Omvat drie componenten die standaard zijn in efficiënte Transformer-training: AutoAugment (of ColorJitter voor Tiny-ImageNet), CutMix en Label Smoothing.
• Metrieken: De studie karakteriseert attentiepatronen met twee per-head metrieken:
  1. Mean Attention Distance (MAD): Kwantificeert de gemiddelde ruimtelijke afstand van geattendeerde tokens. Lagere waarden duiden op lokale attentie.
  2. Genormaliseerde Attention Entropie: Meet de concentratie van de attentieverdeling. Lagere waarden duiden op geconcentreerde attentie op enkele tokens.

Ablatiestudie

Om de specifieke drijver van localiteit te identificeren, werd een systematische ablatiestudie uitgevoerd op CIFAR-100. Dit omvatte:

1. Het verwijderen van individuele componenten uit het Modern-protocol.
2. Het toevoegen van individuele componenten aan het Basislijn-protocol.
   Dit ontwerp dekte alle acht mogelijke combinaties van de drie componenten (AutoAugment, CutMix, Label Smoothing).

Belangrijkste Resultaten

1. Protocolvergelijking

Over alle drie de datasets heen produceerde het Modern-protocol consistent meer lokale en geconcentreerde attentie in vroege lagen in vergelijking met de Basislijn.

• CIFAR-100: Het effect was het meest uitgesproken. De minimale MAD daalde van 0,316 (Basislijn) naar 0,008 (Modern).
• Gedragsruimte: In de MAD-Entropieruimte toonde het Basislijn-protocol een uniforme verdeling van heads in het gebied met hoge afstand en hoge entropie (globale en diffuse attentie). Het Modern-protocol induceerde een traject waarbij vroege lagen verschoven naar het gebied met lage afstand en lage entropie (lokaal en geconcentreerd), wat de hiërarchische structuur van CNNs nabootste voordat het convergeerde naar globale attentie in diepere lagen.

2. Ablatiebevindingen

De ablatiestudie identificeerde CutMix als de enige bepalende factor voor het ontstaan van ruimtelijke localiteit.

• Binaire Scheiding: Alle condities die CutMix bevatten (Modern, $-$AutoAugment, $-$Label Smoothing, $+$CutMix) vertoonden een minimale MAD $\le 0,024$. Omgekeerd bleven alle condities zonder CutMix (Basislijn, $-$CutMix, $+$AutoAugment, $+$Label Smoothing) op een MAD $\ge 0,210$.
• Onafhankelijkheid van Andere Componenten: AutoAugment en Label Smoothing toonden geen onafhankelijk effect op localiteit. Het toevoegen van alleen AutoAugment of Label Smoothing aan de Basislijn resulteerde in MAD-waarden die bijna identiek waren aan die van de Basislijn.
• Nauwkeurigheid versus Localiteit: Zowel CutMix als AutoAugment verbeterden de testnauwkeurigheid met vergelijkbare marges ten opzichte van de Basislijn ($\approx$6–7 procentpunten). Alleen CutMix veranderde echter de geometrie van de attentie om localiteit te induceren.

Betekenis en Claims

Het artikel claimt aan te tonen dat trainingsprotocollen ruimtelijke localiteit kunnen induceren in Vision Transformers die vanaf nul worden getraind op datasets van gemiddelde schaal, wat de notie uitdaagt dat dergelijk gedrag enorme schaalpretraining of specifieke architecturale beperkingen vereist.

• Mechanisme: De auteurs stellen dat CutMix localiteit induceert door het model te dwingen correct te classificeren met behulp van slechts gedeeltelijke beeldregio's. Deze druk prikkelt vroege lagen om discriminerende informatie te extraheren uit lokale buurten, wat effectief een inductieve bias creëert die vergelijkbaar is met die van CNNs.
• Onderscheid met Vorig Werk: Waar Raghu et al. [12] dataschaal als een kritieke factor voor localiteit vestigden, identificeert dit werk de druk om te classificeren vanuit gedeeltelijke regio's (via CutMix) als een alternatieve, voldoende factor.
• Structureel Inzicht: De studie benadrukt dat verbeteringen in classificatienauwkeurigheid niet noodzakelijkerwijs correleren met veranderingen in de interne attentiestructuur. Technieken zoals AutoAugment en CutMix kunnen vergelijkbare nauwkeurigheidswinsten opleveren, maar werken via fundamenteel verschillende interne mechanismen (het vergroten van inputdiversiteit versus het induceren van lokale feature-extractie).

Beperkingen

De auteurs erkennen verschillende beperkingen:

• De experimenten werden uitgevoerd op een enkele compacte architectuur; generalisatie naar grotere modellen (bijvoorbeeld ViT-B, ViT-L) vereist validatie.
• De studie gebruikte een enkele initialisatie-seed.
• De ablatiestudie werd uitsluitend uitgevoerd op CIFAR-100.
• De temporele dynamiek van wanneer localiteit tijdens het trainen ontstaat, werd niet geanalyseerd.

Voorgesteld toekomstig werk omvat multi-seed validatie, replicatie op andere datasets, uitbreiding naar grotere architecturen en temporele analyse van het ontstaan van localiteit.