Technische Samenvatting: Ruimtelijke Priors via Space-Filling Curves voor Vision Transformers met Kleine en Beperkte Data

1. Probleemstelling

Vision Transformers (ViTs) hebben de dominantie in computer vision bereikt door globale afhankelijkheden te vangen via self-attention. Echter, in tegen tegenstelling tot Convolutional Neural Networks (CNNs), missen ViTs inherente ruimtelijke inductieve biases, zoals lokaliteit, vanwege de permutatie-equivariante aard van hun attention-mechanismen. Dit behandelt beeldpatches als een ongeordende verzameling tokens. Hoewel grootschalige modellen en datasets ViTs de mogelijkheid geven om deze biases impliciet te leren, is deze aanpak data-hongerig en computationeel duur. In scenario's met beperkte trainingsdata of kleine modelcapaciteiten (gedefinieerd in het paper als $\le$30M parameters), worstelen ViTs met specialisatie en presteren ze vaak ondermaats vergeleken met CNNs. Bestaande pogingen om dit aan te pakken omvatten het toevoegen van convoluties, nieuwe positionele encodings of maskeringstrategieën, maar deze vereisen vaak architecturale wijzigingen of aanzienlijke parameter-overhead. Verder maken recente Linear Transformers en Vision State Space Models (SSMs) gebruik van scanningpatronen om ruimtelijke orde te vangen, maar hun prestaties zijn sterk afhankelijk van het specifieke doorlooppad dat gekozen wordt (meestal een eenvoudige Z-curve).

2. Methodologie: VIOLIN

De auteurs stellen VIOLIN voor (Vision Inductive LOcal INductive bias), een lichtgewicht, plug-and-play gemaskeerd attention-mechanisme dat is ontworpen om ruimtelijke priors in globale attention-modellen te injecteren zonder de onderliggende architectuur of het trainingsrecept te wijzigen.

Kernmechanisme

VIOLIN is geïnspireerd door de decay-masks die worden gebruikt in Linear Transformers en de scanningpatronen van Vision SSMs. Het introduceert ruimtelijke structuur door een decay mask toe te passen op de attention-matrix, waarbij de decay wordt bepaald door de afstand tussen tokens langs specifieke Space Filling Curves (SFCs).

• Space Filling Curves (SFCs): De methode maakt gebruik van meerdere SFCs (Snake, Zig-zag, Peano en Hilbert curves) en hun getransponeerde varianten om het 2D-beeldraster te doorlopen. In tegenstelling tot de standaard row-major (Z-curve) scan, behouden deze curves de lokaliteit op verschillende manieren, waardoor ruimtelijk aangrenzende patches in het 2D-beeld relatief dicht bij elkaar blijven in de 1D-sequentie.
• Constructie van de Decay Mask: Voor een gegeven curve $c$ wordt een decay mask $M_c$ geconstrueerd waarbij de attention score tussen token $i$ en $j$ wordt gedempt door $\gamma_c^{|i-j|}$. Hierbij staat $|i-j|$ voor de afstand langs de specifieke curve $c$, en $\gamma_c \in (0, 1]$ is een leerbare decay-parameter.
• Basis Alignment: Omdat verschillende curves verschillende token-ordeningen produceren, definieert VIOLIN een "basis curve" (de standaard Z-curve). Het berekent de attention output voor elke curve en permuteert deze vervolgens terug naar de basisorde. Cruciaal is dat, om de efficiëntie te behouden, de auteurs aantonen dat dit wiskundig equivalent is aan het permuteren van de decay masks zelf naar de basisorde voordat de attention wordt berekend.
• Aggregatie: De uiteindelijke VIOLIN mask, $M_{VIOLIN}$, is het gemiddelde van de gepermuteerde decay masks van alle curves in de set $\mathcal{C}$ (die 8 curves bevat: 4 basis + 4 getransponeerd). De attention output wordt berekend als:
  $$Y = \text{Softmax}\left( \frac{\alpha QK^\top}{\sqrt{d}} \odot M_{VIOLIN} \right) V$$
  waarbij $\alpha$ een leerbare scalar is die de sterkte van de mask controleert.

Efficiëntie

VIOLIN is ontworpen voor minimale overhead:

• Parameters: Het voegt slechts $\approx 0.0015\%$ extra parameters toe (voornamelijk de leerbare $\beta_c$ voor $\gamma_c$ en $\alpha$).
• Computation: Het introduceert verwaarloosbare computationele overhead ($\approx 0.64\%$ toename in FLOPs) omdat de Query-, Key- en Value-matrices slechts één keer worden berekend met de basisordening, en de toepassing van de mask elementgewijs is.
• Compatibiliteit: Het is een "plug-and-play" module die kan worden toegepast tijdens het fine-tunen van gepre-trainde modellen (bijv. DeiT, DINO) zonder dat er vanaf nul getraind hoeft te worden.

3. Belangrijkste Bijdragen

1. Nieuwe Injectie van Ruimtelijke Priors: Het paper introduceert een methode om ruimtelijke structuur in ViTs te coderen met behulp van een gewogen gemiddelde van decay masks afgeleid van meerdere Space Filling Curves, waarmee verder wordt gegaan dan de enkelvoudige Z-curve scan die in de meeste lineaire vision modellen wordt gebruikt.
2. Lichtgewicht en Modulair: VIOLIN bereikt deze winst met een verwaarloosbare parameter- en computationele kosten, wat het geschikt maakt voor kleine modellen en omgevingen met beperkte middelen.
3. Plug-and-Play Aanpasbaarheid: De methode kan worden geïntegreerd in bestaande gepre-trainde ViT-backbones (DeiT, DINO), specifiek tijdens de fine-tuning fase, waardoor modellen hun ruimtelijke biases kunnen aanpassen aan downstream taken zonder vanaf nul te hoeven trainen.
4. Uitgebreide Evaluatie: De auteurs leveren uitgebreid empirisch bewijs over classificatie, dense predictie (segmentatie, detectie) en diverse dataregimes (beperkte data, pixel-niveau taken).

4. Experimentele Resultaten

Het paper evalueert VIOLIN over verschillende benchmarks:

• VTAB-1K (Fine-tuning met beperkte data):

  • VIOLIN verbetert consequent de prestaties over de groepen Natural, Specialized, en Structured taken.
  • Gemiddeld verhoogt het de nauwkeurigheid met 4,7% over alle model-schalen (van 5M tot 632M parameters).
  • De meest significante winsten worden waargenomen in de Structured groep (taken die ruimtelijk begrip vereisen zoals object tellen en dieptevoorspelling), met verbeteringen tot 8,7% op individuele taken.
  • Het combineert effectief met Parameter-Efficient Fine-Tuning (PEFT) methoden zoals LoRA en DoRA, wat de prestaties verder verbetert met minimale extra parameters.

• Pretraining (ImageNet-1K):

  • Wanneer kleine schaal modellen (DeiT-T, DeiT-S) worden gepre-traind op ImageNet-1K, verbetert VIOLIN de top-1 nauwkeurigheid met 0,8% tot 0,9% zonder het trainingsrecept te wijzigen.
  • Self-supervised pretraining met DINO laat eveneens consistente winsten zien in zowel KNN als linear probe evaluaties.

• Pixel-Level Taken (CIFAR-100):

  • Op een pixel-niveau tokenisatie taak (waar lokaliteit cruciaal is en patching is verwijderd), verbetert VIOLIN de nauwkeurigheid op CIFAR-100 met 7,2%, wat zijn vermogen aantoont om sterke inductieve bias te bieden waar standaard ViTs falen.

• Dense Predictie:

  • VIOLIN verbetert semantische segmentatie op ADE20K (+0,56 mIoU) en objectdetectie op COCO (+0,4 mAP) wanneer het wordt toegepast op Swin-T en DeiT-B backbones.

• Ablatie-studies:

  • Het gebruik van meerdere curves is superieur aan enkele curves of willekeurige permutaties.
  • De methode werkt met zowel classificatie-tokens als Global Average Pooling (GAP).
  • Geleerde decay parameters ($\gamma_c$) zijn essentieel; vaste waarden leveren lagere prestaties op.

5. Betekenis en Claims

Het paper claimt dat VIOLIN een computationeel efficiënte doch effectieve oplossing biedt voor het gebrek aan ruimtelijke inductieve bias in Vision Transformers. De primaire betekenis ligt in het vermogen om:

• De kloof te overbruggen voor kleine modellen: Het stelt kleine schaal ViTs in staat om te concurreren met CNNs in data-arme regimes door sterke, expliciete ruimtelijke priors te injecteren.
• Aanpasbaarheid te vergroten: Door te fungeren als een module die alleen tijdens fine-tuning wordt gebruikt, stelt het beoefenaars in staat om bestaande grootschalige gepre-trainde checkpoints te benutten en deze te specialiseren voor downstream taken met beperkte data, zonder de kosten van pretraining vanaf nul.
• Te generaliseren over taken: De methode is niet beperkt tot beeldclassificatie, maar breidt zich ook effectief uit naar dense predictie taken en pixel-niveau verwerking, wat het fundamentele belang van patch-ordening en ruimtelijke structuur in visiemodellen onderstreept.

De auteurs concluderen dat hoewel grote modellen ruimtelijke biases uit data kunnen leren, expliciete priors zoals die van VIOLIN cruciaal zijn voor efficiëntie en prestaties in de vele praktische scenario's waarin data en rekenkracht beperkt zijn.