Technische Samenvatting: SpiralFovea: Input-Adaptieve Foveale Tokenisatie

1. Probleemstelling

Huidige adaptieve inferentie-technieken voor foundation models opereren primair op twee gevestigde "hefbomen":

1. Architectuur/Diepte: Early exit, Mixture-of-Experts (MoE) routing, en dynamische diepte.
2. Aandacht/KV-Cache: Sparse attention, deformable attention, en KV-cache compressie.

Deze methoden werken echter op een vaste raster-inputtokenisatie. Ongeacht de visuele inhoud van een afbeelding, verdeelt een standaard Vision Transformer (ViT) een $224 \times 224$ afbeelding in $N=196$ uniforme patches in rastervolgorde. Deze aanpak schendt het rate-distortion principe, dat stelt dat optimale capaciteitsallocatie proportioneel moet zijn aan de lokale informatie-densiteit. Uniforme tokenisatie wijst gelijke computationele middelen toe aan regio's met een lage entropie (achtergrond) en regio's met een hoge entropie (onderscheidende kenmerken), wat bij elke transformer-laag onnodige kosten veroorzaakt voordat enige adaptatie plaatsvindt.

Hoewel token pruning (een Lever-1 techniek) het aantal tokens vermindert, is dit structureel verschillend omdat het eerst het volledige uniforme raster vormt, het projecteert en door ten minste één transformer-blok verwerkt voordat tokens worden verwijderd. De kosten voor het verwerken van oninformatieve tokens zijn dan al gemaakt.

De Kloof: Er is een ontbrekende "derde hefboom": Input-Adaptieve Tokenisatie. Deze hefboom vraagt welke tokens er voor een specifie�s beeld moeten bestaan voordat er welke backbone-parameters worden geraadpleegd, in plaats van ze te verwijderen nadat ze zijn gevormd.

2. Methodologie: SpiralFovea

De auteurs stellen SpiralFovea voor, een parameter-vrije, input-adaptieve tokenizer die een variabele set tokens genereert op basis van lokale visuele entropie. Dit proces vindt volledig plaats vóór de backbone forward pass.

Kernpipeline

1. Entropiekaart Generatie:

   • De invoerafbeelding $I$ wordt omgezet naar luminantie (BT.601), gedownsampled naar $D \times D$, en gekwantiseerd in $B$ bins.
   • Een sliding window berekent empirische bin-waarschijnlijkheden om een lokale Shannon-entropiekaart $E(x, y)$ af te leiden.
   • Deze berekening is $O(HW)$, parameter-vrij, en kost $<2\%$ van een enkele transformer-block.

2. Hotspot Anchor Selectie:

   • De hoogte van de afbeelding wordt verdeeld in $S$ stroken.
   • Binnen elke strook wordt de locatie van de maximale entropie geselecteerd als een anchor ($c_s$), wat horizontale diversiteit waarborgt.
   • Anchors worden genormaliseerd en gededupliceerd op basis van een radiustreshold ($\tau_{dedup}$).

3. Multi-Scale Spiraal Ring Extractie:

   • Rondom elke behouden anchor worden patches geplaatst in $K=4$ concentrische ringen.
   • Ring 0: Een enkele foveale patch.
   • Ringen $k > 0$: Bevatten $n_k$ patches gerangschikt in een spiraalpatroon met een toenemende radius en patchgrootte.
   • Het schema is ontworpen om de ruimte zonder gaten te betegelen. Voor een $224 \times 224$ afbeelding met 4 actieve stroken is het theoretische maximum 116 patches, maar een out-of-bounds filter reduceert het uiteindelijke aantal meestal tot $\le 78$ patches (een reductie van $\sim 60\%$ ten opzichte van de standaard 196).

4. Token Acquisitie en Embedding:

   • Patches worden gesampled via bilinear grid sampling.
   • Embedding: Patches worden geprojecteerd met de bevroren patch_embed.proj van de backbone.
   • Positional Encoding (PE): Standaard raster sinusvormige PE wordt vervangen door een Polar PE. Een geleerde 2-laagse MLP brengt poolaire coördinaten $(\hat{c}_s, k, \theta)$ in kaart naar embeddings. Dit respecteert de geometrische nabijheid van patches in de foveale lay-out (ruimtelijk aangrenzend ongeacht de ring-index) en de rotationele symmetrie van de spiraal.
   • Backbone Verwerking: De variabele-lengte sequentie (plus een CLS token) wordt door de bevroren transformer stack gestuurd.
   • CNN Adaptatie: Voor CNN backbones worden patches gecodeerd door een gedeelde ResNet-18 trunk en gefuseerd via Mamba blocks (state-space modellen) om variabele sequentielengtes efficiënt te verwerken.

3. Belangrijkste Bijdragen

1. Conceptueel Kader: Positioneert input-adaptieve tokenisatie als een onderscheidende, complementaire "derde hefboom" van resource-adaptieve inferentie, los van architectuur- en aandachtmodificaties.
2. SpiralFovea Implementatie: Een parameter-vrije, $O(HW)$ entropie-gestuurde tokenizer met bewijsbaar anchor-dekking en multi-scale spiraal extractie. De selectie voltooit voordat enige backbone-parameter wordt geëvalueerd.
3. Theoretische Motivatie: Rechtvaardigt het ontwerp via rate-distortion theorie (capaciteit toewijzen aan informatie-densiteit) en biologische visie (foveal centralis en perifere saliëntie).
4. Empirische Prestaties: Demonstreert strikte Pareto-verbeteringen over vier fijnmazige benchmarks en vier backbone-families.
5. Deployment Diagnostiek: Identificeert een randvoorwaarde waar de methode het meest effectief is: het levert de hoogste winsten op backbones met zwakke of taak-agnostische whole-image positional priors (bijv. zelfgesuperviseerde modellen zoals DINO), terwijl de winst afneemt of omkeert op modellen met sterke, vaste raster-priors (bijv. gesuperviseerde ViT-S/16).

4. Experimentele Resultaten

De methode werd geëvalueerd op vier benchmarks: WikiArt (GAN-Genre, Style), Oxford Flowers-102, PatchCamelyon, en CUB-200-2011 (Genus grouping).

• Nauwkeurigheid vs. Efficiëntie: SpiralFovea bereikt een strikte dominantie Pareto-verbetering.

  • Token Reductie: Vermindert input tokens van 196 naar $\le 78$ ($\sim 60\%$ reductie).
  • Nauwkeurigheidswinst: Levert +1.7 tot +2.1 procentpunten in top-1 nauwkeurigheid op over gematchte statische baselines.
  • Computatiereductie: Vermindert self-attention FLOPs met 84% bij elke transformer-laag (niet slechts één fase), aangezien de grootte van de aandacht-matrix kwadratisch schaalt met het aantal tokens ($78^2$ vs $196^2$).
  • Throughput: Verhoogt de throughput met 18–29% op Tesla T4 GPU's.

• Ablatie Studies:

  • Anchor Plaatsing: Entropie-gestuurde anchors zijn cruciaal; willekeurige hotspots resulteren in een $-1.5$ pp daling.
  • Token Selectie: Het selecteren van welke patches belangrijker is dan het aantal; een willekeurige subset van 78 patches presteert slechter dan de volledige 196-patch baseline.
  • Ontwerpkeuzes: Multi-scale ringen (+1.1 pp), spiraal lay-out (+0.9 pp), en Polar PE (+0.5 pp) dragen allemaal significant bij.

• Boundary Analyse (CUB-Genus):

  • De winst is omgekeerd evenredig aan de sterkte van de pre-training positional prior van de backbone.
  • Hoogste Winst: Zelfgesuperviseerde DINO-ViT-S (+0.93 pp) en ResNet-18 (+0.9 pp).
  • Laagste/Negatieve Winst: Gesuperviseerde ViT-S/16 (-0.28 pp). De auteurs wijten dit aan het feit dat de pre-training van het model "vastzit" aan een uniform raster, waardoor de vervanging door ijle tokens nadelig is, gecombineerd met prestatie-verzadiging.

5. Betekenis en Claims

De paper claimt dat SpiralFovea een fundamentele verschuiving vertegenwoordigt in hoe foundation models visuele input verwerken. Door de input token-set te behandelen als een primaire efficiëntie-hefboom, vermijdt het de "verspilling" van het verwerken van oninformatieve regio's volledig.

• Composibiliteit: De methode is orthogonaal aan Lever-1 (architectuur) en Lever-2 (aandacht) technieken. De auteurs argumenteren dat het combineren van deze hefbomen een multiplicatief effect creëert op de besparingen (bijv. een kortere sequentie voor early exit of MoE routing).
• Doelregime: Het werk isoleert zelfgesuperviseerde foundation models als het regime waar input-adaptieve tokenisatie het meest waardevol is, aangezien deze modellen de rigide positionele priors missen van op ImageNet getrainde gesuperviseerde modellen.
• Praktische Impact: Het reduceren van de tokens die naar een bevroren backbone worden gevoed, levert proportionele besparingen op in GPU-geheugen en energie, wat de koolstofkosten van inferentie verlaagt. De methode is bijzonder geschikt voor fijnmazige herkenning en medische beeldvorming (PatchCamelyon) waar onderscheidende signalen ruimtelijk geconcentreerd zijn.

De auteurs concluderen dat de "derde hefboom" grotendeel uit onontgonnen terrein bestaat en nodigen de gemeenschap uit om het compositieve Pareto-front te onderzoeken van het combineren van input-adaptatie met andere adaptieve inferentie-technieken, evenals de toepasbaarheid op niet-beeld-modaliteiten.