Technische Samenvatting: Lineaire Globale Visuele Modellering zonder Expliciete Attention

Probleemstelling

Het heersende paradigma in computer vision schrijft de mogelijkheden van Transformers voor het modelleren van globale sequenties toe aan de expliciete berekening van attention-weights. Dit proces omvat het berekenen van paren van token-achtigheden om een $N \times N$ attention-matrix te vormen, die vervolgens wordt gebruikt om waarde-representaties te herschikken. Hoewel dit mechanisme effectief is, leidt het inherent tot kwadratische computationele complexiteit ($O(N^2)$) met betrekking tot de sequentielengte, wat een knelpunt creëert voor invoer met hoge resolutie en lange sequenties. Bestaande verbeteringen voor efficiëntie richten zich grotendeels op het benaderen of verspreiden van deze expliciete attention-matrix, en blijven gebonden aan het paradigma van expliciete feature-herschepping.

Methodologie

Theoretische Herformulering: Attention als Dynamische MLP

De auteurs stellen een nieuw perspectief voor: attention kan wiskundig worden herformuleerd niet als een expliciete gewogen aggregatie, maar als een Multi-Layer Perceptron (MLP) met dynamisch voorspelde parameters.

• Mechanisme: Bij standaard attention is de output voor een query $q_i$ gelijk aan $o_i = \text{Softmax}(\frac{q_i K^\top}{\sqrt{d}})V$. De auteurs interpreteren $K^\top$ en $V$ niet als statische weights, maar als dynamische parameters die worden gegenereerd vanuit de invoer $X$ (d.w.z. $K=XW_K, V=XW_V$).
• Implicatie: Globale modellering ontstaat impliciet. De invoer $X$ wordt gecomprimeerd tot een set dynamische parameters $W = G(X)$, die fungeren als een compacte representatie van de globale context. Het doorsturen van de invoer via dit dynamisch geparametriseerde netwerk integreert lange-afstandsafhankelijkheden zonder ooit een expliciete $N \times N$ attention-matrix te berekenen of toe te passen.
• Complexiteitsinzicht: De kwadratische complexiteit van standaard attention ontstaat omdat de effectieve breedte van deze "dynamische MLP" schaalt met het aantal tokens $N$ (aangezien $K^\top \in \mathbb{R}^{d \times N}$). Door het genereren van parameters te ontkoppelen van de sequentielengte, kan globale modellering worden bereikt met lineaire complexiteit.

WeightFormer Architectuur

Om deze hypothese te valideren, introduceren de auteurs WeightFormer, een visie-architectuur die expliciete attention vervangt door dynamische parametrisatie, terwijl lineaire complexiteit ($O(N)$) wordt behouden.

• Sparce Distributie: In plaats van dynamische lagen op elk blok toe te passen (wat hoge overhead veroorzaakt), plaatst WeightFormer dynamische blokken spaarzaam (specifiek, elk derde blok), waarbij de rest statisch blijft om prestaties en efficiëntie in evenwicht te brengen.
• Dynamische Lineaire Lagen: De eerste lineaire laag in de MLP wordt vervangen door een dynamische laag met Bilaterale Activering. Deze strategie factoriseert weight-voorspelling in twee niet-lineaire takken die werken op de invoer $X$ en zijn getransponeerde $X^\top$:
  $$\Delta W(X) = W_1 \sigma(W_2 X^\top) \sigma(X W_3) W_4$$
  Hierdoor kan het model hogere-orde feature-interacties en globale context vastleggen zonder expliciete token-naar-token routing.
• Dynamische Depthwise Convoluties (DWC): Om de ruimtelijke menging van attention te vervangen, maken de auteurs gebruik van dynamische depthwise convoluties. Zij hanteren Ruimtelijk Adaptieve Voorspelling, waarbij de invoer via Adaptieve Gemiddelde Pooling (AAP) wordt verkleind naar een vaste $K \times K$ resolutie (die overeenkomt met de kernelgrootte) voordat de kernel-weights worden voorspeld. Dit behoudt de ruimtelijke structuur terwijl het ervoor zorgt dat het proces van parametergeneratie onafhankelijk is van de invoerresolutie.

Belangrijkste Bijdragen

1. Wiskundige Herformulering: Het artikel biedt een nieuwe theoretische verklaring voor het vermogen van attention tot globale modellering, door dit te poseren als een dynamische MLP met op invoer gebaseerde parameters in plaats van expliciete token-voor-token aggregatie.
2. Demonstratie van Haalbaarheid: Het toont aan dat expliciete attention-weights niet essentieel zijn voor het modelleren van globale sequenties. De auteurs bewijzen dat dynamische parametrisatie attention volledig kan vervangen om prestaties op Transformer-niveau te bereiken met lineaire complexiteit.
3. WeightFormer Architectuur: De introductie van een prototype-architectuur die systematisch dynamische parametrisatiestrategieën verkent (Bilaterale Activering voor lineaire lagen en Ruimtelijk Adaptieve Voorspelling voor depthwise convoluties) binnen een standaard CNN-achtig raamwerk.

Experimentele Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op ImageNet-1K, COCO, ADE20K en class-voorwaardelijke generatie op ImageNet.

• Beeldclassificatie (ImageNet-1K): WeightFormer bereikt concurrerende of superieure nauwkeurigheid vergeleken met sterke baselines (DeiT, PVT, ConvNeXt) met vergelijkbare of lagere computationele kosten.
  • WeightFormer-S bereikt 81,3% top-1 nauwkeurigheid, wat beter is dan DeiT-S (79,8%) en ConvNeXt-S (79,7%), terwijl vergelijkbare middelen worden gebruikt.
  • WeightFormer-T bereikt 76,3% nauwkeurigheid met aanzienlijk hogere doorvoer (3515 img/s) vergeleken met DeiT-T (3661 img/s), maar met veel lagere FLOPs bij hoge resoluties.
• Efficiëntie en Schaalbaarheid: Vanwege zijn lineaire complexiteit schaalt WeightFormer efficiënt naar hoge resoluties. Bij een resolutie van 1248×1248 bereikt het 7,7× hogere doorvoer en 91% geheugenreductie vergeleken met DeiT.
• Downstream Taken:
  • Objectdetectie (COCO): WeightFormer-T verbetert de box/mask AP ten opzichte van DeiT-T (45,0/38,3 versus 44,4/38,1) terwijl de backbone FLOPs worden verlaagd van 106G naar 77G.
  • Semantische Segmentatie (ADE20K): WeightFormer-S bereikt 45,6 mIoU, wat beter is dan DeiT-S (44,0 mIoU) met verminderde backbone FLOPs.
  • Beeldgeneratie: Bij class-voorwaardelijke generatie bereiken WeightFormer-varianten consistent lagere FID-scores dan vergelijkbare DiT- en DiG-modellen, wat wijst op verbeterde steekproefkwaliteit.
• Ablatiestudies: Experimenten over de frequentie van dynamische blokken onthullen dat een spaarzame distributie (één dynamisch blok per drie) de beste afweging biedt, aangezien het vervangen van te veel statische lagen leidt tot onderfitting en optimalisatie-uitdagingen.

Betekenis en Claims

Het artikel stelt dat dynamische parametrisatie een fundamenteel efficiënter alternatief is voor expliciete attention voor het modelleren van globale sequenties. Door de focus te verschuiven van expliciete weight-aggregatie naar impliciete parametergeneratie, openen de auteurs een nieuwe ontwerpruimte voor efficiënte architecturen die niet afhankelijk zijn van de kwadratische bottleneck van Transformers.

De auteurs handhaven een bescheiden toon met betrekking tot de reikwijdte van hun werk:

• De evaluatie is momenteel beperkt tot visietaken, en generalisatie naar andere domeinen (bijv. NLP) blijft een open vraag.
• Het theoretische begrip van de expressiviteit en inductieve bias van dynamische parametrisatie is nog niet compleet.
• Het optimaliseren van deze op invoer gebaseerde parameters vormt uitdagingen met betrekking tot gradiëntstroom en trainingsstabiliteit.

Uiteindelijk dient het werk als een proof-of-concept dat globale modellering kan worden ontkoppeld van kwadratische complexiteit, wat verdere verkenning motiveert van dynamische parametrisatie als een haalbaar vervanging voor attention-gebaseerde architecturen.