Technische Samenvatting: ReGLA – Efficiënte Receptieve Veldmodellering met een Gated Linear Attention Netwerk

1. Probleemstelling

De implementatie van Vision Transformers (ViTs) op platforms met beperkte middelen (bijv. mobiele apparaten, ingebedde systemen) wordt gehinderd door de kwadratische computationele complexiteit van standaard softmax-gebaseerde self-attention mechanismen. Lichtgewicht Convolutional Neural Networks (CNN's) bieden weliswaar efficiëntie, maar hebben vaak moeite om effectief langetermijnafhankelijkheden te vangen vanwege beperkte receptieve velden. Omgekeerd ervaren hybride CNN-Transformer architecturen vaak de inefficiënties van conventionele aandacht of offeren ze de modelleringgetrouwheid op wanneer ze proberen aandacht te lineariseren. De kernuitdaging die dit werk aanpakt, is het balanceren van hoge nauwkeurigheid op hoogresolutiebeelden met lage latentie en lineaire computationele complexiteit, zonder de stabiliteit van de training of de expressiviteit van het model in gevaar te brengen.

2. Methodologie

De auteurs stellen ReGLA voor, een lichtgewicht hybride CNN-Transformer architectuur die is ontworpen om de afweging tussen lokale extractie van kenmerken en globale modellering te optimaliseren. De architectuur bestaat uit een stem-blok gevolgd door vier hiërarchische stadia, die schalen in kanaaldiepte en ruimtelijke resolutie. Het ontwerp is gebaseerd op drie kernprincipes: lineaire computationele complexiteit, grote receptieve velden met verbeterde lokale focus, en numerieke stabiliteit.

Belangrijke Architecturale Componenten

1. ReLU Gated Modulated Attention (RGMA)
Om de computationeel dure softmax-aandacht te vervangen, introduceert ReGLA RGMA, een geheugenefficiënt aandachtsmecanisme dat een lineaire complexiteit $O(Nd^2)$ bereikt.

• Mechanisme: Het vervangt de softmax-kernel door een ReLU-gebaseerde lineaire kernel en incorporeert een lichtgewicht gating-unit.
• Operatie: Gegeven een feature map $x$, wordt de output $X_o$ berekend als $X_o = G(x) \odot C(x)$, waarbij:
  • $G(x)$ een convolutioneel gated mechanisme is (gebruikmakend van een convolutie en sigmoid-activatie) dat lokale feature-gewichten genereert.
  • $C(x)$ de ReLU lineaire aandachtcomponent is die globale context extraheert.
  • $\odot$ staat voor elementgewijze vermenigvuldiging.
• Voordeel: Dit ontwerp ontkoppelt token-interacties om complexiteit te verminderen, terwijl het gating-mechanisme selectief focust op lokale patronen, wat zorgt voor stabiele gradiënten tijdens training en inferentie.

2. Efficient Large Receptive Field (ELRF)
Ontworpen voor de vroege stadia van het netwerk waar hoogresolutie inputs een uitgebreide ruimtelijke dekking vereisen, streeft ELRF ernaar om lokale informatie te vangen terwijl een groot receptief veld behouden blijft zonder de kosten van grote kernels.

• Ontwerp: In plaats van een enkele grote kernel (bijv. $7 \times 7$) te gebruiken, deelt ELRF de operatie op in gekascadeerde depthwise convoluties ($3 \times 3$ en $5 \times 5$) afgewisseld met Feed-Forward Network (FFN) lagen.
• Voordeel: Deze gestaffelde aanpak bereikt een equivalente $7 \times 7$ receptieve veld, maar optimaliseert de computationele efficiëntie en minimaliseert bottlenecks in geheugentoegang door gebruik te maken van depthwise convoluties.

3. Multi-Teacher Knowledge Distillation
Om de generalisatie over downstream taken te verbeteren, gebruiken de auteurs een multi-teacher distillatiestrategie die gebruikmaakt van zeven diverse voorgetrainde modellen (inclusief SAM2, DeiT-III, DINOv2, iBOT, ViTamin en AIMv2).

• Aanpassingen: In tegen tegenoverdrachtsstandaard distillatiekaders (zoals UNIC) die gericht zijn op classificatie, is deze strategie geoptimaliseerd voor heterogene downstream taken. Het introduceert een adaptieve average pooling om een globale CLS-token te construeren uit patch-tokens voor betere ruimtelijke coherentie bij taken met dichte voorspelling.
• Training: De strategie omvat een 30-epochs distillatiefase op ImageNet-21K gevolgd door fine-tuning op ImageNet-1K, waarbij gebruik wordt gemaakt van gesynchroniseerde batch normalisatie en cosine similarity loss om stabiele kennisoverdracht te garanderen.

3. Belangrijkste Bijdragen

• ReGLA Architectuur: De introductie van een zeer efficiënte CNN-Transformer architectuur die is afgestemd op mobiele en edge-implementatie, voorzien van het ELRF module voor lokale representatie en RGMA (een softmax-vrije, gated lineaire aandacht) voor globale modellering.
• Distillatiestrategie: Een nieuw multi-teacher distillatieframework dat problemen aanpakt met betrekking tot modelselectie, conflictresolutie en architecturale heterogeniteit tussen plain ViT-teachers en pyramidale student-netwerken.
• Empirische Validatie: Uitgebreide evaluatie over ImageNet-1K classificatie, COCO objectdetectie en ADE20K semantische segmentatie, waarmee state-of-the-art prestaties worden aangetoond met gereduceerde latentie en parameteraantallen.

4. Experimentele Resultaten

De auteurs evalueerden ReGLA varianten (T, S, M, L, X) tegen recente lichtgewicht modellen (bijv. MobileNetV4, iFormer, EfficientFormer) op meerdere benchmarks.

• ImageNet-1K Classificatie:

  • ReGLA-M bereikt 80,85% Top-1 nauwkeurigheid bij 224px resolutie met slechts 4,98 ms latentie op een iPhone 16 Pro (512px input).
  • In de categorie van 10M parameters presteert ReGLA-M beter dan iFormer-M met 0,45% (zonder distillatie) en 0,8% (met distillatie).
  • ReGLA-L (19,9M params) bereikt 82,9% nauwkeurigheid, waarmee het EfficientViT-B2 (24,3M params) overtreft met 0,7% terwijl het 4,4M minder parameters gebruikt.
  • Met multi-teacher distillatie bereikt ReGLA-X 85,2% Top-1 nauwkeurigheid, waarmee het FastViT-MA36 overtreft met 0,5% met 3M minder parameters.

• Downstream Taken (COCO & ADE20K):

  • Objectdetectie (COCO): ReGLA-M (gedistilleerd) bereikt 43,9% APbox, waarmee het iFormer-M-gedistilleerd overtreft met 3,1% AP. Opvallend genoeg overtreft ReGLA-M-gedistilleerd de grotere iFormer-L-gedistilleerd met 1,7% APbox.
  • Semantische Segmentatie (ADE20K): ReGLA-M-gedistilleerd bereikt een 3,6 mIoU winst ten opzichte van iFormer-M-gedistilleerd. ReGLA-L-gedistilleerd laat een verbetering zien van 3,9 mIoU ten opzichte van iFormer-L-gedistilleerd.
  • Latentie: ReGLA-modellen vertonen consistent aanzienlijk lagere latentie op mobiele CPU's vergeleken met vergelijkbaar geschaalde iFormer modellen (bijv. ReGLA-M bij 4,98ms versus iFormer-M bij 19,24ms op iPhone 16 Pro).

5. Betekenis en Claims

Het artikel positioneert ReGLA als een praktische en schaalbare oplossing voor "duurzame computer vision", waarbij de aandacht wordt gevestigd op de ecologische en economische kosten van grootschalige AI. De auteurs beweren dat ReGLA een verschuiving belichaamt naar "minder maar beter", en bewijzen dat geavanceerde visuele intelligentie geen compromis vereist met efficiëntie of toegankelijkheid.

Specifiek stelt het werk dat:

1. Globale aandacht kan efficiënt zijn: RGMA overtreft softmax-gebaseerde methoden in zowel snelheid als nauwkeurigheid onder beperkte middelen.
2. Co-design is cruciaal: De integratie van lokale operatoren (ELRF) en aandachtsmecanismen (RGMA) is essentieel voor hoogresolutie efficiëntie.
3. Effectiviteit van distillatie: De voorgestelde multi-teacher strategie verbetert de generalisatie succesvol, waardoor kleinere modellen grotere, niet-gedistilleerde tegenhangers kunnen overtreffen in taken met dichte voorspelling.

De auteurs concluderen dat ReGLA een nieuwe state-of-the-art vestigt voor hoogresolutie visuele toepassingen, vooral waar latentie en parameter-efficiëntie van groot belang zijn.