Technische Samenvatting: Dynamische Sparse Attention en Mixture-of-Experts voor Iteratieve Visuele Classificatie

Probleemstelling

Standaard visuele classificatiesystemen werken doorgaans in een enkele pass, waarbij een afbeelding wordt getransformeerd naar een label zonder de mogelijkheid om een onzekere voorspelling te herzien zodra deze is gevormd. Hoewel iteratieve verfijning effectief is gebleken in recurrente netwerken en gestructureerde voorspellingen, brengt het toepassen ervan op natuurlijke afbeeldingen twee specifieke uitdagingen met zich mee:

1. Representatie: Het model vereist een visuele representatie die compact genoeg is om herhaaldelijk te kunnen worden geraadpleegd zonder excessieve geheugenoverhead.
2. Computationele Efficiëntie: Herhaalde aandacht (attention) over een expanderende geschiedenis van latente toestanden verhoogt de computationele kosten kwadratisch, tenzij het model in staat is om op elk stap selectief te letten op relevante toestanden en parameters.

Bestaande recurrente modellen vertrouwen vaak op autoregressieve decodering of vaste sequenties, wat mogelijk niet efficiënt schaalt of transparante redeneersporen biedt voor visuele taken.

Methodologie

Het paper stelt een recurrente visuele classifier voor die een klassehypothese over meerdere stappen verfijnt met behulp van een compacte transformer-architectuur. Het kernontwerp integreert drie belangrijke componenten:

1. De x/y/z Recursieve Formulering

Het model onderhoudt drie verschillende informatiestromen:

• $x_{feat}$: Een globale afbeeldingsembedding gegenereerd door een lichtgewicht convolutionele encoder (drie convolutie-pooling stadia gevolgd door global average pooling).
• $y_t$: Een klasse-voorspellings-token dat in elke stap wordt bijgewerkt.
• $Z_t$: Een latente geschiedenisbuffer die de sequentie van voorgaande latente toestanden bevat $(z_0, \dots, z_t)$.

In elke recursiestap $t$ is de transformer-input de concatenatie van de globale embedding, de vorige voorspellings-token en de volledige geaccumuleerde geschiedenis: $h_t = [x_{feat}; y_{t-1}; Z_{t-1}]$. Bijgevolg groeit de sequentielengte lineair met de recursiediepte ($L_t = t + 2$).

2. Dynamic Sparse Attention (DSA)

Om de groeiende sequentielengte te beheren, introduceert de auteur DSA, een mechanisme dat een subset van tokens selecteert voor aandacht op basis van relevantiescores.

• Mechanisme: Een lichtgewicht indexeringsnetwerk scoort elke token in de sequentie op basis van een head-gemiddelde query-representatie. De top-$k$ tokens met de hoogste scores worden geselecteerd voor de aandachtsberekening.
• Dynamische Sparsity: Omdat de sequentielengte $L_t$ groeit, is het aandachtmechanisme dicht (selecteert alle tokens) wanneer $L_t \le k$. Het wordt pas echt 'sparse' wanneer de geschiedenis het aandachtsbudget $k$ overschrijdt. Dit maakt dichte verfijning mogelijk in de vroege stappen en selectieve verfijning in latere stappen.
• Implementatie: DSA maakt gebruik van gedeelde key en value projecties over aandachtskoppen (Multi-Query Attention stijl) om de projectiekosten verder te verlagen.

3. Mixture-of-Experts (MoE)

De feed-forward sublaag van de transformer-blokken wordt vervangen door een Mixture-of-Experts laag om de actieve berekening te verminderen.

• Configuratie: De laag bevat $E=4$ experts, elk met een verborgen breedte gelijk aan de embedding dimensie $d$. Een gating-mechanisme routeert elke token naar de top $m=2$ experts.
• Load Balancing: Een hulp-loss wordt toegepast om routing-instorting te voorkomen, wat zorgt voor een uniforme benutting van de experts.

4. Geëvalueerde Varianten

De studie vergelijkt drie configuraties op CIFAR-10, CIFAR-100, MNIST en FashionMNIST:

1. SA-MLP: Standaard dichte aandacht met een dichte feed-forward laag (baseline).
2. SA-MoE: Standaard dichte aandacht met MoE feed-forward.
3. DSA-MoE: Dynamische Sparse Attention gecombineerd met MoE.

Belangrijkste Bijdragen

1. Dimensionaal Expliciet Recurrent Model: Een verenigde architectuur die een globale afbeeldingrepresentatie, een voorspellings-token en een groeiende latente geschiedenis verbindt, waarbij de $x/y/z$ recursie van eerder werk (TRM) wordt overgenomen maar aangepast voor visuele embeddings.
2. Dynamic Sparse Attention Formulering: Een nieuw aandachtmechanisme waarbij sparsity een functie is van de recursiediepte, met een analytische beschrijving van het exacte kruispunt waar het mechanisme overgaat van dicht naar sparse.
3. Verenigde Efficiëntieanalyse: Een uitgebreide vergelijking van dichte aandacht, expert-routing en de combinatie daarvan, waarbij onderscheid wordt gemaakt tussen opgeslagen parameters, actieve parameters, theoretische vermenigvuldigings-optel-aantallen en gemeten trainingstijd.
4. Interpreteerbaarheid van Interne Trajecten: Een analyse van token-rol interacties en routing-dynamiek, die verduidelijkt dat het model voorspellingen verfijnt op basis van token-rollen (afbeelding samenvatting, hypothese, geschiedenis) in plaats van ruimtelijke beeldregio's vanwege het gebruik van global pooling.

Experimentele Resultaten

De experimenten werden uitgevoerd met een enkele willekeurige seed (42) op een RTX 3090 GPU.

• Nauwkeurigheid: Het gekozen DSA-MoE werkpunt (16 recursiestappen, hard embedding, $k=6$) behaalde de hoogste single-seed nauwkeurigheid over alle datasets:

  • CIFAR-10: 92,3%
  • CIFAR-100: 69,2%
  • MNIST: 98,7%
  • FashionMNIST: 92,3%
  • Opmerking: Deze marges ten opzichte van de dichte baseline (SA-MLP) zijn klein (0,2–0,7 procentpunten) en de werkpunten verschillen in diepte en embeddingstrategie.

• Efficiëntie:

  • Actieve Parameters: DSA-MoE verminderde de ideale actieve parameters van 13,13M (SA-MLP) naar 7,10M.
  • Berekening: De theoretische vermenigvuldigings-optel ratio voor het transformer-blok werd verminderd tot 0,52× ten opzichte van de dichte baseline.
  • Trainingstijd: De gemeten trainingstijd nam af van 180 seconden/epoch (SA-MLP) naar 165 seconden/epoch (DSA-MoE), een reductie van ongeveer 8,3%.

• Ablatie-bevindingen:

  • Sparsity Budget ($k$): Een modaal budget van $k=6$ leverde de beste balans op, met 36% gemiddelde sparsity. Het verlagen van $k$ naar 2 verhoogde de sparsity naar 75%, maar veroorzaakte een significante daling in nauwkeurigheid (3,2 procentpunten op CIFAR-10).
  • Recursiediepte: De prestaties verbeterden over het algemeen van 4 naar 8–12 stappen, waarbij DSA-MoE bleef verbeteren tot 16 stappen.

Betekenis en Claims

Het paper maakt een bescheiden maar gerichte claim: Recursieve conditionele berekening kan concurrerende classificatienauwkeurigheid behouden terwijl de actieve berekening wordt verminderd.

De auteur benadrukt dat:

• De winst in nauwkeurigheid klein is en statistisch gezien validatie met meerdere seeds vereist om dit te bevestigen.
• Het primaire voordeel de reductie in actieve berekening (parameters en FLOPs) is, in plaats van een enorme sprong in ruwe nauwkeurigheid.
• Het ontwerp met de "groeiende sequentie" cruciaal is; zonder de expanderende geschiedenis zou het top-$k$ mechanisme dicht blijven en geen efficiëntievoordelen bieden.
• De interne sporen onthullen token-rol interacties (bijv. afhankelijkheid van de afbeelding samenvatting versus geschiedenis), maar bieden geen ruimtelijke attributie vanwege de global pooling front-end.

De studie concludeert dat hoewel de specifieke DSA-MoE configuratie gunstige resultaten liet zien, de omvang van de winsten sterk afhangt van de recursiediepte, het sparsity budget en de routing-configuratie. Toekomstig werk moet zich richten op statistische validatie met meerdere seeds, ruimtelijke tokenisatie om aandacht op regionaal niveau mogelijk te maken, en adaptieve halting-mechanismen.