💻 computer science

Adaptive Hebbian Memory Routing in Vision Transformers for Few-Shot Learning

Dit artikel stelt Adaptive Hebbian Routing voor Vision Transformers voor, een methode die een lichtgewicht MLP gebruikt om de bijdrage aan het geheugen, de updatekracht en de retentie dynamisch te controleren, waardoor het vaste Hebbiaanse benaderingen overtreft in nauwkeurigheid bij few-shot learning en inferentie-efficiëntie over diverse backbones en datasets heen.

Oorspronkelijke auteurs: Mohammed Yusuf Mujawar, Noorbakhsh Amiri Golilarz

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohammed Yusuf Mujawar, Noorbakhsh Amiri Golilarz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe taal probeert te leren, maar je hebt slechts één zin om te bestuderen voordat je een toets moet maken. Dit is wat computerwetenschappers "Few-Shot Learning" noemen. Het is also kind een student vragen om een heel nieuw vak te leren nadat hij slechts één voorbeeld heeft gezien.

Lama een tijdje waren computer vision-modellen (de "hersenen" die computers laten zien) als studenten met zeer rigide hersenen. Zodra ze getraind waren, was hun kennis "bevroren". Als je ze een nieuw type kat liet zien die ze nog nooit hadden gezien, konden ze niet gemakkelijk aanpassen omdat hun interne regels tijdens de toets niet veranderden.

Dit artikel introduceert een nieuwe manier om deze computerhersenen snel te laten adapteren. Hier is de uitleg van hun idee, met behulp van eenvoudige analogieën.

Het Probleem: Het "Bevroren" Brein

Standaard computermodellen hebben twee soorten "gewichten" (regels voor het verwerken van informatie):

Trage Gewichten: Dit zijn de permanente regels die geleerd zijn tijdens jaren van training. Ze zijn als de kerncurriculum die een student op school heeft uit het hoofd geleerd. Ze veranderen niet tijdens een toets.
De Uitdaging: Wanneer een student een nieuw type probleem ziet (een nieuwe klasse afbeeldingen) voor de allereerste keer, moet hij de weinige voorbeelden die hij nu heeft gebruiken om het te begrijpen. Standaardmodellen worstelen hiermee omdat ze niet tijdelijk de nieuwe voorbeelden kunnen "onthouden" terwijl ze de toetsvragen bekijken.

De Oude Oplossing: Het "Plaknotitie" (Hebbian Memory)

Wetenschappers probeerden dit eerder op te lossen door een "Fast Weight"-systeem toe te voegen, gebaseerd op een concept genaamd Hebbian learning.

De Analogie: Stel je een student voor die tijdens een toets de toestemming krijgt om een "plaknotitie" (sticky note) op zijn bureau te schrijven. Elke keer dat hij een nieuw voorbeeld ziet (de "support set"), schrijft hij een snelle notitie erop. Wanneer hij een toetsvraag ziet (de "query"), kijkt hij naar de notitie om hem te helpen antwoorden.
Het Gebrek: Bij de oude methode schreef de student de notitie met dezelfde kracht als bij elke andere keer, ongeacht of de notitie nuttig of verwarrend was. Soms was de notitie zo plakkerig dat het het bureau voltrok en het moeilijker maakte om na te denken. Soms vervaagde de notitie te snel. Het was een "one-size-fits-all"-aanpak die niet goed werkte voor elk type toets.

De Nieuwe Oplossing: De "Slimme Bibliothecaris" (Adaptive Hebbian Routing)

De auteurs van dit artikel stellen een nieuw systeem voor genaamd Adaptive Hebbian Routing. In plaats van een student die blindelings notities schrijft, voegen ze een Slimme Bibliothecaris (een klein, lichtgewicht computerprogramma genaamd een MLP router) toe aan het bureau.

Hier is hoe de Bibliothecaris helpt:

Beslist of de notitie gebruikt moet worden: De Bibliothecaris kijkt naar de nieuwe voorbeelden. Als de voorbeelden verwarrend zijn, zegt de Bibliothecaris misschien: "Gebruik de plaknotitie nog niet; het kan je in de war brengen." Als de voorbeelden duidelijk zijn, zegt de Bibliothecaris: "Ga je gang, gebruik de notitie!"
Beslist hoe hard er geschreven wordt: De Bibliothecaris controleert de pen. Als de nieuwe informatie erg belangrijk is, drukt de Bibliothecaris hard om de notitie permanent te maken voor de toets. Als het een minder belangrijk detail is, wordt de notitie lichtjes geschreven.
Beslist hoe lang de notitie bewaard blijft: De Bibliothecaris beslist of de notitie de hele toets op het bureau moet blijven liggen of snel moet vervagen.

Door het systeem te laten beslissen hoe het de tijdelijke geheugen gebruikt op basis van de specifieke situatie, wordt de computer veel beter in het leren van slechts één of enkele voorbeelden.

Wat Ze Testten

De onderzoekers testten deze "Slimme Bibliothecaris" op drie verschillende typen computer vision-modellen (genaamd ViT, DeiT en Swin) met behulp van twee verschillende "testboeken":

Omniglot: Een dataset van handgeschreven karakters uit vele verschillende talen (zoals het leren herkennen van nieuwe alfabetten).
CIFAR-FS: Een dataset van veelvoorkomende objecten zoals auto's, katten en vliegtuigen.

De Resultaten

Betere Cijfers: In bijna elke test haalden de modellen met de "Slimme Bibliothecaris" hogere scores dan de modellen met de oude "vaste plaknotitie"-methode.
- Bijvoorbeeld, op het Swin-model behaalde de vaste methode een score van 96,74%, maar de nieuwe adaptieve methode behaalde 96,94%.
Sneller Denken: Verrassend genoeg was de nieuwe methode ook sneller. Omdat de Bibliothecaris weet wanneer hij de plaknotitie niet moet gebruiken, verspilt de computer geen tijd aan het verwerken van nutteloze informatie. Op het Swin-model daalde de testtijd van 16,51 milliseconden naar 14,05 milliseconden.
Defecte Systemen Repareren: Voor sommige modellen (ViT en DeiT) zorgde de oude "vaste plaknotitie"-methode er zelfs voor dat ze slechter presteerden dan wanneer ze helemaal geen notitie hadden. De nieuwe "Slimme Bibliothecaris" loste dit op en bracht hun prestaties terug naar topniveau.

De Kernboodschap

Dit artikel laat zien dat het geven van een tijdelijk geheugen aan een computer een geweldig idee is, maar dat het er belangrijker is hoe dat geheugen wordt gebruikt dan alleen het feit dat het aanwezig is. Door een kleine, slimme controller toe te voegen die beslist wanneer te onthouden, hoe sterk te onthouden en hoe lang het geheugen te bewaren, kunnen computers veel sneller en nauwkeuriger nieuwe visuele taken leren dan voorheen.

De auteurs concluderen dat deze "Adaptive Hebbian Routing" een efficiëntere en krachtigere manier is om computers te leren leren van zeer weinig voorbeelden.

Technische Samenvatting: Adaptieve Hebbiaanse Memory Routing in Vision Transformers voor Few-Shot Learning

Probleemstelling

Few-shot beeldherkenning vereist dat modellen zich aanpassen aan nieuwe klassen met behulp van slechts een kleine gelabelde ondersteunende set (support set). Standaard diepe netwerken vertrouwen op "slow weights" die tijdens de inferentie vast blijven staan, wat het moeilijk maakt om taakspecifieke representaties te vormen voor elke nieuwe episode. Hoewel Vision Transformers (ViT, DeiT, Swin) sterke feature-extractie bieden, zijn ze tijdens de inferentie grotendeels statisch.

Hebbiaanse fast-weight memory biedt een mechanisme om tijdelijke, taakspecifieke associaties af te leiden uit de ondersteunende set. Echter, eerder werk heeft aangetoond dat vaste Hebbiaanse memory-gedragingen (constante activatie, update-sterkte en retentie) inconsistente resultaten opleveren over verschillende architecturen: het verbetert Swin Transformers, maar verslechtert de prestaties in ViT en DeiT wanneer het dicht (dens) wordt ingevoegd. Bovendien blijft het onduidelijk of een enkele, vaste Hebbiaanse gedraging optimaal is voor elke few-shot episode, of dat het geheugentraject zijn activatie en plasticiteit moet aanpassen op basis van de specifieke ondersteunende set.

Methodologie

De auteurs stellen Adaptive Hebbian Routing voor, een lichtgewicht benadering die het Hebbiaanse memory-traject "episode-geconditioneerd" maakt. In plaats van vaste Hebbiaanse regels toe te passen, gebruikt de methode een lichtgewicht Multi-Layer Perceptron (MLP) router om drie aspecten van het geheugenmechanisme dynamisch te controleren op basis van de huidige kenmerken van de ondersteunende set.

Kerncomponenten

Hebbian Fast-Weight Module:
- Ontvangt token-representaties $X$ en projecteert deze naar keys ( $K$ ), values ( $V$ ) en queries ( $Q$ ).
- Vormt een associatieve update $A$ via het buitenproduct van $K$ en $V$ .
- Update een fast-weight memory matrix $M$ met behulp van een vervalfactor $\lambda$ en een plasticiteitsrate $\eta$ : $M \leftarrow \lambda M + \eta A$ .
- Het geheugen wordt gelezen via de query-representatie en toegevoegd aan de backbone-features via een residuele verbinding.
- De memory matrix wordt aan het begin van elke episode gereset, wat ervoor zorgt dat alleen tijdelijke associaties worden opgeslagen.
Adaptive MLP Router:
- Een aparte, lichtgewicht router wordt aan geselecteerde locaties van de backbone gekoppeld.
- Deze neemt de mean-pooled support-token features ( $z_l$ ) op van een specifieke laag.
- De router voorspelt drie controlewaarden voor de episode:
  - Outer Activation Gate ( $g_l$ ): Controleert de bijdrage van de memory-output aan de huidige representatie.
  - Plasticity Rate ( $\eta_l$ ): Controleert de sterkte van het schrijven van nieuwe associaties van de ondersteunende set.
  - Memory Decay ( $\lambda_l$ ): Controleert de retentie van het vorige geheugen tijdens de episode.

Bestudeerde Adaptieve Varianten

Het artikel evalueert drie specifieke configuraties om de effecten van deze controles te isoleren:

Adaptive Placement: Alleen de outer activation gate ( $g_l$ ) wordt geleerd; plasticiteit en verval blijven standaard geleerde parameters.
Adaptive Plasticity: Het Hebbiaanse traject is volledig actief, maar de router voorspelt de episode-specifieke plasticiteitsrate ( $\eta_l$ ) en het verval ( $\lambda_l$ ).
Fully Adaptive Hebbian Routing: De router voorspelt alle drie de variabelen ( $g_l, \eta_l, \lambda_l$ ), waardoor het model zowel de bijdrage-sterkte als de update-dynamiek voor de specifieke episode kan leren.

Backbone Integratie

ViT-Small & DeiT-Small: Adaptieve modules worden spaars (sparse) ingevoegd na blokken 3, 6, 9 en 12 (in tegenstelling tot de dichte (dense) insertie in de vaste baselines).
Swin-Tiny: Een directe vergelijking wordt uitgevoerd waarbij de vaste en adaptieve varianten exact dezelfde geheugenlocatie gebruiken. Dit isoleert het effect van de locatie van de geheugenverandering van het effect van de adaptieve controle.

Belangrijkste Bijdragen

Voorstel van Adaptive Hebbian Routing: Een methode die een lichtgewicht MLP gebruikt om geheugenactivatie, plasticiteitssterkte en retentie te controleren op basis van support-set kenmerken.
Ontkoppelde Analyse: De studie scheidt de effecten van geheugenactivatie (Adaptive Placement) van episode-specifieke geheugenupdates (Adaptive Plasticity).
Gecontroleerde Architectuurvergelijking: Een directe Swin-vergelijking waarbij vaste en adaptieve varianten dezelfde geheugenlocatie delen, wat bewijst dat verbeteringen voortkomen uit adaptieve controle in plaats van locatieveranderingen.
Efficiëntiewinst: Demonstratie dat adaptieve routing de inferentietijd en het aantal parameters kan verminderen terwijl de nauwkeurigheid wordt verbeterd, met name door de dichte vaste insertie in ViT/Deit te vermijden.

Experimentele Resultaten

Datasets en Protocollen

Experimenten werden uitgevoerd op Omniglot (getraind vanaf nul) en CIFAR-FS (fijngetuned met ImageNet pre-trained backbones). Evaluatie omvatte 5-way 1-shot taken, multi-shot (1–10) evaluaties en cross-domain transfer (CIFAR-FS $\to$ Omniglot).

Prestatiebevindingen

Omniglot (ViT/DeiT): Dichte vaste Hebbiaanse insertie verslechterde de prestaties aanzienlijk (een daling van ~95,4% naar ~90%). Adaptieve varianten herstelden dit verlies, waarbij Fully Adaptive Routing een iets hogere nauwkeurigheid behaalde (95,48%) dan het basismodel.
Omniglot (Swin): In de gecontroleerde vergelijking (dezelfde locatie) verbeterde Fixed Hebbian de basis Swin van 96,14% naar 96,74%. Adaptive Plasticity verbeterde dit verder naar 96,92%, en Fully Adaptive Routing behaalde het beste resultaat van 96,94%. Dit bevestigt dat adaptieve plasticiteit en retentie cruciaal zijn, zelfs wanneer de geheugenlocatie optimaal is.
CIFAR-FS: Adaptieve varianten presteerden beter dan zowel de basismodellen als de vaste Hebbiaanse baselines over alle drie de backbones. Fully Adaptive ViT verbeterde met 16,01 procentpunt ten opzichte van Fixed Hebbian (88,59% vs 72,58%).
Multi-Shot: De voordelen van adaptieve routing bleven bestaan naarmate het aantal ondersteunende voorbeelden toenam van 1-shot naar 10-shot.
Cross-Domain Transfer: Adaptieve Swin en DeiT vertoonden verbeterde transfer-prestaties van CIFAR-FS naar Omniglot vergeleken met de vaste baselines, hoewel de resultaten varieerden per backbone.

Efficiëntie

Parameters: Door het gebruik van spaarse insertie (4 locaties) in plaats van dichte insertie, verminderden de adaptieve ViT/Deit-modellen het aantal parameters van ~28,7M naar ~24,0M.
Inferentietijd: Adaptieve varianten waren aanzienlijk sneller. Op Omniglot verminderde Fully Adaptive Swin de inferentietijd van 16,51 ms (Fixed) naar 14,05 ms. Op CIFAR-FS verminderde Fully Adaptive ViT de tijd van 24,51 ms naar 11,50 ms.

Betekenis en Claims

Het artikel beweert dat het nut van Hebbiaanse geheugen in few-shot learning niet alleen wordt bepaald door waar het wordt ingevoegd, maar aanzienlijk door hoe het tijdens een episode wordt gecontroleerd.

Adaptieve Plasticiteit is Cruciaal: De directe Swin-vergelijking laat zien dat zelfs met een bekende optimale geheugenlocatie, vaste update-regels suboptimal zijn. Het aanpassen van de plasticiteitsrate en het geheugenderval aan de specifieke episode levert meetbare winst in nauwkeurigheid op.
Robuustheid over Architecturen: Terwijl dicht Hebbiaans geheugen platte Transformer-backbones (ViT/DeiT) schaadt, herstelt adaptieve routing de verloren prestaties en overtreft het de baseline, wat suggereert dat episode-geconditioneerde geheugencontrole een robuustere strategie is dan statische insertie.
Efficiëntie: De methode biedt een selectieve en efficiënte manier om tijdelijk associatief geheugen te gebruiken, waarbij state-of-the-art few-shot resultaten worden behaald met een lagere computationele overhead vergeleken met dichte vaste implementaties.

De auteurs concluderen dat adaptieve plasticiteit en adaptieve geheugenactivatie Vision Transformers in staat stellen om de taken van een few-shot episode beter te representeren dan vast Hebbiaans gedrag, zonder de kosten van volledige backbone-retraining.