Technische Samenvatting: Waar Binden Maakt Uit: Hebbiaanse Snelle Gewichten in Vision Transformers voor Few-Shot Karakterherkenning

Probleemstelling

Standaard Vision Transformer (ViT)-architecturen blinken uit in grootschalig supervised leren, maar vertrouwen op vaste "trage gewichten" die via gradiëntafdalend worden geleerd. Deze gewichten zijn bevroren tijdens inferentie, waardoor de modellen niet in staat zijn tot snelle aanpassing aan nieuwe informatie binnen één episode. Deze beperking is bijzonder acuut in few-shot learning-scenario's, waarbij modellen nieuwe concepten moeten herkennen op basis van slechts een handvol voorbeelden. Hoewel biologische neurale systemen Hebbiaanse plasticiteit gebruiken om transiënte associatieve geheugens te vormen voor snelle aanpassing, missen standaard transformers expliciete mechanismen voor dit leren op twee tijdschalen. Hoewel recent theoretisch werk suggereert dat lineaire attention impliciet Hebbiaanse updates uitvoert, onderzoekt dit artikel of het expliciet, leerbaar en architecturaal onderscheiden maken van deze updates de aanpasbaarheid kan verbeteren in few-shot visuele taken.

Methodologie

De auteurs stellen de integratie van Hebbiaanse Snelle-Gewicht (HFW)-modules in transformer-ruggengraten voor om een transiënt, episode-niveau geheugen te creëren. De kerncomponenten van de methodologie omvatten:

1. De Hebbiaanse Snelle-Gewicht (HFW)-module

De HFW-module introduceert een transiënt associatief geheugenmatrix $M$ die online wordt bijgewerkt tijdens de forward pass van een episode en wordt gereset aan het begin van de volgende.

• Geheugenupdate: De module berekent een co-activatiematrix $A$ uit key ($K$) en value ($V$) projecties van de input tokens. De geheugenmatrix wordt bijgewerkt via een Hebbiaanse regel: $M \leftarrow \lambda M + \eta A$, waarbij $\eta$ een leerbare plasticiteitsrate is en $\lambda$ een leerbare temporale verval-factor.
• Stabilisatie: De update omvat een afsnijdrempel om grote activaties te voorkomen en Frobenius-norm normalisatie om de geheugengrootte te stabiliseren.
• Opvraging: De query ($Q$)-representatie haalt informatie op uit het geheugen ($\hat{r} = QM$). Dit opgehaalde signaal wordt afgeschermd door een sigmoid-functie en toegevoegd aan de output van de ruggengraat, waardoor het netwerk de invloed van het snelle geheugen adaptief kan controleren.
• Leerbaarheid: De parameters die geheugenformatie regelen ($\eta, \lambda, W_K, W_V, W_Q, W_g$) worden end-to-end geleerd via standaard backpropagation, terwijl de geheugenmatrix $M$ zelf niet wordt opgeslagen in checkpoints.

2. Architecturale Integratiestrategieën

De studie evalueert drie ruggengraat-architecturen (ViT-Small, DeiT-Small, Swin-Tiny) met twee distincte integratiestrategieën:

• Per-Block Plaatsing (ViT & DeiT): Een HFW-module wordt in elk transformer-blok ingevoegd (totaal 12 blokken). Dit staat snelle binding toe doorheen de netwerkdiepte, maar introduceert meerdere onafhankelijke geheugenpaden.
• Enkele Eindfase Plaatsing (Swin-Tiny): Een enkele HFW-module wordt alleen toegepast na de laatste hiërarchische fase van de Swin-ruggengraat, na LayerNorm en het platmaken van de sequentie. Dit ontwerp richt zich op de meest abstracte, semantisch rijke feature-representaties.

3. Experimenteel Protocol

• Taak: 5-way few-shot karakterherkenning op de Omniglot benchmark.
• Framework: Prototypical Networks (ProtoNet) fungeren als de op metrieken gebaseerde classificatiekop.
• Instellingen: Geëvalueerd op 1-shot en 5-shot taken, met ablatiestudies over 1 tot 10 shots.
• Training: Modellen worden vanaf nul getraind (geen ImageNet pre-training) met AdamW-optimalisatie over 60 epochs.

Belangrijkste Resultaten

De empirische evaluatie onthult dat de plaatsing van de HFW-module een kritieke determinant is van de prestaties:

• Swin-Hebbiaanse Superioriteit: Het Swin-Hebbiaanse model (enkele eindfase-module) behaalde de hoogste nauwkeurigheid over alle modellen: 96,2% (1-shot) en 99,2% (5-shot). Dit vertegenwoordigt een +0,3% verbetering ten opzichte van de niet-Hebbiaanse Swin-baseline in de 1-shot setting.
• Verslechtering bij Per-Block Modellen: Daarentegen presteerden de ViT-Hebbiaanse en DeiT-Hebbiaanse modellen (per-block plaatsing) significant slechter dan hun baselines. ViT-Hebbiaanse daalde met 3,7% (1-shot), en DeiT-Hebbiaanse daalde met 6,9% (1-shot).
• Parameter-efficiëntie: De Swin-Hebbiaanse variant voegde slechts ~1,8M parameters toe, terwijl de per-block ViT/DeiT-varianten ~6,3M parameters toevoegden, toch behaalde Swin-Hebbiaanse superieure nauwkeurigheid.
• Geleerde Dynamiek: In Swin-Hebbiaanse leerde het model een lage plasticiteitsrate ($\eta \approx 0,019$) en sterke persistentie ($\lambda \approx 0,880$), wat stabiele geheugenretentie over de support-set aangeeft. In per-block modellen waren de plasticiteitsrates uniform laag over alle lagen, wat suggereert dat de modules hun eigen bijdragen onderdrukten.

Analyse van Architecturale Verschillen

Het artikel schrijft het prestatieverschil toe aan drie hoofdfactoren:

1. Gradiëntinterferentie: In per-block ontwerpen concurreert het snelle-gewichtspad met het trage-gewicht attention-pad op elke laag. In regimes met weinig data creëert dit conflicterende gradiënsignalen die het leren van stabiele embeddings destabiliseren. Swin's hiërarchisch ontwerp isoleert de HFW-module naar de eindfase, waardoor deze interferentie wordt vermeden.
2. Representatieve Stabiliteit: Per-block modules in ViT/DeiT opereren op evoluerende, laag-niveau features waar token-representaties nog niet semantisch stabiel zijn. De Swin-Hebbiaanse module opereert op de finale, door LayerNorm-gestabiliseerde, hoog-niveau features, waardoor effectieve binding vanaf de eerste episode mogelijk is.
3. Alignering van Inductieve Bias: Swin's verschoven-venster attention vangt lokale ruimtelijke structuren (streken, krommen) in die inherent zijn aan karakters. De eindfase HFW-module opereert op deze holistische topologische codes, waarbij de "lokaal-naar-globaal" feature-extractie van Swin wordt afgestemd op de "globaal-naar-episode" binding van het Hebbiaanse mechanisme.

Betekenis en Claims

Het artikel beweert dat "waar binden plaatsvindt even belangrijk is als of het wordt gebruikt." De primaire bijdrage is het aantonen dat expliciete Hebbiaanse snelle-gewicht mechanismen few-shot learning in transformers kunnen verbeteren, maar alleen wanneer ze worden geïntegreerd in een architectuur die representatieve stabiliteit biedt en gradiëntinterferentie vermijdt.

De auteurs positioneren de Swin-Hebbiaanse architectuur als een stap richting cognitieve aanpasbaarheid, waarbij trage-gewicht kennisacquisitie wordt gescheiden van snelle, context-afhankelijke associatieve binding. Zij merken op dat hoewel de winsten bescheiden zijn in het 5-shot regime, het voordeel het meest uitgesproken is in de 1-shot setting, wat het regime is waar snelle aanpassing binnen een episode het meest kritiek is. De studie concludeert dat een enkele, eindfase-integratie in hiërarchische ruggengraten zoals Swin-Tiny een stabielere en parameter-efficiëntere oplossing biedt dan dichte, per-block integratie in vlakke ruggengraten zoals ViT.