RECAP: Local Hebbian Prototype Learning as a Self-Organizing Readout for Reservoir Dynamics

Each language version is independently generated for its own context, not a direct translation.

🧠 RECAP: De slimme, ongeleerde hersenen die niet snel verward raken

Stel je voor dat je hersenen een enorme, chaotische kamer vol met duizenden lampen zijn. Als je een foto ziet (bijvoorbeeld een getal), gaan er in die kamer duizenden lampen aan en uit in een heel specifiek patroon.

Normale kunstmatige intelligentie (zoals de apps op je telefoon) werkt als een strakke schoolklas. Ze leren door fouten te maken en die fouten vervolgens te corrigeren met een strenge leraar die precies weet welke leraar (neuron) wat moet aanpassen. Dit werkt fantastisch als alles perfect is, maar als de leraar een beetje rook in de klas gooit (ruis) of de ramen beslaan (vervaging), raken ze in paniek en maken ze enorme fouten.

RECAP (Reservoir Computing with HEbbian Co-Activation Proto-types) is een heel andere aanpak. Het is alsof je een natuurlijke, zelforganiserende zwerm vogels gebruikt in plaats van een schoolklas.

1. De "Ongeleerde" Kamer (Het Reservoir)

In RECAP hebben we een kamer met duizenden lampen (neuronen), maar niemand heeft ze ooit aangeleerd hoe ze moeten werken. Ze zijn willekeurig aangesloten.

De analogie: Stel je een kamer voor met duizenden geluidsmakers die allemaal een beetje anders klinken. Als je een liedje afspeelt, reageert elke luidspreker op zijn eigen manier. Je leert de luidsprekers niet hoe ze moeten klinken; je vertrouwt erop dat het geheel van geluiden een uniek patroon vormt voor elk liedje.
In de computerwereld noemen we dit een Reservoir. Het is een "zwart doosje" dat ingewikkelde patronen maakt, maar dat we niet hoeven te trainen.

2. De "Vriendenlijst" (De Co-Activering)

Normaal kijken computers naar hoe hard elke lamp brandt (bijv. 80% aan). RECAP doet iets slimmers: het kijkt niet naar de sterkte, maar naar wie met wie meedraait.

De analogie: Stel je voor dat je een feestje hebt. In plaats van te kijken hoeveel drankjes iemand heeft gedronken (de intensiteit), kijkt RECAP alleen naar wie met wie op hetzelfde moment lacht.
- "Lampje A en Lampje B lachen tegelijkertijd?" -> Ja! -> Ze krijgen een stipje op hun "vriendenlijst".
- "Lampje A lacht, maar B niet?" -> Nee. -> Geen stipje.
Door dit te doen, maakt het systeem zich minder druk om kleine storingen (ruis, vervaging). Als een lampje door de ruis net iets feller of zachter brandt, maakt het niet uit, zolang ze maar samen in hetzelfde ritme zitten.

3. De "Herinneringskaarten" (Hebbian Prototypes)

Nu moet het systeem leren wat een "3" is en wat een "7" is. Normale AI doet dit door duizenden voorbeelden te zien en de fouten te corrigeren. RECAP doet dit als een biologische hersenstam: "Wat vaak samen gebeurt, blijft hangen."

De analogie: Stel je voor dat je een kaartje maakt voor elke categorie (bijv. "Dieren").
- Elke keer dat je een foto van een hond ziet, en lampje A en B lachen samen, plak je een sterk magneetje op de plek waar A en B op je kaartje staan.
- Als A en B niet samen lachen, laat je het magneetje een beetje roesten (verdwijnen).
- Na veel foto's heb je voor "Hond" een kaartje vol met sterke magneetjes op de plekken waar honden-lampen vaak samen lachen.
Dit heet Hebbiaanse plasticiteit: "Neurons that fire together, wire together." Er is geen strenge leraar nodig; het patroon vormt zichzelf.

4. De Test: Wat gebeurt er als het stormt?

De echte test van RECAP was: "Kunnen jullie herkennen wat er op de foto staat, ook als de foto vies is?"

Ze testten het op MNIST-C: een dataset met getallen die zijn "bedorven" door ruis, wazigheid, sneeuw, of digitale vervorming.
Het resultaat:
- De "strenge schoolklassen" (diep leren met backpropagatie) werden er erg slecht in. Ze waren zo gewend aan perfecte foto's dat ze in de war raakten bij de eerste vlek.
- RECAP bleef kalm. Omdat het alleen keek naar de vriendenlijst (wie lacht met wie) en niet naar de exacte helderheid van de lampen, kon het de getallen nog steeds herkennen, zelfs als ze eruit zagen alsof ze door een modderpoel waren gereden.

Waarom is dit belangrijk?

Geen dure training: Je hoeft geen supercomputer te gebruiken om het systeem te trainen op duizenden "vies" gemaakte foto's. Het leert vanzelf hoe het moet werken door simpelweg te kijken naar patronen.
Robuustheid: Het is als een oude, ervaren detective. Een jonge detective (normale AI) kan een verdachte herkennen als de foto perfect is. De oude detective (RECAP) kan de verdachte herkennen, zelfs als de foto is ingevouwen, nat is geworden en een vlek heeft. Hij kijkt naar de essentie van het patroon, niet naar de details.
Biologisch plausibel: Het werkt meer zoals ons eigen brein: lokale regels, geen centrale "leraar" die overal tegelijkertijd ingrijpt.

Samenvatting in één zin

RECAP is een slimme, zelflerende computer die getallen herkent door te kijken naar wie met wie samenwerkt in een chaotische kamer, waardoor het niet in paniek raakt als de foto's vies of wazig zijn, in tegenstelling tot de huidige slimme systemen die alleen perfect werken als alles schoon is.

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het paper "RECAP: Local Hebbian Prototype Learning as a Self-Organizing Readout for Reservoir Dynamics" in het Nederlands.

Titel

RECAP: Reservoir Computing met Hebbiaanse Co-activatie Prototypes als een Zelforganiserende Uitlezing voor Reservoir-dynamica.

1. Het Probleem

Moderne beeldherkenningssystemen, die vaak gebaseerd zijn op diepe neurale netwerken en backpropagation, presteren uitstekend op schone testsets, maar zijn vaak kwetsbaar voor realistische verstoringen (zoals ruis, wazigheid, weersinvloeden en digitale vervormingen).

Kwetsbaarheid: Deze systemen vereisen vaak uitgebreide training op verstoord data of specifieke augmentatiestrategieën om robuust te zijn.
Biologische onwaarschijnlijkheid: Backpropagation vereist niet-lokale credit-toewijzing en precieze feedback, wat in strijd is met bekende biologische neurale circuits.
Beperkingen van Reservoir Computing (RC): Traditionele RC-systemen gebruiken een lineaire uitleeslaag (zoals ridge-regressie). Hoewel RC robuust is tegen ruis, faalt deze lineaire uitlezing vaak wanneer de representatie niet lineair scheidbaar is of wanneer de geometrie van de features door corrupties wordt vervormd.

Het doel is een leerstrategie te ontwikkelen die robuustheid haalt uit dynamica en zelforganisatie, zonder backpropagation of training op verstoord data.

2. Methodologie: RECAP

RECAP (Reservoir Computing with HEbbian Co-Activation Prototypes) combineert een ongetraind reservoir met een zelforganiserende, Hebbiaanse uitleeslaag. Het proces verloopt als volgt:

A. Ongetraind Reservoir (Feature Generator)

Een Echo State Network (ESN) met willekeurig verbonden recurrente eenheden wordt gebruikt.
De reservoir-dynamica worden niet getraind; ze zijn vast en willekeurig geïnitieerd.
Een invoerbeeld wordt omgezet in een tijdsreeks van populatie-activiteit.
Deze activiteit wordt gemiddeld over de tijd ( $T$ cycli) om een stabiele activiteitsvector $\bar{x}(u)$ te verkrijgen.

B. Discretisatie en Co-activatie Masker

De continue activiteitsvector wordt gediscretiseerd in $K$ niveaus (bijv. $K=8$ ) via een quantizer $Q$ . Dit resulteert in een codevector $z(u)$ .
Er wordt een binair co-activatie masker $M(u)$ $M (u)$ geconstrueerd voor paren van reservoir-eenheden:
- $M_{ij} = 1$ als eenheid $i$ en eenheid $j$ hetzelfde discrete activatieniveau hebben.
- $M_{ij} = 0$ anders.
Dit masker encodeert relationele structuren (welke eenheden samen activeren) in plaats van exacte amplitude-waarden, wat minder gevoelig is voor kleine verstoringen.

C. Hebbiaanse Prototypen (Leerregel)

Voor elke klasse $c$ wordt een continu prototype $S^{(c)}$ bijgehouden (een matrix van grootte $N_r \times N_r$ ).
Update-regel: Tijdens training (alleen op schone data) wordt $S^{(c)}$ $S^{(c)}$ bijgewerkt met een lokale potentiatie-verval regel:
- Potentiatie: Als een paar $(i, j)$ co-activatie vertoont ( $M_{ij}=1$ ) voor een voorbeeld van klasse $c$ , wordt de verbinding versterkt ( $\eta_+$ ).
- Verval: Als er geen co-activatie is ( $M_{ij}=0$ ), verzwakt de verbinding multiplicatief ( $\eta_-$ ).
Dit creëert stabiele, klasse-specifieke relationele templates zonder backpropagation.

D. Inferentie

De prototypes worden gebinariseerd (via een drempelwaarde gebaseerd op dichtheid) om een binair prototype $P^{(c)}$ te vormen.
Bij inferentie wordt het masker $M(u)$ van een testbeeld vergeleken met alle klasse-prototypes.
De voorspelling is de klasse met de hoogste overlap (Frobenius-inproduct): $\hat{y} = \arg\max_c \langle P^{(c)}, M(u) \rangle_F$ .

3. Belangrijkste Bijdragen

Backpropagation-vrije uitlezing: RECAP gebruikt een lokaal Hebbiaanse potentiatie-verval regel om prototypes bij te werken, wat volledig vrij is van gradiëntafdaalmethoden.
Robuustheid zonder corruptie-training: Het systeem is getraind uitsluitend op schone MNIST-data, maar toont aanzienlijke robuustheid op MNIST-C (verstoord data).
Zelforganiserend en online bijwerkbaar: De discretisatie en incrementele updates maken het systeem geschikt voor online adaptatie en continue leeromgevingen.
Interpretabele mechanismen: De beslissing is gebaseerd op template-matching van relationele patronen, wat inzichtelijk is en aansluit bij associatief geheugen.

4. Resultaten

De evaluatie vond plaats op MNIST-C, een dataset met 15 soorten corrupties (ruis, wazigheid, weer, digitaal) op 5 ernstniveaus.

Vergelijking: RECAP werd vergeleken met een MLP, ResNet-18, AlexNet en een standaard ESN met ridge-regressie (ESN-Ridge).
Meting: De prestaties werden gemeten in Relative Mean Corruption Error (mCE), genormaliseerd ten opzichte van AlexNet (100%).
Kernbevindingen:
- RECAP behaalde de laagste Relative mCE van 34,1%.
- MLP: 52,1%.
- ESN-Ridge: 55,0%.
- ResNet-18 & AlexNet: Rond de 100% (geen verbetering ten opzichte van de baseline).
Trade-off: RECAP heeft een iets hogere foutkans op schone data (11,7% vs 0,9% voor ResNet), maar dit is een bewuste afweging voor superieure robuustheid onder corruptie.
Conclusie: De verbetering in robuustheid komt primair voort uit de Hebbiaanse uitleesstrategie en niet uit het trainen van de recurrente dynamica.

5. Betekenis en Conclusie

Het paper demonstreert dat robuustheid tegen veelvoorkomende corrupties kan ontstaan uit de keuze van de uitleesrepresentatie en lokale plasticiteitsregels, in plaats van uit uitgebreide training op verstoord data of end-to-end optimalisatie.

Biologische plausibiliteit: De methode sluit beter aan bij biologische principes (lokale berekening, Hebbiaanse plasticiteit) dan standaard deep learning.
Toekomstperspectief: Het biedt een eenvoudige, interpreteerbare en online bijwerkbare alternatief voor klassieke RC-uitlezingen. Hoewel het momenteel beperkt is tot MNIST en geen adaptieve leerprotocollen voor opeenvolgende taken test, suggereert het een veelbelovende richting voor neuro-geïnspireerd, robuust leren dat niet afhankelijk is van backpropagation.

Kortom, RECAP bewijst dat een "self-organizing readout" in staat is om stabiele relationele patronen te leren die bestand zijn tegen diverse vormen van data-degradatie, zonder dat het systeem ooit verstoord voorbeelden heeft gezien.