🤖 machine learning

Rank-Order N-of-M Codes for Sparse Distributed Memory: Disentangling Representation and Learning Effects in Noise Robustness Against Contemporary Neuromorphic Architectures

Dit artikel valideert dat rank-order N-of-M codering, wanneer gecombineerd met MAX-Hebbiaans leren, de capaciteit en ruisbestendigheid van Sparse Distributed Memory-systemen aanzienlijk verbetert vergeleken met standaard architecturen, wat praktische ontwerprichtlijnen biedt voor het verbeteren van continu leren in neuromorfische AI-modellen zoals CALM.

Oorspronkelijke auteurs: Joy Bose

Gepubliceerd 2026-07-08

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joy Bose

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Bibliotheek die Nooit Vergeet

Stel je voor dat je een enorme, magische bibliotheek hebt (een AI-systeem) die constant nieuwe dingen leert. Het probleem met de meeste moderne bibliotheken is dat je, om een nieuw boek toe te voegen, vaak het hele gebouw moet herbouwen of een enorm team moet inhuren om alles te reorganiseren. Dit is traag en duur.

Dit artikel kijkt naar een specifiek type bibliotheek genaamd Sparse Distributed Memory (SDM). Zie SDM niet als een boekenkast, maar als een gigantische, chaotische archiefkast waar je een bestand in kunt gooien en er later weer uit kunt halen, zelfs als het bestand licht beschadigd is of het labeltje een beetje vlekkerig is. Het doel is om deze archiefkast beter te laten werken voor "voortdurend leren" (het leren van nieuwe dingen zonder oude dingen te vergeten).

Het artikel richt zich op één specifieke vraag: Hoe labelen we de bestanden voordat we ze in de kast stoppen?

De Twee Labelingssystemen

Het artikel vergelijkt twee manieren om informatie te labelen (genaamd "encoding"):

De "Aan/Uit"-schakelaar (Threshold-Binary): Dit is wat het huidige systeem (genaamd CALM) gebruikt. Stel je voor dat je een lijst hebt van 1.000 feiten. Je kijkt naar elk feit en vraagt: "Is dit feit boven gemiddeld?" Als dat zo is, schrijf je een 1. Als dat niet zo is, schrijf je een 0.
- Het gebrek: Als een feit net even boven gemiddeld is, kan een klein beetje ruis (zoals een typefout of een kleine verandering in de context) ervoor zorgen dat het van een 1 naar een 0 springt. Het label verandert volledig, en de bibliotheek kan het bestand kwijtraken.
De "Top 10"-rangschikking (Rank-Order): Dit is de ouderwetse methode die het artikel test. In plaats van alleen maar "ja" of "nee" te zeggen, kijk je naar de lijst en vraag je: "Wat zijn de top 10 belangrijkste feiten?" Vervolgens label je ze niet alleen als "actief", maar ook met een score op basis van hun rang (bijv. #1 is zeer belangrijk, #10 is minder belangrijk).
- Het voordeel: Als een beetje ruis de score van het 10e feit verandert, kan het naar nummer 11 zakken, maar de top 9 blijft hetzelfde. Het label is stabieler.

De Drie Grote Ontdekkingen

De onderzoekers voerden experimenten uit om te zien of het "Top 10"-rangschikkingssysteem daadwerkelijk beter is dan de "Aan/Uit"-schakelaar. Dit is wat ze vonden:

1. Het Oude Blauwdruk Werkt (Validatie)

Eerst moesten ze controleren of het oude "Top 10"-systeem daadwerkelijk werkte, zoals de oorspronkelijke auteurs in 2007 beweerden.

De Resultaten: Ze hebben het systeem vanaf nul opgebouwd en vonden dat het perfect werkte. Sterker nog, een specifiek biologisch-achtig neuronmodel dat ze testten (genaamd "WheelSDM") produceerde exacte resultaten (100% match) met het abstracte wiskundige model. Echter, een ander neuronmodel dat ze probeerden (RDLIF), faalde volledig wanneer het systeem te vol raakte.
Takeaway: Het oude "Top 10"-blauwdruk is solide en betrouwbaar.

2. De "Grote Winst" is een Teaminspanning (De Grote Verrassing)

De onderzoekers testten het "Top 10"-systeem tegenover het "Aan/Uit"-systeem wanneer de invoergegevens ruis bevatten (zoals een vlekkerig label).

De Resultaten: Het "Top 10"-systeem was veel beter in het vinden van het juiste bestand, zelfs wanneer het label sterk beschadigd was. Het was in sommige tests 38% tot 66% nauwkeuriger!
De Twist: Maar toen vroegen ze zich af: "Komt de enorme verbetering door het labelen (Rank-Order), of door de archiveringsregel?"
- Het oude systeem gebruikte een speciale "archiveringsregel" genaamd MAX-Hebbian learning. Deze regel is als een "winner-take-all"-beleid: als een nieuw bestand lijkt op een oud bestand, overschrijft het de oude versie alleen als het een sterkere match is.
- Toen ze het "Top 10"-label testten zonder deze speciale "winner-take-all"-archiveringsregel, verdween het enorme voordeel. Het "Top 10"-label alleen was slechts een klein beetje beter (ongeveer 1% tot 5% beter).
Takeaway: De enorme verbetering in ruisonderdrukking komt voort uit de combinatie van het "Top 10"-label met de speciale "winner-take-all"-archiveringsregel. Als je alleen het label verandert maar de oude archiveringsregel behoudt, krijg je een klein voordeel. Als je beide verandert, krijg je een enorm voordeel.

3. Waarom "Top 10" Toch Iets Beter Is

Zelfs zonder de speciale archiveringsregel was het "Top 10"-label nog steeds een klein beetje robuuster dan de "Aan/Uit"-schakelaar.

De Analogie: Stel je voor dat een "Aan/Uit"-schakelaar als een klif is. Als je één stap te ver zet, val je eraf. Een "Top 10"-rangschikking is als een flauwe helling. Als je een beetje beweegt, glijd je alleen maar een stukje naar beneden, maar je valt niet van de rand af. Het rangschikkingssysteem gaat veel geleidelijker om met kleine fouten omdat het vertrouwt op de volgorde van belangrijkheid, wat moeilijker te verstoren is dan een simpele "ja/nee"-lijn.

Energie en Hardware

Het artikel keek ook naar hoeveel "elektriciteit" (energie) deze systemen verbruiken.

Ze vergeleken het "Top 10"-systeem met een modern, energiezuinig systeem genaamd SpikingMamba.
De Resultaten: Theoretisch zou het "Top 10"-systeem twee keer zo efficiënt kunnen zijn als SpikingMamba als je speciale, futuristische computerchips zou hebben die lijsten direct kunnen sorteren.
De Haken en Grenzen: Huidige chips hebben deze speciale sorteerhardware nog niet. Ook is de grootste energiekostenpost niet het labelen, maar de "adresdecoder" (het deel van de bibliotheek dat door de gangen loopt om het bestand te vinden). Dus hoewel de labeling efficiënt is, wordt het hele systeem nog steeds gedomineerd door de kosten van het "door de gangen lopen".

Het Eindoordeel voor het "CALM"-systeem

Het artikel concludeert met specifiek advies voor de ontwikkelaars van het CALM-systeem (de bibliotheek die aan het begin werd genoemd):

Vervang niet alleen het label: Als je alleen overstapt van "Aan/Uit"- naar "Top 10"-labels, zul je een kleine, bescheiden verbetering zien.
Verander het hele proces: Om de enorme verbetering in betrouwbaarheid te krijgen, moet je overstappen op de "Top 10"-labels EN de archiveringsregel veranderen naar de "winner-take-all" (MAX-Hebbian) methode.
Het gaat om het ontwerp: De manier waarop je informatie vertegenwoordigt (het label) is net zo belangrijk als het geheugensysteem zelf.

Kortom: Het "Top 10"-rangschikkingssysteem is een geweldig hulpmiddel, maar het heeft de juiste "archiveringsregel" nodig om echt te kunnen schitteren. Samen maken ze een geheugensysteem dat ongelooflijk sterk is tegen ruis en fouten.

Technische Samenvatting: Rank-Order N-of-M Codes voor Sparse Distributed Memory

Probleemstelling

Large Language Models (LLM's) worstelen met continu leren, aangezien het integreren van nieuwe kennis doorgaans kostbare hertraining vereist, en Retrieval-Augmented Generation (RAG) afhankelijk is van externe vector-opslagplaatsen die niet ontworpen zijn voor online associatief geheugen. De CALM-architectuur (Nechesov en Ruponen, 2025) pakt dit aan door Sparse Distributed Memory (SDM) te integreren als een expliciete episodische geheugenlaag. Echter, CALM maakt gebruik van een drempelwaarde-binaire encoder (het binariseren van embeddings tegen hun gemiddelde) en identificeert dit expliciet als een beperking, waarbij wordt opgemerkt dat verbeterde coderingsschema's een noodzakelijke toekomstige richting zijn.

De kernvraag van dit technische onderzoek is: Welk coderingsschema moet continue neurale activaties naar de SDM-adresruimte mappen om de robuustheid van de retrieval te maximaliseren onder ruis? Vraag specifelijk of Rank-Order N-of-M codering (Furber et al., 2007) — die relatieve grootte-informatie behoudt via geometrisch gewogen significantiewaarden — een tastbaar voordeel biedt ten opzien van de drempelwaarde-binaire aanpak die in CALM wordt gebruikt?

Methodologie

Het artikel hanteert een rigoureus experimenteel kader waarbij drie SDM-varianten en twee coderingsschema's worden vergeleken over meerdere dimensies:

Architecturale Validatie: De auteurs hebben vier SDM-varianten geïmplementeerd (StandardSDM, RankOrderSDM, WheelSDM en RDLIFSDM) op basis van de specificaties in Furber et al. (2007) en Bose et al. (2005). Ze hebben deze getest over 10 willekeurige seeds om te verifiëren of de biologisch gemotiveerde "WheelSDM" (spiking neuronen) numeriek equivalent is aan de abstracte "RankOrderSDM" en om te bevestigen dat de gedocumenteerde mislukking van RDLIF-neuronen onder interferentie standhoudt.
Capaciteitsexperimenten: Geheugencapaciteit werd gemeten bij verzadigingspunten ( $n=80, 120, 160$ patronen voor $W=256, D=64$ ) en op de gepubliceerde standaardschaal ( $W=4096, D=256$ ).
Decompositie van Ruisrobuustheid (BER): Om het effect van codering te scheiden van leersregels, hebben de auteurs twee afzonderlijke Bit Error Rate (BER) experimenten uitgevoerd:
- Full Architecture Test: Vergelijkt Rank-Order SDM (met gebruik van MAX-Hebbian leren) tegenover Standard SDM (met gebruik van accumulatieve bipolaire-teller schrijven) onder Gaussische magnitude-perturbatie.
- Symmetrische Perturbatietest: Paste identieke Gaussische ruis toe op de continue activatievector, en hercodeerde de verstoorde vector vervolgens met zowel drempelwaarde-binaire als rank-order schema's. Dit isoleerde het encoding-alleen voordeel door de leersregel (accumulatieve SDM) constant te houden.
Geometrische Stabiliteitsanalyse: Mat Kendall tau (rangcorrelatie) en Jaccard-overlap (actieve-set lidmaatschap) om te kwantificeren hoe rank-ordering degradeert ten opzien van binaire drempelwaarde onder ruis.
Energievergelijking: Berekende component-niveau encoding energie voor Rank-Order codering versus SpikingMamba's SI-LIF neuronen (Huang et al., 2026) met behulp van 45nm energieconstanten, waarbij werd opgemerkt dat systeem-niveau decoderkosten het totale energiebudget domineren.
Validatie met Real-World Data: Pilotexperimenten werden uitgevoerd op GloVe-100 woord-embeddings en all-MiniLM-L6-v2 zin-embeddings om de bevindingen op gestructureerde, niet-Gaussische data te verifiëren.

Belangrijkste Bijdragen en Resultaten

1. Validatie van Fundamentele Claims

De reimplementatie bevestigde dat WheelSDM en RankOrderSDM exact equivalent zijn, wat een cosinus-gelijkenis van 1.0000 oplevert over alle seeds. Daarentegen collabten RDLIF-neuronen volledig (0 correcte recalls) onder interferentie, wat de beslissing in de 2005 papers om over te stappen op het wheel-model valideert.

Capaciteit: Bij verzadiging ( $n=160, W=256$ ), presteerde RankOrderSDM 13,4 procentpunt beter dan StandardSDM (p < 0.001, Cohen's d = 4.61). Bij de grotere schaal ( $W=4096$ ) was het voordeel kleiner (+0,8pp) maar statistisch aanwezig.

2. Het Scheiden van Codering van Leren (De Kernbevinding)

Het artikel identificeert een cruciaal onderscheid tussen het gecombineerde voordeel van de volledige architectuur en het geïsoleerde voordeel van het coderingsschema:

Gecombineerd Voordeel: In de full architecture test (Rank-Order + MAX-Hebbian vs. Binary + Accumulative), behield Rank-Order codering een perfecte recall tot 20% ruis, waarbij het de binaire codering met +38 tot +66 procentpunten versloeg bij hogere ruisniveaus.
Encoding-Alleen Voordeel: Wanneer de leersregel constant werd gehouden (Accumulative SDM), was het voordeel van Rank-Order codering ten opzien van threshold-binary marginaal. Onder symmetrische perturbatie was de verbetering +0,1 tot +0,9 procentpunt, wat pas bij specifieke ruisniveaus (bijv. BER=0.25, p=0.036) statistisch significant werd.
Conclusie: De enorme winst in robuustheid (+66pp) die in de full architecture test werd waargenomen, wordt primair gedreven door de MAX-Hebbian leersregel, en niet door het coderingsschema alleen. Het coderingsschema zelf biedt een klein, consistent, maar bescheiden geometrisch stabiliteitsvoordeel.

3. Geometrische Stabiliteit

Rank-order codering vertoont een superieure geometrische stabiliteit vergeleken met binaire drempelwaarde. Bij een ruisniveau van 0,10 behield rank-ordering een Kendall tau van 0,847 en een Jaccard-overlap van 0,891. Hoewel de binaire bit-flip rates laag waren (0,020), betoogt het artikel dat rank-degradatie "glad en gedeeltelijk" is, terwijl binaire drempelwaarde zorgt voor "scherpe en discontinue" adreswijzigingen, wat rank-order robuuster maakt tegen de specifieke aard van query-ruis in continual learning.

4. Energie en Real-Data Bevindingen

Energie: Op component-niveau is Rank-Order codering (uitgaande van ideale parallelle sorteerhardware) 2x energie-efficiënter dan SpikingMamba's SI-LIF bij $D=4$ . Echter, systeem-niveau kosten (address decoder traversal) domineren de architectuur, waardoor optimalisatie van de codering een secundaire prioriteit is.
Real Data: Op GloVe-100 embeddings weerspiegelde het encoding-alleen voordeel de resultaten van synthetische data (+0,1 tot +0,4pp, significant bij hogere ruis). Op zin-embeddings (MiniLM) werd een plafondeffect waargenomen waarbij alle schema's een recall van >0,999 bereikten door de lage geheugenbelasting, wat de verschillen in codering maskeerde.

Betekenis en Claims

Het artikel claimt drie primaire bijdragen die bruikbare richtlijnen bieden voor ontwikkelaars van geheugen-geaugmenteerde AI-systemen zoals CALM:

Validatie: Het bevestigt dat de theoretische eigenschappen van de 2007 Rank-Order SDM-architectuur standhouden onder moderne reimplementatie, specifelijk de equivalentie van het wheel-model spiking neuron en de abstracte rank-weighted dot product.
Mechanisme Decompositie: Het verheldert dat de robuustheid van Rank-Order SDM niet uitsluitend te danken is aan de representatie (encoding), maar sterk afhankelijk is van de MAX-Hebbian leersregel. Voor CALM-ontwikkelaars betekent dit dat het simpelweg vervangen van de encoder slechts marginale winst oplevert; om het volledige potentieel van robuustheid te benutten, moeten zowel de encoder als de write rule (het vervangen van accumulative counters door MAX-Hebbian updates) worden gewijzigd.
Ontwerprichtlijnen: Het artikel betoogt dat representatieontwerp even kritisch is als de geheugenarchitectuur. Hoewel het encoding-alleen voordeel bescheiden is (+1-5pp), is het consistent en directioneel correct, wat suggereert dat het behouden van relatieve grootte-informatie (via rank-ordering) superieur is aan eenvoudige drempelwaarde voor online leerscenario's waar embeddings continu worden verstoord.

De auteurs concluderen dat hoewel Rank-Order N-of-M codes een concreet, theoretisch solide alternatief bieden voor threshold-binary encoding, de leersregel de dominante factor is in ruisrobuustheid. De meest directe actie voor systemen zoals CALM is het adopteren van rank-order codering, optioneel gekoppeld aan MAX-Hebbian leren, om de stabiliteit van de retrieval te verbeteren onder continue embedding-updates.