💻 computer science

Hebbian Attractor Networks for Robot Locomotion

Dit paper introduceert Hebbian Attractor Networks (HAN), een klasse van plastische neurale netwerken die door middel van dual-tijdschaal plasticiteit en tijdsgegemiddelde activaties emergente attractordynamica vertonen, waardoor robuuste aanpassing en stabiele locomotie bij robots zoals de Unitree Go1 mogelijk wordt gemaakt.

Oorspronkelijke auteurs: Alexander Dittrich, Fuda van Diggelen, Dario Floreano

Gepubliceerd 2026-03-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander Dittrich, Fuda van Diggelen, Dario Floreano

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De slimme robot die "leert" terwijl hij loopt: Een verhaal over Hebbiaanse Attractor Netwerken

Stel je voor dat je een robot bouwt die moet leren lopen. In de oude wereld van robotica was het zo: je traint de robot in een virtuele wereld, je slaat de "herinneringen" (de instellingen van zijn hersenen) op, en daarna laat je hem gaan. Maar als hij struikelt over een steen of als zijn motor een beetje slijt, kan hij zich niet aanpassen. Hij blijft vastzitten in wat hij heeft geleerd, net als iemand die een kaartje met een vaste route in zijn hand houdt, zelfs als de weg dicht is.

De auteurs van dit paper, Alexander, Fuda en Dario, zeggen: "Nee, laten we het anders doen. Laten we een robot maken die zijn eigen hersenen aanpast terwijl hij loopt, net zoals wij mensen dat doen."

Hier is hoe ze dat hebben gedaan, vertaald in alledaagse taal:

1. Het idee: De "Hebbiaanse" regel

In onze hersenen geldt een simpele regel: "Neuronen die samen vuren, verbinden zich." Als twee cellen in je hersenen tegelijk actief zijn, wordt de verbinding tussen hen sterker. Dit noemen ze Hebbiaanse plasticiteit.

De robot in dit onderzoek gebruikt deze regel. Maar in plaats van dat de robot gewoon "leert" door fouten te maken (zoals bij traditionele AI), past hij zijn verbindingen continu aan op basis van wat hij nu voelt en doet.

2. Het probleem: Chaos versus Stabiliteit

Toen de onderzoekers dit voor het eerst probeerden, werd het een beetje een chaos. De robot probeerde zijn hersenen te herschrijven, maar het ging te snel. Het was alsof je probeert een huis te verbouwen terwijl je er nog in woont en de muren continu in en uit bewegen. De robot werd onstabiel of bleef in een oneindige, gekke dans hangen.

Ze zagen dat de robot twee dingen nodig had om stabiel te worden:

Rust: Niet elke seconde zijn hersenen herschrijven, maar af en toe.
Gemiddelde: Niet reageren op één momentopname, maar kijken naar wat er de laatste paar seconden is gebeurd.

3. De oplossing: De "Twee-Tempo" Motor

De grote doorbraak in dit paper is het creëren van een dubbel-tijdssysteem.

De snelle motor (De robot die loopt): De robot denkt en beweegt heel snel. Dit is zijn dagelijkse leven.
De trage motor (De robot die leert): De robot past zijn hersenen (de gewichten) veel langzamer aan.

De Analogie van de Tuin:
Stel je voor dat de robot een tuin is.

De snelle motor is de wind en de regen die elke seconde door de tuin waaien. De planten bewegen hierdoor.
De trage motor is de tuinier. De tuinier komt niet elke seconde om een plantje te verzetten. Hij komt eens per uur, kijkt naar het gemiddelde van hoe de planten de afgelopen tijd hebben bewogen, en past dan pas de aarde aan.

Als de tuinier te snel werkt (elke seconde), wordt de tuin een puinhoop. Als hij te langzaam werkt, groeit er niets. Maar als hij het juiste tempo vindt, ontstaat er een prachtige, stabiele tuin die zichzelf onderhoudt.

4. Twee soorten "Hersenen"

Het paper ontdekt dat er twee soorten "tuinen" (of hersen-toestanden) kunnen ontstaan, afhankelijk van hoe snel de tuinier werkt:

De Dansende Robot (Limietcyclus):
Als de tuinier redelijk snel werkt, blijft de robot in een ritme dansen. Zijn hersenen bewegen in een cirkel, net als een danspas. Dit werkt goed voor lopen, maar als er iets gebeurt (een steen in de weg), moet hij zijn danspas aanpassen. Hij is flexibel, maar misschien niet altijd stabiel.
De Stevige Robot (Vast punt / Fixed-point):
Als de tuinier heel langzaam werkt en goed kijkt naar het gemiddelde, vindt de robot een stabiele rustplek. Zijn hersenen vinden een perfecte instelling en blijven daar. Het is alsof hij een stevige basis heeft gevonden. Als hij wordt aangezet (bijvoorbeeld door een duw), schudt hij even, maar komt hij terug naar diezelfde stabiele plek. Hij is als een wiebelende pop die altijd weer rechtop komt.

5. Wat hebben ze bewezen?

Ze hebben dit getest op simpele robots (die in de lucht zwemmen of huppelen) en op een echte vierpotige robot (een Unitree Go1, die lijkt op een hond).

Resultaat: De robots met dit nieuwe "trage leer-systeem" (de vaste punt-attractoren) waren beter in het lopen op ongelijk terrein dan robots die hun hersenen niet aanpasten.
Het verrassende: Soms was het beter om de robot te laten "dansen" (snelle aanpassing), en soms was het beter om hem een "stabiele basis" te geven (trage aanpassing). De kunst is om het juiste tempo te kiezen.

Samenvatting in één zin

De onderzoekers hebben een manier bedacht om robots te laten "leren" terwijl ze leven, door hun hersenen langzaam en gemiddeld aan te passen, waardoor ze van chaotische dansers veranderen in stabiele, aanpasbare wandelaars die niet snel omvallen.

Waarom is dit belangrijk?
Omdat echte robots in de echte wereld nooit stil staan. Ze moeten kunnen omgaan met slijtage, andere ondergronden en onverwachte obstakels. Dit paper laat zien dat we robots kunnen bouwen die niet alleen "getraind" zijn, maar die groeien en zich aanpassen net als levende wezens.

Titel: Hebbian Attractor Networks voor Robotlocomotie

Auteurs: Alexander Dittrich, Fuda van Diggelen en Dario Floreano (EPFL, Zwitserland)

1. Het Probleem

Traditionele robotleerbenaderingen volgen een "train-deploy" paradigma: een neurale netwerkbeleid wordt getraind in simulatie om een specifieke taak te beheersen door een statische set gewichten te optimaliseren. Tijdens de inzet (deploy) blijven deze gewichten onveranderd. Dit maakt systemen kwetsbaar (brittle) voor dynamische veranderingen in de realiteit, zoals sensor-drift, variaties in terrein of degradatie van actuatoren.

Biologische zenuwstelsels lossen dit op door continue synaptische plasticiteit: ze passen hun connecties continu aan gedurende hun levensduur op basis van ervaring. Bestaande kunstmatige neurale netwerken missen deze capaciteit vaak. Hoewel Hebbiaans leren (aanpassing op basis van correlaties tussen pre- en postsynaptische activiteit) een beloftevolle richting is, is het onduidelijk hoe gewichtsveranderingen interageren met besturing, gedrag stabiliseren en hoe men "runaway dynamics" (ontsporing) kan voorkomen. Bestaande methoden leiden vaak tot ongecontroleerde groei van gewichten of slechts één type dynamisch gedrag.

2. Methodologie: Hebbian Attractor Networks (HANs)

De auteurs introduceren Hebbian Attractor Networks (HANs), een klasse van plastische neurale netwerken waarbij lokale normalisatie van gewichten leidt tot emergente attractor-dynamica. De kern van de methode bestaat uit drie pijlers:

Hebbiaanse Update Regel: De gewichten worden bijgewerkt volgens een gegeneraliseerde ABCD-regel, afhankelijk van de pre- en postsynaptische activiteit. De update $\Delta w$ wordt berekend als:
$\Delta w_{ij}(t) = \eta_{ij} \cdot h_{\theta_{ij}}(\bar{x}_j(t), \bar{x}_i(t))$
Waarbij $h$ een lineaire combinatie is van de activaties en $\eta$ de leersnelheid is.
Dual-Timescale Plasticiteit: In tegenstelling tot eerdere werken die updates bij elke tijdstap toepassen, introduceren de auteurs een decoupling tussen de besturingsfrequentie ( $f_{NN}$ ) en de Hebbiaanse update-frequentie ( $f_{hebb}$ ). Updates vinden alleen plaats elke $\tau_{hebb} = \lfloor f_{NN}/f_{hebb} \rfloor$ stappen. Dit creëert een dual-tijdsschaal structuur.
Tijdsgebaseerde Gemiddelde Activatie: De leersregel werkt niet op instantane activaties, maar op een bewegend gemiddelde (Moving Average - MA) van de pre- en postsynaptische activaties over een venster $M$ . Dit zorgt voor een gladde signaalbasis voor het leren.
Max-Normalisatie (MN): Om onbeperkte groei van gewichten te voorkomen, worden de gewichten na elke update genormaliseerd door ze te delen door hun maximale absolute waarde binnen een laag. Dit is cruciaal voor het ontstaan van gestructureerde attractor-dynamica.

3. Belangrijkste Bijdragen

Systematische Analyse: Een grondig onderzoek naar hoe HANs presteren op continue besturingslocomotietaken, vergeleken met statische evolutionaire controllers en gradient-based RL (zoals PPO).
Karakterisering van Attractor Regimes: De auteurs tonen aan dat de timing van plasticiteit (update-frequentie en averaging-venster) bepaalt of het systeem convergeert naar:
- Vaste-punt attractoren (Fixed-point attractors): Stabiele gewichtsconfiguraties (gebruikmakend van langzamere updates en grotere averaging-vensters).
- Co-dynamische limietcycli (Limit cycles): Oscillerende gewichten die gekoppeld zijn aan het looppatroon (gebruikmakend van snellere updates).
Generalisatie naar Hoge Dimensies: Demonstratie dat deze principes werken op complexe, hoog-dimensionale systemen, specifiek een gesimuleerde Unitree Go1 viervoeter.

4. Resultaten

De experimenten werden uitgevoerd op Gymnasium-benchmarks (Swimmer, Hopper, HalfCheetah, Walker2d) en op de Unitree Go1 robot.

Prestatieverbetering: HANs met Max-Normalisatie presteerden significant beter dan Hebbiaanse netwerken zonder normalisatie. De combinatie van dual-tijdsschalen en activatie-averaging (Condition E: $M=10, f_{NN}=4\times f_{hebb}$ ) leverde de beste resultaten op, vaak beter dan statische MLP's en GRU's.
Attractor Dynamica:
- Condition B (Snelle updates, geen averaging): Leidt tot limietcycli. De gewichten oscilleren synchroon met het looppatroon. Als de Hebbiaanse updates worden gestopt, valt de robot (het systeem is afhankelijk van de continue plasticiteit voor beweging).
- Condition E (Langzamere updates, averaging): Leidt tot vaste-punt attractoren. De gewichten stabiliseren na een aanpassingsfase. Het systeem is robuust; zelfs bij verstoringen (zoals een botsing) keert het terug naar dezelfde stabiele gewichtsconfiguratie.
Robuustheid: In perturbatie-experimenten (een zware pendel die in het pad wordt geplaatst) toonde het systeem met vaste-punt attractoren aan dat het kon herstellen en terugkeerde naar de oorspronkelijke loopstijl, wat wijst op een stabiel attractor-regime.
Morfologische Aanpassing: Bij experimenten met verminkte poten (morphological damage) presteerden HANs beter dan PPO op ongezien testscenario's, hoewel PPO beter was binnen het trainingsdomein. Alle HAN-configuraties neigden hier echter naar limietcycli, wat suggereert dat oscillatie nuttig is voor adaptatie aan fundamenteel verschillende loopmodi.
Unitree Go1: De bevindingen generaliseerden naar de viervoeter. Condition E leverde stabiele locomotie op met vaste-punt attractoren, terwijl Condition B limietcycli produceerde die gekoppeld waren aan de gangcyclus.

5. Betekenis en Conclusie

Dit werk biedt een principieel inzicht in hoe de timing van plasticiteit de neurale dynamiek in ingebouwde systemen vormgeeft.

Het toont aan dat Hebbiaans leren niet alleen een meta-leermechanisme is, maar ook intrinsieke netwerk-dynamica kan genereren.
Door de frequentie van updates en het averaging-venster te manipuleren, kunnen ingenieurs kiezen tussen oscillerende systemen (die goed zijn voor het genereren van patronen en snelle reactie op schade) en stabiele vaste-punten (die robuustheid en stabiliteit bieden tegen externe verstoringen).
De studie suggereert dat voor complexe, real-world toepassingen een combinatie van deze regimes of een schakeling tussen attractoren (via neuromodulatie) de volgende stap kan zijn om de "sim-to-real" kloof te overbruggen.

Kortom, HANs bieden een bio-geïnspireerde, gradient-vrije route naar robuuste en adaptieve robotbesturing die zich continu aanpast aan veranderende omstandigheden zonder de noodzaak van zware backpropagation of grote datasets.