Reinforcement learning for closed-loop optimisation of spatiotemporal stimulation in patterned neuronal networks

Dit artikel beschrijft een open-source, low-cost platform dat gespecialiseerde neurale netwerken op micro-elektrode arrays combineert met gesloten-lus versterkt leren om efficiënt spatiotemporele stimulatiepatronen te optimaliseren die specifieke doelactiviteiten in het netwerk opwekken.

De kern

Stel je voor dat je een heel klein, levend stadje hebt gebouwd, waar de inwoners niet mensen zijn, maar zenuwcellen (neuronen). Deze cellen praten met elkaar door elektrische vonken (spikes) te sturen. Het doel van dit onderzoek is om te begrijpen hoe deze 'stad' werkt: als je op de ene plek een knop indrukt, wat gebeurt er dan in de rest van de stad?

Het probleem is dat er zoveel manieren zijn om die knoppen in te drukken, dat het onmogelijk is om alles één voor één uit te proberen. Het is alsof je probeert de perfecte muziekcompositie te vinden door willekeurig op alle toetsen van een piano te drukken, maar dan met miljoenen toetsen.

Hier komt Reinforcement Learning (versterkend leren) om de hoek kijken. Dit is een soort slimme robot-leraar die leert door te proberen en te fouten.

De Opzet: Een Tiny City in een Bakje

De onderzoekers hebben een bakje met zenuwcellen van ratten en mensen (stamcellen) genomen. Ze hebben deze cellen in een speciaal patroon geplaatst, alsof ze straten en pleinen hebben aangelegd. Hierdoor moeten de cellen op een bepaalde manier met elkaar praten.

Ze hebben dit bakje aangesloten op een computer met een slimme robot (de RL-agent). Deze robot kan:

1. Stimuleren: Elektrische piepjes sturen naar specifieke plekken in het bakje (als een dirigent die op een instrument slaat).
2. Luisteren: Kijken wat de cellen doen als reactie.
3. Leren: Bepalen of de reactie goed was en de volgende keer iets anders proberen.

Het Doel: De Ronde Dans

De robot kreeg een specifieke opdracht: zorg dat de elektrische vonken een ronde dans maken. Ze moeten in een kloksgewijze richting (rechtsom) rondjes lopen door het netwerk van cellen.

De robot kreeg een puntje (beloning) elke keer dat hij een langere ronde dans zag. Hoe langer de dans, hoe meer punten.

Wat hebben ze ontdekt?

1. Het is niet zo simpel als het lijkt
Je zou denken: "Oké, als ik de cellen in een cirkel wil laten dansen, druk ik dan gewoon op de knoppen in een cirkelvorm?"
Nee, dat werkt niet. De zenuwcellen zijn een beetje chaotisch en onvoorspelbaar. Soms reageren ze niet op de manier die je verwacht. De robot ontdekte dat de beste manier om de ronde dans te krijgen, vaak een heel gekke, willekeurige volgorde van knoppen is. Het is alsof je een slot probeert te openen: je draait niet alleen rechtsom, maar soms moet je ook linksom, even vasthouden, en dan weer een tik geven.

2. De robot is een snelle leerling
De robot kon binnen enkele uren leren welke knoppen hij moest indrukken om de beste resultaten te krijgen. Hij deed dit veel beter dan iemand die willekeurig zou proberen.

• Vergelijking: Stel je voor dat je een doolhof probeert te vinden. Een mens zou misschien vastlopen en teruglopen. Deze robot probeert duizenden paden tegelijk en onthoudt welke paden snel naar de uitgang leiden, zonder ooit echt vast te lopen.

3. Het verleden telt mee
Een van de coolste ontdekkingen is dat de cellen zich herinneren wat er net gebeurd is. Als je net een bepaalde knop hebt ingedrukt, reageert de stad anders dan als je dat een uur geleden deed.
De slimste robots (de 'state-based' agents) leerden hierop te reageren. Ze zeiden: "Als ik net dit heb gedaan, moet ik nu dat doen." Het is alsof je een gesprek voert met iemand die zich herinnert wat je gisteren hebt gezegd; je moet je woorden aanpassen aan wat er eerder is gebeurd.

4. De 'Inkubator' is de sleutel
Om dit te laten werken, hebben ze een heel goed systeem gebouwd (genaamd inkube). Dit is een soort super-snel communicatiesysteem.

• Snelheid: De robot moet heel snel zijn. Hij stuurt een signaal, wacht een fractie van een seconde, hoort het antwoord, en stuurt het volgende signaal. Dit gebeurt in milliseconden.
• Open Source: Ze hebben alle blauwdrukken en software gratis beschikbaar gesteld. Het is alsof ze een recept voor een perfecte taart hebben gemaakt en iedereen mag het kopiëren en verbeteren.

Waarom is dit belangrijk?

Vroeger was het heel moeilijk om te begrijpen hoe zenuwcellen samenwerken. Je kon ze alleen maar 'aan' of 'uit' zetten. Nu hebben we een manier om met hen te praten en te leren wat ze nodig hebben om specifieke taken te doen.

Dit kan in de toekomst helpen bij:

• Geneeskunde: Het ontwikkelen van slimme pacemakers of hersenimplantaten die precies weten wanneer ze een elektrische prikkel moeten geven om een ziekte (zoals epilepsie) te stoppen.
• Computers: Het bouwen van computers die werken met echte zenuwcellen in plaats van siliciumchips, wat misschien veel energiezuiniger is.

Kortom: De onderzoekers hebben een slimme robot gebouwd die leert hoe je met een bakje zenuwcellen kunt dansen. Het is een eerste stap naar het begrijpen van het brein en het maken van machines die kunnen leren van biologisch leven.

Technische samenvatting

Probleemstelling

Het begrijpen van hoe neurale circuits input omzetten in output vereist systemische perturbatie onder gecontroleerde omstandigheden. Hoewel in vitro neurale netwerken op micro-elektrode arrays (MEA's) kunnen worden gekweekt en via microfluidische patronen in hun topologie kunnen worden beperkt, blijft de ruimte van mogelijke spatiotemporale stimulatiepatronen te groot voor exhaustieve exploratie. Bovendien zijn de geëvoceerde antwoorden afhankelijk van de eerdere stimulatiegeschiedenis (state-dependency), wat het probleem complexer maakt. Bestaande gesloten-lus systemen (closed-loop) hebben vaak beperkingen zoals variabele timing, gebrek aan toegang tot interne communicatie, proprietary hardware, of ze opereren op tijdschalen van seconden met gereduceerde scalar output (bijv. totale spike-aantallen), waardoor de fijne spatiotemporale structuur van spikes verloren gaat.

Methodologie

1. Experimenteel Platform:

• Netwerk: De auteurs gebruikten menselijke iPSC-afgeleide neuronen die in een topologisch beperkte configuratie werden gekweekt op MEA's. PDMS-microstructuren (met open bovenkanten voor cellichamen en microkanalen voor axonen) beperkten de connectiviteit tot een recurrente 4-knoop configuratie.
• Hardware: Ze ontwikkelden een aangepast, open-source gesloten-lus elektrofysiologie-systeem gebaseerd op het inkube-platform. Dit systeem gebruikt Intan RHS2116 IC's en een Xilinx SoC.
• Prestaties: Het systeem biedt deterministische stimulatie met een resolutie van één steekproef (ongeveer 58 µs) en een round-trip tijd in de millisecondenrange (ca. 20 ms totale cyclus). Het ondersteunt onafhankelijke RL-agenten die meerdere netwerken simultaan kunnen besturen.

2. Reinforcement Learning (RL) Framework:

• Formulering: Het probleem werd gemodelleerd als een Markov Decision Process (MDP).
  • Actie (A): Een vector van 4 dimensies (voor 4 elektroden) die de timing van elektrische stimuli encodeert (variërend van geen stimulatie tot 0-5 ms vertraging).
  • State (S): De respons van het netwerk gedurende 20 ms na stimulatie. Om de dimensionaliteit te verlagen, werden twee compressiemethoden gebruikt: Principal Component Analysis (PCA) en een Dilated 1D Convolutional Neural Network (DCNN).
  • Reward (R): De lengte van de langste geldige "kloksgewijze cirkelvormige" vuursequentie over de elektroden. Een spike werd als geldig beschouwd als deze binnen 0,5-5 ms na de vorige spike op de volgende elektrode in de cyclus plaatsvond.
• Agenten: Verschillende RL-agenten werden getest en vergeleken:
  • Random Agent: Controlebasis.
  • Multi-Armed Bandit (MAB): State-vrij, gebruikt Upper Confidence Bound (UCB) voor exploratie/exploitatie.
  • Linear Contextual Bandit (LCB): State-gebaseerd, modelleert de afhankelijkheid van de huidige staat (voorgaande respons) op de beloning. Dit omvatte zowel discrete als continue varianten.

Belangrijkste Bijdragen

1. Hoog-resolutie Gesloten-Lus Systeem: De implementatie van een low-cost, open-source platform dat stimulatie en analyse op het niveau van individuele spikes (single-spike resolution) mogelijk maakt met milliseconden-latentie.
2. Validatie van Stabiliteit en State-Dependency: Het aantonen dat geëvoceerde antwoorden over meerdere uren stabiel en scheidbaar zijn, maar dat er een meetbare afhankelijkheid bestaat van de voorgaande stimulatie (state-dependency) bij een subset van stimulusparen.
3. RL voor Neurale Besturing: Het succesvol toepassen van RL om complexe, niet-triviale spatiotemporale stimulatiepatronen te vinden die specifieke dynamische gedragingen (kloksgewijze vuursequenties) induceren, zonder dat het patroon noodzakelijk de target-motief direct nabootst.

Resultaten

• Stabiliteit: De responsen van het netwerk waren stabiel over tijd; ongeveer 90% van de willekeurige acties vertoonde stationaire reward-signalen. De reward was voldoende scheidbaar van de trial-to-trial variabiliteit om effectief te leren.
• State-Dependency: Met behulp van de Sliced Wasserstein Distance werd aangetoond dat ongeveer een derde van de stimulusparen significant afhankelijk was van de vorige actie. Dit bevestigt dat de staat van het netwerk niet volledig stationair is en dat de geschiedenis de respons beïnvloedt.
• Agent Prestaties:
  • Alle RL-agenten (MAB en LCB) presteerden significant beter dan willekeurige stimulatie.
  • De agenten convergeerden naar niet-triviale patronen die de volledige actieruimte bespannen, in plaats van simpelweg de target-motief na te bootsen.
  • Vergelijking: State-vrije MAB-agenten presteerden over het algemeen net zo goed als de state-gebaseerde LCB-agenten. Hoewel LCB-agenten leerden om te schakelen tussen acties op basis van de staat (wat meetbare voordelen gaf voor specifieke paren), vertaalde dit zich niet in een algehele prestatieverbetering ten opzichte van de MAB. Dit wordt toegeschreven aan de beperkte informatie in de gecomprimeerde state-representatie en de complexiteit van het leren van een state-afhankelijk beleid met beperkte data.
• Niet-triviale Oplossingen: De optimale stimulatiepatronen vertoonden geen eenvoudige kloksgewijze volgorde van stimulatie, wat aangeeft dat de relatie tussen stimulatieplaats en responspropagatie complex en probabilistisch is door zowel orthodrome als antidrome activatie.

Betekenis en Toekomstperspectief

Dit werk biedt een krachtig, toegankelijk platform voor de doelgerichte functionele karakterisering van ingenieursneurale netwerken.

• Wetenschappelijke Impact: Het demonstreert dat RL effectief kan worden gebruikt om de input-output mapping van biologische netwerken te ontrafelen, zelfs in aanwezigheid van niet-lineariteit en state-dependency.
• Technische Vooruitgang: Het systeem overwint de beperkingen van eerdere gesloten-lus systemen door milliseconden-timing en volledige spatiotemporale resolutie te bieden.
• Toepassingen: Het platform is niet beperkt tot het induceren van cirkelvormige vuurpatronen; het kan worden gebruikt voor elke kwantificeerbare netwerkrespons. Potentiële toepassingen omvatten biocomputatie, het ontwikkelen van therapeutische stimulatiealgoritmen en het beter begrijpen van neurale plasticiteit.
• Open Science: Alle hardware-ontwerpen, software en data zijn publiek beschikbaar, wat de adoptie en uitbreiding door de bredere gemeenschap faciliteert.

Kortom, de studie toont aan dat door de combinatie van topologisch beperkte netwerken en snelle, datagedreven RL, het mogelijk is om complexe neurale dynamica te besturen en te optimaliseren op een schaal die voorheen niet haalbaar was.