Reinforcement learning for closed-loop optimisation of spatiotemporal stimulation in patterned neuronal networks

Die Studie stellt ein kostengünstiges, open-source Reinforcement-Learning-System vor, das in Echtzeit geschlossene Regelkreise mit mikrofluidisch strukturierten neuronalen Netzwerken auf Mikroelektroden-Arrays nutzt, um durch systematische Exploration von Stimulationsmustern spezifische Aktivitätsmuster zu erzeugen und dabei die Abhängigkeit der neuronalen Antworten von der Stimulationshistorie zu charakterisieren.

Das Wesentliche

🧠 Das neuronale Orchester und der KI-Dirigent

Stellen Sie sich vor, Sie haben ein kleines Orchester aus lebenden Nervenzellen (Neuronen), das auf einem speziellen Chip sitzt. Diese Zellen sind wie Musiker, die miteinander reden, indem sie elektrische Signale (Feuern) senden. Das Problem: Wir wissen nicht genau, welche Kombination von Signalen wir an die Musiker schicken müssen, damit sie ein bestimmtes Lied spielen – zum Beispiel eine Melodie, die im Uhrzeigersinn durch das Orchester läuft.

Früher hätten Wissenschaftler versucht, alle möglichen Kombinationen von Signalen einfach durchzuprobieren. Das wäre so, als würde man versuchen, ein neues Lied zu komponieren, indem man zufällig Töne auf einer Tastatur drückt. Bei so vielen Möglichkeiten (Millionen von Kombinationen) würde man ewig brauchen und wahrscheinlich nie das richtige Ergebnis finden.

Die Lösung in diesem Papier?
Die Forscher haben einen KI-Dirigenten (ein Reinforcement-Learning-Agent) gebaut, der das Orchester in Echtzeit dirigiert.

1. Der Experimentier-Set: Ein miniaturisiertes Labor

Die Wissenschaftler haben die Nervenzellen in winzige Kanäle aus Silikon (wie ein Labyrinth) gepflanzt. Diese Kanäle zwingen die Zellen, sich in einer bestimmten Struktur zu organisieren.

• Die Analogie: Stellen Sie sich vor, die Zellen sind in einem kleinen Dorf mit festen Straßen. Wenn Sie an einer Ecke einen Stein werfen (Stimulation), wissen Sie ungefähr, wohin die Welle laufen wird. Aber die genauen Reaktionen der Dorfbewohner hängen davon ab, was sie gerade vorher getan haben.

2. Der KI-Dirigent lernt durch Versuch und Irrtum

Der KI-Dirigent ist wie ein Schüler, der das Orchester dirigieren lernt.

• Der Taktstock: Der KI sendet elektrische Impulse an die Zellen.
• Die Reaktion: Die Zellen antworten mit einem Feuerwerk an Signalen.
• Die Bewertung: Der KI bekommt Punkte (Belohnung), wenn die Zellen genau das tun, was er will (nämlich eine Uhrzeigersinn-Melodie).
• Das Lernen: Wenn die KI einen Fehler macht (keine Punkte), probiert sie beim nächsten Mal etwas anderes. Wenn sie Punkte bekommt, merkt sie sich: "Das war gut!"

Das Besondere an diesem System ist die Geschwindigkeit. Der Dirigent muss nicht Sekunden warten, sondern reagiert in Millisekunden. Er hört den Takt, gibt den nächsten Takt, hört zu und gibt sofort den nächsten Befehl. Das ist wie ein Jazz-Musiker, der sofort auf die Improvisation seines Partners reagiert.

3. Die überraschende Entdeckung: Es ist nicht so einfach wie "1-2-3"

Man hätte gedacht, der KI-Dirigent würde einfach die Zellen in der richtigen Reihenfolge (1, dann 2, dann 3) anfeuern, um die Uhrzeigersinn-Bewegung zu erzeugen.

• Aber: Die Zellen sind komplex. Wenn man Zelle 1 anfeuert, kann das Signal in die falsche Richtung laufen oder andere Zellen stören.
• Das Ergebnis: Der KI hat gelernt, dass die Lösung oft nicht die offensichtliche ist. Manchmal muss er Zelle 4 anfeuern, bevor Zelle 1, oder gar keine Zelle anfeuern, sondern warten. Er hat einen "geheimen Code" gefunden, der für uns Menschen nicht intuitiv ist, aber für das neuronale Netzwerk perfekt funktioniert.

4. Der "Gedächtnis"-Effekt

Ein wichtiger Teil der Studie war zu prüfen, ob die Zellen sich an das erinnern, was gerade passiert ist.

• Die Analogie: Wenn Sie jemanden heute grüßen, reagiert er vielleicht anders, als wenn Sie ihn gestern schon einmal begrüßt haben.
• Das Ergebnis: Ja, die Zellen haben ein kurzes Gedächtnis. Die Reaktion auf einen Reiz hängt davon ab, was kurz davor passiert ist. Die fortschrittlicheren KI-Modelle haben gelernt, dieses "Gedächtnis" zu nutzen. Sie wechseln ihre Strategie basierend darauf, was die Zellen gerade getan haben. Allerdings war der Vorteil dabei nicht riesig – manchmal ist es besser, einfach eine gute, feste Strategie zu haben, statt ständig zu wechseln.

5. Warum ist das wichtig?

Dieses System ist wie ein universeller Werkzeugkasten:

• Es ist günstig und offen: Jeder kann die Baupläne herunterladen und nachbauen (Open Source).
• Es ist automatisch: Man kann die Experimente wochenlang laufen lassen, ohne dass jemand im Labor sitzen muss.
• Es ist zielgerichtet: Man kann der KI sagen: "Mach das!" (z. B. "Lass die Zellen tanzen" oder "Stoppe das Chaos").

Zusammenfassend:
Die Forscher haben einen Weg gefunden, lebende Nervenzellen wie ein komplexes Instrument zu "spielen". Anstatt stundenlang zu raten, haben sie eine KI trainiert, die in Echtzeit lernt, welche "Noten" (elektrischen Impulse) man anschlagen muss, um das gewünschte "Lied" (das Verhalten der Zellen) zu erzeugen. Das ist ein großer Schritt hin zu besseren Therapien für das Gehirn oder sogar zu biologischen Computern, die Probleme lösen können.

Technische Zusammenfassung

Titel: Reinforcement Learning für die geschlossene Regelkreisoptimierung der spatiotemporalen Stimulation in gemusterten neuronalen Netzwerken

1. Problemstellung

Das Verständnis davon, wie neuronale Schaltkreise Eingaben in Ausgaben transformieren, erfordert eine systematische Perturbation unter kontrollierten Bedingungen. In-vitro-neuronalen Netzwerken auf Mikroelektroden-Arrays (MEAs) bieten eine Plattform für Stimulation und Aufzeichnung. Durch mikrofuidisches Patterning (z. B. mit PDMS-Strukturen) kann die Netzwerktopologie eingeschränkt werden, um stabile Reaktionen zu erzeugen.

Es bestehen jedoch zwei wesentliche Herausforderungen:

1. Explosionsartige Komplexität: Der Raum möglicher spatiotemporaler Stimulationsmuster wächst kombinatorisch mit der Anzahl der Elektroden und der zeitlichen Auflösung. Eine exhaustive Suche ist unmöglich.
2. Zustandsabhängigkeit (State Dependence): Die Reaktion des Netzwerks hängt nicht nur vom aktuellen Reiz ab, sondern auch von der vorherigen Stimulationsgeschichte (synaptische Dynamik, Erregbarkeit).
3. Limitationen bestehender Systeme: Bisherige geschlossene Regelkreise arbeiten oft mit langen Latenzzeiten (Sekundenbereich), aggregieren Daten zu skalaren Werten (z. B. Feuerraten) oder nutzen proprietäre Hardware, was eine präzise Kontrolle auf Spike-Ebene verhindert.

2. Methodik

A. Hardware-Plattform (inkube & inkudock)
Die Autoren haben ein kostengünstiges, Open-Source-System entwickelt, das auf der inkube-Plattform basiert:

• Hardware: Modularer Aufbau mit kommerziell erhältlichen Komponenten (Intan RHS2116 ICs, Xilinx SoC).
• Präzision: Ermöglicht deterministische Stimulation mit einer Auflösung von einem Abtastpunkt (ca. 58 µs) und Round-Trip-Zeiten im Millisekundenbereich.
• Kultur: Verwendung von PDMS-Mikrostrukturen auf 60-Kanal-MEAs, die 15 separate, rekurrente Netzwerke mit 4 Knoten pro Netzwerk beherbergen. Die Netzwerke werden mit humanen iPS-Zell-abgeleiteten Neuronen (Ngn2-induziert) besiedelt.
• Umgebung: Ein spezieller Inkubator (inkudock) gewährleistet physiologische Bedingungen (Temperatur, Feuchtigkeit) für Langzeitexperimente (Wochen).

B. Geschlossener Regelkreis & Reinforcement Learning (RL)
Das System implementiert einen geschlossenen Regelkreis, der als Markov-Entscheidungsprozess (MDP) modelliert ist:

• Agent: Ein RL-Agent (Python) wählt Aktionen.
• Aktion (Action Space): Ein 4-dimensionaler Vektor, der die Timing-Verzögerungen für Stimulationen an 4 Elektroden steuert (Bereich -1 bis 1, wobei negative Werte keine Stimulation bedeuten). Der Raum umfasst sowohl diskrete als auch kontinuierliche Varianten.
• Zustand (State Space): Die Spike-Antwort des Netzwerks innerhalb eines 20 ms Fensters nach der Stimulation. Um die Dimensionalität zu reduzieren, wurden Kompressionsmethoden eingesetzt:
  • PCA (Principal Component Analysis) auf binned Spike-Daten.
  • DCNN (Dilated Convolutional Neural Network) für nicht-lineare Kodierung.
• Belohnung (Reward): Die Länge der längsten gültigen "im Uhrzeigersinn" verlaufenden Feuerrate-Sequenz über die Elektroden hinweg. Eine Spike gilt als gültig, wenn er innerhalb eines Fensters von 0,5 bis 5 ms auf der nächsten Elektrode folgt.
• Agenten-Vergleich: Es wurden verschiedene Agenten getestet:
  • Random Agent: Zufällige Stimulation (Kontrolle).
  • Multi-Armed Bandit (MAB): Zustandsfrei, nutzt Upper Confidence Bound (UCB).
  • Linear Contextual Bandit (LCB): Zustandsbasiert, modelliert die Abhängigkeit der Belohnung vom vorherigen Zustand (vorherige Aktion).

3. Wichtige Beiträge

1. Entwicklung einer High-Performance-Plattform: Bereitstellung eines vollständig open-source, modularen Systems für geschlossene Regelkreise mit Millisekunden-Latenz und Spike-Präzision, das mehrere Netzwerke parallel steuern kann.
2. Charakterisierung der Netzwerkdynamik: Systematische Analyse der Stabilität und Separierbarkeit von Reaktionen über Stunden hinweg sowie der Quantifizierung der Zustandsabhängigkeit (Einfluss der vorherigen Stimulation).
3. RL-Optimierung auf Spike-Ebene: Erster Nachweis, dass RL-Agenten komplexe, nicht-triviale spatiotemporale Stimulationsmuster finden können, um spezifische Aktivitätsmuster (kreisförmige Feuerraten) zu erzeugen, ohne dass das Netzwerk explizit modelliert wird.
4. Öffentliche Verfügbarkeit: Alle Hardware-Designs, Software und Daten sind öffentlich zugänglich, was eine breite Nachnutzung ermöglicht.

4. Ergebnisse

• Stabilität und Separierbarkeit: Die durch Stimulation ausgelösten Antworten waren über Stunden hinweg stabil. Ca. 90 % der Aktionen zeigten stationäre Belohnungssignale. Die Antworten waren über den Aktionsraum hinweg gut separierbar (mittlerer Reward überstieg die Varianz um das Zweifache), was das Lernen durch RL ermöglichte.
• Nachweis von Zustandsabhängigkeit: Bei einem signifikanten Teil der Stimulus-Paare (ca. 26–35 %) hing die aktuelle Netzwerkreaktion signifikant von der vorherigen Stimulation ab. Dies wurde durch den Vergleich von Zustandsverteilungen (mittels Sliced Wasserstein Distance) bestätigt.
• Leistung der RL-Agenten:
  • Alle RL-Agenten (MAB und LCB) lernten, die Belohnung signifikant gegenüber zufälliger Stimulation zu erhöhen.
  • Die Agenten konvergierten auf nicht-triviale Muster: Sie nutzten den gesamten Aktionsraum und erzeugen keine einfachen Spiegelbilder des Zielmusters (z. B. reine Uhrzeigersinn-Sequenzen). Stattdessen fanden sie komplexe Kombinationen, die die rekurrente Dynamik des Netzwerks ausnutzen.
  • Vergleich der Agenten: Zustandsfreie MABs und zustandsbasierte LCBs zeigten ähnliche Gesamtleistung. Obwohl LCBs in der Lage waren, zustandsabhängige "Switching"-Strategien (Wechsel der Aktion basierend auf dem vorherigen Zustand) zu lernen, die für bestimmte Paare messbare Vorteile brachten, führte dies nicht zu einem signifikanten Gesamtgewinn gegenüber den einfacheren MABs.
  • Der kontinuierliche LCB schnitt schlechter ab als der diskrete, vermutlich weil er Interaktionen zwischen den Elektroden nicht ausreichend modellieren konnte.

5. Bedeutung und Ausblick

Diese Arbeit demonstriert einen Paradigmenwechsel in der in-vitro-Neurowissenschaft: Statt passiver Beobachtung oder grober Steuerung ermöglicht das System eine zielgerichtete, funktionale Charakterisierung neuronaler Netzwerke auf Spike-Ebene.

• Wissenschaftlicher Wert: Es liefert Einblicke in die Input-Output-Funktionen biologischer Netzwerke und zeigt, dass diese durch RL effizient erkundet werden können, ohne exhaustive Suche.
• Technische Relevanz: Das System ist skalierbar, kostengünstig und für Langzeitexperimente geeignet.
• Zukünftige Anwendungen:
  • Biocomputation: Nutzung neuronaler Netzwerke als Reservoir-Computer mit optimierten Lese-/Schreib-Strategien.
  • Therapeutische Stimulation: Entwicklung von adaptiven Stimulationsprotokollen für die Behandlung neurologischer Erkrankungen (z. B. Epilepsie, Parkinson).
  • Erweiterungen: Integration optischer Stimulation (zur Vermeidung von Artefakten) oder Hochdichte-MEAs könnte die zeitliche Auflösung weiter verbessern und die Erfassung subthresholder Dynamiken ermöglichen.

Zusammenfassend stellt die Studie einen robusten, offenen Rahmen bereit, um die komplexe, nicht-lineare Dynamik biologischer neuronalen Netzwerke durch geschlossene Regelkreise und maschinelles Lernen zu entschlüsseln und zu steuern.