Connectome-constrained Drosophila neural control and reward-modulated plasticity in a simulated Maxwell-demon particle system

Stellen Sie sich einen winzigen, unsichtbaren Agenten vor, der zwischen zwei Räumen steht, die mit Gasmolekülen gefüllt sind. Der eine Raum ist heiß, der andere kühl. Die Aufgabe des Agenten besteht darin, jedes Molekül zu beobachten, das sich der Tür zwischen den Räumen nähert. Wenn ein schnelles, energiereiches Molekül aus der kühlen Seite kommt, öffnet der Agent die Tür, um es in den heißen Raum zu lassen. Wenn sich ein langsames, träges Molekül von der heißen Seite nähert, hält der Agent die Tür geschlossen. Durch dieses Sortieren über die Zeit wird der heiße Raum heißer und der kühle Raum kühler, was scheinbar Energie aus dem Nichts erzeugt. Dieses Gedankenexperiment, bekannt als Maxwellscher Dämon, fordert Physiker seit über einem Jahrhundert heraus. Es zwingt uns zu fragen, wie Information und physische Realität interagieren: Verursacht der Akt des Messens und Sortierens eine verborgene Energiekosten? Während die moderne Physik das Paradoxon dadurch gelöst hat, dass die Informationsverarbeitung selbst Wärme erzeugt, bleibt die Frage, wie ein biologisches Gehirn, das darauf entwickelt wurde, eine Welt voller Gerüche und Licht zu navigieren, eine solche Aufgabe bewältigen würde, wenn es in diese Rolle versetzt würde.

Eine neue Studie von Yash Sharma an der Queen's University Belfast untersucht diese Frage, indem sie ein digitales Labor aufbaut, in dem ein simuliertes Fliegengehirn versucht, als dieser Sortieragent zu fungieren. Die Forscher verwendeten keine echte Fliege, sondern ein Computermodell des gesamten erwachsenen Fruchtfliegengehirns, das bis auf die Ebene der einzelnen Verbindungen zwischen den Neuronen abgebildet ist. Sie koppelten diesen biologischen Bauplan an eine Simulation einer gasgefüllten Kammer mit einer Schiebetür. Das Ziel war nicht zu beweisen, dass eine Fliege in der realen Welt tatsächlich Gasmoleküle sortieren könnte, sondern ein geschlossenes Regelsystem zu schaffen, in dem sie Sekunde für Sekunde beobachten konnten, wie ein durch biologische Verdrahtung beschränktes Gehirn auf eine physische Umgebung reagiert und aus den Ergebnissen lernt. Indem das Team jede Entscheidung des digitalen Gehirns aufzeichnete, jedes Mal, wenn ein Molekül die Tür überquerte, und jede winzige Anpassung der Verbindungen des Gehirns als Reaktion auf Erfolg oder Misserfolg, schuf das Team eine detaillierte Karte darüber, wie ein biologisch realistischer Controller mit den Gesetzen der Thermodynamik interagiert.

Das Experiment wurde als Staffellauf zwischen zwei verschiedenen Controllern aufgebaut. Für den ersten Teil jedes Durchgangs übernahm ein einfaches, vorprogrammiertes Computerskript die Rolle des Dämons. Dieses Skript wusste genau, was zu tun war: Es öffnete die Tür nur für die „richtigen“ Moleküle, um einen Temperaturunterschied zwischen den beiden Kammern aufrechtzuerhalten. Für den nächsten Teil des Durchlaufs wurde die Kontrolle an das Fliegengehirn-Modell übergeben. Dieses Modell erhielt dieselben Informationen über die Gastemperatur und die Geschwindigkeit der Moleküle, musste aber selbst entscheiden, wann es die Tür öffnet, basierend auf seiner eigenen internen Aktivität. Die Forscher ließen diese Simulation acht Mal laufen, wobei die Sitzungen zwischen fünf und zwanzig Minuten dauerten. In jeder Sitzung wechselten sich die beiden Controller alle zwei und eine halbe Minute ab, was es dem Team ermöglichte, die Leistung des Fliegengehirn-Modells gegenüber dem perfekten, vorprogrammierten Skript unter identischen Bedingungen zu beobachten.

Die Ergebnisse zeigten einen klaren Unterschied zwischen den beiden Controllern. Wenn das einfache Skript die Tür hielt, gelang es ihm, einen Temperaturunterschied zwischen den beiden Kammern aufrechtzuerhalten und das Gas wie beabsichtigt zu sortieren. Sobald jedoch das Fliegengehirn-Modell die Kontrolle übernahm, verschwand der Temperaturunterschied schnell und die beiden Seiten der Kammer kehrten in einen Zustand des Gleichgewichts zurück. Das Fliegengehirn-Modell lernte nicht, die Moleküle effektiv zu sortieren, während dieser kurzen Sitzungen. Anstatt die heiße Seite heiß und die kühle Seite kühl zu halten, ließ es das Gas vermischen und versagte dabei, die Trennung aufrechtzuerhalten, die die Dämonen-Aufgabe erfordert. Die Daten zeigten, dass der Temperaturunterschied unter der Kontrolle des Skripts signifikant größer war als unter der Kontrolle des Fliegengehirns, was darauf hindeutete, dass der biologische Controller noch nicht in der Lage war, diese spezifische thermodynamische Sortieraufgabe auszuführen.

Trotz des Scheiterns beim Sortieren des Gases zeigte das Experiment, dass das Fliegengehirn-Modell aktiv lernte und sich veränderte. Die Forscher verfolgten die Stärke der Verbindungen zwischen den Neuronen, bekannt als Synapsen, während der gesamten Simulation. Sie fanden heraus, dass mit jeder Entscheidung, die das Gehirn traf, diese Verbindungen angepasst wurden. Die Gesamtmenge der Veränderungen in diesen Verbindungen wuchs in jedem einzelnen Durchgang stetig an, was zeigte, dass das Netzwerk auf die Belohnungen und Strafen reagierte, die es erhielt. Auch die Art der Belohnung, die das Gehirn erhielt, spielte eine Rolle. Wenn die Forscher eine stetige, vorhersehbare Methode zur Vergabe von Belohnungen verwendeten, traf das Gehirn etwa 48 Prozent der „guten“ Entscheidungen. Wenn die Belohnungen zufällig und unvorhersehbar waren, sank die Erfolgsquote auf etwa 34 Prozent. Dies deutet darauf hin, dass die biologische Verdrahtung empfindlich auf das Muster des Feedbacks reagierte, selbst wenn sie noch keine zuverlässige Strategie für die Aufgabe erlernt hatte.

Die Studie bot auch einen seltenen Einblick in das „Innere“ des Controllers während dessen Arbeit. Die Forscher zeichneten die Aktivität spezifischer Regionen innerhalb des Fliegengehirn-Modells auf, bekannt als Neuropile, welche Cluster von Neuronen sind, die spezifische Aufgaben wie Riechen oder Sehen übernehmen. Sie fanden heraus, dass bestimmte Bereiche, insbesondere jene, die die Verarbeitung von Geruch und visuellen Informationen betreffen, während des Experiments am aktivsten waren. Diese Aktivitätsmuster waren über alle Durchläufe hinweg konsistent, was zeigte, dass die biologische Struktur des Gehirns bestimmte Teile involvierte, unabhängig davon, ob der Controller bei der Aufgabe erfolgreich war oder nicht. Die Forscher konnten genau sehen, welche Teile des Gehirns feuerten und wie sich die Aktivität im Verlauf der Simulation verschob, was eine vollständige Sicht auf den sensorimotorischen Regelkreis bot – vom Moment, in dem ein Molekül sich der Tür näherte, bis zu dem Moment, in dem das Gehirn seine internen Verbindungen anpasste.

Es ist wichtig zu verstehen, was diese Studie nicht bewiesen hat. Der Autor stellt sorgfältig fest, dass nicht nachgewiesen wurde, dass ein Fliegengehirn tatsächlich als Maxwellscher Dämon agieren kann. Tatsächlich legen die Ergebnisse das Gegenteil nahe: In diesem speziellen Aufbau war der biologische Controller ein wesentlich schwächerer Sortierer als das einfache Skript. Die Studie behauptet nicht, dass das Flogengehirn eine neue Fähigkeit erlernt oder das thermodynamische Rätsel gelöst hat. Stattdessen liegt der Wert der Arbeit in der Plattform selbst. Die Forscher haben ein verifiziertes System geschaffen, in dem ein biologisch beschränktes Netzwerk gegen eine physische Umgebung getestet werden kann, wobei jedes einzelne Ereignis protokolliert und zur Analyse zur Verfügung steht. Dies ermöglicht es Wissenschaftlern, exakt zu messen, wie ein Gehirn, das aus echten Verdrahtungsdiagrammen besteht, reagiert, wenn es angewiesen wird, ein physisches System zu steuern – etwas, das zuvor mit einer solchen Präzision schwierig war.

Die Forscher räumen mehrere Grenzen ihrer derzeitigen Erkenntnisse ein. Zum Beispiel enthielt die Simulation einen Luftstrahl, der Energie in das System einbrachte, und dieser Strahl wurde von den beiden Controllern unterschiedlich genutzt, was die Temperaturergebnisse beeinflusst haben könnte. Sie merken auch an, dass sie nur eine Sitzung für jede Bedingung durchgeführt haben, sodass die Ergebnisse eher beschreibender als statistisch bewiesener Natur sind. Die Temperaturen in der Simulation werden in willkürlichen Einheiten gemessen, nicht in realen Gradzahlen, und die „Belohnungen“, die das Gehirn erhielt, basierten auf einer einfachen Regel statt auf einer komplexen thermodynamischen Berechnung. Diese Faktoren bedeuten, dass die Studie ein Proof-of-Concept für die experimentelle Plattform ist und nicht eine endgültige Antwort darauf, wie Fliegengehirne mit der Thermodynamik umgehen.

Letztendlich öffnet diese Arbeit eine Tür für die zukünftige Forschung. Indem sie ein realistisches Modell eines Fliegengehirns mit einer simulierten physischen Welt koppeln, haben die Forscher ein Werkzeug geschaffen, mit dem sie testen können, wie unterschiedliche Lernregeln oder unterschiedliche Gehirnstrukturen in Zukunft abschneiden könnten. Die nächsten Schritte würden darin bestehen, mehr Sitzungen durchzuführen, um die Muster zu bestätigen, das System mit ausgeschaltetem Luftstrahl zu testen, um die Kontrolle des Gehirns zu isolieren, und vielleicht sogar die Simulation auf spezialisierter Hardware auszuführen, die die Struktur des Gehirns nachahmt. Für den Moment steht die Studie als ein detaillierter Bericht eines digitalen Fliegengehirns, das versucht – und weitgehend scheitert – Gasmoleküle zu sortieren, während es gleichzeitig zeigt, dass das Gehirn seine eigene Verdrahtung als Reaktion auf die Herausforderung aktiv verändert. Es ist eine Demonstration dessen, wie wir beginnen können, die Interaktion zwischen biologischer Komplexität und physikalischen Gesetzen zu messen, ein simuliertes Molekül nach dem anderen.