Connectome-constrained Drosophila neural control and reward-modulated plasticity in a simulated Maxwell-demon particle system

Stel je een piepkleine, onzichtbare agent voor die tussen twee kamers vol gasmoleculen staat. De ene kamer is warm, de andere koel. De taak van de agent is om elke molecuul te observeren die de deur tussen hen nadert. Als een snelle, energieke molecuul van de koele kant komt, opent de agent de deur om deze de warme kamer in te laten. Als een trage, luie molecuul van de warme kant nadert, houdt de agent de deur gesloten. Door deze sorteeractie worden de warme kamer na verloop van tijd warmer en de koele kamer koeler, wat schijnbaar energie uit het niets creëert. Dit gedachte-experiment, bekend als de demon van Maxwell, daagt natuurkundigen al meer dan een eeuw uit. Het dwingt ons de vraag te stellen hoe informatie en de fysieke realiteit met elkaar interageren: brengt de handeling van het meten en sorteren van moleculen een verborgen energiekosten met zich mee? Hoewel de moderne natuurkunde het paradox heeft opgelost door aan te tonen dat de informatieverwerking zelf warmte genereert, blijft de vraag hoe een biologisch brein, geëvolueerd om een wereld van geuren en licht te navigeren, een dergelijke taak zou uitvoeren als het in die rol geplaatst zou worden.

Een nieuwe studie door Yash Sharma aan de Queen's University Belfast onderzoekt deze vraag door een digitale laboratoriumomgeving te bouwen waarin een gesimuleerd vliegenbrein probeert te fungeren als deze sorteeragent. De onderzoekers gebruikten geen echte vlieg, maar een computermodel van het volledige brein van een volwassen fruitvlieg, in kaart gebracht tot op het niveau van de individuele verbindingen tussen neuronen. Ze verbonden dit biologische blauwdruk met een simulatie van een gasgevulde kamer met een schuifdeur. Het doel was niet om te bewijzen dat een vlieg in de echte wereld moleculen zou kunnen sorteren, maar om een gesloten systeem te creëren waarin ze seconde per seconde konden observeren hoe een brein dat beperkt wordt door echte biologische bedrading reageert op een fysieke omgeving en leert van de resultaten. Door elke beslissing die het digitale brein nam, elke keer dat een molecuul de deur passeerde, en elke kleine aanpassing die de verbindingen van het brein maakten in reactie op succes of falen te registreren, creëerde het team een gedetailleerde kaart van hoe een biologisch realistisch controlemechanisme interageert met de wetten van de thermodynamica.

Het experiment werd opgezet als een estafette tussen twee verschillende controllers. Voor het eerste deel van elke run nam een eenvoudig, vooraf geprogrammeerd computerscript de rol van de demon op zich. Dit script wist precies wat het moest doen: het opende de deur alleen voor de "juiste" moleculen om het temperatuurverschil tussen de twee kamers te behouden. Voor het volgende deel van de run werd de controle overgedragen aan het vliegenbrein-model. Dit model ontving dezelfde informatie over de gastemperatuur en de snelheid van de moleculen, maar moest zelf beslissen wanneer het de deur opende op basis van zijn eigen interne activiteit. De onderzoekers lieten deze simulatie acht keer draaien, met sessies die tussen de vijf en twintig minuten duurden. In elke sessie wisselden de twee controllers elke tweeënhalf minuut van rol, waardoor het team kon zien hoe het vliegenbrein-model presteerde tegenover het perfecte, vooraf geprogrammeerde script onder identieke omstandigheden.

De resultaten toonden een duidelijk onderscheid tussen de twee controllers. Wanneer het eenvoudige script de deur beheerde, slaagde het erin om een temperatuurverschil tussen de twee kamers te handhaven, waardoor het gas zoals bedoeld gesorteerd bleef. Echter, telkens wanneer het vliegenbrein-model de controle overnam, vervaagde het temperatuurverschil snel en keerden beide zijden van de kamer terug naar een staat van evenwicht. Het vliegenbrein-model leerde niet om de moleculen effectief te sorteren tijdens deze korte sessies. In plaats van de warme kant warm en de koele kant koel te houden, liet het de gassen mengen, waardoor het niet slaagde in het in stand houden van de scheiding die de demon-taak vereist. De gegevens toonden aan dat het temperatuurverschil onder controle van het script aanzienlijk groter was dan wanneer het vliegenbrein aan het werk was, wat aangeeft dat de biologische controller nog niet in staat was om deze specifieke thermodynamische sorteertaak uit te voeren.

Ondanks het falen bij het sorteren van het gas, toonde het experiment aan dat het vliegenbrein-model actief aan het leren en veranderen was. De onderzoekers volgden de sterkte van de verbindingen tussen de neuronen, ook wel synapsen genoemd, gedurende de simulatie. Ze ontdekten dat met elke beslissing die het brein nam, deze verbindingen werden bijgesteld. De totale hoeveelheid verandering in deze verbindingen groeide gestaag in elke enkele run, wat aantoonde dat het netwerk reageerde op de beloningen en straffen die het kreeg voor zijn acties. Ook het type beloning dat het brein ontving, was van belang. Wanneer de onderzoekers een constante, voorspelbare manier van belonen gebruikten, maakte het brein in ongeveer 48 procent van de gevallen "goede" beslissingen. Wanneer de beloningen willekeurig en onvoorspelbaar waren, daalde het succespercentage naar ongeveer 34 procent. Dit suggereert dat de biologische bedrading gevoelig was voor het patroon van de feedback, zelfs als het nog geen betrouwbare strategie voor de taak had geleerd.

De studie bood ook een zeldzame blik in de "geest" van de controller terwijl deze werkte. De onderzoekers registreerden de activiteit van specifieke regio's binnen het vliegenbrein-model, de zogenaamde neuropili, wat clusters van neuronen zijn die specifieke taken afhandelen zoals geur of zicht. Ze ontdekten dat bepaalde gebieden, met name die betrokken bij het verwerken van geur- en visuele informatie, het meest actief waren tijdens het experiment. Deze activiteitspatronen waren consistent over alle runs heen, wat bewees dat de biologische structuur van het brein bepaalde welke delen werden ingeschakeld, ongeacht of de controller succesvol was in de taak. De onderzoekers konden precies zien welke delen van het brein vuurden en hoe de activiteit verschoof naarmate de simulatie vorderde, wat een volledig beeld gaf van de sensorimotorische lus van het moment dat een molecuul de deur naderde tot het moment dat het brein zijn interne verbindingen aanpaste.

Het is belangrijk om te begrijpen wat deze studie niet heeft bewezen. De auteur stelt zorgvuldig dat zij niet hebben aangetoond dat een vliegenbrein daadwerkelijk als een demon van Maxwell kan optreden. Sterker nog, de resultaten suggereren het tegenovergestelde: in deze specifieke opstelling was de biologische controller een veel zwakkere sorteerder dan het eenvoudige script. De studie beweert niet dat het vliegenbrein een nieuwe vaardigheid heeft geleerd of dat het het thermodynamische puzzel heeft opgelost. In plaats daarvan ligt de waarde van het werk in het platform zelf. De onderzoekers hebben een geverifieerd systeem gebouwd waarin een biologisch beperkt netwerk getest kan worden tegen een fysieke omgeving, waarbij elke gebeurtenis gelogd en beschikbaar is voor analyse. Dit stelt wetenschappers in staat om exact te meten hoe een brein dat gebouwd is vanuit echte bedradingsdiagrammen zich gedraagt wanneer het gevraagd wordt een fysiek systeem te besturen, iets wat voorheen moeilijk met een dergelijke precisie te doen was.

De onderzoekers erkennen enkele beperkingen van hun huidige bevindingen. Zo bevatte de simulatie een luchtstraal die energie aan het systeem toevoegde, en deze straal werd door de twee controllers anders gebruikt, wat de temperatuurresultaten mogelijk heeft beïnvloed. Ze merken ook op dat ze slechts één sessie voor elke conditie hebben uitgevoerd, waardoor de resultaten beschrijvend zijn in plaats van statistisch bewezen. De temperaturen in de simulatie worden gemeten in willekeurige eenheden, niet in echte graden, en de "beloningen" die aan het brein werden gegeven, waren gebaseerd op een simpele regel in plaats van een complexe thermodynamische berekening. Deze factoren betekenen dat de studie een bewijs van concept is voor het experimentele platform, en geen definitief antwoord op de vraag hoe vliegenbreinen met thermodynamica omgaan.

Uiteindelijk opent dit werk een deur voor toekomstig onderzoek. Door een realistisch model van een vliegenbrein te koppelen aan een gesimuleerde fysieke wereld, hebben de onderzoekers een instrument gecreëerd dat gebruikt kan worden om te testen hoe verschillende leerregels of verschillende hersenstructuren in de toekomst zouden presteren. De volgende stappen zouden het uitvoeren van meer sessies zijn om de patronen te bevestigen, het testen van het systeem met de luchtstraal uitgeschakeld om het brein te isoleren, en misschien zelfs het draaien van de simulatie op gespecialiseerde hardware die de structuur van het brein nabootst. Voor nu staat de studie als een gedetailleerd verslag van een digitaal vliegenbrein dat probeert, en grotendeels faalt, om gasmoleculen te sorteren, terwijl het tegelijkertijd laat zien dat het brein actief zijn eigen bedrading aan het veranderen is in reactie op de uitdaging. Het is een demonstratie van hoe we kunnen beginnen met het meten van de interactie tussen biologische complexiteit en fysieke wetten, één gesimuleerde molecuul tegelijk.