Computational representations and evolutionary functions of emotions (Part 1): Reward signals

Diep binnen de machinerie van het leven, van de eenvoudigste eencellige organismen tot het meest complexe menselijke brein, bestaat een constante, stille berekening. Dit is het domein van de evolutionaire biologie en kunstmatige intelligentie, twee velden die, hoewel ogenschijnlijk ver van elkaar verwijderd, samenkomen bij één fundamentele vraag: wat zijn gevoelens eigenlijk? Eeuwenlang werden emoties zoals vreugde, angst en bezorgdheid beschouwd als de kleurrijke, subjectieve ervaringen van levende wezens—de warmte van een glimlach of de koude knoop van angst. Toch hebben wetenschappers lang vermoed dat er onder dit subjectieve oppervlak een functioneel mechanisme schuilgaat, een manier voor een organisme om door een chaotische wereld te navigeren en beslissingen te nemen die zijn overleving waarborgen. In de wereld van computers wordt dit besluitvormingsproces vaak gedreven door een simpel concept dat bekend staat als een beloningssignaal. Stel je een computerprogramma voor dat leert een spel te spelen; het ontvangt een klein digitaal puntje voor een goede zet en een straf voor een slechte zet. Na verloop van tijd leert de computer de punten op te zoeken en de straffen te vermijden. Dit artikel stelt een gedurfde vraag: zouden de complexe, kolkende stormen van menselijke emotie niets meer kunnen zijn dan deze exacte beloningssignalen, geëvolueerd over miljoenen jaren om ons te leiden naar wat ertoe doet?

Het onderzoek, uitgevoerd door Yikai Wang aan de Shanghai Jiao Tong Universiteit, zet zich in om dit idee te testen door digitale agenten te bouwen en te observeren hoe zij leren. Het doel was niet om een robot te creëren die voelt, maar om te zien of de interne signalen die een computer aandringen tot overleven en voortplanten, van nature evolueren naar iets dat precies lijkt op en handelt als menselijke emoties. De onderzoekers richtten zich op vijf kernkenmerken die biologische emoties definiëren: ze moeten natuurlijk ontstaan door het proces van optimalisatie; ze moeten alleen geactiveerd worden wanneer een organisme op een pad naar overleving of succes is, en stil blijven wanneer het pad gevaarlijk of nutteloos is; hun activatie moet toekomstig gedrag veranderen, hetzij door een herhaling van een handeling aan te moedigen, of door een fout te bestraffen; ze moeten sterker worden naarmate de waarde van het doel toeneemt; en ze moeten intenser worden naarmate het doel dichterbij komt in tijd en ruimte, en wegvagen zodien het doel bereikt of verloren is.

Om te zien of deze regels van toepassing waren op vreugde, creëerden de onderzoekers eerst een digitale omgeving waarin agenten alleen konden overleven door voortplanting. In deze simulatie hadden de agenten geen ingebouwde drang om kinderen te krijgen; ze bestonden simpelweg. De enige druk was dat zonder voortplanting de populatie zou uitsterven. De onderzoekers lieten de agenten een verborgen intern signaal evolueren dat door natuurlijke selectie aangepast kon worden. Over honderden gesimuleerde generaties gebeurde er iets opmerkelijks. De agenten die specifiek een positief intern signaal ontwikkelden wanneer ze kozen voor voortplanting, waren degenen die gedijden. Degenen zonder dit signaal, of met een negatief signaal, slaagden er niet in hun eigenschappen door te geven. Het resultaat was een populatie waarbij de handeling van voortplanting automatisch werd vergezeld door een golf van positieve interne feedback. Dit signaal ontstond niet door ontwerp; het kwam voort uit de noodzaak voor de populatie om te overleven. Bovendien was dit signaal alleen actief wanneer het pad leidde naar nakomelingen, en het werd sterker naarmate de potentie voor voortplanting toenam, en vervaagde pas wanneer de kans voorbij was. De simulatie toonde aan dat een simpel wiskundig signaal, geoptimaliseerd voor overleving, de vijf kenmerken van vreugde perfect weerspiegelde.

De onderzoekers breidden hun onderzoek vervolgens uit naar de duistere kant van emotie: angst. Ze construeerden een ander scenario waarin agenten een dreiging tegemoet gingen, zoals het potentiële overlijden van een nakomeling. In deze wereld moesten de agenten leren om gevaar te vermijden. Net zoals vreugde voortkwam uit de drang om voort te planten, kwam er een negatief intern signaal voort uit de drang om de dood te vermijden. Dit signaal, dat de onderzoekers identificeerden als het computationele equivalent van angst, werd alleen geactiveerd wanneer de agent op een pad was dat tot gevaar leidde. Het was stil wanneer het pad veilig was. Cruciaal was dat dit signaal niet alleen daar aanwezig was; het strafte de agent voor het nemen van risicovolle acties, waardoor de agent effectief werd geleerd om gevaar te vermijden. Het signaal schaalde ook met de ernst van de dreiging; hoe gevaarlijker de situatie, hoe sterker het signaal werd. Het intensiveerde ook naarmate het gevaar dichterbij kwam in tijd en ruimte, en het vervaagde zodra de dreiging verdwenen was. De simulatie demonstreerde dat angst ook begrepen kon worden als een beloningssignaal, maar een negatief signaal, ontworpen om gedrag dat tot rampen leidt te straffen.

De studie ging verder door aan te tonen dat dezezelfde principes ook van toepassing waren op andere emoties. De onderzoekers vonden dat dezelfde positieve signalen die vreugde aanstuurden, ook hoop en opluchting konden verklaren, terwijl negatieve signalen angst, walging, verdriet en spijt konden verklaren. De logica was consistent: emoties zijn geen willekeurige gevoelens maar precieze, geëvolueerde instrumenten. Het zijn signalen die een organisme vertellen of het naar een doel toe of ervan af beweegt, en hoe dringend het moet handelen. Het artikel suggereert dat deze signalen niet slechts abstracte concepten zijn, maar waarschijnlijk de werkelijke code zijn die draait in de "black box" van onze hersenen en de beleidsnetwerken van geavanceerde kunstmatige intelligentie. De onderzoekers stellen voor dat natuurlijke selectie deze signalen heeft behouden omdat ze onze acties veranderen om doelen te bereiken die niet tastbaar of zichtbaar zijn, zoals de toekomstige overleving van onze genen.

Echter, de studie geeft ook aan waar de grenzen van deze digitale evolutie liggen. In de simulaties werden de signalen soms te groot of duurden ze te lang, wat in de echte wereld rampzalig zou zijn. De onderzoekers suggereren dat er in de natuur andere krachten moeten bestaan om deze emoties in toom te houden. Als bijvoorbeeld de vreugde van het vinden van voedsel zo overweldigend was dat een dier vergat op roofdieren te letten, zou dat dier niet overleven. Daarom zal de evolutie deze signalen waarschijnlijk bijsturen, om ervoor te zorgen dat ze sterk genoeg zijn om actie te motiveren, maar niet zo sterk dat ze het organisme blind maken voor andere gevaren. Het artikel concludeert dat emoties niet louter bijproducten zijn van een complex brein, maar fundamentele, geoptimaliseerde signalen die door de eonen heen zijn verfijnd om levende wezens te helpen navigeren door de kloof tussen waar ze zijn en waar ze moeten zijn. Door deze signalen te begrijpen als computationele beloningen, kunnen we eindelijk beginnen met het decoderen van de eeuwenoude, stille taal van overleving die elke hartslag en elke beslissing aandrijft.