Simulated Light Schedules for Sleep-Wake Adjustments: Exploring the Incorporation of Reinforcement Learning

Gedurende het grootste deel van de menselijke geschiedenis werd onze interne klok bepaald door de zon. We werden wakker bij de dageraad en sliepen met de schemering, een ritme dat gesynchroniseerd werd door het licht dat onze ogen raakte. Vandaag de dag leven we echter in een wereld van kunstmatig licht die nooit echt uitgaat. Deze constante gloed kan het biologische tijdssysteem van het lichaam in de war brengen, wat leidt tot slaap die ondiep aanvoelt of een wakkerheid die op het verkeerde moment arriveert. Wetenschappers weten al lang dat licht het primaire signaal is dat ons lichaam vertelt wanneer het moet rusten en wanneer het actief moet zijn, meer nog dan voedsel, temperatuur of geluid. Om een verstoord slaapschema te herstellen, vertrouwden onderzoekers traditioneel op rigide, vaak oncomfortabele plannen die mensen dwingen om in fel licht te staren of op specifieke tijden in totale duisternis te zitten. Deze methoden werken in theorie, maar zijn moeilijk vol te houden in het echte leven, waar mensen banen, families en sociale levens hebben die niet in een perfect laboratoriumschema passen. De uitdaging is het vinden van een manier om licht te gebruiken om het lichaam zachtjes terug naar een gezond ritme te duwen, zonder van een persoon te eisen dat hij zijn dagelijkse routine opgeeft.

Een team van onderzoekers aan de Monash University Malaysia heeft een nieuwe aanpak voor dit probleem gekozen door een computer te leren hoe deze lichtschema's ontworagen kunnen worden. In plaats van een vaste set regels of een vooraf geschreven handleiding te gebruiken, bouwden zij een systeem dat gebruikmaakt van een vorm van kunstmatige intelligentie die bekend staat als reinforcement learning (versterkingsleren). Stel je een student voor die leert om een muziekinstrument te bespelen; ze proberen een noot, horen of het goed klinkt, en passen hun vingerplaatsing aan voor de volgende poging. De onderzoekers pasten deze zelfde trial-and-error-logica toe op licht. Ze creëerden een digitaal kader waarin een computeralgoritme optreedt als een student, die probeert de dagelijkse lichtblootstelling van een persoon aan te passen om een specifiek slaapdoel te bereiken. De computer raadt niet alleen; de computer leert van een database van echt menselijk gedrag. Het kijkt naar hoe lichtpatronen verband houden met wanneer mensen daadwerkelijk in slaap vallen en wakker worden, en past vervolgens iteratief het lichtschema aan om te zien of het de persoon dichter bij de gewenste slaaptijd brengt.

Om dit systeem te trainen, hadden de onderzoekers eerst echte gegevens nodig. Ze rekruteerden 19 jongvolwassenen, voornamelijk universiteitsstudenten, en vroegen hen om gedurende zes dagen twee kleine apparaten te dragen. Eén apparaat, gedragen als een hanger, mat het licht dat de ogen gedurende de dag raakte, waarbij niet alleen de helderheid werd gemeten, maar ook de specifieke kleuren licht die het lichaam beïnvloeden. Het andere apparaat, gedragen om de pols, volgde hun bewegingen om precies te bepalen wanneer ze sliepen en wanneer ze wakker waren. Het team vroeg de deelnemers ook om eenvoudige slaapdagboeken bij te houden. Vanuit deze gegevens groepeerden de onderzoekers de deelnemers in vijf verschillende categorieën op basis van hun gemiddelde slaaptijden en hoe efficiënt ze sliepten. Deze groepering maakte het mogelijk om "slaaptypen" als doelwitten te behandelen, vergelijkbaar met hoe een coach atleten zou kunnen groeperen op basis van hun natuurlijke hardloopstijl.

De kern van de studie bestond uit twee hoofdfasen. Eerst bouwde het team een classificatiemodel, een type computerprogramma dat naar een zesdaags lichtschema kan kijken en kan voorspellen bij welke van de vijf slaapcategorieën een persoon hoort. Ze testten dit model op nieuwe gegevens en stelden vast dat het de slaapcategorie met een hoge nauwkeurigheid correct kon identificeren. Dit model werd de "leraar" voor het tweede deel van het systeem. In de tweede fase gebruikten ze het reinforcement learning-algoritme om nieuwe lichtschema's te genereren. De computer begon met het oorspronkelijke lichtritme van een persoon en kreeg een doel: "verander dit schema zodat de persoon in een andere slaapcategorie terechtkomt." Het algoritme maakte kleine aanpassingen aan de lichtniveaus, zoals het dimmen van de lichten in de avond of het verhelderen van de lichten in de ochtend, en vroeg vervolgens aan het classificatiemodel: "Heeft deze verandering ons dichter bij het doel gebracht?" Als het antwoord ja was, behield de computer die verandering; zo niet, dan probeerde hij iets anders. Dit proces herhaalde zich duizenden keren totdat het algoritme een schema vond dat het voorspelde slaappatroon succesvol had verschoven.

De resultaten toonden aan dat de computer inderdaad lichtschema's kon generen die mensen richting verschillende slaap-waakpatronen bewogen. Voor sommige van de slaapcategorieën zagen de gegenereerde schema's er zeer vergelijkbaar uit met de natuurlijke lichtpatronen die de onderzoekers bij hun deelnemers hadden waargenomen. Echter, voor andere categorieën creëerde de computer schema's die heel anders waren dan wat mensen van nature ervaren, waarbij soms lichtniveaus werden gesuggereerd die moeilijk te bereiken zouden zijn met standaard huisverlichting. De onderzoekers simuleerden wat er met het lichaam van de mens zou gebeuren als iemand de door de computer gegenereerde schema's zou volgen. In verschillende gevallen suggereerden de simulaties dat de schema's succesvol de timing van de melatonineafgifte zouden verschuiven, een hormoon dat het lichaam het signaal geeft dat het tijd is om te slapen. Toch benadrukte de studie ook een cruciale beperking: de computer duwde de lichtniveaus soms naar extremen die niet praktisch zijn voor het dagelijks leven. Dit suggereert dat hoewel de technologie werkt, deze zorgvuldig afgewogen moet worden tegen wat er in de praktijk daadwerkelijk mogelijk is.

De studie beweert geen oplossing te hebben gevonden voor slaapstoornissen of een perfect medicijn tegen jetlag. In plaats daarvan demonstreert het een nieuwe methode voor het creëren van gepersonaliseerde lichtplannen. De onderzoekers benadrukken dat hun werk een prototype is, een startpunt dat het concept bewijst van het gebruik van machine learning om lichtdiëten te ontwerpen. Ze merken op dat hun gegevens afkomstig waren van een kleine groep jonge, gezonde volwassenen, waardoor de resultaten nog niet op iedereen kunnen worden toegepast, zoals oudere volwassenen of mensen met specifieke gezondheidsklachten. Bovendien, omdat het systeem vertrouwt op het voorspellen van slaappatronen op basis van licht in plaats van het direct meten van de interne chemie van het lichaam, zijn de bevindingen gebaseerd op simulaties en statistische patronen in plaats van direct fysiologisch bewijs. De auteurs stellen dat voor deze technologie een praktische tool te worden, deze getest moet worden op veel grotere groepen mensen en verfijnd moet worden om ervoor te zorgen dat de lichtschema's die het creëert niet alleen effectief, maar ook realistisch te volgen zijn.

Uiteindelijk opent dit onderzoek de deur naar een flexibelere toekomst voor de slaapwetenschap. Door weg te bewegen van rigide, eenheidsoplossingen en toe te bewegen naar adaptieve, lerende systemen, kunnen wetenschappers uiteindelijk lichtaanbevelingen kunnen bieden die naadloos in het werkelijke leven van een persoon passen. De computer hoeft een persoon niet te dwingen om een uur lang in een fel licht te staren; het kan subtiele veranderingen suggereren in de verlichting van een huis of kantoor die zich over de dagen heen opstapelen om de interne klok van het lichaam geleidelijk te resetten. Hoewel de huidige versie van het systeem zich nog in een vroege fase bevindt, vertegenwoordigt het vermogen om deze op maat gemaakte schema's te genereren met behoud van reinforcement learning een belangrijke stap voorwaarts. Het verschuift de focus van wat theoretisch mogelijk is in een laboratorium naar wat bereikbaar kan zijn in de echte wereld, en biedt een veelbelovend pad naar een betere slaap voor mensen die navigeren in een wereld die nooit echt slaapt.