Simulated Light Schedules for Sleep-Wake Adjustments: Exploring the Incorporation of Reinforcement Learning

Die meiste Zeit der Menschheitsgeschichte wurde unsere innere Uhr durch die Sonne bestimmt. Wir erwachten mit der Dämmerung und schliefen mit der Abenddämmerung, ein Rhythmus, der durch das Licht, das auf unsere Augen traf, synchronisiert wurde. Heute jedoch leben wir in einer Welt des künstlichen Lichts, das niemals wirklich ausgeht. Dieses ständige Leuchten kann das biologische Timing des Körpers verwirren und zu einem Schlaf führen, der sich flach anfühlt, oder zu einer Wachsamkeit, die zur falschen Zeit eintritt. Wissenschaftler wissen seit langem, dass Licht das primäre Signal ist, das unserem Körper sagt, wann er ruhen und wann er aktiv sein soll, mehr noch als Nahrung, Temperatur oder Lärm. Um einen gestörten Schlafplan zu korrigieren, vertrauten Forscher traditionell auf starre, oft unbequeme Pläne, die Menschen dazu zwingen, in helle Lichter zu starren oder zu bestimmten Zeiten in völliger Dunkelheit zu sitzen. Diese Methoden funktionieren in der Theorie, sind aber im echten Leben schwer aufrechtzuerhalten, wo Menschen Jobs, Familien und soziale Leben haben, die nicht in einen perfekten Laborplan passen. Die Herausforderung bestand darin, einen Weg zu finden, das Licht zu nutzen, um den Körper sanft zu einem gesunden Rhythmus zurückzuführen, ohne von einer Person zu verlangen, dass sie ihren täglichen Ablauf aufgibt.

Ein Team von Forschern der Monash University Malaysia hat einen neuen Ansatz für dieses Problem gewählt, indem es einem Computer beigebracht hat, zu lernen, wie man diese Lichtpläne entwirft. Anstatt eine feste Regel oder eine vorgefertigte Anleitung zu verwenden, bauten sie ein System, das eine Art der künstlichen Intelligenz verwendet, die als Reinforcement Learning (bestärkendes Lernen) bekannt ist. Stellen Sie sich vor, ein Schüler lernt ein Musikinstrument; er spielt eine Note, hört, ob sie richtig klingt, und passt seine Fingerhaltung für den nächsten Versuch an. Die Forscher wandten diese gleiche Logik des Ausprobierens und Anpassens auf das Licht an. Sie schufen ein digitales Framework, in dem ein Computeralgorithmus wie ein Schüler agiert, der versucht, die tägliche Lichteinstrahlung einer Person zu modifizieren, um ein bestimmtes Schlafziel zu erreichen. Der Computer rät nicht einfach; er lernt aus einer Datenbank menschlichen Verhaltens. Er betrachtet, wie Lichtmuster mit der Zeit zusammenhängen, zu der Menschen tatsächlich einschlafen und aufwachen, und passt den Lichtplan iterativ an, um zu sehen, ob er die Person näher zur gewünschten Schlafzeit bringt.

Um dieses System zu trainieren, benötigten die Forscher zuerst reale Daten. Sie rekrutierten 19 junge Erwachsene, hauptsächlich Universitätsstudenten, und baten sie, sechs Tage lang zwei kleine Geräte zu tragen. Ein Gerät, das wie ein Anhänger getragen wurde, maß das Licht, das während des Tages auf ihre Augen traf, und erfasste dabei nicht nur die Helligkeit, sondern auch die spezifischen Farben des Lichts, die den Körper beeinflussen. Das andere Gerät, das am Handgelenk getragen wurde, verfolgte ihre Bewegungen, um genau zu bestimmen, wann sie schliefen und wann sie wach waren. Das Team bat die Teilnehmer zudem, einfache Schlaftagebücher zu führen. Aus diesen Daten gruppierten die Forscher die Teilnehmer in fünf verschiedene Kategorien basierend auf ihren durchschnittlichen Schlafzeiten und der Effizienz ihres Schlafs. Diese Gruppierung ermöglichte es ihnen, „Schläftypen“ als Ziele zu behandeln, ähnlich wie ein Trainer Athleten nach ihrem natürlichen Laufstil gruppieren könnte.

Der Kern der Studie bestand aus zwei Hauptschritten. Zuerst baute das Team ein Klassifikationsmodell, eine Art Computerprogramm, das in der Lage ist, einen sechs Tage dauernden Lichtplan zu betrachten und vorherzusagen, zu welcher der fünf Schlaf-Kategorien eine Person gehört. Sie testeten dieses Modell an neuen Daten und fanden heraus, dass es die Schlaf-Kategorie mit hoher Genauigkeit korrekt identifizieren konnte. Dieses Modell wurde zum „Lehrer“ für den zweiten Teil des Systems. In der zweiten Phase verwendeten sie den Reinforcement-Learning-Algorithmus, um neue Lichtpläne zu generieren. Der Computer begann mit der ursprünglichen Lichtroutine einer Person und erhielt ein Ziel: „Ändere diesen Plan, damit die Person in eine andere Schlaf-Kategorie fällt.“ Der Algorithmus nahm kleine Anpassungen an den Lichtverhältnissen vor, wie etwa das Dimmen des Lichts am Abend oder das Aufhellen am Morgen, und fragte dann das Klassifikationsmodell: „Hat uns diese Änderung dem Ziel näher gebracht?“ Wenn die Antwort ja lautete, behielt der Computer diese Änderung bei; wenn nicht, versuchte er etwas anderes. Dieser Prozess wiederholte sich tausende Male, bis der Algorithmus einen Plan gefunden hatte, der das vorhergesagte Schlafmuster erfolgreich verschob.

Die Ergebnisse zeigten, dass der Computer tatsächlich in der Lage war, Lichtpläne zu generieren, die Menschen zu anderen Schlaf-Wach-Mustern führten. Für einige der Schlaf-Kategorien sahen die generierten Pläne sehr ähnlich aus wie die natürlichen Lichtmuster, die die Forscher bei ihren Teilnehmern beobachtet hatten. Für andere Kategorien jedoch erstellte der Computer Pläne, die ganz anders waren als das, was Menschen natürlich erleben, wobei er manchmal Lichtwerte vorschlug, die mit Standard-Heimbeleuchtung nur schwer zu erreichen wären. Die Forscher simulierten, was mit der inneren Uhr des Körpers passieren würde, wenn jemand diesen computergenerierten Plänen folgen würde. In mehreren Fällen deuteten die Simulationen darauf hin, dass die Pläne die Zeitplanung der Melatonin-Freisetzung – eines Hormons, das dem Körper signalisiert, dass es Zeit zum Schlafen ist – erfolgreich verschieben würden. Dennoch hob die Studie eine entscheidende Einschränkung hervor: Der Computer trieb die Lichtwerte manchmal in Extreme, die für den Alltag unpraktisch sind. Dies deutet darauf an, dass die Technologie zwar funktioniert, aber sorgfältig gegen das abgewogen werden muss, was für einen Menschen tatsächlich machbar ist.

Die Studie behauptet nicht, das Problem der Schlafstörungen gelöst oder ein perfektes Heilmittel gegen Jetlag gefunden zu haben. Stattdessen demonstriert sie eine neue Methode zur Erstellung personalisierter Lichtpläne. Die Forscher betonen, dass ihre Arbeit ein Prototyp ist, ein Ausgangspunkt, der das Konzept bestätigt, Machine Learning zur Gestaltung von „Licht-Diäten“ einzusetzen. Sie merken an, dass ihre Daten aus einer kleinen Gruppe junger, gesunder Erwachsener stammten, weshalb die Ergebnisse noch nicht auf alle angewendet werden können, wie etwa auf ältere Erwachsene oder Menschen mit spezifischen gesundheitlichen Problemen. Da das System zudem darauf basiert, Schlafmuster anhand von Licht vorherzusagen, anstatt die interne Chemie des Körpers direkt zu messen, basieren die Erkenntnisse auf Simulationen und statistischen Mustern statt auf direktem physiologischem Beweis. Die Autoren schlagen vor, dass diese Technologie, um ein praktisches Werkzeug zu werden, an viel größeren Gruppen von Menschen getestet und verfeinert werden muss, um sicherzustellen, dass die erstellten Lichtpläne nicht nur effektiv, sondern auch realistisch umsetzbar sind.

Letztendlich öffnet diese Forschung die Tür zu einer flexibleren Zukunft für die Schlafwissenschaft. Indem sie sich von starren Einheitsregeln weg und hin zu adaptiven, lernenden Systemen bewegt, können Wissenschaftler schließlich Lichtempfehlungen anbieten, die nahtlos in das tatsächliche Leben eines Menschen passen. Der Computer muss eine Person nicht dazu zwingen, eine Stunde lang in ein helles Licht zu starren; er kann subtile Änderungen der Beleuchtung in einem Zuhause oder Büro vorschlagen, die sich über Tage hinweg summieren, um die innere Uhr des Körpers sanft zurückzusetzen. Obwohl die aktuelle Version des Systems noch in einem frühen Stadium ist, stellt die Fähigkeit, diese maßgeschneiderten Pläne mittels Reinforcement Learning zu generieren, einen bedeutenden Fortschritt dar. Es verschiebt den Fokus von dem, was theoretisch in einem Labor möglich ist, hin zu dem, was in der realen Welt erreichbar sein könnte, und bietet einen vielversprechenden Weg zu besserem Schlaf für Menschen, die in einer Welt navigieren, die niemals wirklich schläft.