Simulated Light Schedules for Sleep-Wake Adjustments: Exploring the Incorporation of Reinforcement Learning

在人类历史的大部分时间里，我们的内部时钟是由太阳设定的。我们随黎明而醒，随黄昏而眠，这种节奏由照射到眼睛里的光线同步。然而，在今天，我们生活在一个灯火永不熄灭的人造光世界中。这种持续的光亮可能会干扰身体的生物计时系统，导致睡眠感觉浅薄，或者在错误的时间感到清醒。科学家早已知晓，光是告诉身体何时休息、何时活动的 primary 信号，其重要性甚至超过了食物、温度或噪音。为了修复紊乱的睡眠周期，研究人员传统上依赖于僵化且往往令人不适的计划，强迫人们在特定时间盯着明亮的灯光或坐在完全黑暗的环境中。这些方法在理论上可行，但在现实生活中却难以维持，因为人们有工作、家庭和社会生活，无法完全契合完美的实验室日程。挑战在于，如何找到一种利用光线来温柔地引导身体回归健康节奏的方法，而不要求一个人放弃其日常生活。

马来西亚莫纳什大学的一个研究小组通过教计算机学习如何设计这些光照计划，采取了一种新的解决问题的方法。他们没有使用固定的规则或预先编写的手册，而是构建了一个使用被称为“强化学习”的人工智能系统的系统。想象一下一名学生学习乐器：他们试着弹奏一个音符，听听声音是否正确，然后为下一次尝试调整手指的位置。研究人员将这种试错逻辑应用到了光照上。他们创建了一个数字框架，其中计算机算法扮演着“学生”的角色，试图通过修改一个人日常的光照暴露量来达到特定的睡眠目标。计算机不仅仅是在猜测；它从真实的人类行为数据库中学习。它观察光照模式如何与人们实际入睡和醒来的时间相关联，然后迭代地微调光照计划，以观察是否能让人的状态更接近理想的睡眠时间。

为了训练这个系统，研究人员首先需要现实世界的数据。他们招募了 1 9 名年轻人（主要是大学生），并要求他们在六天内佩戴两种小型设备。一种像吊坠一样佩戴，用于测量全天照射到眼睛上的光线，不仅捕捉亮度，还捕捉影响身体内部时钟的特定光谱颜色。另一种佩戴在手腕上，用于追踪他们的运动，从而确定他们何时处于睡眠和清醒状态。团队还要求参与者填写简单的睡眠日记。通过这些数据，研究人员根据参与者的平均睡眠时间和睡眠效率，将他们分为五个不同的类别。这种分组方式允许研究人员将“睡眠类型”视为目标，就像教练根据运动员的自然奔跑风格进行分组一样。

这项研究的核心包含两个主要步骤。首先，团队构建了一个分类模型，这是一种可以查看六天光照计划并预测某人属于五种睡眠类别中哪一类的计算机程序。他们用新数据测试了这个模型，发现它能以极高的准确率正确识别睡眠类别。这个模型成为了系统的第二部分部分的“老师”。在第二阶段，他们使用强化学习算法来生成新的光照计划。计算机从一个人的原始光照常规开始，并获得一个目标：“改变这个计划，使这个人最终进入不同的睡眠类别。”算法会对光照水平进行细微调整，例如在晚上调暗灯光或在早晨调亮灯光，然后询问分类模型：“这次改变是否让我们离目标更近了？”如果答案是肯定的，计算机就会保留这一改变；如果不是，它会尝试其他方案。这个过程重复了数千次，直到算法找到了一个能够成功转变预测睡眠模式的计划。

结果表明，计算机确实可以生成能够引导人们向不同睡眠-觉醒模式转变的光照计划。对于某些睡眠类别，生成的计划与研究人员在参与者身上观察到的自然光照模式非常相似。然而，对于其他类别，计算机创建的计划与人们自然经历的光照情况大相径庭，有时甚至建议了一些在标准居家照明环境下难以实现的亮度水平。研究人员模拟了如果有人遵循这些计算机生成的计划，会对身体内部时钟产生什么影响。在几种情况下，模拟显示这些计划能成功改变褪黑素（一种向身体发出睡眠信号的激素）的释放时机。然而，研究也强调了一个关键的局限性：计算机有时会将光照水平推向极端，导致在日常生活中并不实用。这表明，虽然这项技术是有效的，但必须在有效性与人类实际操作的可能性之间取得平衡。

该研究并不声称已经解决了睡眠障碍问题，也没有声称找到了治疗时差的完美疗法。相反，它展示了一种创建个性化光照计划的新方法。研究人员强调，他们的工作是一个原型，是一个证明利用机器学习设计“光照饮食”这一概念可行性的起点。他们指出，由于其数据来自一小群健康的年轻人，因此结果目前还不能推广到所有人，例如老年人或患有特定疾病的人。此外，由于该系统依赖于基于光照预测睡眠模式，而非直接测量身体的内部化学变化，因此其发现是基于模拟和统计模式，而非直接的生理学证据。作者认为，要使这项技术成为实用的工具，需要在大规模人群中进行测试，并进行精细化处理，以确保其生成的计划不仅有效，而且在现实中是可以遵循的。

最终，这项研究为睡眠科学开启了一扇通往更灵活未来的大门。通过从僵化的“一刀切”规则转向自适应的学习系统，科学家们最终可能能够提供符合个人实际生活的个性化光照建议。计算机不需要强迫一个人盯着明亮的灯光看一个小时，它可以建议对家中或办公室照明进行细微的调整，这些调整会在数天内累积，从而温柔地重置身体的时钟。虽然目前的版本仍处于早期阶段，但利用强化学习生成这些定制化计划的能力，代表了向前迈出的重要一步。它将关注点从实验室中的“理论可能”转向了现实世界中的“实际可行”，为那些在永不真正停歇的世界中寻找更好睡眠的人们提供了一条充满希望的路径。