Simulated Light Schedules for Sleep-Wake Adjustments: Exploring the Incorporation of Reinforcement Learning

인류 역사의 대부분 동안 우리의 내부 시계는 태양에 의해 설정되었습니다. 우리는 새벽과 함께 깨어나고 황혼과 함께 잠들었으며, 이는 눈에 들어오는 빛에 의해 동기화된 리듬이었습니다. 그러나 오늘날 우리는 결코 진정으로 꺼지지 않는 인공 빛의 세상에서 살고 있습니다. 이 지속적인 빛은 신체의 생물학적 타이밍 시스템을 혼란시켜, 수면을 얕게 느껴지게 하거나 부적절한 시간에 깨어 있게 만들 수 있습니다. 과학자들은 음식, 온도, 소음보다 빛이 우리 몸에 휴식할 때와 활동할 때를 알려주는 가장 주요한 신호라는 것을 오래전부터 알고 있었습니다. 흐트러진 수면 일정을 바로잡기 위해 연구자들은 전통적으로 사람들이 밝은 빛을 응시하거나 특정 시간에 완전한 어둠 속에 앉아 있도록 강요하는 경직되고 종종 불편한 계획들에 의존해 왔습니다. 이러한 방법들은 이론적으로는 작동하지만, 직업, 가족, 사회 생활이 완벽한 실험실 일정에 맞지 않는 실제 삶 속에서는 유지하기가 어렵습니다. 과제는 사람이 일상적인 루틴을 포기하도록 요구하지 않으면서, 빛을 사용하여 신체를 건강한 리듬으로 부드럽게 유도할 방법을 찾는 것이었습니다.

모나쉬 대학교 말레이시아 캠퍼스의 연구팀은 컴퓨터가 이러한 빛 일정을 설계하는 법을 배우도록 가르침으로써 이 문제에 대한 새로운 접근 방식을 취했습니다. 고정된 규칙이나 미리 작성된 매뉴얼을 사용하는 대신, 그들은 강화 학습이라고 알려진 인공지능의 한 유형을 사용하는 시스템을 구축했습니다. 악기를 배우는 학생을 상상해 보십시오. 학생은 음을 하나 연주해 보고, 소리가 맞는지 들은 다음, 다음 시도를 위해 손가락 위치를 조정합니다. 연구진은 이와 동일한 시행착오 논리를 빛에 적용했습니다. 그들은 컴퓨터 알고리즘이 학생 역할을 하며, 특정 수면 목표를 달-성하기 위해 사람의 일일 빛 노출을 수정하려고 시도하는 디지털 프레임워크를 만들었습니다. 컴퓨터는 단순히 추측하는 것이 아니라, 실제 인간 행동 데이터베이스로부터 학습합니다. 컴퓨터는 빛의 패턴이 사람들이 실제로 언제 잠들고 깨어나는지와 어떻게 관련되어 있는지를 살펴본 다음, 반복적으로 빛 일정을 미세하게 조정하여 그 사람이 원하는 수면 시간에 더 가까워지는지 확인합니다.

이 시스템을 훈련시키기 위해 연구진은 먼저 실제 세계의 데이터가 필요했습니다. 그들은 주로 대학생들로 구성된 19명의 젊은 성인을 모집하여 6일 동안 두 개의 작은 장치를 착용하도록 했습니다. 펜던트처럼 착용하는 한 장치는 하루 동안 눈에 들어오는 빛을 측정하여, 단순히 밝기뿐만 아니라 신체의 내부 시계에 영향을 미치는 빛의 특정 색상까지 포착했습니다. 다른 한 장치는 손목에 착용하여 움직임을 추적함으로써 정확히 언제 잠들고 언제 깨어 있는지를 결정했습니다. 연구팀은 참가자들에게 간단한 수면 일기를 작성하도록 요청하기도 했습니다. 이 데이터를 바탕으로 연구진은 평균 수면 시간과 수면 효율성에 따라 참가자들을 다섯 가지 뚜렷한 범주로 분류했습니다. 이러한 그룹화는 마치 코치가 운동선수들을 타고난 달리기 스타일에 따라 분류하는 것처럼, '수면 유형'을 목표로 취급할 수 있게 해주었습니다.

연구의 핵심은 두 가지 주요 단계로 구성되었습니다. 첫째, 연구팀은 6일간의 빛 일정을 보고 그 사람이 다섯 가지 수면 범주 중 어디에 속하는지 예측할 수 있는 컴퓨터 프로그램인 분류 모델을 구축했습니다. 그들은 이 모델을 새로운 데이터로 테스트했으며, 높은 정확도로 수면 범주를 식별할 수 있음을 발견했습니다. 이 모델은 시스템의 두 번째 부분을 위한 '교사'가 되었습니다. 두 번째 단계에서 그들은 강화 학습 알고리즘을 사용하여 새로운 빛 일정을 생성했습니다. 컴퓨터는 사람의 원래 빛 루틴에서 시작하여 목표를 부여받았습니다: "이 일정을 변경하여 이 사람이 다른 수면 범주에 속하게 하라." 알고-리즘은 저녁에 조명을 어둡게 하거나 아침에 밝게 하는 등 빛의 수준을 미세하게 조정하고, 그다음 분류 모델에게 "이 변화가 목표에 더 가까워졌는가?"라고 물었습니다. 만약 답이 '예'라면 컴퓨터는 그 변화를 유지했고, 그렇지 않다면 다른 것을 시도했습니다. 이 과정은 알고리즘이 성공적으로 수면 패턴을 변화시키는 일정을 찾을 때까지 수천 번 반복되었습니다.

결과는 컴퓨터가 실제로 사람들이 다른 수면-각성 패턴으로 이동할 수 있는 빛 일정을 생성할 수 있음을 보여주었습니다. 일부 수면 범주의 경우, 생성된 일정은 연구진이 참가자들에게서 관찰한 자연스러운 빛 패턴과 매우 유사했습니다. 그러나 다른 범주의 경우, 컴퓨터는 사람들이 자연스럽게 경험하는 것과는 상당히 다른 일정을 만들어냈으며, 때로는 일반적인 가정 조명으로는 구현하기 어려운 빛 수준을 제안하기도 했습니다. 연구진은 누군가가 컴퓨터가 생성한 일정을 따랐을 때 신체의 내부 시계에 어떤 일이 일으로 일어날지 시뮬레이션했습니다. 여러 사례에서 시뮬레이션은 해당 일정이 수면을 알리는 호르몬인 멜라토닌 분비 타이밍을 성공적으로 변화시킬 것임을 시사했습니다. 그럼에도 불구하고, 이 연구는 중요한 한계를 강조했습니다: 컴퓨터가 때때로 일상생활에서 실천하기 어려운 극단적인 빛 수준으로 몰아붙였다는 점입니다. 이는 기술은 작동하지만, 사람이 실제로 할 수 있는 것과 정밀하게 균형을 맞추어야 함을 시사합니다.

이 연구는 수면 장애를 해결하거나 시차 적응을 위한 완벽한 치료법을 찾았다고 주장하는 것이 아닙니다. 대신, 개인 맞춤형 빛 계획을 만드는 새로운 방법을 보여줍니다. 연구진은 자신들의 작업이 프로토타입이며, 머신 러닝을 사용하여 '빛 다이어트'를 설계하는 개념을 증명하는 출발점임을 강조합니다. 그들은 데이터가 소수의 건강한 젊은 성인으로부터 왔으므로, 그 결과를 고령자나 특정 건강 상태가 있는 사람들에게 아직 적용할 수 없다고 언급합니다. 또한, 이 시스템은 신체의 내부 화학 물질을 직접 측정하기보다는 빛을 기반으로 수면 패턴을 예측하는 것에 의존하기 때문에, 연구 결과는 직접적인 생리학적 증거보다는 시뮬레이션과 통계적 패턴에 기반하고 있습니다. 저자들은 이 기술이 실용적인 도구가 되기 위해서는 훨씬 더 큰 규모의 집단을 대상으로 테스트되어야 하며, 생성된 빛 일정이 효과적일 뿐만 아니라 따르기에도 현실적이라는 것을 보장하도록 정교해져야 한다고 제안합니다.

궁극적으로, 이 연구는 수면 과학을 향한 더 유연한 미래의 문을 열어줍니다. 획일적인 규칙에서 벗어나 적응형 학습 시스템으로 나아감으로써, 과학자들은 결국 사람의 실제 삶에 자연스럽게 녹아드는 빛 권장 사항을 제공할 수 있을 것입니다. 컴퓨터는 사람이 한 시간 동안 밝은 빛을 응시하도록 강요할 필요가 없습니다. 대신 며칠 동안 축적되어 신체 시계를 부드럽게 재설정할 수 있도록 집이나 사무실의 조명을 미세하게 조정할 것을 제안할 수 있습니다. 현재 버전의 시스템은 여전히 초기 단계에 있지만, 강화 학습을 사용하여 이러한 맞춤형 일정을 생성하는 능력은 중요한 진전을 의미합니다. 이는 연구의 초점을 실험실에서 이론적으로 가능한 것에서 실제 세계에서 달성 가능한 것으로 옮기며, 잠들지 않는 세상에서 살아가는 사람들을 위한 더 나은 수면을 향한 유망한 경로를 제시합니다.