OSF: On Pre-training and Scaling of Sleep Foundation Models

이 논문은 166,500 시간 규모의 대규모 수면 데이터와 SleepBench 벤치마크를 기반으로 채널 불변성 학습과 데이터 스케일링의 중요성을 규명하고, 이를 통해 다양한 수면 및 질병 예측 과제에서 최첨단 성능을 달성한 새로운 수면 기초 모델 (OSF) 을 제안합니다.

핵심

🌙 1. 문제: "수면 검사기는 제각각이라서 AI 가 혼란스러워요"

수면 장애를 진단할 때 가장 정확한 방법은 다양한 센서 (뇌파, 호흡, 심박수 등) 를 몸에 붙이고 밤새 데이터를 기록하는 것입니다. 하지만 현실은 복잡합니다.

• 어떤 병원은 뇌파 센서만 달고, 어떤 집에서는 호흡 센서만 달아요.
• 센서가 밤중에 떨어지거나 고장 나기도 하죠.

기존의 AI 는 "센서가 다 붙어 있어야만 제 기능을 한다"는 식으로 훈련되어 있어서, 센서가 하나라도 빠지면 엉뚱한 소리를 하거나 아예 작동을 멈췄습니다. 마치 **"비행기 조종사가 모든 계기판이 다 있어야만 비행할 수 있다고 믿고, 엔진 하나만 고장 나면 비행기를 아예 내버려 둔 것"**과 비슷합니다.

🔍 2. 해결책: "수면의 달인"을 키우기 위한 3 가지 비밀

연구팀은 UCLA 와 Emory 대학의 팀이 16 만 6 천 시간이라는 어마어마한 양의 수면 데이터 (9 개 출처) 를 모았습니다. 이를 **'슬립벤치 (SleepBench)'**라는 거대한 시험장으로 삼고, AI 를 어떻게 훈련시켜야 하는지 실험했습니다.

그 결과, AI 를 '수면의 달인'으로 만들기 위한 3 가지 핵심 비법을 발견했습니다.

🕵️‍♂️ 비법 1: "센서가 하나라도 없어도 괜찮아!" (채널 불변성)

기존 AI 는 센서가 빠지면 당황했지만, 연구팀은 **"센서가 빠진 상황에서도 훈련하라"**는 규칙을 만들었습니다.

• 비유: 마치 음악을 듣는 것과 같습니다. 오케스트라 전체 소리를 들어야만 곡을 알아맞히는 게 아니라, 바이올린 소리만 들어도, 혹은 드럼 소리만 들어도 그 곡이 무엇인지 알아차릴 수 있어야 합니다.
• 연구팀은 AI 에게 "뇌파 센서가 없으면 호흡 센서로, 호흡이 없으면 심박수로 추론해봐"라고 가르쳤습니다. 그 결과, 어떤 센서가 빠지더라도 AI 는 여전히 정확한 진단을 내리게 되었습니다.

📈 비법 2: "많이 먹을수록, 많이 볼수록 똑똑해져" (확장 법칙)

기존에는 데이터가 어느 정도 쌓이면 AI 성능이 더 이상 오르지 않는 '한계'가 있었습니다. 하지만 연구팀은 데이터 양을 늘리고, AI 의 두뇌 (모델 크기) 를 키우고, 다양한 출처의 데이터를 섞어주니 성능이 계속 좋아진다는 것을 발견했습니다.

• 비유: 요리사에게 재료를 더 많이 주고, 더 넓은 부엌을 주며, 다양한 나라의 레시피를 섞어주니 요리 실력이 계속 발전하는 것과 같습니다.

🧩 비법 3: "데이터를 섞어주면 더 똑똑해져" (다양한 데이터 혼합)

한 곳의 데이터만 먹이면 편향된 사고를 하게 됩니다. 다양한 배경을 가진 사람들의 수면 데이터를 섞어주니 AI 가 더 일반적인 지혜를 얻었습니다.

• 비유: 다양한 나라의 학생들과 함께 공부하는 것이, 한 나라 학생들끼리만 공부하는 것보다 더 넓은 시야를 키워주는 것과 같습니다.

🚀 3. 결과: OSF (Open Sleep Foundation) 의 등장

이 세 가지 비법을 모두 적용해서 만든 새로운 AI 가 바로 **'OSF (Open Sleep Foundation)'**입니다.

• 성능: 기존 최고의 AI 보다 수면 단계 분류, 수면 무호흡증 발견, 그리고 당뇨나 고혈압 같은 질병 예측에서 모두 압도적인 1 위를 차지했습니다.
• 강점: 센서가 일부 고장 나거나 빠진 상황에서도 기존 AI 들이 망가질 때, OSF 는 **"괜찮아, 다른 센서로 해결할게"**라며 태연하게 임무를 수행합니다.

💡 요약: 이 연구가 우리에게 주는 메시지

이 논문은 **"AI 를 만들 때, 완벽한 환경만 가정하지 말고, 현실처럼 불완전한 상황에서도 작동하도록 훈련시켜야 한다"**는 것을 증명했습니다.

마치 비행기 조종사 훈련을 할 때, "날씨가 좋고 계기판이 모두 정상일 때만 비행하는 법"을 가르치는 게 아니라, "엔진이 고장 나고 센서가 하나 빠졌을 때도 안전하게 착륙하는 법"을 가르쳐야 진짜 위급 상황에서 생존할 수 있는 것과 같습니다.

이제 OSF 라는 새로운 AI 가 등장하여, 어떤 수면 검사 환경에서도 환자들의 건강을 더 정확하게 지켜줄 수 있게 되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 수면 평가의 금표준 (Gold Standard) 인 다중 수면 뇌파 검사 (Polysomnography, PSG) 는 뇌 활동, 호흡, 근육, 심장 활동 등 다양한 생리학적 신호를 포착합니다. 최근 대규모 PSG 데이터를 기반으로 한 수면 기초 모델 (Sleep Foundation Models, FMs) 이 등장하며 수면 단계 분류 및 질병 예측 성능이 향상되었습니다.
• 문제점:
  1. 이질성 (Heterogeneity): 기록 장비, 코호트 (집단), 연구 프로토콜에 따라 사용 가능한 채널 (신호 경로) 이 크게 다릅니다. (예: 가정용 연구는 뇌파 (EEG) 가 없고, 일부 연구는 호흡 신호가 없음).
  2. 결측 채널에 대한 취약성: 기존 기초 모델들은 학습 시 모든 채널이 존재한다고 가정하는 경우가 많아, 추론 (Inference) 시 일부 채널이 누락되면 성능이 급격히 저하됩니다.
  3. 스케일링 법칙의 부재: 데이터 양, 모델 크기, 다중 소스 데이터 혼합이 수면 모델의 성능에 어떻게 영향을 미치는지에 대한 체계적인 이해가 부족합니다.
  4. 벤치마크 부재: 다양한 소스와 채널 구성을 포괄하는 공개된 대규모 벤치마크가 부족했습니다.

2. 방법론 (Methodology)

저자들은 SleepBench라는 대규모 오픈 소스 벤치마크를 구축하고, 이를 기반으로 수면 기초 모델의 전처리 (Pre-training) 및 스케일링 전략을 체계적으로 연구했습니다.

가. SleepBench 구축

• 데이터 규모: 9 개의 공개 데이터셋 (SHHS, NCHSDB, CFS 등) 에서 수집된 166,500 시간의 PSG 기록 (21,000 개 이상의 수면 연구, 2,100 만 개 이상의 30 초 에포크).
• 표준화: 12 개 채널 (뇌: EEG/EOG, 호흡: 복부/흉부/비압/코골이, 심장: ECG, 체성: EMG) 로 표준화하여 전처리 (노이즈 제거, 정규화, 64Hz 리샘플링) 를 수행했습니다.
• 구성: 전학습 (Pre-training) 을 위한 도메인 내 (In-domain) 코호트와 도메인 외 (Out-of-domain, OOD) 평가를 위한 외부 코호트로 분리했습니다.

나. 전처리 전략 연구 (Pre-training Study)

네 가지 주요 자기지도학습 (SSL) 패밀리를 평가하고 최적의 전처리 레시피를 도출했습니다.

1. 채널 불변성 학습 (Channel-Invariant Learning):
   • 기존 모델의 결측 채널 취약성을 해결하기 위해, 학습 시 무작위로 채널을 마스킹 (Channel Masking) 하는 증강 기법을 도입했습니다.
   • SimCLR과 DINO를 기반으로 채널 마스킹을 적용한 결과, 결측 채널 환경에서도 강건한 특징을 학습하여 성능이 크게 향상됨을 확인했습니다.
2. 스케일링 법칙 (Scaling Laws) 분석:
   • 데이터 스케일링: 학습 데이터 양을 늘릴수록 성능이 선형적으로 향상됨을 확인했으나, 기존 모델은 특정 지점에서 포화 (Saturation) 되는 경향이 있었습니다.
   • 모델 용량 스케일링: 모델 파라미터 수 (1M ~ 85M) 를 늘리면 추가 데이터를 더 효과적으로 활용하여 성능이 지속적으로 향상되었습니다.
   • 다중 소스 혼합 (Multi-source Mixture): 단일 소스 데이터보다 다양한 소스의 데이터를 혼합하여 학습할 때 일반화 성능이 더 뛰어났습니다.

다. OSF (Open Sleep Foundation Model) 제안

• 위 연구 결과를 바탕으로 OSF를 개발했습니다.
• 핵심 레시피:
  1. 대규모 다중 소스 데이터 (SleepBench 전체) 사용.
  2. 모델 용량 확대 (ViT-85M 기반).
  3. **채널 불변성 증강 (Channel Masking)**을 포함한 자기지도학습 (DINO 기반) 적용.
  4. 환자 수준 예측을 위한 Top-k 선택 (Top-k Selection) 기반 에포크 임베딩 집계 전략 사용.

3. 주요 기여 (Key Contributions)

1. SleepBench 구축: 166,500 시간 규모의 가장 크고 완전한 오픈 소스 수면 벤치마크를 공개했습니다.
2. 세 가지 핵심 발견 (Key Findings):
   • 결측 채널 취약성: 기존 수면 FM 은 추론 시 채널이 누락되면 성능이 급격히 떨어집니다.
   • 채널 불변성의 중요성: 전학습 시 채널 마스킹을 통해 채널 불변 특징을 학습하는 것이 필수적입니다.
   • 일관된 스케일링: 샘플 수, 모델 용량, 다중 소스 데이터 혼합을 늘리면 하류 작업 성능이 지속적으로 향상됩니다.
3. OSF 모델 개발: 위 발견을 반영하여 다양한 수면 및 질병 예측 작업에서 SOTA(State-of-the-Art) 성능을 달성한 모델 시리즈를 제안했습니다.

4. 실험 결과 (Results)

OSF 는 9 개의 데이터셋과 8 가지 하류 작업 (수면 단계 분류, 수면 사건 감지, 질병 예측) 에서 기존 모델 (SleepFM, SimCLR, DINO, MAE 등) 을 압도하는 성능을 보였습니다.

• 수면 단계 분류 (Sleep Staging):
  • 선형 프로빙 (Linear Probing): 모든 코호트에서 가장 높은 AUC (97.398.6) 를 기록했습니다. 특히 OOD 데이터셋 (MROS) 에서 기존 모델 대비 13% 이상 향상되었습니다.
  • Few-shot 학습: 1-shot, 5-shot, 50-shot 설정 모두에서 OSF 가 가장 높은 적응 능력을 보였습니다.
• 수면 사건 감지 (Sleep Event Detection):
  • 각성 (Arousal), 저호흡 (Hypopnea), 산소 포화도 감소 (Ox. Desat.), 중추성 무호흡 (Central Apnea) 감지에서 모두 SOTA 성능을 달성했습니다.
• 질병 예측 (Disease Prediction):
  • 관상동맥 질환, 당뇨병, 고혈압 예측에서 OSF 가 가장 높은 성능을 보였으며, 특히 Top-k 선택 집계 방식이 평균 풀링 (Mean Pooling) 보다 우월함을 입증했습니다.
• 결측 채널 강건성 (Robustness):
  • 뇌 신호 (EEG) 만 있거나, 호흡 신호만 있는 등 실제 임상 환경과 유사한 결측 채널 설정에서도 OSF 는 기존 모델보다 훨씬 낮은 성능 저하를 보였습니다.
  • 호흡과 ECG 채널만으로 전학습한 경우에도 OSF 는 해당 채널을 더 효과적으로 활용하여 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 가정용 수면 모니터링 기기나 채널이 제한된 임상 환경에서도 신뢰할 수 있는 AI 모델을 구축할 수 있는 길을 열었습니다.
• 방법론적 통찰: 수면 생리 신호에 특화된 전처리 전략 (채널 마스킹) 과 스케일링 법칙을 규명하여, 향후 생리학적 기초 모델 개발에 중요한 가이드라인을 제시했습니다.
• 오픈 과학: 모든 코드, 체크포인트, 데이터 벤치마크 (SleepBench) 를 공개하여 연구 커뮤니티의 재현성과 발전을 촉진합니다.

결론적으로, 이 논문은 단순히 성능을 개선하는 것을 넘어, 수면 기초 모델이 왜 그리고 어떻게 일반화되어야 하는지에 대한 체계적인 이론적, 실증적 근거를 제시한 획기적인 연구입니다.