Pretraining on Sleep Data Improves non-Sleep Biosignal Tasks

Resumen Técnico: El Preentrenamiento en Datos de Sueño Mejora las Tareas de Biosignales No Relacionadas con el Sueño

Enunciado del Problema
Los modelos fundacionales de sueño han demostrado recientemente un rendimiento sólido en tareas de polisomnografía (PSG) dentro de su dominio, como la estadificación del sueño y la detección de apnea. Sin embargo, sigue siendo una pregunta abierta si los biosignales del sueño pueden servir como una distribución de preentrenamiento efectiva para aprender representaciones que se transfieran a dominios adyacentes no relacionados con el sueño, registrados durante la vigilia. Mientras que la PSG clínica típicamente utiliza montajes de EEG de baja densidad y un solo derivado de ECG debido a las limitaciones de adquisición, las grabaciones clínicas basadas en la vigilia a menudo emplean canales de mayor densidad para un análisis detallado. El desafío central consiste en determinar si las propiedades únicas de los datos de sueño —específicamente contextos continuos largos, formas de onda patológicas diversas y una alineación cruzada estricta entre modalidades— pueden superar las limitaciones de las configuraciones de sensores escasos para mejorar el rendimiento en tareas posteriores de EEG y ECG basadas en la vigilia.

Metodología
Los autores se basan en la arquitectura SleepFM (Thapa et al., 2026) para preentrenar un modelo exclusivamente con datos multimodales de solo sueño.

• Estrategia de Preentrenamiento: El modelo se somete a un preentrenamiento contrastivo multimodal de solo sueño utilizando un objetivo de dejar uno fuera. El conjunto de datos comprende 48.093 grabaciones completas de PSG nocturna (432.000 horas) de cuatro cohortes (Stanford Sleep, Bioserenity, MESA, MrOS).
• Adaptaciones Arquitectónicas: Para acomodar tareas de biosignales no relacionados con el sueño, los autores realizaron cambios arquitectónicos mínimos para aislar el efecto de la distribución de preentrenamiento:
  • Tamaño de Parche: Reducido de 5 segundos a parches de 1 segundo para preservar dinámicas transitorias (por ejemplo, ondas agudas, picos R) cruciales para tareas no relacionadas con el sueño.
  • Tamaño de Ventana: Reducido de 5 minutos a 2 minutos para el preentrenamiento para reducir los requisitos de memoria mientras se mantiene un contexto fisiológico de múltiples ciclos.
  • Codificación Posicional: Se introdujo una codificación posicional de canales (PE) durante el ajuste fino para tareas de EEG. Esto inyecta la geometría 3D de los electrodos (coordenadas x, y, z basadas en el sistema 10-20) en los embeddings, permitiendo una inferencia flexible con cantidades variables de canales.
• Evaluación Posterior: El codificador preentrenado se ajustó fino en ocho tareas posteriores en cinco conjuntos de datos de EEG (TUAB, TUEV, TUSL, CHB-MIT, BrainCapture) y tres conjuntos de datos de ECG (PTB-XL, G12EC, CPSC). Las tareas incluyeron detección de anomalías, detección de convulsiones, clasificación de eventos y detección de arritmias.
• Líneas Base: El rendimiento se comparó contra modelos entrenados desde cero (inicialización aleatoria) y contra modelos fundacionales de última generación (SOTA) preentrenados en EEG de vigilia dentro de su dominio (por ejemplo, LaBraM, BIOT, CBraMod, REVE) o en grandes corpora de ECG. Cabe destacar que el modelo preentrenado en sueño no tenía superposición de dominio con los conjuntos de prueba de EEG de vigilia, mientras que muchas líneas base SOTA se preentrenaron en corpora que contenían los datos de prueba.

Contribuciones Clave

1. Validación de Transferencia Interdominio: El artículo demuestra que los biosignales del sueño pueden servir efectivamente como una distribución de preentrenamiento para tareas de EEG y ECG basadas en la vigilia, superando consistentemente al entrenamiento desde cero.
2. Rendimiento Competitivo: A pesar de estar preentrenado únicamente con datos de sueño con montajes de baja densidad, el modelo logra un rendimiento competitivo o superior a modelos fundacionales especializados SOTA preentrenados directamente en datos de EEG de vigilia.
3. Robustez de Canales: El estudio introduce un enfoque agnóstico a los canales donde el modelo mantiene el 95% de su rendimiento con canales completos utilizando solo el 16–50% de los canales de EEG disponibles y el 41–75% de los derivaciones de ECG.
4. Rigor Metodológico: El trabajo incluye experimentos sistemáticos de ablación de canales y evalúa la transferencia a través de conjuntos de datos y protocolos heterogéneos, distinguiendo entre puntos de referencia dentro de la distribución y transferencia de validación externa.

Resultados

• Tareas de EEG: El preentrenamiento en sueño mejoró consistentemente el rendimiento en los cinco conjuntos de datos de EEG.
  • En TUAB (detección de anomalías), SleepFM1 con 3,8 millones de parámetros (con PT+PE) logró una precisión equilibrada de 0,825, superando a LUNA-Huge (311 millones de parámetros, 0,816) y LaBraM-Large (46 millones, 0,823), a pesar de carecer de la superposición de dominio directa de este último.
  • En TUSL (enlentecimiento) y CHB-MIT (convulsiones), el modelo logró resultados SOTA, superando a FEMBA, EEGFormer y BIOT.
  • En BrainCapture, el modelo superó sustancialmente a BENDR y LaBraM.
  • Los resultados de la sonda lineal indicaron que el codificador preentrenado ya producía representaciones informativas sin ajuste fino, siendo el ajuste fino completo una fuente de ganancias adicionales.
• Tareas de ECG: En un experimento de transferencia de validación externa (ajustado fino en Code-15, evaluado en PTB-XL, G12EC, CPSC), el preentrenamiento en sueño mejoró consistentemente el rendimiento sobre la inicialización aleatoria. Aunque las ganancias fueron menores que en las tareas de EEG, el modelo superó a las líneas base supervisadas como Inception Time y 1DResNet en PTB-XL.
• Eficiencia de Canales: La degradación del rendimiento fue mínima al reducir la cantidad de canales. Para EEG, el 16–50% de los canales fue suficiente para alcanzar el 95% del rendimiento con canales completos. Para ECG, el 41–75% de las derivaciones fue suficiente.

Significado y Afirmaciones
El artículo afirma que la riqueza fisiológica de los datos de sueño —caracterizada por contextos continuos largos que capturan diversos estados fisiológicos, representaciones amplias de formas de onda anormales (por ejemplo, patrones epilépticos, arritmias) y una alineación cruzada estricta entre cerebro, corazón y respiración— proporciona una estructura auto-supervisada rica para aprender representaciones transferibles.

Los autores argumentan que estas propiedades permiten que un modelo entrenado exclusivamente en PSG de sueño genere representaciones competitivas con modelos entrenados directamente en EEG de vigilia, incluso sin superposición de dominio. Esto sugiere que los datos de sueño pueden servir como un corpus de preentrenamiento escalable y denso en información para modelos fundacionales de biosignales, reduciendo potencialmente la necesidad de conjuntos de datos de vigilia etiquetados extensos, particularmente en entornos con recursos limitados. Los hallazgos apoyan la viabilidad del sueño como una distribución de preentrenamiento para la modelación general de biosignales, con evidencia particularmente sólida en EEG y evidencia alentadora, aunque más limitada, en configuraciones de transferencia externa de ECG.