Is Self-Pretraining really useful to improve diagnosis in medical Time Series?

Resumen Técnico: ¿Es realmente útil el Preentrenamiento Propio para mejorar el diagnóstico en series temporales médicas?

Planteamiento del Problema
El artículo aborda el desafío de desarrollar modelos de aprendizaje profundo de alto rendimiento para el análisis de series temporales médicas, particularmente en escenarios donde los datos etiquetados son escasos, costosos o inaccesibles debido a restricciones de privacidad. Mientras que el Aprendizaje Auto-Supervisado (SSL, por sus siglas en inglés) típicamente depende de grandes conjuntos de datos externos para aprender representaciones transferibles, los autores investigan el Preentrenamiento Propio (SPT). El SPT se define como un escenario donde un modelo es preentrenado directamente sobre el mismo conjunto de datos objetivo (utilizando su porción no etiquetada o vistas alternativas) antes del ajuste fino (fine-tuning), en lugar de aprovechar datos fuera del dominio. El estudio busca determinar si el SPT puede mejorar eficazmente los modelos basados en transformers para tareas de diagnóstico médico (robótica de rehabilitación, detección de estrés y detección de la enfermedad de Parkinson) sin requerir cambios arquitectónicos específicos de la tarea o fuentes de datos externas.

Metodología
Los autores evalúan arquitecturas de tipo transformer a través de tres conjuntos de datos de series temporales médicas distintos:

1. CAMARGO 2021: Datos biomecánicos de marcha multimodales (IMUs y EMG) para la clasificación de la locomoción.
2. Dataset de Estrés No-EEG: Señales fisiológicas portátiles (EDA, temperatura, aceleración, HR, SpO2) para la detección de estrés.
3. Marcha de la Enfermedad de Parkinson: Datos de sensores de fuerza de las interacciones pie-suelo para la detección de Parkinson.

Diseño Experimental:

• Arquitectura: Se utiliza un backbone de Transformer estándar para todos los experimentos. El modelo procesa ventanas de series temporales mediante proyección, codificación posicional, auto-atención de múltiples cabezales (multi-head self-attention) y capas de alimentación hacia adelante (feed-forward).
• Regímenes de Entrenamiento: Los modelos se comparan bajo dos condiciones: (1) Entrenamiento desde cero (solo supervisado) y (2) SPT seguido de Ajuste Fino.
• Estrategias de Enmascaramiento: Durante la fase de SPT, los modelos son entrenados para reconstruir segmentos de entrada enmascarados utilizando cuatro políticas de enmascaramiento distintas para sondear diferentes estructuras temporales y trans-canales:
  • Punto a punto (Point-wise): Enmascaramiento de escalares aleatorios (denoising).
  • Bloque (Block): Enmascaramiento de segmentos temporales contiguos (contexto de largo alcance).
  • Columna (Column): Enmascaramiento de canales de características completos (inferencia trans-modal).
  • Mixto (Mixed): Una unión lógica de las estrategias anteriores.
• Variables: El estudio varía sistemáticamente la profundidad del modelo (1, 2 y 3 capas) y evalúa el rendimiento tanto en entradas univariantes (un solo sensor) como multivariantes (todos los sensores).
• Evaluación: El rendimiento se mide utilizando precisión (accuracy), puntuación F1, sensibilidad (recall) y especificidad, evaluando la significancia estadística mediante la prueba de Wilcoxon signed-rank.

Contribuciones Clave

1. Evaluación Sistemática del SPT en Contextos Médicos: El artículo proporciona el primer examen sistemático del SPT específicamente para series temporales médicas, distinguiéndolo del SSL general al centrarse en el preentrenamiento in-domain.
2. Análisis Univariante y Multivariante: El estudio demuestra que el SPT beneficia no solo a configuraciones multivariantes complejas, sino también a entradas univariantes simples, desafiando la suposición de que el preentrenamiento requiere datos masivos multimodales.
3. Comparación de Estrategias de Enmascaramiento: Los autores identifican que la efectividad del SPT depende de la alineación entre la estrategia de enmascaramiento y la estructura inherente de los datos (por ejemplo, el enmascaramiento por bloques se adapta a los datos de marcha periódicos, mientras que el enmascaramiento mixto se adapta a los datos fisiológicos heterogéneos).
4. Sinergia Dependiente de la Profundidad: La investigación destaca que los beneficios del SPT escalan con la profundidad del modelo, donde los transformers más profundos aprovechan de manera más efectiva las representaciones enriquecidas aprendidas durante el preentrenamiento que los modelos más superficiales.

Resultados

• Ganancias de Rendimiento: En todos los conjuntos de datos y configuraciones, el SPT mejoró consistentemente la precisión de clasificación entre 0 y 6 puntos porcentuales en comparación con el entrenamiento desde cero.
• Hallazgos Univariantes: Incluso con entradas de un solo sensor, el SPT proporcionó mejoras mensurables. Por ejemplo, en el dataset de Parkinson, el SPT produjo una ganancia de precisión >6% en profundidades intermedias (2 capas) para sensores específicos.
• Hallazgos Multivariantes:
  • SPT-Block funcionó mejor en datos con estructura temporal (marcha de Parkinson), alcanzando una precisión de 0.964 en la profundidad 2.
  • SPT-Column mostró el escalamiento más fuerte con la profundidad en configuraciones multimodales (CAMARGO), alcanzando 0.869 de precisión en la profundidad 3.
  • SPT-Mixed proporcionó las mejoras más estables en datasets heterogéneos como el de Estrés.
• Dinámicas de Optimización: Los autores observan que el SPT actúa como un "arranque cálido estructurado" (structured warm-start), reduciendo la varianza del gradiente y la nitidez del paisaje de pérdida (loss landscape sharpness). Esto permite que los modelos más profundos converjan de manera más suave y eviten mínimos locales pobres, particularmente cuando los datos etiquetados son limitados.

Significancia y Reivindicaciones
El artículo concluye que el SPT es una estrategia simple, general y efectiva para mejorar el rendimiento de los transformers en tareas de series temporales médicas. Su principal significancia radica en su capacidad para mejorar la robustez y la precisión en entornos clínicos con datos limitados sin requerir:

• Datasets externos (que pueden ser inaccesibles o heterogéneos).
• Modificaciones arquitectónicas específicas de la tarea.
• Datos etiquetados adicionales.

Los autores afirman que el SPT desacopla el aprendizaje de la representación temporal de la dependencia de las etiquetas, ofreciendo una vía práctica para desplegar modelos de IA más fiables en el cuidado de la salud. Mencionan modestamente que el grado de mejora depende de la estructura temporal inherente de los datos y que el trabajo futuro debería explorar el SPT en pronóstico (forecasting), segmentación y datos con muestreo irregular.