Resumen Técnico: OpenMHC: Acelerando la Ciencia de los Modelos Fundacionales de Wearables

Declaración del Problema

Si bien los dispositivos móviles y los wearables ofrecen oportunidades sin precedentes para el monitoreo de salud continuo y pasivo, el campo de la IA de salud para wearables se ve obstaculizado por la falta de datos abiertos y a gran escala. Los principales modelos fundacionales de wearables suelen entrenarse con conjuntos de datos propietarios que no están disponibles públicamente, y sus pesos de modelo y código de entrenamiento rara vez son de código abierto. Los conjuntos de datos públicos existentes suelen ser de pequeña escala, utilizan sensores especializados de grado de investigación o carecen de la profundidad longitudinal y la diversidad necesarias para entrenar y evaluar modelos fundacionales. Este silo de datos limita la reproducibilidad, la participación más amplia de la comunidad y la capacidad de establecer puntos de referencia (benchmarks) estandarizados para comparar modelos en diversos dominios de salud.

Metodología

Los autores abordan estas brechas mediante la curación de OpenMHC (OpenMyHeartCounts), un conjunto de datos y un benchmark integral de acceso abierto derivado del estudio My Heart Counts (MHC), un estudio de salud cardiovascular a gran escala realizado en la Universidad de Stanford.

1. El Conjunto de Datos OpenMHC

• Escala y Alcance: El conjunto de datos comprende registros longitudinales de 11,894 participantes que dieron su consentimiento, recolectados durante un lapso de 13 años (2012–2025). Incluye 67 millones de horas de datos de wearables a nivel de minuto.
• Modalidades de Datos:
  • Datos de Sensores Pasivos: 19 canales de sensores con resolución de un minuto, que incluyen conteo de pasos, distancia, pisos subidos, frecuencia cardíaca, energía activa, sueño (dormido/en cama) y 10 tipos de entrenamiento. Los datos se obtienen de Apple HealthKit a través de iPhones y Apple Watches (y otros dispositivos compatibles).
  • Variables Vinculadas: 169 variables de autoinforme y variables dispersas de HealthKit que cubren demografía, condiciones médicas, constantes vitales, biomarcadores, bienestar mental, sueño y estilo de vida.
• Demografía: Los participantes pertenecen principalmente a EE. UU. (~90%), con cohortes más pequeñas del Reino Unido y Hong Kong. La cohorte abarca 92 modelos de dispositivos distintos e incluye usuarios con hasta 10.7 años de historial de datos, aunque la participación mediana es más corta debido al desgaste típico de la salud móvil (mHealth).
• Preprocesamiento: Los autores desarrollaron un pipeline riguroso para construir matrices diarias de nivel de minuto ($19 \times 1440$), gestionando la heterogeneidad de los dispositivos, la ausencia de datos (tiempo de no uso) y los valores atípicos fisiológicos. Definen heurísticas específicas para la detección de no uso y la imputación de datos faltantes.

2. El Benchmark OpenMHC

Para permitir una evaluación estandarizada, los autores establecieron un benchmark unificado con tres pistas:

• Pista 1: Tareas Predictivas: 32 tareas supervisadas en cinco dominios (Demografía, Condiciones Médicas, Constantes Vitales y Biomarcadores, Bienestar Mental, Sueño y Estilo de Vida). Las tareas incluyen clasificación binaria, clasificación ordinal y regresión.
• Pista 2A: Generativa (Imputación): Evaluación de métodos para reconstruir datos de sensores faltantes. Esto incluye la Imputación de un solo día (enmascaramiento dentro de una ventana de 24 horas) y la Imputación de contexto largo (aprovechando hasta 7 días de historial). Las estrategias de enmascaramiento simulan fallos del mundo real: estructurales (ruido aleatorio, cortes temporales, pérdida de señal) y semánticos (brechas de sueño, brechas de entrenamiento, fallos de intensidad).
• Pista 2B: Generativa (Pronóstico): Pronóstico de resolución horaria de las próximas 24 horas de datos de wearables basados en trayectorias históricas.

3. Marco de Evaluación

El benchmark emplea Métricas de Evaluación Unificadas para agregar el rendimiento a través de tareas heterogéneas:

• Puntuación de Habilidad (Skill Score, $S$): Mide la reducción relativa del error frente a un modelo de referencia fijo (por ejemplo, Lineal para predicción, LOCF para imputación, Naive Estacional para pronóstico).
• Rango Promedio: Evalúa la consistencia a través de las tareas.
• Puntuación de Habilidad de Equidad (Fairness Skill Score): Evalúa la paridad de rendimiento entre subgrupos demográficos sensibles (sexo y edad).

Contribuciones Clave

1. Lanzamiento de OpenMHC: El conjunto de datos de acceso abierto más grande y completo de wearables hasta la fecha, que permite el preentrenamiento y la evaluación a gran escala de modelos fundacionales sobre datos de consumo del mundo real.
2. Primer Benchmark Público a Gran Escala: Una suite de evaluación estandarizada que cubre tareas predictivas, de imputación y de pronóstico que reflejan la complejidad de los datos de wearables del mundo real (ausencia de datos, muestreo irregular, heterogeneidad).
3. Implementaciones de Código Abierto: Los autores proporcionan las primeras implementaciones de código abierto de modelos fundacionales de wearables recientes, específicamente el Modelo de Comportamiento de Salud de Wearables (WBM) de Apple y el Gran Modelo de Sensores (LSM-2) de Google, junto con baselines clásicos (XGBoost, MultiRocket, GRU-D) y modelos fundacionales de series temporales (Chronos-2, Toto).

Resultados

Los autores evaluaron una gama de modelos en el benchmark OpenMHC:

• Tareas Predictivas (Pista 1):

  • LSM-2 (el autoencoder enmascarado de Google) logró el mejor rendimiento general (Rango Promedio $R=2.20$, Puntuación de Habilidad $S=+15.1\%$), superando a otros modelos fundacionales y métodos clásicos.
  • XGBoost fue el competidor más cercano ($R=3.52$, $S=+11.6\%$), particularmente fuerte en Demografía, destacando que los modelos simples bien ajustados siguen siendo altamente competitivos.
  • WBM (el modelo contrastivo de Apple) tuvo un desempeño inferior en este entorno, probablemente debido a su dependencia de segmentos semanales contiguos, lo que reduce los datos utilizables dado el carácter disperso del uso real.
  • GRU-D logró la puntuación de equidad más alta, sugiriendo un mejor paridad de rendimiento entre subgrupos demográficos.
  • LLMs: Los LLMs de la familia Gemini evaluados en entornos zero-shot y few-shot generalmente tuvieron un desempeño inferior al baseline Lineal, fallando en la extracción de suficiente señal de las representaciones de texto o visión de los datos.

• Imputación (Pista 2A):

  • LSM-2-Sparse (contexto de 7 días) logró los mejores resultados ($S=+64.7\%$), superando significativamente a los baselines estadísticos y a otros modelos neuronales como BRITS y DLinear.
  • Los resultados sugieren que los modelos entrenados específicamente en patrones de ausencia realistas (como LSM-2) se generalizan mejor a las brechas estructuradas encontradas en los datos de wearables que los modelos entrenados con enmascaramiento aleatorio.

• Pronóstico (Pista 2B):

  • Chronos-2 (ajustado/fine-tuned) logró el mejor rendimiento general ($R=3.56$, $S=+37.6\%$).
  • Sin embargo, los modelos fundacionales mostraron puntuaciones de equidad más bajas en comparación con DLinear, indicando que las ganancias de precisión no necesariamente se tradujeron en un rendimiento equitativo entre grupos demográficos.

Significancia y Reivindicaciones

El artículo afirma que OpenMHC democratiza la investigación de la IA de salud para wearables al proporcionar la infraestructura necesaria (datos, código, benchmarks) para la ciencia reproducible. Las ideas clave derivadas del estudio incluyen:

• Los Objetos de Preentrenamiento Importan: La elección del objetivo de preentrenamiento (por ejemplo, reconstrucción enmascarada frente a aprendizaje contrastivo) impacta significativamente en el desempeño posterior, pareciendo que la reconstrucción enmascarada es más adecuada para la naturaleza dispersa e irregular de los datos de wearables.
• Simplicidad vs. Complejidad: Los modelos simples fuertes y bien ajustados (como XGBoost) siguen siendo altamente competitivos con arquitectas de aprendizaje profundo complejas, lo que advierte contra la complejidad innecesaria.
• Contexto Longitudinal: Aprovechar el historial personal extendido (por ejemplo, ventanas de 7 días) proporciona beneficios claros para la imputación y el pronóstico, señalando una dirección prometedora para la investigación futura.
• El Acceso a los Datos es el Cuello de Botella: El campo no está limitado por restricciones algorítmicas, sino por el acceso a los datos; OpenMHC busca eliminar esta barrera para fomentar una participación más amplia de la comunidad y acelerar el progreso.

Los autores señalan explícitamente las limitaciones, incluyendo el sesgo demográfico (predominantemente blanco, masculino, basado en EE. UU.) y el hecho de que los resultados son autoinformados en lugar de clínicamente adjudicados, lo que significa que las tareas se enmarcan como detección/caracterización en lugar de predicción de eventos clínicos prospectivos.