A Comparative Study of Deep Learning Architectures for Multi-Horizon Behavioural Forecasting for Mobile Health

Lo esencial

Imagina que tienes un reloj inteligente que rastrea tu vida las 24 horas del día, los 7 días de la semana: cuántos pasos das, cuánto tiempo miras el teléfono y qué tan bien duermes. El objetivo de esta investigación es construir una "bola de cristal" que pueda observar tus datos pasados y predecir cómo será tu comportamiento mañana, la próxima semana o incluso dentro de ocho días.

Los investigadores quisieron encontrar la mejor "bola de cristal" (un modelo informático) para este trabajo. Probaron nueve tipos diferentes de modelos con datos de más de 800 personas para ver cuál podía predecir tus hábitos futuros con mayor precisión.

Aquí está el desglose de sus hallazgos, utilizando analogías sencillas:

1. Los Concursantes: ¿Quiénes son las "Bolas de Cristal"?

Los investigadores enfrentaron tres tipos de modelos entre sí:

• Los "Clásicos" (Modelos Estadísticos): Estos son como meteorólogos de la vieja escuela que solo miran la lluvia de los últimos días para adivinar el clima de mañana. Son simples, pero a menudo pierden la visión general.
• Los "Aprendices Profundos" (IA Entrenada): Estos son como estudiantes que estudian un libro de texto masivo sobre los hábitos de todos (más de 800 personas) para aprender reglas generales sobre cómo se comportan los humanos. Son inteligentes, pero intentan aplicar una regla de "talla única" para todos.
• Los "Modelos de Base" (Expertos Zero-Shot): Estos son como genios que ya han leído todos los libros de la biblioteca (miles de millones de puntos de datos) antes de conocerte. No han estudiado tus hábitos específicos, pero intentan adivinar tu futuro basándose en su enorme conocimiento general, sin necesidad de estudiarte primero.

2. El Gran Descubrimiento: No existe un único "Mejor Modelo"

El hallazgo más importante es que ningún modelo único gana siempre. Depende enteramente de la situación, tal como un coche de carreras es excelente en una pista pero terrible en una tormenta de nieve.

• El modelo "PatchTST": Este fue el estudiante estrella entre los "Aprendices Profundos". Funcionó mejor en general, especialmente para predecir pasos y tiempo de pantalla. Piensa en él como el generalista más fiable.
• El modelo "TimesFM": Este es el genio "Zero-Shot". No necesitó estudiar al grupo específico de personas para hacer un gran trabajo. De hecho, cuando no había muchos datos disponibles (como en un grupo pequeño de personas), TimesFM funcionó tan bien como, o incluso mejor que, los modelos que habían pasado meses estudiando los datos. Es como un chef que puede cocinar una comida perfecta para un extraño sin haber visto nunca su cocina.
• La Sorpresa del "Sueño": Predecir el sueño fue complicado. Debido a que el sueño de las personas es muy regular, un modelo muy simple que simplemente dice "Dormirás igual que anoche" (llamado NaiveLast) fue en realidad difícil de superar. Sin embargo, los modelos de IA complejos tuvieron dificultades aquí hasta que fueron personalizados.

3. El Arma Secreta: La "Personalización" (El Sastre)

El estudio encontró que el mayor impulso en la precisión provino de la personalización.

Imagina los modelos de "Aprendizaje Profundo" como un sastre que fabrica un traje basado en el cuerpo humano promedio. Queda bien, pero no es perfecto.
La personalización es como si el sastre tomara esas medidas y luego ajustara el traje específicamente para tus hombros y cintura.

• El Resultado: Cuando los investigadores tomaron los modelos y los "ajustaron" (fine-tuned) para cada persona individual, las predicciones fueron entre un 16% y un 60% más precisas.
• ¿Quién se benefició más?
  • Sueño: El mayor ganador. Debido a que tus hábitos de sueño son muy personales y consistentes, personalizar el modelo marcó una gran diferencia.
  • Pasos: El menor ganador. Los hábitos de caminar son más aleatorios e influenciados por factores externos, por lo que personalizar el modelo ayudó menos.
• La Advertencia: Necesitas suficientes datos para hacer esto. Si solo tienes unos pocos días de datos, intentar personalizar el modelo es como intentar cortar un traje con un trozo diminuto de tela: conduce a errores (sobreajuste o overfitting). Necesitas al menos un par de semanas de datos para que esto funcione.

4. El Problema del "Horizonte Temporal"

Los investigadores probaron predicciones para 1 día de antelación, llegando hasta 8 días de antelación.

• Corto plazo (1 día): Los modelos son bastante buenos.
• Largo plazo (8 días): La precisión disminuye naturalmente para todos, tal como un pronóstico del tiempo es menos fiable para dentro de una semana que para mañana.
• El Giro: La personalización se vuelve más valiosa cuanto más lejos en el futuro miras. Mientras que un modelo "promedio" falla al predecir tu comportamiento específico dentro de 8 días, el modelo "personalizado" se mantiene mucho más cerca de la verdad.

5. Conclusiones Prácticas para el Mundo Real

El artículo sugiere una estrategia sencilla para cualquiera que construya estas aplicaciones de salud:

1. Si aún no tienes datos: Usa el modelo "genio" TimesFM. Funciona bien de inmediato sin necesidad de aprender de ti primero.
2. Si tienes muchos datos: Usa el modelo PatchTST. Es el mejor todoterreno para aprender de un grupo grande.
3. Si quieres predecir el futuro lejano (3-8 días): Toma tu mejor modelo y personalízalo para el usuario específico. Aquí es donde ocurre la magia, especialmente para predecir el sueño.

Resumen

El artículo concluye que, si bien la IA avanzada es poderosa, el mejor enfoque no es simplemente elegir el algoritmo "más inteligente". Se trata de emparejar la herramienta adecuada con los datos que tienes y, crucialmente, personalizar la herramienta para el individuo. Así como un plan de salud genérico funciona para algunos pero no para otros, un modelo de predicción genérico funciona para la multitud, pero un modelo personalizado funciona para ti.

Resumen técnico

Resumen Técnico: Un Estudio Comparativo de Arquitecturas de Aprendizaje Profundo para la Predicción de Comportamiento Multi-horizonte para la Salud Móvil

Planteamiento del Problema
Los dispositivos portátiles (wearables) y los teléfonos inteligentes generan series temporales de comportamiento ricas (p. ej., recuento de pasos, tiempo de pantalla, duración del sueño) que poseen un potencial para intervenciones de salud proactivas. Sin embargo, faltan comparaciones sistemáticas de arquitecturas modernas de aprendizaje profundo para estos tipos de datos específicos. Los vacíos críticos identificados incluyen: (1) la falta de evaluación de arquitecturas modernas (Transformers, Modelos de Espacio de Estados) específicamente para la predicción de comportamiento continuo, ya que el trabajo previo se centra fuertemente en la clasificación; (2) el desafío de la generalización entre poblaciones, donde los modelos suelen fallar al transferirse a nuevos usuarios; y (3) la ausencia de un análisis multi-horizonte, a pesar de que las aplicaciones prácticas requieren predicciones sobre períodos extendidos (1 a 8 días) en lugar de pronósticos de un solo paso.

Metodología
El estudio compara nueve enfoques de predicción a través de tres conjuntos de datos públicos (GLOBEM, CAPTURE-24 y Continuous Wearables) que abarcan más de 800 participantes. La evaluación cubre tres paradigmas de modelado distintos:

1. Global: Un único modelo entrenado con datos agrupados de todos los usuarios de entrenamiento.
2. Modelos Fundacionales (Zero-Shot): Modelos pre-entrenados aplicados directamente sin entrenamiento específico para la tarea.
3. Personalizado: Modelos globales ajustados (fine-tuned) con los datos individuales de cada usuario.

Arquitecturas Evaluadas:

• Aprendizaje Profundo Entrenado: MLP, LSTM, Redes Convolucionales Temporales (TCN), Transformer, Mamba y PatchTST.
• Modelos Fundacionales: TimesFM (decodificador único, pre-entrenado en más de 100 mil millones de puntos temporales) y Reverso (híbrido de convolución/recurrencia).
• Líneas Base Estadísticas: Naive (Último valor), Media Móvil y ARIMA.

Configuración Experimental:

• Características: Recuento de pasos, tiempo de pantalla y duración del sueño.
• Horizontes: La predicción se evaluó a través de 1 a 8 días.
• Métricas: Error Cuadrático Medio (RMSE), Error Absoljo Medio (MAE), sMAPE simétrico y Skill Score (relativo a una línea base Naive Last).
• Estrategia de Personalización: Un procedimiento de transferencia de aprendizaje de dos etapas donde primero se establece un óptimo global, seguido de un ajuste fino en los registros individuales de los usuarios con una tasa de aprendizaje reducida.

Resultados Clave

1. Sin una Arquitectura Dominante Única: El ranking de rendimiento depende del conjunto de datos. Entre los modelos entrenados, PatchTST generalmente lidera en datos diarios (GLOBEM) para recuento de pasos y tiempo de pantalla. Sin embargo, TCN, MLP y Transformer no muestran diferencias de rendimiento significativas en muchos escenarios. Mamba demuestra robustez en datos horarios (CAPTURE-24).
2. Eficacia de los Modelos Fundacionales: TimesFM iguala o supera a los modelos entrenados en entornos zero-shot, particularmente en regímenes de pocos datos (p. ej., el conjunto de datos Wearables con N=10). Sobresale en la duración del sueño, pero muestra un skill negativo en datos horarios, lo que indica un desajuste entre su distribución de pre-entrenamiento y las señales de salud subdiarias. Reverso generalmente tuvo un desempeño inferior.
3. Impacto de la Personalización: El ajuste fino a nivel de participante reduce el RMSE por característica entre un 16 y 60%. El beneficio depende altamente de la característica:
   • Sueño: Es el que más se beneficia (reducción del 43–60%) debido a patrones individuales estables.
   • Tiempo de Pantalla: Beneficio moderado (19–36%).
   • Recuento de Pasos: Menor beneficio (16–46%).
   • Dependencia del Horizonte: Las ganancias de la personalización aumentan con el horizonte de predicción. En horizontes cortos (h=1), los modelos globales ya capturan bien los patrones de la población; en horizontes más largos (h=8), la personalización es crucial para capturar la deriva conductual individual.
4. Riesgos de Escasez de Datos: La personalización requiere suficientes datos por usuario. En conjuntos de datos con observaciones dispersas (p. ej., CAPTURE-24 con ~22 puntos horarios), el ajuste fino provocó sobreajuste y una degradación del rendimiento de hasta un 40% en horizontes largos.
5. Cuantificación de la Incertidumbre: Los intervalos de predicción empíricos para PatchTST fueron significativamente más estrechos (p. ej., ±24 min para tiempo de pantalla) en comparación con las líneas base Naive (±90 min), manteniendo una cobertura casi nominal.

Significancia y Reivindicaciones
Los autores afirman que este es el primer estudio que evalúa conjuntamente arquitecturas modernas de aprendizaje profundo, Modelos Fundacionales y estrategias de personalización para la predicción de comportamiento multi-horizonte a partir de wearables.

El estudio proporciona orientación práctica para la comunidad de salud móvil:

• Selección de Arquitectura: No existe un modelo universalmente superior; la selección debe depender del tamaño del conjunto de datos, la granularidad temporal y la longitud de la secuencia. Se recomienda PatchTST para datos diarios con suficiente historial, mientras que Mamba muestra promesa para datos de mayor frecuencia.
• Aplicabilidad de los Modelos Fundacionales: TimesFM sirve como un sólido valor por defecto en modo zero-shot cuando los datos por usuario son escasos, pero su rendimiento está condicionado por la alineación entre su dominio de pre-entrenamiento y las señales de salud objetivo.
• Estrategia de Personalización: El ajuste fino es más valioso para características con alta regularidad inter-individual (como el sueño) y para horizontes de predicción más largos. Sin embargo, requiere un umbral mínimo de datos individuales para evitar el sobreajuste.

El artículo concluye que, si bien el aprendizaje profundo ofrece mejoras significativas sobre las líneas base estadísticas, la elección de la estrategia (Global vs. Personalizada vs. Zero-Shot) debe estar dictada por las características específicas de los datos y el horizonte de predicción previsto.