Adaptive data selection improves wearable prediction under low baseline performance

Resumen Técnico: Selección Adaptativa de Datos para la Predicción en Dispositivos Vestibles (Wearables)

Planteamiento del Problema
Los sistemas de salud basados en dispositivos vestibles enfrentan una tensión fundamental entre la necesidad de datos multimodales de alta frecuencia para una predicción precisa en tiempo real y las limitaciones prácticas de la duración de la batería del dispositivo, la carga para el usuario y la adherencia. Si bien se han propuesto estrategias de detección adaptativa para muestrear selectivamente los datos en puntos temporales informativos con el fin de optimizar presupuestos de medición limitados, su eficacia a través de individuos heterogéneos y condiciones variables de la señal aún no se comprende bien. Específicamente, no está claro si la selección adaptativa de datos proporciona beneficios uniformes o si su valor depende del rendimiento base del modelo, la riqueza de los datos y las características fisiológicas individuales.

Metodología
El estudio emplea un marco de simulación retrospectiva utilizando un conjunto de datos longitudinales recolectados de aproximadamente 40 participantes durante 30 días. Los datos incluyen señales fisiológicas continuas (frecuencia cardíaca, conteo de pasos), respuestas de evaluación ecológica momentánea (EMA) (estrés, estado de ánimo, contexto) y mediciones intermitentes de presión arterial (PA).

• Diseño Experimental: Los autores simulan presupuestos de datos restringidos limitando la proporción de ventanas de observación candidatas disponibles para el entrenamiento del modelo (que oscila entre el 20% y el 100%). El objetivo es predecir eventos de PA elevada dentro de un horizonte de 60 minutos.
• Estrategias de Selección: El estudio compara un grupo de control de selección de ventanas aleatoria contra varias políticas de selección adaptativa de datos. Estas políticas priorizan las ventanas de entrenamiento basadas en criterios específicos:
  • Basada en la incertidumbre: Prioriza las ventanas donde el modelo tiene menor confianza (probabilidad cercana a 0.5).
  • Basada en el riesgo: Prioriza las ventanas con la mayor probabilidad predicha del evento objetivo.
  • Híbrida: Combina puntuaciones de incertidumbre y riesgo.
  • Variantes temporales: Aplica estas estrategias dentro de estratos temporales (por ejemplo, por día) para asegurar la cobertura temporal.
• Modelado: Se utiliza un clasificador de Bosque Aleatorio (Random Forest) de manera consistente en todos los experimentos. Las políticas adaptativas se aplican únicamente al conjunto de entrenamiento, mientras que los conjuntos de validación y prueba permanecen fijos.
• Evaluación: El rendimiento se mide utilizando el Área Bajo la Curva Característica Operativa del Receptor (AUROC) y la puntuación F1. La "ganancia adaptativa" se define como la mejora del rendimiento de la mejor estrategia adaptativa en relación con la línea base de muestreo aleatorio bajo el mismo presupuesto.

Resultados Clave

1. Correlación Inversa con el Rendimiento Base: El hallazgo más significativo es una fuerte correlación negativa entre el rendimiento base del modelo (bajo muestreo aleatorio) y la ganancia lograda mediante la selección adaptativa.
   • Para el AUROC, la correlación es robusta (Pearson $r = -0.67$, Spearman $\rho = -0.62$, $p < 10^{-30}$). Los participantes con un bajo rendimiento base experimentaron ganancias sustanciales (hasta 0.7 de mejora en AUROC), mientras que aquellos con bases sólidas vieron mejoras limitadas o incluso negativas.
   • Se observó una tendencia similar pero más débil para las puntuaciones F1.
2. Heterogeneidad entre Individuos: Existe una variabilidad interindividual significativa. Aunque entre el 60% y el 80% de los participantes mostraron mejoras en el AUROC a través de las modalidades, las ganancias en las puntuaciones F1 fueron menores y menos consistentes. Esto sugiere que la detección adaptativa mejora más de manera confiable el rendimiento de clasificación (AUROC) que las métricas dependientes de un umbral.
3. Eficiencia del Presupuesto: Bajo presupuestos restringidos (20–40%), las estrategias basadas en la incertidumbre y las híbridas superaron consistentemente al muestreo aleatorio, particularmente para participantes con bases más débiles.
4. Matices de la Modalidad: Aunque los modelos multimodales generalmente alcanzaron un mayor rendimiento absoluto, no siempre generaron las mayores ganancias adaptativas. Configuraciones más simples (por ejemplo, solo frecuencia cardíaca) mostraron a veces mayores mejoras relativas bajo el muestreo adaptativo, lo que indica que la riqueza de la modalidad no se traduce automáticamente en una mejor utilidad de la selección de muestras.

Contribuciones Clave

• Eficacia Dependiente del Contexto: El artículo establece que la selección adaptativa de datos no es una estrategia universalmente superior. Su valor es altamente dependiente del contexto, proporcionando el mayor beneficio en entornos de "bajo rendimiento" donde el problema de predicción subyacente es difícil o las señales discriminativas son escasas.
• Cuantificación de la Variabilidad Individual: Al analizar las ganancias a nivel de participante, el estudio destaca que una política adaptativa de "talla única" es subóptima. La efectividad de estas estrategias varía significamente según la dinámica fisiológica individual y la calidad de los datos.
• Divergencia de Métricas: El trabajo demuestra una divergencia entre las mejoras de AUROC y F1, sugiriendo que el muestreo adaptativo es más efectivo para mejorar la capacidad del modelo de clasificar correctamente las instancias que para optimizar métricas de clasificación de umbral fijo.

Significancia y Reivindicaciones
Los autores concluyen que la detección adaptativa debe verse como una estrategia de optimización selectiva en lugar de un enfoque de modelado por defecto. Los hallazgos respaldan el despliegue de estrategias de detección personalizadas donde las políticas adaptativas se ajustan en función del rendimiento base de un individuo.

El estudio afirma que estos resultados ofrecen una vía práctica para reducir la carga de recolección de datos en los sistemas de salud vestibles —mejorando así la adherencia a largo plazo y la escalabilidad— sin comprometer sustancialmente el rendimiento predictivo, siempre que la selección adaptativa se aplique selectivamente a quienes más se benefician (es decir, aquellos con un rendimiento base más bajo). Los autores señalan explícitamente las limitaciones, incluyendo la naturaleza retrospectiva de la simulación y el enfoque en la predicción a corto plazo, llamando a futuros estudios prospectivos para validar estas ganancias en entornos de recolección adaptativa en vivo.