Los dispositivos ponibles como los relojes inteligentes se han transformado de simples rastreadores de actividad física en poderosas herramientas para el monitoreo continuo de la salud, ofreciendo una ventana a los ritmos del cuerpo que antes solo estaba disponible en un hospital. Estos dispositivos recolectan un flujo constante de datos, como la frecuencia cardíaca, las etapas del sueño y el movimiento, creando una línea de tiempo detallada del estado fisiológico de una persona. Sin embargo, estos datos rara vez son perfectos. Los sensores pueden perder contacto con la piel, las baterías pueden agotarse o la conectividad puede caerse, dejando brechas en la línea de tiempo. Cuando estas brechas ocurren, suelen suceder en grupos; si el sensor pierde contacto, deja de registrar múltiples mediciones a la vez, en lugar de simplemente saltarse un solo número de vez en cuando. Para dar sentido a esta imagen incompleta, los científicos utilizan modelos computacionales para rellenar las piezas faltantes, un proceso llamado imputación. La calidad de estos valores rellenados es crítica, ya que forman la base para cualquier futura predicción de salud, como pronosticar una convulsión o detectar una infección. Si el modelo adivina incorrectamente, todo el análisis de salud construido sobre él podría ser erróneo.

Durante años, los investigadores han probado estos modelos de relleno utilizando un método que asume que los datos faltantes ocurren de forma aleatoria, como gotas de lluvia cayendo sobre una ventana. Tomaban un conjunto de datos completo, borraban algunos puntos al azar y veían si el modelo podía adivinarlos de nuevo. Este enfoque, sin embargo, no refleja cómo fallan realmente los dispositivos ponibles. En el mundo real, cuando un sensor deja de funcionar, a menudo deja una brecha larga y continua donde muchas mediciones diferentes faltan simultáneamente. Un nuevo estudio de Skye Goodman y sus colegas de la Universidad de Bristol, la Universidad de Manchester y la Universidad de Birmingham desafía la vieja forma de probar. Al analizar datos de una persona con epilepsia que usaba un reloj inteligente Garmin, los investigadores desarrollaron un nuevo protocolo de prueba que imita estas brechas agrupadas y realistas. Descubrieron que la forma estándar de probar los modelos estaba ocultando sus verdaderas debilidades y fortalezas, y que simplemente cambiar cómo se entrenan y prueban los modelos podría mejorar drásticamente su rendimiento.

Los investigadores comenzaron estudiando los patrones específicos de los datos faltantes en su conjunto de datos. Descubrieron que las nueve métricas de salud diferentes registradas por el reloj no fallaban de forma independiente. En cambio, estaban estrechamente vinculadas al hardware que las producía. Por ejemplo, la frecuencia cardíaca, los intervalos entre latidos y las puntuaciones de estrés dependen de un sensor óptico en la muñeca. Cuando ese sensor perdía contacto, todas esas mediciones desaparecían simultáneamente. En contraste, el recuento de pasos provenía de un sensor diferente, el acelerómetro, que tenía sus propios patrones de falla. Las brechas también variaban enormemente en longitud; algunas características tenían solo caídas breves de un solo momento, mientras que otras, como la frecuencia cardíaca, sufrían interrupciones largas que podían durar horas. El equipo se dio cuenta de que un método único y uniforme no podía capturar esta complejidad. Crearon un nuevo sistema de evaluación que extraía estas brechas del mundo real de los datos de entrenamiento, las categorizaba por longitud en cubetas de típicas, moderadas y severas, y luego inyectaba estos mismos patrones exactos en los datos de prueba. Esto aseguró que los modelos fueran probados con el mismo tipo de falta de datos agrupada y difícil que enfrentarían en el mundo real.

Cuando los investigadores aplicaron este protocolo realista, los resultados fueron sorprendentes. Probaron dos modelos avanzados de aprendizaje profundo, conocidos como BRITS y SAITS, que están diseñados para manejar datos complejos de series temporales. Bajo el antiguo método de prueba aleatorio, estos modelos parecían desempeñarse razonablemente bien. Sin embargo, al ser probados contra las brechas agrupadas y realistas, su rendimiento cayó significativamente, revelando que habían sido excesivamente confiados. El estudio mostró que los modelos habían sido entrenados con datos donde los valores faltantes estaban dispersos aleatoriamente, por lo que nunca aprendieron a manejar la situación en la que un bloque entero de datos desaparece. Para solucionar esto, el equipo ajustó el proceso de entrenamiento para que los modelos fueran expuestos al mismo tipo de falta de datos por bloques durante su fase de aprendizaje. Este simple cambio tuvo un efecto profundo: la tasa de error para el modelo BRITS en los escenarios de brechas más severas cayó un 43 por ciento. Este mejoramiento no fue un ajuste menor; transformó un modelo que luchaba bajo condiciones realistas en uno que funcionaba de manera robusta.

El estudio también reveló que ningún modelo es el mejor para todo. Los investigadores encontraron que el mejor enfoque depende enteramente del tipo específico de datos y de la longitud de la brecha. Para características de movimiento lento, como un recuento de pasos diario o una puntuación de "body battery" que cambia muy gradualmente, un método clásico y simple llamado interpolación lineal —que esencialmente traza una línea recta entre el último punto conocido y el siguiente— era a menudo el más preciso, especialmente para brechas cortas. Sin embargo, para señales dinámicas y de cambio rápido como la frecuencia cardíaca, los modelos avanzados de aprendizaje profundo eran muy superiores, particularmente cuando las brechas eran largas. Los investigadores también descubrieron que añadir información sobre la hora del día y los ritmos diarios naturales del cuerpo ayudaba a los modelos a realizar mejores conjeturas cuando los datos faltaban. Esto fue especialmente cierto para el modelo BRITS, que vio mejoras significativas en la precisión para la frecuencia cardíaca y los datos de sueño cuando se incluyeron estas pistas basadas en el tiempo.

Curiosamente, el estudio destacó una compensación entre la precisión y la forma de los datos. Mientras que un modelo, el BRITS extendido, era mejor para adivinar el valor exacto de un punto faltante, el otro modelo, SAITS, era mejor para preservar la forma estadística general de los datos. Esta distinción es vital para las aplicaciones médicas. Un modelo que adivina el valor promedio puede ser preciso en promedio, pero podría fallar al capturar eventos raros y extremos, como un aumento repentino en la frecuencia cardíaca que suele preceder a una convulsión. Los investigadores encontraron que ambos modelos tendían a suavizar estos extremos, lo que potencialmente oculta las señales que los médicos necesitan ver. Esto sugiere que, aunque los modelos son poderosos, aún necesitan refinamiento para asegurar que no pasen por alto anomalías críticas que salvan vidas.

Los hallazgos de este artículo llevan un mensaje claro para el futuro de la tecnología de salud ponible. La forma en que probamos estos modelos importa tanto como los modelos mismos. Usar métodos de prueba aleatorios e irreales da una falsa sensación de seguridad y oscurece las verdaderas capacidades de la tecnología. Al adoptar un protocolo que refleje la realidad desordenada y agrupada de cómo fallan los sensores, los investigadores pueden desarrollar mejores estrategias para rellenar los huecos. El estudio concluye que no existe un único "mejor" modelo para todas las situaciones; en cambio, el enfoque más efectivo será probablemente un sistema híbrido que elija la herramienta adecuada para el trabajo específico, ya sea una línea simple para datos lentos o una red neuronal compleja para señales dinámicas. Este cambio de perspectiva, de buscar una solución universal a comprender los matices de los datos, es un paso crítico hacia la construcción de sistemas de monitoreo de salud más confiables y efectivos para el futuro.