HEARTS: Benchmarking LLM Reasoning on Health Time Series

El artículo presenta HEARTS, un nuevo benchmark unificado que evalúa las capacidades de razonamiento jerárquico de los modelos de lenguaje grandes (LLM) sobre series temporales de salud mediante 16 conjuntos de datos y 110 tareas, revelando que estos modelos actuales tienen un rendimiento limitado y dependen de heurísticas simples en comparación con los modelos especializados.

Lo esencial

¡Hola! Imagina que los Modelos de Lenguaje Grandes (LLMs), como los que impulsan a ChatGPT o Gemini, son como genios literarios que han leído toda la biblioteca del mundo. Pueden escribir poemas, resolver acertijos de lógica y programar código increíblemente bien.

Pero, ¿qué pasa si les das un electrocardiograma (un gráfico de los latidos del corazón) o una grabación de tos y les pides que actúen como un médico experto?

Aquí es donde entra en escena el paper HeaRTS.

¿Qué es HeaRTS? (El "Examen de Medicina" para la IA)

HeaRTS es como un gimnasio de entrenamiento y un examen final diseñado específicamente para poner a prueba a estas inteligencias artificiales en el mundo de la salud.

Los autores (investigadores de UCLA y Google) se dieron cuenta de que, aunque las IAs son geniales con el texto, no sabíamos si realmente podían "entender" los datos médicos que cambian con el tiempo (como el ritmo cardíaco, la glucosa en sangre o el sueño). Los exámenes anteriores eran como si le dieras a un estudiante de medicina solo un libro de anatomía y le preguntaras sobre cirugía, pero sin darle nunca un paciente real.

HeaRTS cambia las reglas del juego:

• El "Pacientes": En lugar de texto, les dan 16 conjuntos de datos reales de 12 áreas de la medicina (desde el sueño hasta el movimiento, pasando por la diabetes y la cirugía).
• La "Variedad": Imagina que les das desde un reloj que cuenta pasos (baja frecuencia) hasta un monitor que graba el cerebro a 48,000 veces por segundo (alta frecuencia). ¡Es como pedirle a un pintor que pinte tanto un boceto rápido como una obra maestra de 100 horas!
• Las "Preguntas": No son solo preguntas de opción múltiple. Les piden que predigan el futuro (¿qué pasará con la glucosa en 30 minutos?), que reconstruyan datos perdidos (como arreglar una foto rota) o que deduzcan causas (¿por qué este paciente tuvo un infarto?).

¿Qué descubrieron? (Las malas noticias y las buenas)

Cuando pusieron a 14 de las IAs más inteligentes del mundo a pasar este examen, los resultados fueron reveladores:

1. No son doctores (todavía): Las IAs generales funcionan mucho peor que los modelos especializados. Es como comparar a un polímata (alguien que sabe un poco de todo) con un cirujano de corazón (que solo hace eso). El cirujano gana por goleada. Las IAs generales apenas superan a un "adivino al azar" en tareas complejas.
2. El truco del "copiar y pegar": Cuando las IAs intentan predecir el futuro o rellenar datos faltantes, a menudo no están "pensando". En su lugar, usan trucos simples. Es como si un estudiante de matemáticas, en lugar de resolver la ecuación, simplemente copiara el último número que vio y le añadiera un poco de ruido. No entienden la física del cuerpo, solo imitan patrones superficiales.
3. Más datos no siempre es mejor: Paradójicamente, cuando les daban más información (como grabaciones de audio de tos junto con síntomas escritos), a veces les iba peor. Era como si el estudiante se abrumara con tanto ruido y olvidara lo importante.
4. La escala no lo es todo: Hacer la IA más grande (más "cerebro") no solucionó el problema. Las IAs más nuevas y grandes cometieron los mismos errores que las pequeñas. Esto sugiere que el problema no es que les falte "memoria", sino que les falta una forma de razonar sobre el tiempo y la biología.

La Analogía Final

Imagina que le pides a un traductor de idiomas (la IA actual) que traduzca una partitura musical compleja a una sinfonía.

• Lo que hace bien: Puede decirte que la nota "Do" es blanca y que el compás es 4/4 (Percepción básica).
• Lo que falla: No entiende por qué esa nota debe sonar triste o alegre, ni cómo encaja en la historia de la canción a lo largo de 10 minutos. Intenta adivinar la siguiente nota basándose en lo que suele pasar, pero a menudo se pierde en la melodía.

¿Por qué importa esto?

HeaRTS no es solo un reporte de calificaciones; es un mapa del tesoro.

• Nos dice que no podemos confiar ciegamente en las IAs actuales para diagnosticar enfermedades o monitorear pacientes sin supervisión humana.
• Nos dice que necesitamos crear nuevas herramientas, no solo IAs más grandes. Necesitamos IAs que entiendan la biología y la causalidad, no solo las palabras.

En resumen: HeaRTS es la prueba de realidad que la medicina necesita. Nos recuerda que, aunque las IAs son genios literarios, todavía tienen mucho que aprender antes de poder salvar vidas por sí solas. Es un llamado a la comunidad científica a construir el "sistema nervioso" que falta para que estas máquinas realmente entiendan el ritmo de la vida humana.

Resumen técnico

Resumen Técnico: HeaRTS - Evaluación del Razonamiento de LLMs en Series Temporales de Salud

1. Planteamiento del Problema

La inteligencia artificial en el sector salud ha evolucionado desde análisis estrechos hacia un razonamiento generalizado impulsado por los Grandes Modelos de Lenguaje (LLMs). Sin embargo, existe una brecha crítica en la evaluación de estas capacidades:

• Limitación de Benchmarks Existentes: Las plataformas actuales cubren un conjunto reducido de modalidades y tareas de series temporales de salud, fallando en reflejar la diversidad de dominios clínicos y las dependencias temporales extensas inherentes a la modelación fisiológica real.
• Falta de Realismo: Muchos benchmarks utilizan señales sintéticas que carecen de ruido clínico, contexto y restricciones reales, o se centran en un solo dominio (ej. solo ECG), lo que impide probar un razonamiento humano-level sobre señales heterogéneas.
• La Incógnita Central: ¿Realizan los LLMs un razonamiento genuino sobre series temporales de salud o simplemente explotan patrones superficiales y priores de dominio?

2. Metodología: HeaRTS

Para abordar estas brechas, los autores presentan HeaRTS (Health Reasoning over Time Series), un benchmark unificado y "vivo" diseñado para evaluar capacidades de razonamiento jerárquico.

2.1. Diversidad de Datos

HeaRTS integra 16 conjuntos de datos del mundo real que abarcan:

• 12 Dominios de Salud: Desde movimiento y metabolismo hasta cirugía, sueño, respiración, emociones, oftalmología, comportamiento, habla, gestos y tos por COVID.
• 20 Modalidades de Señal: Incluye desde registros bioeléctricos estándar (ECG, EEG, EMG) hasta flujos acústicos de alta dimensión y mediciones agregadas diarias.
• Escala Temporal y Resolución: Las secuencias varían desde 60 pasos hasta más de 1 millón de pasos, con frecuencias de muestreo que van desde métricas diarias hasta 48 kHz.

2.2. Taxonomía de Tareas Jerárquica

En lugar de limitarse a preguntas de opción múltiple, HeaRTS define 110 tareas organizadas en cuatro categorías cognitivas fundamentales:

1. Percepción: Identificación de marcadores fisiológicos (ej. cálculo de estadísticas, extracción de características como bandas de potencia en EEG).
2. Inferencia: Análisis en diferentes granularidades (localización de eventos, clasificación de estados fisiológicos como etapas de sueño, perfilado de sujetos para predecir enfermedades).
3. Generación: Síntesis punto a punto de secuencias completas (pronóstico futuro, imputación de señales faltantes, traducción entre modalidades).
4. Deducción: Razonamiento sobre la flecha del tiempo y dependencias longitudinales (ordenamiento temporal, análisis de trayectorias de salud a largo plazo).

2.3. Configuración Experimental

• Modelos Evaluados: Se probaron 14 LLMs de última generación (SOTA), incluyendo modelos propietarios (GPT-4.1, GPT-5, Claude 4.5, Gemini 2.5, Grok 4.1) y de código abierto (Qwen3, DeepSeek, Llama 4, GLM 4.7, etc.).
• Marco de Ejecución: Se utilizó el framework CodeAct, permitiendo a los LLMs escribir y ejecutar código Python para leer y analizar los archivos de datos, evitando la necesidad de inyectar secuencias crudas masivas en el prompt.
• Métricas: Precisión, IoU (Intersección sobre Unión) y sMAPE (Error Porcentual Absoluto Simétrico Medio), normalizados para una comparación justa.

3. Hallazgos Clave y Resultados

3.1. Rendimiento Inferior a Modelos Especializados

• Los LLMs rinden significativamente peor que los modelos especializados en series temporales (SOTA ML). En una submuestra de 32 tareas, los modelos especializados se concentran en un régimen de alto rendimiento, mientras que los LLMs muestran una separación clara hacia abajo, incluso en sus mejores casos.
• Correlación Débil: El rendimiento en HeaRTS tiene una relación débil con los índices de razonamiento general de los modelos. Un alto "coeficiente de inteligencia" en benchmarks generales no predice la capacidad de razonar sobre señales fisiológicas.

3.2. Dependencia de Heurísticas Simples

• Falta de Razonamiento Profundo: Los modelos tienden a depender de heurísticas de baja complejidad en lugar de un razonamiento temporal profundo.
  • En tareas de Generación (pronóstico/imputación), los LLMs a menudo recurren a "copiar y pegar" con inyección de ruido, interpolación lineal o promedios estadísticos básicos, en lugar de modelar dinámicas estocásticas.
  • En Inferencia, el rendimiento cae drásticamente cuando se requieren distinciones finas sin umbrales explícitos o extracción de características especializadas.

3.3. Impacto de la Complejidad Temporal

• Degradación con la Complejidad: El rendimiento disminuye a medida que aumenta la longitud de la secuencia de entrada, la frecuencia de muestreo y la extensión temporal.
• Carga Cognitiva: Existe una correlación inversa significativa entre la resolución temporal y la eficacia del razonamiento, confirmando que los LLMs actuales luchan para mantener el rendimiento ante datos de alta densidad y horizontes temporales largos.

3.4. Consistencia Inter-Familia y Fallos de Escala

• Patrones Sincronizados: Los modelos dentro de la misma familia arquitectónica (ej. GPT, Qwen, Gemini) muestran patrones de comportamiento altamente consistentes. Las tareas difíciles para una variante lo son para toda la familia.
• Escalado Insuficiente: El aumento de la escala del modelo o la actualización de la generación no garantizan automáticamente una mejora en el razonamiento de series temporales de salud.

3.5. Limitaciones de Agentes Especializados

• Se comparó un agente generalista (CodeAct) con un agente especializado en biomedicina (Biomni). Sorprendentemente, el agente especializado no superó significativamente al generalista. El análisis de las trayectorias reveló que el agente especializado carecía de herramientas computacionales específicas para el análisis de series temporales, reversionando a un razonamiento genérico.

4. Contribuciones Principales

1. HeaRTS: El primer benchmark diverso para el razonamiento en series temporales de salud, con la cobertura más amplia hasta la fecha en longitud de secuencia, frecuencia y rango temporal.
2. Evaluación Unificada y Jerárquica: Un marco que va más allá de las preguntas de opción múltiple, evaluando cuatro niveles cognitivos desde el cálculo básico hasta la deducción contrafáctica.
3. Ecosistema Vivo: Una plataforma comunitaria diseñada para evolucionar con nuevos conjuntos de datos, tareas y arquitecturas de agentes, manteniendo la integridad mediante revisiones humanas.
4. Análisis Empírico Riguroso: La evaluación de 14 LLMs en más de 20.000 muestras que revela brechas críticas en el estado del arte y direcciones para futuras investigaciones.

5. Significado e Implicaciones

El estudio demuestra que, aunque los LLMs son competentes en la percepción básica de señales, aún carecen de la capacidad de razonamiento causal, integración de largo alcance y dirección temporal necesaria para aplicaciones clínicas de alto riesgo.

• Para la Investigación: HeaRTS establece un estándar para medir el progreso real en la inteligencia artificial de salud, evitando la ilusión de que el aumento de parámetros resuelve automáticamente problemas de razonamiento temporal.
• Para el Desarrollo de Agentes: Sugiere que la integración de herramientas computacionales específicas (primitivas de procesamiento de señales) y el uso de priores médicos verificables son más críticos que simplemente escalar modelos de lenguaje.
• Futuro: El benchmark sirve como un "banco de pruebas" esencial para desarrollar la próxima generación de agentes de IA capaces de razonar sobre señales de salud diversas y complejas.

Recursos:

• Dataset: Hugging Face
• Código: GitHub
• Sitio Web: Project Page