🤖 AI

Position: Evaluation of ECG Representations Must Be Fixed

Este documento de posición sostiene que los puntos de referencia actuales para el aprendizaje de representaciones de ECG son demasiado estrechos y defectuosos, demostrando que las prácticas de evaluación adecuadas revelan que los codificadores aleatorios a menudo igualan a los modelos de preentrenamiento de vanguardia, al tiempo que resaltan la necesidad urgente de ampliar la evaluación para incluir la enfermedad cardíaca estructural y el pronóstico a nivel de paciente.

Autores originales: Zachary Berger, Daniel Prakah-Asante, John Guttag, Collin M. Stultz

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zachary Berger, Daniel Prakah-Asante, John Guttag, Collin M. Stultz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que el campo de la Inteligencia Artificial (IA) intentando aprender a leer señales cardíacas (ECG) es como un grupo de estudiantes preparándose para un examen muy específico y de alto riesgo. Durante años, todos han estado estudiando de los mismos tres libros de texto (conjuntos de datos llamados PTB-XL, CPSC2018 y CSN). Estos libros de texto están llenos de preguntas sobre arritmias (latidos cardíacos irregulares) y formas de onda (cómo se ven las líneas onduladas).

Los autores de este artículo, Zachary Berger y su equipo, levantan la mano para decir: "Un momento. La forma en que estamos calificando a estos estudiantes está rota, y nos está dando una idea equivocada de quién es realmente inteligente".

Aquí está el desglose de su argumento utilizando analogías simples:

1. El examen de "talla única" es defectuoso

Actualmente, la comunidad de IA califica estos modelos usando una única puntuación llamada Macro-AUROC.

La analogía: Imagina a un profesor calificando a un estudiante que tomó un examen con 100 preguntas. 90 de las preguntas son sobre "Manzanas" y 10 son sobre "Frutas Exóticas Raras". El profesor promedia la puntuación para que cada pregunta cuente lo mismo.
El problema: Si el estudiante acierta todas las preguntas de "Manzanas" pero falla las de "Frutas Exóticas", obtiene un promedio decente. Pero en el mundo real (en el hospital), al médico podría importarle solo las "Frutas Exóticas" (condiciones cardíacas raras). Al promediar todo, el sistema actual oculta el hecho de que el modelo podría ser terrible en las cosas que realmente importan.
El ruido: Además, algunas de esas preguntas de "Frutas Exóticas" tienen solo uno o dos ejemplos en todo el examen. Si el modelo acierta o falla esa única pregunta por pura suerte, la calificación completa sube o baja drásticamente, haciendo que los resultados sean poco fiables.

2. La línea de base de la "sorpresa": El intento al azar

Lo más impactante del hallazgo en el artículo es sobre las "líneas de base" (baselines). En la ciencia, siempre comparas una nueva y sofisticada invención contra una versión simple y básica para ver si la invención realmente añade valor.

La analogía: Imagina una carrera donde todos corren en una pista. Los corredores sofisticados llevan zapatos de alta tecnología y pre-entrenados (modelos de IA complejos). El corredor de la "línea de base" lleva un par de zapatos generados al azar y no entrenados (un modelo con pesos aleatorios que no ha aprendido nada todavía).
El resultado: Los autores descubrieron que, en muchas tareas, el corredor con los zapatos aleatorios terminó casi tan rápido como los corredores con los zapatos sofisticados. ¡A veces, el corredor aleatorio incluso ganó!
La conclusión: Esto sugiere que, para muchas tareas cardíacas, la señal es tan obvia que no necesitas un cerebro súper complejo y pre-entrenado para encontrarla. Un punto de partida simple y aleatorio suele ser suficiente. Esto significa que los modelos "sofisticados" podrían no ser tan especiales como pensábamos.

3. La prescripción del artículo: Un mejor plan de estudios

Los autores argumentan que, para solucionar esto, el campo necesita cambiar la forma en que evalúa estos modelos. Proponen cuatro reglas principales:

Expandir el currículo: No te limites a probar arritmias. La señal cardíaca también contiene pistas sobre enfermedades cardíacas estructurales (como un músculo cardíaco débil), hemodinámica (presión arterial y flujo) y resultados futuros del paciente (¿se enfermará esta persona en un año?). Los exámenes actuales ignoran estos temas importantes.
Dejar de ocultar los detalles: En lugar de reportar solo una gran puntuación promedio, reporta la puntuación para cada tarea específica. Si un modelo es excelente detectando ataques cardíacos pero terrible detectando problemas de válvulas, necesitamos saber eso, no solo ver un promedio del "75%".
Medir la incertidumbre: Debido a que algunas condiciones cardíacas son raras, los resultados pueden ser inestables. Los autores dicen que debemos reportar "intervalos de confianza" (un rango de puntuaciones posibles) para mostrar qué tan seguros estamos. Si el rango es enorme, el resultado no es confiable.
La prueba del "zapato aleatorio": Cada vez que alguien afirme que su nuevo modelo de IA es el mejor, debe demostrar que supera la línea de base del "zapato aleatorio". Si no lo hace, el modelo sofisticado no está haciendo nada útil realmente.

Resumen

El artículo es un llamado a la acción. Dice que la forma actual de evaluar la IA para señales cardíacas es como calificar a un estudiante solo por su capacidad de recitar el alfabeto mientras se ignora su capacidad de escribir una historia. Revela que muchos modelos de IA "avanzados" son apenas mejores que un intento al azar, y que debemos empezar a probarlos en un conjunto de tareas más amplio y clínicamente relevante, con reglas de calificación más estrictas y honestas.

La conclusión fundamental: El campo debe dejar de perseguir puntuaciones promedio altas en pruebas estrechas y empezar a demostrar que estos modelos pueden realizar los trabajos complejos y del mundo real que los médicos necesitan que hagan.

Resumen Técnico: La evaluación de las representaciones de ECG debe corregirse

Declaración del Problema

El campo del aprendizaje de representaciones de electrocardiogramas (ECG) de 12 derivaciones ha convergido en un conjunto limitado de prácticas de evaluación que los autores argumentan son insuficientes para garantizar un progreso fiable y una alineación clínica. La evaluación actual depende en gran medida de tres conjuntos de datos públicos multietiqueta (PTB-XL, CPSC2018 y CSN) que se centran predominantemente en la clasificación de arritmias y la morfología de la onda. Los autores sostienen que este alcance limitado ignora la capacidad del ECG para codificar información clínica más amplia, como enfermedades cardíacas estructurales, estados hemodinámicos y pronósticos a nivel de paciente.

Además, el protocolo de evaluación prevalente sufre de fallos metodológicos:

Limitaciones de las métricas: El campo depende casi exclusivamente del macro-AUROC (media no ponderada de los AUROC por etiqueta). Esta métrica oscurece el rendimiento en tareas individuales clínicamente relevantes y amplifica el ruido de las etiquetas severamente desequilibradas (donde muchas clases tienen muy pocos ejemplos positivos).
Falta de rigor: Rara vez se cuantifica la incertidumbre (por ejemplo, mediante intervalos de confianza) y a menudo se ausenta las pruebas de significancia estadística, lo que dificulta distinguir las mejoras genuinas del ruido de muestreo.
Deficiencias de los modelos base (baselines): Muchos estudios no comparan las representaciones aprendidas contra modelos base simples, como codificadores inicializados aleatoriamente.

Metodología

Los autores realizaron una evaluación empírica para probar la robustez de las conclusiones actuales respecto a la calidad de las representaciones de ECG.

Modelos evaluados:
Se evaluaron cinco enfoques de preentrenamiento representativos que abarcan diferentes paradigmas (aprendizaje contrastivo, reconstrucción y supervisión multimodal):

CLOCS: Aprendizaje contrastivo a través del espacio, el tiempo y los pacientes.
KED: Modelo fundacional con destilación de conocimiento clínico.
HeartLang: Modelo de lenguaje para ECG utilizando reconstrucción y predicción de tokens enmascarados.
MERL: Alineación ECG-texto multimodal.
D-BETA: ECG-texto multimodal con regularización de reconstrucción.
Baseline: Un codificador ResNet-18 1D inicializado aleatoriamente.

Conjuntos de datos y tareas:
Los modelos fueron evaluados en seis entornos, categorizados en tres familias de tareas:

Benchmarks estándar: PTB-XL (subconjuntos SUPER, SUB, FORM, RHYTHM), CPSC2018 y CSN (centrados en arritmia y forma de onda).
Enfermedad estructural: EchoNext (ECG emparejado con ecocardiografía para predecir anomalías estructurales como enfermedad valvular y fracción de eyección).
Fisiología y Pronóstico:
- Inferencia hemodinámica: Predicción de la presión capilar pulmonar media (mPCWP) y la presión de la arteria pulmonar media (mPA) a partir de datos privados de MGH.
- Pronóstico del paciente: Predicción del desarrollo de insuficiencia cardíaca (LVEF < 40%) en un año a partir de datos privados de MGH.

Protocolo de evaluación:
Los autores implementaron un marco de evaluación riguroso que se adhiere a las mejores prácticas propuestas:

Sondeo lineal (Linear Probing): Todos los codificadores fueron congelados, y se entrenaron clasificadores de regresión logística con regularización $\ell_2$ sobre los embeddings.
Métricas: Reporte de tanto AUROC como AUPRC (Área bajo la curva de Precisión-Recall) para tareas individuales, junto con el macro-AUROC.
Cuantificación de la incertidumbre: Se calcularon intervalos de confianza del 95% utilizando bootstrapping pareado (1,000 remuestreos).
Pruebas estadísticas: Se utilizaron pruebas de permutación por pares para determinar si las diferencias de rendimiento eran estadísticamente significativas.
Filtrado de datos: Se excluyeron de la evaluación cuantitativa las etiquetas con insuficientes ejemplos positivos en el conjunto de prueba (por ejemplo, <10) para reducir el ruido.

Principales Contribuciones

1. Crítica a las prácticas actuales de benchmarking

El artículo demuestra que la dependencia del macro-AUROC y la inclusión de etiquetas con bajo soporte distorsionan el ranking de los métodos. Cuando se eliminan las etiquetas con pocos ejemplos positivos, el rendimiento relativo de los métodos cambia significamente. Además, la falta de cuantificación de la incertidumbre en la literatura previa significa que muchas ganancias reportadas como "estado del arte" son estadísticamente indistinguibles del ruido.

2. El modelo base de codificador aleatorio

Un hallazgo central y sorprendente es que un codificador inicializado aleatoriamente con evaluación lineal a menudo iguala o supera el rendimiento de los modelos preentrenados de última generación en muchas tareas. Específicamente:

En los benchmarks estándar (PTB-XL, CPSC2018, CSN), el baseline aleatorio frecuentemente supera a CLOCS y HeartLang.
En tareas de enfermedad estructural (EchoNext), el baseline aleatorio es competitivo con los métodos preentrenados, particularmente en regímenes de bajos datos (1% de datos de entrenamiento).
Esto sugiere que, para muchas tareas de ECG, la señal clínicamente relevante es lo suficientemente evidente como para que las convoluciones aleatorias no la distorsionen, y que el "aprendizaje" puede estar ocurciendo principalmente en el sondeo lineal en lugar de en la fase de preentrenamiento.

3. Mejores prácticas de evaluación propuestas

Los autores delinean un conjunto de recomendaciones para la comunidad:

Expandir el alcance de las tareas: Incluir enfermedad estructural, hemodinámica y pronóstico, no solo arritmia.
Reportar métricas específicas de la tarea: Priorizar el AUROC y el AUPRC por tarea sobre el macro-AUROC agregado.
Cuantificar la incertidumbre: Siempre reportar intervalos de confianza y usar pruebas estadísticas para las comparaciones.
Filtrar etiquetas de bajo soporte: Excluir tareas con insuficientes ejemplos positivos de las métricas principales.
Adoptar baselines aleatorios: Usar un codificador inicializado aleatoriamente como un baseline obligatorio para evaluar la utilidad real del preentrenamiento.

Resultados

Inestabilidad del ranking: Cuando se tiene en cuenta la incertidancia, el método "ganador" en los benchmarks estándar no es consistente. Por ejemplo, KED y D-BETA a menudo parecen dominantes vía macro-AUROC, pero su superioridad desaparece cuando se considera la significancia estadística.
Heterogeneidad de las tareas: El rendimiento varía ampliamente según el tipo de tarea. Si bien KED, MERL y D-BETA muestran ganancias en tareas de arritmia específicas (por ejemplo, cambios en ST/T), no dominan universalmente.
Enfermedad estructural: En EchoNext, CLOCS y HeartLang rinden consistentemente por debajo de otros métodos y del baseline aleatorio. MERL y KED muestran un mayor rendimiento en los endpoints estructurales.
Pronóstico: Para la predicción de insuficiencia cardíaca a 1 año, MERL y KED superan al baseline aleatorio, aunque el baseline aleatorio sigue superando significativamente a CLOCS y HeartLang.
Robustez: La competitividad del baseline aleatorio fue verificada a través de una cuadrícula de 36 configuraciones diferentes (variando tasas de muestreo, filtrado, normalización y arquitecturas de backbone), confirmando que el hallazgo no es un artefacto de una configuración específica.

Significancia y Reclamaciones

El artículo argumenta que la trayectoria actual del aprendizaje de representaciones de ECG es engañosa debido a protocolos de evaluación defectuosos. Los autores afirman que:

Los rankings actuales no son fiables: Muchas conclusiones sobre qué método de preentrenamiento es el "mejor" están impulsadas por el ruido, las etiquetas de bajo soporte y la falta de rigor estadístico, en lugar de una superioridad representacional genuina.
Las ganancias de preentrenamiento pueden estar sobrestimadas: El hecho de que un codificador aleatorio sea a menudo competitivo sugiere que la utilidad marginal de los objetivos de preentrenamiento complejos puede ser menor de lo que se cree actualmente, o que la señal en los ECG es más linealmente separable de lo anticipado.
El campo debe evolucionar: Para asegurar que las representaciones sean clínicamente útiles, la comunidad debe adoptar benchmarks más amplios y rigurosos que reflejen todo el alcance de la utilidad del ECG (estructural, hemodinámica y pronóstica) y adherirse a estándares estrictos de reporte estadístico.

Los autores posicionan este trabajo como una corrección necesaria para asegurar que el desarrollo metodológico futuro en el aprendizaje de representaciones de ECG esté alineado con objetivos clínicamente significativos y estándares científicos reproducibles.