🤖 machine learning

ECG-InterpBench: Benchmarking the Interpretability of ECG Foundation Models with Matched-Scale Sparse Autoencoders

Este artículo presenta ECG-InterpBench, un nuevo referente que utiliza autoencoders dispersos de escala emparejada para evaluar y comparar sistemáticamente la interpretabilidad, la relevancia clínica y la reproducibilidad de las representaciones internas a través de seis modelos fundacionales de ECG congelados, abordando una brecha crítica dejada por los referentes existentes centrados en el rendimiento.

Autores originales: Yixuan Duan, Wei Qiu

Publicado 2026-07-31

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yixuan Duan, Wei Qiu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot superinteligente que puede escuchar los latidos de tu corazón y decirte si algo va mal. Este robot es un "modelo de IA" entrenado con millones de grabaciones de latidos. Sabemos que funciona bien para predecir problemas, pero ¿cómo lo hace realmente? ¿Está mirando las partes correctas del latido o simplemente está adivinando basándose en patrones extraños que casualmente parecen latidos? Esto es el mundo de la "interpretabilidad": intentar echar un vistazo al interior del cerebro del robot para ver qué está pensando.

Para entender este artículo, necesitas saber dos cosas. Primero, estos modelos de IA son como gigantescas cajas negras; reciben un latido y escupen un diagnóstico, pero la parte intermedia es un enredo de números. Segundo, los científicos utilizan una herramienta llamada "Autocodificador Disperso" (SAE, por sus siglas en inglés). Piensa en un SAE como un traductor que intenta descomponer ese enredo de números en una lista sencilla de interruptores de "encendido/apagado". Si la IA es verdaderamente inteligente, debería ser capaz de explicar un problema cardíaco específico (como un ritmo cardíaco rápido) activando solo uno o dos interruptores específicos, en lugar de activar miles de interruptores aleatorios. La gran pregunta es: ¿tienen estos diferentes robots de IA de corazón estos interruptores limpios y comprensibles, o son todos un desorden?

Este artículo presenta un nuevo "boletín de notas" llamado ECG-InterpBench para responder a esa pregunta. En lugar de preguntar "¿Qué IA es la mejor adivinando problemas del corazón?", los autores preguntaron: "¿Qué IA es la más fácil de entender?". Tomaron seis modelos diferentes de IA de corazón congelados (lo que significa que no cambiaron los modelos, solo los observaron) e intentaron traducir sus cerebros utilizando el mismo conjunto de traductores (los SAE).

Aquí está la parte ingeniosa: se aseguraron de que cada traductor tuviera exactamente el mismo tamaño y la misma fuerza. Imagina que intentas comparar a seis chefs diferentes, pero les das a todos exactamente la misma cocina y el mismo número de ingredientes. Si un chef hace un plato mejor, sabes que es por su habilidad, no porque haya recibido una cocina más grande. Los autores hicieron esto probando los modelos en cinco "profundidades" diferentes (qué tan profundo miraron en el cerebro de la IA) y cinco "tamaños de diccionario" diferentes (cuántos interruptores intentaron encontrar). Esto creó una enorme cuadrícula de 450 pruebas diferentes.

Los resultados fueron sorprendentes y demostraron que no existe una única "mejor" IA. Depende de lo que estés buscando.

El Traductor más "Limpio": Un modelo, llamado HuBERT-ECG, fue el campeón en reconstruir el latido perfectamente a partir de sus interruptores. Fue el más fiel al mantener intacta la señal original.
El "Mejor Explicador": Otro modelo, ECG-JEPA, fue el ganador en encontrar interruptores específicos y significativos. Si quisieras encontrar el interruptor que corresponde a la "frecuencia ventricular" o la "duración del QRS", este modelo tenía los interruptores más claros y accesibles para esos conceptos médicos específicos.
El Cerebro más "Estable": Un tercer modelo, CSFM, tuvo los interruptores más consistentes. Si entrenabas al traductor dos veces con semillas aleatorias ligeramente diferentes, los interruptores de CSFM se mantenían iguales, mientras que otros cambiaban de opinión.

El artículo descarta explícitamente la idea de que simplemente puedas elegir el modelo con la mayor precisión y asumir que es el más comprensible. Encontraron que el modelo que era mejor en la predicción no era necesariamente el que era mejor en la explicación. Por ejemplo, el modelo con la mayor calidad de reconstrucción (HuBERT-ECG) estaba en realidad cerca del fondo en cuanto a la búsqueda de conceptos clínicos específicos.

Los autores tienen mucho cuidado de no decir que han "resuelto" el problema de la interpretabilidad de la IA. En su lugar, sugieren que estos modelos tienen "personalidades" muy diferentes. Algunos son excelentes para mantener la señal limpia, mientras que otros son excelentes para aislar ideas médicas específicas. También demostraron que estas diferencias son reales y no un simple azar del método de prueba, porque repitieron las pruebas en un conjunto de datos completamente diferente (MIMIC-IV-ECG) y obtuvieron los mismos resultados.

En resumen, este artículo construyó un microscopio estandarizado para mirar dentro de los cerebros de las IA de corazón. Encontró que, aunque todas estas modelos son inteligentes, organizan su conocimiento de maneras muy diferentes. Si quieres un modelo que sea fácil de auditar para conceptos médicos específicos, podrías elegir uno; si quieres un modelo que preserve la señal bruta perfectamente, podrías elegir otro. El artículo proporciona un mapa para ayudar a médicos y científicos a elegir la herramienta adecuada para el trabajo adecuado, en lugar de simplemente confiar ciegamente en la que tenga la puntuación más alta.

Resumen Técnico: ECG-InterpBench

Planteamiento del Problema
Los benchmarks existentes para los modelos fundacionales (FMs) de electrocardiogramas (ECG) evalúan predominantemente el rendimiento predictivo en tareas posteriores (downstream), como la precisión en la clasificación de ritmos o la predicción de riesgos. Estas evaluaciones no logran revelar cómo se organiza la estructura interna de sus representaciones ocultas. Específicamente, los métodos actuales no determinan si estas representaciones pueden descomponerse fielmente, si las mediciones clínicamente relevantes están localizadas en características identificables, o si las mismas propiedades estructurales se recuperan a través de análisis independientes. Esta brecha es crítica en entornos clínicos porque las representaciones compartidas pueden propagar artefactos de adquisición, sesgos demográficos o atajos específicos de la cohorte a cada modelo derivado de ellas. Además, las herramientas de interpretabilidad existentes (por ejemplo, la atribución de salida o las sondas lineales) abordan preguntas distintas al proceso de auditoría de las representaciones ocultas de tareas generales y carecen a menudo del rigor necesario para distinguir entre la precisión predictiva y la verdadera interpretabilidad a nivel de representación.

Metodología
El artículo presenta ECG-InterpBench, un benchmark diseñado para evaluar sistemáticamente la interpretabilidad de las representaciones de los modelos fundacionales de ECG utilizando Autoencoders Dispersos (SAEs) como instrumentos de medición estandarizados. El principio de diseño central es el emparejamiento de capacidad: para permitir comparaciones controladas, el benchmark evalúa los modelos utilizando SAEs con anchos de diccionario y configuraciones de dispersión (sparsity) emparejados, asegurando que las diferencias en los resultados se deban a los propios modelos fundacionales y no a variaciones en la capacidad de medición de los SAEs.

Los componentes metodológicos clave incluyen:

Modelos y Datos: El benchmark evalúa seis modelos fundacionales de ECG congelados (CSFM, CARDIAC-FM, ECG-FM, ECG-JEPA, HuBERT-ECG y ST-MEM) a través del conjunto de datos PTB-XL. Se realiza una validación externa en una cohorte acreditada de MIMIC-IV-ECG.
Grilla Experimental: La evaluación abarca un atlas de 450 celdas construido a partir de:
- 6 Modelos
- 5 profundidades de codificador relativo estandarizadas ( $q \in \{0, 0.25, 0.5, 0.75, 1\}$ )
- 5 factores de expansión de diccionario emparejados ( $E \in \{1, 4, 8, 16, 32\}$ )
- 3 semillas aleatorias
  Esto resulta en 75 bloques de "emparejamiento exacto" donde los seis modelos comparten la misma profundidad objetivo, capacidad de diccionario, protocolo de dispersión y semilla.
Configuración de SAE: Los SAEs utilizan una función de activación BatchTopK con un presupuesto de características activas fijo relativo al tamaño del diccionario ( $k/d = 1/8$ ). Todos los atlas de las capas de origen se estandarizan a una dimensión $d=768$ .
Métricas: El benchmark evalúa tres ejes complementarios:
1. Fidelidad de Reconstrucción Dispersa: Medida mediante $R^2$ de reconstrucción normalizado, fracción de características muertas (dead-feature fraction) y dispersión media realizada ( $L_0$ ).
2. Accesibilidad Clínica de Característica Única: La correlación entre las coordenadas de las características de los códigos SAE individuales y 49 mediciones de ECG clínicamente significativas (por ejemplo, intervalos, amplitudes, cambios en el segmento ST-T). Las características se seleccionan en un subconjunto de entrenamiento y se evalúan en datos de prueba no vistos para evitar fugas de información (leakage).
3. Reproducibilidad entre Semillas: La estabilidad de las direcciones del decodificador y los subespacios de características a través de diferentes semillas aleatorias, medida mediante similitud de coseno emparejada y superposición de subespacios.
Cuantificación de la Incertidumbre: El marco incorpora la incertidumbre de muestreo de pacientes mediante bootstrapping y la incertidumbre de diseño mediante variaciones de semilla y profundidad, utilizando comparaciones estadísticas emparejadas.

Contribuciones Clave

Benchmark de Capacidad Controlada: Introducción de un marco para comparar la interpretabilidad de las representaciones entre ECG FMs bajo un protocolo de SAE emparejado, separando las diferencias del modelo de las diferencias en la capacidad de medición.
Atlas de Interpretabilidad de 450 Celdas: Construcción de un atlas exhaustivo que mapea cómo cambia la interpretabilidad de la representación a través de la profundidad del codificador y la escala del SAE, proporcionando un perfil estructurado para cada modelo.
Métricas con Control de Fuga: Definición de métricas que abarcan la fidelidad dispersa, la accesibilidad clínica de característica única y la reproducibilidad entre semillas, asegurando que la selección de características ocurra estrictamente en los datos de entrenamiento antes de la evaluación de los datos no vistos.
Comparaciones Robustas: Provisión de comparaciones respaldadas por la incertidumbre de pacientes y de diseño, análisis de sensibilidad de la dispersión (comparando $k/d$ fijo frente a $k/N$ fijo) y validación en cohortes externas.

Resultados
El benchmark revela que los modelos fundacionales de ECG exhiben perfiles de interpretabilidad distintos según la métrica; ningún modelo domina en todas las dimensiones.

Fidelidad de Reconstrucción: HuBERT-ECG logra la mayor fidelidad de reconstrucción (AUC 0.985 en PTB-XL, 0.990 en MIMIC-IV), seguido de ECG-JEPA y CSFM.
Accesibilidad Clínica: ECG-JEPA demuestra la mayor accesibilidad clínica de característica única y cobertura de conceptos (AUC 0.324 y 0.781, respectivamente), superando a otros modelos en la localización de conceptos clínicos en características dispersas.
Estabilidad y Utilización: ECG-FM exhibe la menor fracción de características muertas (0.099) y la mayor estabilidad de características, mientras que CSFM muestra la mayor estabilidad de subespacio.
Validación Externa: La replicación en MIMIC-IV-ECG confirma que la separación entre los líderes de reconstrucción (HuBERT-ECG) y los líderes de accesibilidad (ECG-JEPA) se preserva entre conjuntos de datos.
Estabilidad de Rango: Los rankings de reconstrucción son altamente estables a través de las capacidades de SAE (Kendall $\tau = 1.00$ ), mientras que los rankings de accesibilidad y cobertura muestran una estabilidad moderada, lo que indica que algunas propiedades de interpretabilidad son más sensibles a la escala del diccionario que otras.

Significancia y Reivindicaciones
El artículo afirma que ECG-InterpBench proporciona un marco de capacidad controlada y reproducible para comparar modelos fundacionales de ECG a través de distintas dimensiones de la interpretabilidad de la representación. Argumenta que la interpretabilidad de la representación no es equivalente a la precisión predictiva o a la decodificabilidad lineal, sino que requiere mediciones explícitas y complementarias.

Los autores enfatizan que el benchmark caracteriza la estructura de las representaciones de los modelos congelados bajo un protocolo emparejado. Declaran explícitamente que los ordenamientos de modelos reportados son específicos para las propiedades de representación evaluadas (fidelidad, accesibilidad, estabilidad) y no deben interpretarse como clasificaciones de desempeño diagnóstico o valor clínico general. El trabajo no establece mecanismos fisiológicos ni resultados prospectivos en pacientes. En su lugar, establece una base para el desarrollo y la selección principled de modelos fundacionales de ECG interpretables, conectando la geometría de la representación con conceptos clínicos a través de modelos y escalas. El marco se presenta como extensible a otras modalidades clínicas, incluyendo imágenes médicas, EEG y registros de salud electrónicos.

Más como este