Confidence Matters: Uncertainty Quantification and Precision Assessment of Deep Learning-based CMR Biomarker Estimates Using Scan-rescan Data

Título: La confianza importa: Cuantificación de la incertidumbre y evaluación de la precisión de las estimaciones de biomarcadores CMR basadas en aprendizaje profundo utilizando datos de escaneo-reescaneo

1. Planteamiento del Problema

El análisis de resonancia magnética cardíaca (CMR) mediante cine es fundamental para estimar biomarcadores funcionales (como la fracción de eyección ventricular izquierda/derecha y la masa ventricular izquierda). Aunque los métodos de aprendizaje profundo (DL) han automatizado este proceso con alta precisión (medida por métricas de segmentación como el Dice score), la evaluación tradicional se centra casi exclusivamente en la exactitud (acuerdo con la verdad fundamental manual) y descuida la precisión en el contexto de estudios longitudinales.

El problema central identificado es que las estimaciones de biomarcadores, ya sea por humanos o máquinas, están sujetas a incertidumbre. Las evaluaciones actuales suelen basarse en estimaciones puntuales (un solo valor por escaneo), lo que oculta la variabilidad inherente. En estudios de seguimiento (escaneo-reescaneo), es crucial no solo saber si el valor promedio es correcto, sino entender la distribución de la incertidumbre y si los resultados de dos escaneos del mismo paciente pertenecen a la misma distribución estadística.

2. Metodología

Los autores propusieron un pipeline que integra técnicas de estimación de incertidumbre en un modelo de segmentación de CMR de última generación (basado en nnU-Net) para generar distribuciones de biomarcadores en lugar de valores puntuales.

• Modelo Base: Se utilizó una arquitectura nnU-Net entrenada para segmentar el pool sanguíneo ventricular izquierdo (LVBP), el pool sanguíneo ventricular derecho (RVBP) y el miocardio ventricular izquierdo (LVM) a partir de datos CMR de eje corto (SAX).
• Técnicas de Incertidumbre: Se aplicaron tres métodos distintos para obtener múltiples estimaciones y construir distribuciones:
  1. Ensamble Profundo (Deep Ensemble - DE): Aprovecha la validación cruzada de 5 pliegues del nnU-Net, ejecutando inferencia en los 5 modelos entrenados por separado.
  2. Aumento de Datos en Tiempo de Inferencia (Test-Time Augmentation - TTA): Se aplicaron transformaciones espaciales (rotaciones, recortes) e intensidades (desenfoque gaussiano, escalado) a las imágenes de entrada durante la inferencia, generando 10 estimaciones diferentes.
  3. Dropout de Monte Carlo (MC Dropout): Se mantuvieron activas las capas de dropout durante la inferencia (10 iteraciones) para capturar la incertidumbre epistémica.
• Datos de Validación: Se utilizaron dos conjuntos de datos externos de tipo "escaneo-reescaneo" (Roca-HC y Strain-8) obtenidos en el mismo día con replanificación, lo que simula la variabilidad clínica real.
• Nuevas Métricas de Precisión: Para evaluar la concordancia entre los escaneos, se propusieron tres métricas basadas en distribuciones:
  • Porcentaje de Precisión de Confianza (CPP): Porcentaje de valores del escaneo B que caen dentro de los límites de confianza del 95% del escaneo A (y viceversa).
  • Intersección sobre Unión de Confianza (CIoU): Porcentaje de superposición entre los intervalos de confianza de ambos escaneos.
  • Porcentaje de Diferencia de Precisión (PDP): Porcentaje de sujetos donde las distribuciones de los biomarcadores son estadísticamente diferentes (mediante pruebas t pareadas o Wilcoxon).

3. Contribuciones Clave

1. Cambio de Paradigma: Propuesta de utilizar técnicas de DL basadas en incertidumbre para estimar distribuciones de biomarcadores en lugar de valores puntuales a partir de datos de cine CMR.
2. Evaluación Rigurosa: Aplicación y comparación de estas técnicas en dos conjuntos de datos externos de escaneo-reescaneo.
3. Nuevas Métricas: Introducción de métricas (CPP, CIoU, PDP) diseñadas específicamente para cuantificar la precisión en el contexto de estimaciones de biomarcadores con incertidumbre, superando las limitaciones de las métricas tradicionales (media, desviación estándar, CoV).

4. Resultados

• Exactitud de Segmentación: El modelo logró una alta precisión en la segmentación, con un puntaje Dice promedio del 87% en todas las estructuras.
• Métricas Tradicionales (Engañosas): Al analizar la diferencia media y el coeficiente de variación (CoV) entre los valores medios de los biomarcadores de los escaneos A y B, todos los métodos (DE, TTA, MC Dropout) mostraron una concordancia satisfactoria y baja variabilidad.
• Métricas Basadas en Distribución (Reveladoras):
  • CIoU y CPP: Mostraron una concordancia mucho menor. En menos del 45% de los casos, la superposición entre los intervalos de confianza de los escaneos fue mayor al 50%. El método MC Dropout tuvo el peor desempeño, con una superposición muy baja.
  • PDP: Las pruebas estadísticas revelaron que en más del 65% de los casos (y hasta el 100% en algunos biomarcadores con MC Dropout), las distribuciones de los biomarcadores del escaneo y el reescaneo eran estadísticamente significativamente diferentes.
• Comparación de Métodos: El método TTA mostró la mayor concordancia en los intervalos de confianza, sugiriendo que la incertidumbre aleatoria (capturada por las transformaciones de entrada) es crucial para reflejar la variabilidad del reescaneo.

5. Significado y Conclusión

El estudio demuestra que las métricas de precisión tradicionales (basadas en promedios) pueden ser insuficientes y engañosas al evaluar la repetibilidad de los biomarcadores cardíacos. Aunque un modelo pueda parecer preciso en términos de valores medios, las distribuciones subyacentes pueden diferir significativamente entre escaneos del mismo paciente.

• Implicación Clínica: La falta de superposición en los intervalos de confianza sugiere que, para estudios longitudinales, es vital cuantificar la incertidumbre para evitar falsas conclusiones sobre cambios en el estado de salud del paciente.
• Recomendación: Se insta a la comunidad a adoptar métricas basadas en distribuciones (como las propuestas en este trabajo) para una evaluación más rigurosa y representativa de la precisión de los sistemas de IA en medicina.
• Futuro: Se destaca la necesidad de implementar técnicas que aumenten la repetibilidad de las estimaciones de biomarcadores funcionales cardíacos, reconociendo que la variabilidad en la planificación del escaneo y la reposición del paciente son fuentes críticas de incertidumbre.