SHIFT-QA: target-calibrated accept-or-review quality assurance for cardiac MRI segmentation under pathology shift

Resumen Técnico: SHIFT-QA

Planteamiento del Problema
Los modelos de segmentación automatizada de resonancia magnética (RM) cardíaca suelen alcanzar una alta precisión promedio en los datos de desarrollo, pero pueden fallar de forma impredecible cuando se despliegan en pacientes con diferentes características patológicas (desplazamiento de patología o pathology shift). Los métodos de validación convencionales informan métricas a nivel de cohorte (por ejemplo, la media del coeficiente Dice), pero no proporcionan un mecanismo para determinar, en un paciente individual, si un resultado de segmentación es lo suficientemente fiable para su uso automático o si requiere la revisión de un experto. Esta brecha es crítica porque los errores de segmentación no se distribuyen uniformemente; un modelo puede tener una puntuación media favorable y, sin embargo, producir errores clínicamente trascendentales en subconjuntos específicos de casos. Además, los métodos estándar de estimación de la incertidumbre y de evaluación de la calidad de la segmentación (SQA) suelen carecer de una regla operativa explícita y calibrada para convertir las puntuaciones de fiabilidad en decisiones de "aceptar o revisar" antes de la prueba final sobre el objetivo.

Metodología: Marco de trabajo SHIFT-QA
Los autores proponen SHIFT-QA, un marco de garantía de calidad calibrado para el objetivo, diseñado para gestionar el riesgo residual bajo un desplazamiento de distribución. El marco opera a través de las siguientes etapas:

1. Agregación de Evidencia de Fiabilidad: Para cada estudio de paciente, el marco extrae un vector de características a nivel de paciente ($z_i$) que combina cuatro fuentes de evidencia de fiabilidad:

   • Incertidumbre Predictiva: Media y entropía del percentil alto sobre la región del primer plano (foreground).
   • Desacuerdo de Ensambles: Desacuerdo de Dice pareado medio entre las máscaras de los miembros del ensamble.
   • Variabilidad de Volumen: Coeficiente de variación de los volúmenes específicos de clase entre los miembros del ensamble.
   • Inestabilidad Funcional: Desviación estándar de las mediciones clínicas derivadas (específicamente la fracción de eyección) obtenidas de los miembros del ensamble.

2. Definición de Fallo Operativo: Se define un etiquetado de fallo a nivel de paciente ($b_i$) a priori basado en criterios clínicamente significativos. En la implementación de RM cardíaca, ocurre un fallo si el Dice medio del primer plano a nivel de paciente está por debajo de un umbral ($\delta_{Dice}$) O si el error absoluto de la fracción de eyección excede un umbral ($\delta_{EF}$). Los autores enfatizan que esta definición debe fijarse antes de acceder a las etiquetas de la prueba de objetivo para evitar la filtración de datos (data leakage).

3. Puntuación de Riesgo: El vector de características se mapea a una puntuación de riesgo escalar ($r_i$). Ante la falta de ejemplos de fallos etiquetados suficientes para un ajuste supervisado (una limitación en su prototipo específico), los autores emplean un fallback de puntuación de fiabilidad predefinido donde las características normalizadas se promedian para producir una puntuación de riesgo monótona.

4. Calibración del Objetivo: Un subconjunto etiquetado de la cohorte objetivo (disjunto de pacientes del conjunto de prueba final) se utiliza para seleccionar un umbral de aceptación ($\tau^*$). El umbral se elige para maximizar la cobertura automática (la proporción de pacientes aceptados) asegurando que la tasa de fallo en los casos aceptados empíricos en el conjunto de calibración permanezca por debajo de una tolerancia preespecificada ($\alpha$).

5. Despliegue Congelado: Una vez que la regla de fallo, el método de puntuación de riesgo y el umbral están congelados, el conjunto de prueba de objetivo final se evalúa exactamente una vez. El resultado es una segmentación de consenso acompañada de una decisión operativa: "aceptar" (si $r_i \le \tau^*$) o "revisar" (si $r_i > \tau^*$).

Configuración Experimental
Los autores implementaron una prueba de concepto local utilizando el conjunto de datos Automated Cardiac Diagnosis Challenge (ACDC).

• Datos de Origen: Se utilizaron pacientes con Miocardiopatía Dilatada (DCM), Infarto de Miocardio (MINF), Normal (NOR) y Ventrículo Derecho Anormal (RV) para el entrenamiento y la validación de la fuente.
• Desplazamiento de Objetivo: La Miocardiopatía Hipertrófica (HCM) fue tratada como la patología de objetivo retenida para simular un desplazamiento de patología.
• Divisiones de Datos: La cohorte ACDC de 100 pacientes se dividió en Entrenamiento de Fuente (64 pacientes), Validación de Fuente (16 pacientes), Calibración de Objetivo (10 pacientes HCM) y Prueba de Objetivo (10 pacientes HCM).
• Modelo: Un U-Net 2D ligero entrenado con un ensamble de instantáneas (snapshot ensemble) (derivado de puntos de control de entrenamiento de continuación) para aproximar la incertidumbre, dado que los ensambles de múltiples semillas totalmente independientes estaban computacionalmente limitados.

Resultados Clave

• Diagnóstico de la Regla de Fallo: Se encontró que una regla de fallo estricta inicial (basada en el Dice de la clase mínima) era excesivamente conservadora, etiquetando a todos los 10 pacientes de calibración HCM como fallos y resultando en una política de "referir todo". Una regla congelada revisada (Dice Medio < 0.75 O |Error de EF| > 0.15) permitió una calibración no trivial.
• Calibración: Utilizando la regla revisada, se seleccionó un umbral de $\tau^* = 0.590787$ en el conjunto de calibración de objetivo, logrando un 80% de cobertura con una tasa de fallo de casos aceptados de 0.375 (por debajo de la tolerancia objetivo de 0.40).
• Rendimiento de la Prueba de Objetivo: Sobre el conjunto de prueba de objetivo HCM de 10 pacientes no tocado:
  • Cobertura: 8 de 10 pacientes fueron aceptados; 2 fueron referidos.
  • Precisión: La tasa de fallo observada entre los casos aceptados fue de 0.000. Ambos casos referidos fueron fallos operativos bajo la regla congelada.
  • Diferenciación: Los pacientes aceptados tuvieron un Dice de primer plano medio significativamente mayor (0.839 frente a 0.657) y un error de fracción de eyección absoluta menor (0.065 frente a 0.228) en comparación con los pacientes referidos.

Significancia y Reivindicaciones
El artículo afirma que SHIFT-QA demuestra la viabilidad de un flujo de trabajo de aceptación o revisión calibrado para el objetivo en la segmentación de RM cardíaca bajo un desplazamiento de patología. La contribución principal es cambiar el enfoque de mejorar únicamente la precisión de la segmentación hacia la gestión del riesgo a nivel de flujo de trabajo mediante:

1. La formulación de la garantía de calidad como un problema de decisión a nivel de paciente en lugar de solo una visualización de la incertidumbre.
2. La implementación de un protocolo bloqueado donde la definición de fallo y el umbral de aceptación se determinan utilizando un subconjunto de calibración de objetivo antes de la evaluación final.
3. La demostración de que una política calibrada puede separar con éxito las segmentaciones fiables de los casos de alto riesgo en un entorno controlado de patología retenida.

Modestia y Limitaciones
Los autores declaran explícitamente que estos resultados son preliminares y no constituyen una validación de despliegue clínico. Destacan las siguientes limitaciones:

• El conjunto de prueba de objetivo fue pequeño (10 pacientes).
• La estimación de la incertidumbre dependió de un ensamble de instantáneas en lugar de modelos totalmente independientes.
• La puntuación de riesgo utilizó un fallback predefinido en lugar de un modelo supervisado debido a la falta de fallos en el lado de la fuente.
• El estudio fue un prototipo de un solo centro y un solo fabricante (ACDC) y no pretende generalización multicéntrica o multimanufactor.

Los autores concluyen que, si bien el marco apoya el concepto de garantía de calidad calibrada para el objetivo, se requiere una validación multicéntrica y multimanufactor más amplia antes del despliegue clínico.