Calibrated Selective Prediction Using Deep Ensembles for ROI-Based Thyroid Nodule Ultrasound Classification Under Dataset Shift: A Retrospective Evaluation

Resumen Técnico: Predicción Selectiva Calibrada Mediante Ensembles Profundos para la Clasificación de Nódulos Tiroideos Basada en ROI bajo Desplazamiento de Datos

Planteamiento del Problema
Si bien los modelos de aprendizaje profundo han demostrado una alta capacidad de discriminación en la clasificación de nódulos tiroideos a partir de imágenes de ultrasonido, la alta precisión por sí sola es insuficiente para el apoyo a la decisión clínica. En escenarios del mundo real, los modelos pueden producir predicciones seguras pero poco fiables para casos ambiguos, imágenes de diferentes protocolos de adquisición o distribuciones de datos que difieren del conjunto de entrenamiento (desplazamiento de datos o dataset shift). Un sistema clínico seguro no solo debe clasificar imágenes, sino también identificar los casos en los que las sugerencias de triaje automatizadas no son fiables y derivarlos a expertos humanos. Esto requiere una calibración de probabilidad robusta, estimación de la incertidumbre y un mecanismo de predicción selectiva (clasificación con una opción de rechazo) que opere de manera conservadora bajo el desplazamiento de datos.

Metodología
El estudio propone un marco de deep-ensemble determinista de cinco miembros, calibrado y asistido por anotaciones, para la clasificación de regiones de interés (ROI) de nódulos tiroideos. La metodología involucra los siguientes componentes clave:

• Conjunto de Datos y Arquitectura: El marco utiliza el conjunto de datos TN5000 (5,000 imágenes, enriquecido con casos malignos) para el desarrollo y la validación cruzada interna, y el conjunto TN3K (614 imágenes, con diferente distribución de clases y estilo de anotación) para la evaluación externa bajo desplazamiento de datos. Se seleccionó como arquitectura óptima una red de base ConvNeXt-Tiny aumentada con un módulo de atención Squeeze-and-Excitation (SE).
• Ensemble y Calibración: Se generan cinco miembros de un ensemble entrenados de forma independiente (utilizando diferentes semillas aleatorias). Para garantizar estimaciones de probabilidad fiables, se aplica un escalado de vectores por miembro post-hoc utilizando un subconjunto de calibración dedicado (val_calib) dentro de cada pliegue (fold) de la validación cruzada.
• Estimación de la Incertidumbre: Se emplea la Información Mutua (MI, por sus siglas en inglés) como la principal medida operativa del desacuerdo del ensemble. La MI cuantifica la divergencia entre la entropía de la predicción media del ensemble y la media de la entropía de los miembros individuales. Una MI alta indica una alta incertidumbre epistémica (desacuerdo entre modelos).
• Política de Triaje Selectivo: Se aplica una estricta política retrospectiva de tres niveles:
  1. Puerta de Incertidumbre: Las imágenes con una MI que excede un umbral específico de cada pliegue se asignan inmediatamente a revisión por un radiólogo.
  2. Puertas de Descarte/Confirmación: Entre las imágenes con baja MI, se evalúan las probabilidades de malignidad calibradas frente a umbrales específicos de cada pliegue.
     • Las probabilidades por debajo de un umbral de descarte conservador ($\tau_{low}$) reciben una sugerencia basada en la imagen de "No-FNA" (No realizar punción con aguja fina).
     • Las probabilidades por encima de un umbral de confirmación conservador ($\tau_{high}$) reciben una recomendación de "FNA" (Realizar punción con aguja fina).
     • Las probabilidades que caen en la "zona gris" intermedia se asignan a revisión por un radiólogo.
• Selección de Umbrales: Los umbrales se derivan exclusivamente del subconjunto de validación (val_es) de cada pliegue para cumplir con estrictos criterios de seguridad: un Valor Predictivo Negativo (VPN) de "No-FNA" $\ge$ 98% y un Valor Predictivo Positivo (VPP) de "recomendación de FNA" $\ge$ 95%.
• Evaluación Externa: Un modelo y una política congelados derivados de TN5000 se aplican sin cambios al TN3K para evaluar la transportabilidad de la calibración, el comportamiento de la incertidumbre y la validez de los umbrales de decisión bajo el desplazamiento de datos.

Contribuciones Clave

1. Desarrollo del Marco: Los autores desarrollaron un marco de deep-ensemble determinista y calibrado utilizando ConvNeXt-Tiny con atención SE para la clasificación de ROI de nódulos tiroideos.
2. Derivación Impulsada por la Incertidumbre: El estudio evalúa la Información Mutua como una puntuación específica de desacuerdo del ensemble para identificar imágenes que no son aptas para el triaje automatizado, distinguiéndola de la ponderación de la incertidumbre durante el entrenamiento.
3. Política de Triaje Conservadora: Se propone una política de tres niveles que combina la derivación basada en la incertidumbre con vías de descarte y confirmación basadas en la probabilidad, asegurando que las sugerencias automatizadas se emitan solo para casos de bajo desacuerdo con probabilidades extremas.
4. Análisis de Transportabilidad Externa: El estudio evalúa rigurosamente una política congelada derivada de TN5000 en una cohorte independiente de TN3K, analizando explícitamente cómo la discriminación, la calibración y la validez de los umbrales se degradan bajo el desplazamiento de datos.

Resultados

• Rendimiento Interno (TN5000): El ensemble calibrado logró un AUC-ROC agrupado fuera del pliegue (out-of-fold) de 0.9395 y una Precisión Media (AP) de 0.9715. La calibración fue excelente, con un Error de Calibración Esperado (ECE) de 0.0088 y un índice de Brier de 0.0813.
• Predicción Selectiva Interna: Con una tasa de retención nominal de MI del 50%, el sistema asignó el 7.2% de los casos a "No-FNA", el 39.9% a "recomendación de FNA" y el 52.9% a revisión por radiólogo. Esto logró un VPN de "No-FNA" del 98.3% y una captura de malignidad del 99.83%.
• Rendimiento Externo (TN3K): Bajo el desplazamiento de datos, la discriminación disminuyó (AUC-ROC 0.7870, AP 0.7254) y la calibración se deterioró significamente (ECE 0.1899, índice de Brier 0.2281).
• Resultados del Triaje Externo: La aplicación de la política congelada de TN5000 al TN3K resultó en que el 83.7% de los casos fueran asignados a revisión por radiólogo, el 15.3% recibiera una recomendación de FNA y solo el 1.0% una sugerencia de "No-FNA". Aunque ninguna imagen maligna fue asignada incorrectamente a la vía de "No-FNA" (se observó un VPN del 100%), esto se debió a la alta tasa de derivación más que a una capacidad robusta de descarte. El VPP de la recomendación de FNA cayó al 76.6%, no alcanzando el objetivo del 95% establecido durante la selección de umbrales interna.

Significancia y Reivindicaciones
El artículo afirma que el marco de deep-ensemble calibrado propuesto demuestra con éxito una fuerte discriminación y calibración interna, lo que respalda un marco de predicción selectiva conservadora donde las sugerencias automatizadas se retienen en casos de alto desacuerdo. Sin embargo, los autores declaran explícitamente que la evaluación externa en TN3K revela una reducción en la discriminación, una degradación de la calibración y una limitada transportabilidad de los umbrales operativos bajo el desplazamiento de datos.

Consecuentemente, los autores concluyen que estos hallazgos no respaldan el despliegue clínico directo ni las afirmaciones de reducción real de biopsias sin una calibración local, validación de umbrales y evaluación clínica prospectiva. En su lugar, el estudio posiciona la predicción selectiva como un mecanismo cauteloso para identificar imágenes que no son aptas para el triaje autónomo, enfatizando que las sugerencias basadas en imágenes automatizadas solo deben emitirse para casos de bajo desacuerdo, mientras que las predicciones potencialmente poco fiables deben derivarse a la revisión de un experto. El trabajo destaca la necesidad de una validación local antes de aplicar tales modelos a nuevos entornos clínicos.