Cross-cohort evaluation of thyroid ultrasound deep learning across different outcome definitions: a duplicate-controlled benchmark

Resumen Técnico: Evaluación Trans-cohorte de Aprendizaje Profundo para Ultrasonido de Tiroides a través de Diferentes Definiciones de Resultado

Planteamiento del Problema
El rendimiento de los modelos de inteligencia artificial (IA) para la interpretación de ultrasonidos de tiroides depende altamente de las características de la cohorte y del punto final de evaluación específico utilizado. Un desafío crítico en el campo es la intercambiabilidad de los diferentes puntos finales diagnósticos: la patología postoperatoria (un resultado diagnóstico definitivo) frente a las categorías de riesgo asignadas por radiólogos, como el Sistema de Informe y Datos de Imagen de Tiroides según el American College of Radiology (TI-RADS) (una puntuación de sospecha orientada al manejo clínico). Estos puntos finales representan etapas distintas de la vía diagnóstica y no son intercambiables. Además, los modelos de aprendizaje profundo entrenados en un conjunto de datos suelen fallar al generalizarse a cohortes independientes debido a cambios en la población, el equipo, los protocolos de adquisición y las definiciones de etiquetas. Este estudio aborda la necesidad de evaluar modelos clasificadores de ultrasonido de tiroides, separando explícitamente la evaluación contra resultados de malignidad de la concordancia con las categorías de riesgo derivadas de TI-RADS, todo ello controlando la filtración de datos a nivel de imagen.

Metodología
El estudio empleó un flujo de trabajo de benchmarking de nivel de imagen con control de duplicados utilizando un entorno de análisis fijo (Python 3.10, PyTorch 2.5.1).

• Conjuntos de Datos:

  • Archivo de Desarrollo: Una liberación pública de Mendeley Data que contiene 387 imágenes de ultrasonido en modo B y 1,332 bloques de citología de aspiración con aguja fina (FNA) derivados de 385 casos de origen. Las etiquetas fueron binarias (Carcinoma Papilar de Tiroides [PTC] vs. Benigno) basadas en el diagnóstico postoperatorio. No se disponía de identificadores a nivel de paciente, lo que impidió realizar divisiones verificadas a nivel de paciente.
  • Cohortes Externas: Se evaluaron dos modelos congelados sin reentrenamiento ni ajuste de umbral en:
    1. TN3K: Un subconjunto de 1,228 imágenes con etiquetas benignas/malignas proporcionadas por el conjunto de datos.
    2. DDTI: 637 imágenes evaluadas contra un punto final binario derivado de las categorías TI-RADS de radiólogos (agrupando baja sospecha TI-RADS 2–3 vs. alta sospecha TI-RADS 4–5).

• Preprocesamiento de Datos y Control de Filtración:

  • Control de Duplicados: Las imágenes se agruparon mediante hashes MD5 (duplicados exactos) y hashes perceptuales (imágenes casi idénticas). Estos grupos se mantuvieron dentro de una sola partición (entrenamiento, validación, prueba) para evitar la filtración de datos a nivel de imagen.
  • Preprocesamiento: Las imágenes se redimensionaron a 224×224 píxeles. Un experimento exploratorio probó el recorte automático de la Región de Interés (ROI) basado en texturas para suprimir artefactos de la interfaz periférica.

• Arquitectura y Entrenamiento de Modelos:

  • Se entrenaron cinco arquitecturas de backbone: ConvNeXt-Small, EfficientNet-B3, Swin-Tiny, ResNet-50 y DenseNet-121.
  • Los modelos se inicializaron con pesos de ImageNet y se ajustaron finamente utilizando una pérdida de entropía cruzada ponderada por clase con optimización AdamW.
  • Se construyó un ensamble promediando las probabilidades sigmoideas de ConvNeXt-Small, EfficientNet-B3, Swin-Tiny y ResNet-50.
  • La calibración se evaluó mediante el escalado de temperatura, la puntuación de Brier y el Error de Calibración Esperado (ECE).

• Estrategia de Evaluación:

  • El rendimiento se midió mediante AUROC, AUPRC, precisión, sensibilidad, especificidad y puntuación F1.
  • Los intervalos de confianza se generaron mediante remuestreo bootstrap no paramétrico (2,000 réplicas).
  • Las modalidades de citología y ultrasonido se analizaron como distribuciones de imágenes separadas y no emparejadas; no se estimó la precisión comparativa dentro del mismo paciente.

Contribuciones Clave

1. Separación de la Procedencia del Punto Final: El estudio distingue explícitamente entre evaluar la capacidad de un modelo para predecir la malignidad (contra etiquetas de patología) y su concordancia con la estratificación de riesgo radiológica (TI-RADS).
2. Benchmarking Controlado por Duplicados: Implementación de hashing exacto y perceptual para prevenir la filtración de datos a nivel de imagen en ausencia de identificadores a nivel de paciente, un problema común en los archivos públicos de imágenes médicas.
3. Evaluación de Cohorte Externa con Modelos Congelados: Evaluación de modelos congelados en dos cohortes distintas (TN3K y DDTI) sin reentrenamiento, resaltando cómo varía el rendimiento según la adquisición y la definición del punto final.
4. Contraste Descriptivo de Modalidades: Un análisis no emparejado de la comparación entre ultrasonido y citología, aclarando que tales comparaciones describen distribuciones de imágenes en lugar de establecer una superioridad clínica.

Resultados

• Rendimiento Interno (Archivo de Desarrollo):

  • Citología: El modelo ConvNeXt-Small alcanzó un AUROC de 0.988 (IC 95% 0.976–0.998), y el ensamble alcanzó 0.986.
  • Ultrasonido: El modelo EfficientNet-B3 alcanzó un AUROC de 0.745 (IC 95% 0.612–0.865), y el ensamble alcanzó 0.733.
  • Recorte de ROI: El recorte automático de ROI mejoró el AUROC del ensamble de ultrasonido de 0.745 a 0.817.
  • Calibración: El escalado de temperatura mejoró la fiabilidad de la probabilidad (el ECE se redujo de 0.032 a 0.014) sin alterar las métricas basadas en el rango.

• Evaluación de Cohorte Externa (Modelos Congelados):

  • TN3K (Etiquetas de Malignidad): El ensamble de ultrasonido alcanzó un AUROC de 0.825, y ResNet-50 alcanzó 0.888. Estos resultados indican una buena discriminación contra las etiquetas de benigno/maligno distribuidas en el conjunto de datos.
  • DDTI (Punto Final TI-RADS): Contra el punto final derivado de TI-RADS, el ensamble alcanzó un AUROC de 0.477 y ResNet-50 alcanzó 0.437. Esto indica poca o ninguna concordancia con la categorización de TI-RADS.
  • Interpretación: Los autores señalan que el contraste entre los resultados de TN3K y DDTI no puede atribuirse únicamente a la definición de la etiqueta, ya que la cohorte, el equipo, la adquisición y el espectro de la enfermedad también cambiaron simultáneamente.

• Comparación de Modalidades: Un análisis bootstrap descriptivo y no emparejado mostró una diferencia de AUROC de citología menos ultrasonido de 0.247 (IC 95% 0.120–0.384). Los autores enfatizan que esto no prueba que la citología sea clínicamente superior, ya que los conjuntos de imágenes no estaban emparejados por paciente.

Significancia y Reivindicaciones
El artículo sostiene que los modelos de ultrasonido de tiroides congelados se comportan de manera diferente en cohortes que difieren en adquisición y definición de resultados. El marcado contraste entre el alto rendimiento en TN3K (etiquetas de malignidad) y el rendimiento cercano al azar en DDTI (etiquetas de TI-RADS) subraya que estos puntos finales no son intercambiables.

El estudio respalda tres implicaciones principales para la investigación futura:

1. Reporte Explícito: La procedencia de la etiqueta (por ejemplo, diagnóstico postoperatorio frente a TI-RADS) debe reportarse explícitamente.
2. Interpretación Cautelosa: Los contrastes de rendimiento entre cohortes deben interpretarse con cautela, ya que reflejan una confluencia de cambios en la distribución y definiciones de puntos finales, más que un único factor causal.
3. Validación a Nivel de Paciente: Los estudios futuros requieren una evaluación externa a nivel de paciente contra un estándar de referencia clínicamente apropiado para asegurar la transportabilidad.

Los autores concluyen modestamente que sus hallazgos apoyan la necesidad de divisiones verificadas a nivel de paciente y descripciones consistentes del estándar de referencia, en lugar de reclamar una solución definitiva al problema de la generalización en la IA de tiroides. El estudio no valida el diagnóstico de malignidad en DDTI, ya que el punto final de TI-RADS no es un estándar de referencia de malignidad.