Prospective clinical indication, post-hoc report leakage, and fusion design in multi-image chest radiograph classification: a patient-clustered evaluation

Resumen Técnico: Estudio de Radiografía de Tórax SectionGuard-MI

Planteamiento del Problema
Los conjuntos de datos de radiografías de tórax suelen emparejar imágenes con texto clínico generado en diferentes etapas del proceso de atención. La Indicación Clínica se registra antes de la interpretación de la imagen, mientras que los Hallazgos y la Impresión se escriben después de que el radiólogo revisa las imágenes. Un fallo metodológico crítico en el aprendizaje multimodal es la "circularidad reporte-etiqueta": cuando los modelos se entrenan para predecir etiquetas derivadas de un reporte (por ejemplo, mediante CheXbert) utilizando ese mismo reporte como entrada, el alto rendimiento puede reflejar el acceso a la fuente lingüística de la etiqueta en lugar de una interpretación de la imagen independiente. Además, los exámenes de múltiples imágenes carecen a menudo de etiquetas de vista verificadas (por ejemplo, frontal vs. lateral), dependiendo en su lugar de ranuras de orden de archivo, lo que puede introducir un sesgo posicional si los modelos aprenden estrategias de fusión de orden fijo. Este estudio aborda la necesidad de distinguir la predicción prospectiva (usando imágenes y texto previo a la interpretación) de la reconstrucción post-hoc, además de evaluar estrategias de fusión para pares de imágenes no ordenados.

Metodología
El estudio utilizó un subconjunto de 15,000 exámenes del conjunto de datos ReXGradient-160K, cada uno con dos imágenes legibles. La cohorte se dividió en conjuntos de entrenamiento (12,253), validación (1,398) y prueba pública (1,349), donde el conjunto de prueba representaba 1,136 grupos de pacientes únicos.

• Datos y Etiquetas: Se extrajeron cinco observaciones (atelectasia, cardiomegalia, edema, derrame pleural, consolidación) utilizando CheXbert a partir de la concatenación de Hallazgos e Impresión. Se evaluaron dos mapeos de etiquetas: U-Ones (las salidas positivas e inciertas se mapean a 1) como el objetivo principal, y U-Zeros (solo los positivos explícitos se mapean a 1) como un análisis de sensibilidad.
• Extracción de Características: Se utilizaron codificadores congelados para evitar el ajuste fino (fine-tuning) sobre el conjunto de datos específico. Las imágenes fueron procesadas mediante un DenseNet-121 preentrenado en ImageNet (características de 1,024 dimensiones). El texto (Indicación y variantes de reporte) fue codificado utilizando un Bio+ClinicalBERT congelado (características de 768 dimensiones).
• Arquitecturas de Modelos:
  • Líneas Base (Baselines): Imagen única, dos imágenes, solo Indicación, y "Fusión Ordinaria" (concatenación de modalidades).
  • Modelo Propuesto (SectionGuard-MI): Una arquitectura multimodal con compuerta (gated) donde las características faltantes se ponen a cero antes y después de la proyección para prevenir el sesgo. Una red de compuerta conjunta condiciona sobre todas las características proyectadas e indicadores de disponibilidad. Incorpora ModDrop (eliminación aleatoria de las ramas de la segunda imagen/texto) y una penalización de consistencia de predicción durante el entrenamiento.
  • Comparadores: Entrenamiento de intercambio aleatorio (random-swap training) (intercambio de posiciones de imagen durante el entrenamiento), DeepSets (agregación invariante a la permutación) y líneas base de concatenación con parámetros coincidentes.
• Controles de Fuga (Leakage Controls): Los Hallazgos y la Impresión se utilizaron exclusivamente como controles post-hoc. Los experimentos incluyeron el enmascaramiento léxico exacto y expandido para medir la señal predictiva residual en el texto del reporte.
• Evaluación: Los modelos se entrenaron con cinco semillas aleatorias. La incertidumbre se estimó mediante 2,000 réplicas de bootstrap de grupos de pacientes para contabilizar los pacientes repetidos. Las métricas primarias fueron macro AUROC y macro AUPRC.

Resultos Clave

• Rendimiento Prospectivo: Bajo U-Ones, el modelo de solo Indicación logró una macro AUROC de 0.749, superando al modelo de dos imágenes (0.694) y a la imagen primaria por sí sola (0.643). La fusión ordinaria de dos imágenes más la Indicación alcanzó 0.780.
• Rendimiento de SectionGuard-MI: SectionGuard-MI logró una macro AUROC de 0.783 y una macro AUPRC de 0.260.
  • Comparado con la fusión ordinaria, la diferencia de AUROC fue de 0.0031 (IC 95%: −0.0042 a 0.0104; p ajustado = 0.374), lo cual no fue estadísticamente significativo.
  • La diferencia de AUPRC fue de 0.0289 (IC 95%: 0.0095 a 0.0413; p ajustado = 0.004), indicando una mejora significativa en el rendimiento de precisión-recuerdo.
  • Sin embargo, SectionGuard-MI mostró una peor calibración (mayor puntuación de Brier y ECE) en comparación con la fusión ordinaria y la fusión de intercambio aleatorio (random-swap).
• Arquitecturas Alternativas: DeepSets (invariante a la permutación) logró la estimación puntual de macro AUROC prospectiva más alta (0.787), mientras que la fusión de intercambio aleatorio logró el AUPRC más alto (0.265) y la mejor calibración entre los modelos prospectivos.
• Fuga y Enmascaramiento:
  • El texto completo del reporte (Hallazgos + Impresión) por sí solo alcanzó un rendimiento cercano al techo (AUROC 0.979, AUPRC 0.836).
  • Incluso tras el enmascaramiento léxico exacto y expandido de los términos objetivo, los modelos de reportes enmascarados retuvieron un AUROC > 0.973, demostrando que el contenido descriptivo del reporte codifica observaciones más allá de las palabras clave específicas.
  • Añadir imágenes al reporte completo en realidad redujo el rendimiento (la AUROC cayó 0.0258), sugiriendo interferencia de la fusión a nivel de características en este entorno.
• Enmascaramiento de la Indicación: El enmascaramiento de los términos objetivo en el texto de la Indicación resultó en cambios de rendimiento insignificantes (diferencia de AUROC ~0.001), sugiriendo que el poder predictivo de la Indicación proviene de un contexto clínico más amplio (síntomas, antecedentes) en lugar de una fuga directa de términos objetivo.

Significancia y Reivindicaciones
El artículo afirma proporcionar un marco de evaluación riguroso para la clasificación de radiografías de tórax multimodales que separa explícitamente los ingresos prospectivos de la fuga de reportes post-hoc. Sus principales contribuciones son:

1. Demostrar la Circularidad Reporte-Etiqueta: Cuantifica cuánto del rendimiento es impulsado por el acceso al texto del reporte en sí, mostrando que incluso los reportes enmascarados retienen un alto poder predictivo.
2. Evaluar Estrategias de Fusión: Muestra que los enfoques de permutación invariante (DeepSets) y de intercambio aleatorio son competitivos con la fusión de orden fijo, sugiriendo que los modelos no necesitan asignar un significado clínico permanente a las ranuras de orden de archivo de las imágenes.
3. Comparación Matizada de Modelos: Destaca que, si bien SectionGuard-MI mejoró significativamente el AUPRC sobre la fusión ordinaria, no mejoró la AUROC y sufrió de una peor calibración. Esto subraya el compromiso entre el rendimiento de clasificación (ranking) y la calibración de probabilidad en la fusión multimodal.
4. Disciplina Metodológica: El estudio enfatiza la importancia del bootstrapping por grupos de pacientes para la estimación de la incertidumbre y la necesidad de distinguir entre "etiquetas derivadas de reportes" y "diagnósticos adjudicados independientemente".

Los autores declaran explícitamente que sus resultados no establecen la exactitud diagnóstica, la utilidad clínica o la validez externa a otros conjuntos de datos, ya que los objetivos se derivan de reportes en lugar de una adjudicación radiológica independiente. El estudio sirve como una evaluación diagnóstica del comportamiento del modelo bajo restricciones de datos específicas, en lugar de una afirmación de preparación para el despliegue clínico.