Resumen Técnico: GRAPE – Explicaciones de Prototipos Aumentadas por Grafos para el Diagnóstico Interactivo de Imágenes Médicas

Declaración del Problema

Si bien los modelos de aprendizaje profundo han alcanzado una precisión de nivel radiológico en imágenes médicas, su adopción clínica se ve obstaculizada por la falta de interpretabilidad y los riesgos de seguridad asociados con la retroalimentación interactiva. Los modelos basados en prototipos actuales, que ofrecen interpretabilidad al emparejar imágenes con ejemplos visuales aprendidos, sufren tres limitaciones estructurales específicas:

1. Modelado de Conceptos Independientes: Los cabezales de tareas actuales tratan los hallazgos clínicos como independientes, ignorando las coocurrencias anatómicas conocidas (por ejemplo, la tuberculosis activa y la formación de cavidades), descartando así la estructura clínicamente significativa.
2. Interacción Espacial Insegura: Cuando los médicos proporcionan retroalimentación correctiva (por ejemplo, dibujando un cuadro delimitador), el sistema aplica esta retroalimentación ciegamente. Si el modelo está confundido y asocia un concepto diferente con la región indicada, la retroalimentación amplifica silenciosamente los errores, creando riesgos para la seguridad del paciente.
3. Vocabulario Cerrado: Añadir un nuevo hallazgo clínico (por ejemplo, una variante rara) requiere el reentrenamiento completo del atlas de prototipos, lo cual es prohibitivamente costoso en entornos clínicos.

Metodología: La Arquitectura GRAPE

GRAPE propone un marco de entrenamiento unificado de cuatro etapas que integra supervisión de conceptos, aprendizaje de prototipos contrastivos, alineación con Modelos de Lenguaje-Visión (VLM) y clasificación estructurada por grafos. La arquitectura consta de tres módulos principales:

Módulo A: Cabezal de Tarea de Atención de Grafos

Para abordar la independencia de los conceptos, GRAPE construye un grafo de coocurrencia basado en datos a partir de las etiquetas de entrenamiento.

• Construcción del Grafo: Se deriva una matriz de probabilidad condicional de $K \times K$ del conjunto de entrenamiento, que representa $P(k | k')$. Esta matriz se somete a un umbral para crear un grafo de adyacencia dirigido con bucles de auto-conexión.
• Red de Atención de Grafos (GAT): En lugar de una capa lineal plana, el modelo emplea dos capas de Redes de Atención de Grafos. Las características iniciales de los nodos son las puntuaciones de similitud de los prototipos ($s_{k,:}$). La GAT refina estas puntuaciones mediante mecanismos de atención aprendidos antes de pasarlas a una lectura de Capa-Norm–Dropout–Lineal para la clasificación. Esto permite que el modelo aproveche las correlaciones anatómicas entre los hallazgos.

Módulo B: Verificación de Seguridad por Desajuste de Conceptos

Este módulo introduce un mecanismo de seguridad para evitar la amplificación de la retroalimentación errónea del médico.

• Mecanismo: Cuando un médico dibuja un cuadro delimitador ($B$) para reforzar un concepto específico ($k^*$), el sistema calcula la similitud media ($\bar{s}_k(B)$) para todos los conceptos dentro de esa región utilizando la media espacial de los mapas de similitud de prototipos.
• Lógica de Seguridad: El sistema identifica el concepto dominante ($k^\dagger$) dentro del cuadro. Si $k^\dagger \neq k^*$ y la diferencia en la similitud media supera un umbral ($\eta = 0.05$), se emite una advertencia de seguridad. La retroalimentación se retiene hasta que el médico confirme la corrección.
• Señal de Varianza: El sistema utiliza mapas de varianza de prototipos ($U_k$) para detectar evidencia ambigua, guiando el enmascaramiento de prototipos durante el entrenamiento y sirviendo como una señal determinista para las verificaciones de seguridad durante la inferencia (evitando la sobrecarga de muestreo de los métodos de incertidumbre bayesiana).

Módulo C: Anclaje de Prototipos de Vocabulario Abierto

Para eliminar el cuello de botella del vocabulario cerrado, GRAPE alinea los prototipos visuales con incrustaciones de texto congeladas.

• Alineación: Una proyección aprendible ($W_{txt}$) mapea las incrustaciones de texto de un codificador BioViL-T congelado hacia el espacio de prototipos visuales. Una pérdida de alineación ($L_{align}$) atrae los prototipos visuales hacia sus anclas de texto correspondientes.
• Adición Zero-Shot: En el tiempo de prueba, se pueden añadir nuevos conceptos sin reentrenar el backbone u otros componentes. Un clínico inicializa los prototipos para un nuevo concepto utilizando el ancla de texto perturbada por ruido Gaussiano. Estos prototipos son inmediatamente utilizables para la inferencia o pueden adaptarse con unos pocos ejemplos etiquetados mediante el ajuste fino local de conceptos.

Contribuciones Clave

1. Razonamiento Estructurado por Grafos: La introducción de un Cabezal de Tarea de Atención de Grafos que modela la coocurrencia de conceptos, mejorando el macro-F1 en +13.8 puntos porcentuales sobre los baselines de prototipos en el conjunto de datos TBX11K.
2. Mecanismo de Seguridad: El primer "Verificador de Desajuste de Conceptos" en clasificadores médicos basados en prototipos. Detecta cuando la etiqueta pretendida por el médico entra en conflicto con la evidencia visual dominante del modelo en una región, capturando el 85% de las anotaciones erróneas (frente al 51% de MC-Dropout) sin costo adicional de inferencia.
3. Extensión de Vocabulario Abierto: Un mecanismo para añadir nuevos hallazgos clínicos a partir de una sola imagen etiquetada (o descripción de texto) sin modificar los componentes existentes del modelo.
4. Fidelidad Espacial: Los mapas de prototipos logran una mejor localización de lesiones 2.6 veces superior (Pointing Game) que los baselines de extremo a extremo en TBX11K, demostrando que la interpretabilidad no requiere sacrificar la precisión espacial.
5. Eficiencia: Las tres capacidades añaden solo +1 ms de latencia en tamaños de lote interactivos, satisfaciendo los requisitos de interacción en tiempo real.

Resultados Experimentales

Los autores evaluaron GRAPE en TBX11K (detección de TB de 3 clases) y NIH ChestX-ray14 (detección de hallazgos de 14 clases).

• Rendimiento de Clasificación: En TBX11K, GRAPE (con GNN y módulos de incertidumbre) logró un Macro F1 de 0.866 ± 0.042, superando significativamente al baseline CSR (0.728 ± 0.050) con un valor p de 0.0013. La ganancia se atribuye principalmente al cabezal GNN.
• Localización (Pointing Game): GRAPE logró una puntuación de Pointing Game de 0.140 en TBX11K, en comparación con 0.055 para los Modelos de Cuello de Botella de Conceptos (CBM) y 0.053 para PIP-Net. Esto indica una alineación superior entre la atención del modelo y las ubicaciones reales de las lesiones.
• Eficacia del Chequeo de Seguridad: En escenarios de error simulados, el chequeo de seguridad detectó el 85.1% de los cuadros mal dibujados con una tasa de Falsos Positivos del 16.4%.
• Capacidad Zero-Shot: En NIH ChestX-ray14, una sola imagen etiquetada para el concepto "Effusion" permitió al modelo recuperar el 100% de la precisión del Pointing Game de supervisión completa. En TBX11K, el aprendizaje de 1-shot recuperó el 41% de la precisión de supervisión completa.
• Fidelidad: Las evaluaciones de AUC de Inserción/Eliminación confirmaron que los mapas de similitud de prototipos capturan regiones espaciales genuinamente predictivas, superando a los baselines estándar en el AUC de Inserción.

Significancia y Reivindicaciones

El artículo posiciona a GRAPE como un paso hacia una IA interactiva más segura, adaptable y clínicamente viable.

• Confianza Clínica: Al prevenir la amplificación silenciosa de errores mediante el Verificador de Desajuste de Conceptos, el sistema aborda un modo de falla crítico en la IA médica en el bucle humano.
• Adaptabilidad: La capacidad de Vocabulario Abierto reduce la barrera de entrada para entornos con recursos limitados, permitiendo la introducción de nuevos conceptos sin el costo prohibitivo del reentrenamiento total.
• Interpretabilidad vs. Precisión: El trabajo demuestra que el razonamiento estructurado por grafos puede mejorar la precisión de la clasificación (macro-F1) mientras mantiene o mejora la interpretabilidad espacial, desafiando el compromiso que a menudo se asume entre estos dos objetivos.

Los autores señalan limitaciones, incluyendo que las puntuaciones absolutas del Pointing Game siguen siendo bajas debido a desajustes de resolución (mapas de 7x7 frente a cuadros de 224x224) y la necesidad de una mayor validación en subgrupos demográficos. Enfatizan que el sistema es un prototipo de investigación y aún no se ha desplegado en entornos clínicos.