Resumen Técnico: EliSeg – Construcción de Objetivos Verificados para la Segmentación de Anomalías Basada en Informes

Formulación del Problema

El artículo aborda la segmentación de anomalías basada en informes, una tarea en la que un modelo debe generar máscaras de segmentación a nivel de píxel para anomalías directamente a partir de un informe radiológico sin filtrar y una radiografía de tórax correspondiente. A diferencia de la segmentación convencional condicionada por objetivos, que depende de un "oráculo de objetivo oculto" (por ejemplo, categorías predefinidas, puntos, cuadros delimitadores o expresiones de referencia proporcionadas antes de la inferencia), este entorno no proporciona tales pistas.

El desafío central radica en la naturaleza de los informes radiológicos, los cuales están escritos para la comunicación clínica más que como prompts de segmentación. Contienen hallazgos que pueden ser:

• No elegibles para la segmentación: Negados, históricos (previos), inciertos, resueltos o fuera del alcance de la segmentación.
• Complejos: Múltiples anomalías válidas pueden coexistir y superponerse espacialmente.

En consecuencia, el modelo debe realizar una etapa intermedia ausente: la construcción del objetivo. Debe determinar la elegibilidad del objetivo, la cardinalidad (cuántas máscaras generar) y la correspondencia entre el hallazgo y la máscara antes de delinear las regiones. Los métodos existentes suelen omitir esto asumiendo que el objetivo es conocido o utilizando un enfoque en cascada de "extracción y luego segmentación", el cual falla al no poder corregir errores en la extracción del objetivo (por ejemplo, omitir menciones válidas o segmentar menciones no elegibles) durante la fase de segmentación.

Metodología: Marco de Trabajo EliSeg

Los autores proponen EliSeg, un marco estructurado de propuesta–verificación–revisión que integra la construcción del objetivo con la generación de máscaras. El sistema opera sin identidades de objetivos predefinidas, prompts o pistas espaciales.

1. Actor con Restricción Gramatical

El Actor es un modelo multimodal que comprende un codificador de imágenes, un modelo de lenguaje causal (inicializado desde ROSALIA-7B con adaptación LoRA), un módulo de proyección y un decodificador de máscaras.

• Entrada: Una radiografía de tórax ($I$), la oración actual del informe ($r_t$) y el contexto precedente ($h_t$).
• Salida: Una respuesta estructurada que incluye una acción a nivel de oración ($SEG$, $REJ$o$SILENT$), una cardinalidad de objetivo ($K^A_t$) y máscaras provisionales.
• Restricción: El Actor utiliza una decodificación con restricción gramatical para emitir una secuencia de tokens de control (por ejemplo, [SEG1], [SEG2]) correspondientes a los objetivos propuestos, limitando el máximo de ranuras a $K_{max}=3$.
• Mecanismo: Cada token de segmentación actúa como una consulta semántica para el decodificador de máscaras. El Actor no emite etiquetas de hallazgo explícitas; la identidad semántica se infiere de la representación condicionada por el informe y un ordenamiento canónico de los objetivos.

2. Verificador Independiente

Para abordar los posibles errores en la construcción de objetivos del Actor, se introduce un Verificador independiente.

• Arquitectura: Un LLM de solo texto congelado (Qwen2.5-VL-7B) que procesa únicamente el texto del informe ($h_t, r_t$) sin acceso a la imagen o a las salidas del Actor.
• Función: Genera de manera determinista un registro estructurado del "inventario de hallazgos elegibles", clasificando los hallazgos como positivos, negados, previos, inciertos o ausentes.
• Salida: Una lista verificada de objetivos elegibles ($L^V_t$) y su cardinalidad ($K^V_t$).

3. Puerta de Consistencia y Revisión

Una puerta determinista compara la acción/cardinalidad propuesta por el Actor con el inventario inferido por el Verificador.

• Acuerdo: Si las acciones y las cardinalidades coinciden, se conserva la salida original del Actor.
• Desacuerdo: Si no coinciden, el módulo de Revisión interviene. Este construye una secuencia de control corregida basada en el inventario del Verificador (limitado a $K_{max}$) y reejecuta el Actor compartido en una pasada hacia adelante con teacher forcing.
• Característica Clave: Esta reejecución genera las máscaras finales utilizando el mismo codificador de imagen y decodificador, pero con una estructura de objetivo corregida. No se aprenden nuevos parámetros durante este paso, y no se inyectan etiquetas de hallazgo explícitas en el Actor; la correspondencia semántica se reconstruye mediante el ordenamiento canónico.

Contribuciones Clave

1. Formulación del Problema: Los autores formalizan la segmentación basada en informes como un proceso de dos etapas: la construcción del objetivo seguida de la delineación espacial, exponiendo explícitamente la dependencia de un "oráculo de objetivo oculto" en los protocolos convencionales.
2. Marco de Trabajo EliSeg: Proponen una arquitectura novedosa que corrige los errores de elegibilidad y cardinalidad de los objetivos sin requerir identidades de objetivos o prompts espaciales durante la inferencia. Combina de forma única un Actor con restricción gramatical con un Verificador independiente de solo texto y un mecanismo de revisión condicional.
3. Evaluación Libre de Oráculo: El artículo establece un protocolo de evaluación que no depende de objetivos predefinidos, demostrando que EliSeg puede rechazar eficazmente las menciones no elegibles y segmentar los hallazgos válidos directamente desde informes brutos.

Resultados Experimentales

Los experimentos se realizaron en MIMIC-CXR-ILS (para segmentación basada en informes) y CheXlocalize (para transferencia zero-shot).

Rendimiento en MIMIC-CXR-ILS

• Segmentación General: EliSeg supera a los métodos de segmentación directa basados en texto (por ejemplo, GSVA, MedCLIP-SAMv2, BiomedParse) y a las cascadas de extracción y luego segmentación (por ejemplo, CheXbert seguido de ROSALIA) en todas las métricas (IoU, Dice, NSD, HD95).
  • Entorno de Inferencia de Informe: EliSeg logró un IoU de 59.4 y un Dice de 74.5, superando significativamente al mejor modelo de referencia (ROSALIA: IoU 40.8, Dice 57.9) y al enfoque en cascada (CheXbert $\rightarrow$ ROSALIA: IoU 53.9, Dice 70.0).
• Capacidad de Rechazo: EliSeg suprime eficazmente las máscaras para las menciones de informes no elegibles (negadas, previas, inciertas). Alcanzó una Tasa de Segmentación Falsa (FSR) del 14.2% mientras mantenía el IoU+ más alto (60.8) en los objetivos elegibles. En contraste, los modelos de referencia sin un frente de elegibilidad a menudo producían máscaras para menciones no elegibles (FSR ~100% para algunos métodos).
• Estudios de Ablación: Eliminar el Verificador o el módulo de Revisión degradó significativamente el rendimiento. El ciclo completo mejoró el IoU en aproximadamente 4.5–5.1 puntos y el Dice en 5.9–6.4 puntos en comparación con las configuraciones parciales, confirmando los roles complementarios de la verificación (corrección semántica) y la revisión (reejecución espacial).

Transferencia Zero-Shot

Evaluado en CheXlocalize (que carece de informes emparejados), el Actor de EliSeg por sí solo (sin Verificador/Revisión) demostró una fuerte capacidad de transferencia. Logró el mejor rendimiento entre todos los modelos probados (IoU 31.9, Dice 48.8, HD95 267.5), mostrando particularmente una reducción sustancial en los errores de contorno (HD95) en comparación con ROSALIA.

Significado y Reivindicaciones

El artículo afirma que EliSeg logra cerrar la brecha entre la comprensión de informes radiológicos y la segmentación a nivel de píxel sin depender de información privilegiada sobre los objetivos.

• Corrección de Errores Estructurales: Al integrar la verificación y la revisión, el modelo corrige errores de elegibilidad y cardinalidad de los objetivos que los enfoques en cascada no pueden solucionar una vez completada la etapa de extracción.
• Robustez ante la Ambigüedad: El marco maneja eficazmente la ambigüedad de los informes radiológicos (negación, historial, incertidumbre) al construir explícitamente el conjunto de objetivos elegibles antes de la generación de la máscara.
• Generalización: Los resultados sugieren que la capacidad de segmentación basada en imágenes del Actor es robusta y se transfiere eficazmente a conjuntos de datos externos, incluso cuando el ciclo completo de verificación no puede aplicarse debido a la ausencia de informes.

Los autores concluyen que EliSeg demuestra que la localización precisa de las anomalías es alcanzable directamente desde informes sin filtrar, eliminando la necesidad de identidades de objetivos o prompts espaciales durante la inferencia.