Decoupling Language Guidance from Backbones for Text-Guided Medical Segmentation

Resumen Técnico: BTHA – Adaptador Jerárquico Transferible al Backbone para la Segmentación Médica Guiada por Texto

Planteamiento del Problema
La segmentación de imágenes médicas guiada por texto tiene como objetivo aprovechar la semántica clínica (por ejemplo, tipo de lesión, localización) para mejorar la delineación de las lesiones. Sin embargo, los métodos existentes suelen acoplar estrechamente el codificador de texto, el backbone visual, los mecanismos de fusión multimodal y el decodificador en una única arquitectura específica para la tarea. Este acoplamiento estrecho crea una barrera significativa para la reutilización: cambiar el backbone visual (por ejemplo, de una CNN a un Transformer) o el codificador de texto a menudo requiere un rediseño completo de las vías de fusión y supervisión. Además, los enfoques existentes suelen carecer de una estrategia de optimización robusta que pueda regularizar características heterogéneas a través de diferentes escalas sin imponer un objetivo de aprendizaje uniforme, lo que conduce a señales redundantes o conflictivas.

Metodología
Los autores proponen BTHA (Adaptador Jerárquico Transferible al Backbone), un marco diseñado para desacoplar la guía de lenguaje de arquitecturas de backbone específicas. La filosofía central es establecer una interfaz estable a nivel de características que preserve la forma, la cual acepte características visuales multiescala y representaciones de texto de codificadores heterogéneos y devuelva características fusionadas compatibles con los decodificadores existentes.

El marco consta de dos componentes primarios:

1. Adaptador de Guía Semántica de Puerta Adaptativa a la Escala (SAGSG):

   • Función: Este es un módulo de fusión del lado de las características que inyecta semántica textual en características visuales multiescala sin alterar las dimensiones espaciales o los recuentos de canales de las características de entrada.
   • Mecanismo: Emplea una atención cruzada enmascarada donde los tokens visuales actúan como consultas (queries) y los tokens de texto como claves (keys) y valores (values), filtrando los tokens de relleno (padding) para asegurar que solo el texto clínico válido influya en la atención.
   • Puerta (Gating): Para evitar la interrupción de las representaciones visuales preentrenadas, el SAGSG utiliza un diseño de refinamiento residual de doble puerta.
     • Puerta de Atención: Controla la inyección de la atención condicionada por el texto en el flujo visual. Inicializada en cero (vía $\tanh(0)$), permite que el modelo aprenda gradualmente la fuerza de la inyección semántica.
     • Puerta FFN: Controla una rama de refinamiento de alimentación hacia adelante (feed-forward) para aumentar la capacidad de representación preservando la vía visual residual.
   • Calibración: Un bloque SE (Squeeze-and-Excitation) sigue al refinamiento para suprimir respuestas multimodales redundantes y resaltar los canales sensibles a las lesiones.

2. Estrategia de Supervisión Jerárquica de Grueso a Fino:

   • Función: Una estrategia del lado del entrenamiento que descompone el objetivo de aprendizaje en tres subobjetivos complementarios para coincidir con la jerarquía natural de la segmentación.
   • Alineación Global: Utiliza una pérdida de Contraste Imagen-Texto (ITC) sobre las características globales proyectadas para asegurar que la imagen y el informe describan la misma anormalidad, proporcionando un ancla semántica.
   • Localización Gruesa: Se adjuntan cabezales de segmentación auxiliares a las características fusionadas intermedias (a resoluciones de 1/32, 1/16 y 1/8), guiando a la red para localizar extensiones aproximadas de la lesión antes de recuperar los detalles.
   • Refinamiento de Fronteras: La predicción final utiliza una pérdida híbrida unificada que combina términos Dice, Focal, de Borde (basado en Sobel) y Lovász-hinge para optimizar el solapamiento de regiones, el desequilibrio de clases y la consistencia de los bordes.
   • Ponderación: Aunque la formulación de la pérdida es idéntica en todas las escalas, los pesos de inicialización se ajustan (por ejemplo, mayor peso de Dice para características profundas, mayor peso de borde para características superficiales) para sesgar implícitamente las características de baja resolución hacia la semántica de nivel de objeto y las de alta resolución hacia el refinamiento de bordes.

Contribuciones Clave

• Interfaz Transferible al Backbone: BTHA formula una interfaz mínima a nivel de características que permite el reúso del mismo módulo de segmentación guiado por texto a través de diversas jerarquías visuales (CNN, Transformers) y backbones de lenguaje sin rediseño arquitectónico.
• Supervisión Jerárquica: La propuesta de una estrategia de supervisión de grueso a fino que separa la alineación semántica global, la localización auxiliar multiescala y el refinamiento final de bordes, permitiendo roles distintos para diferentes niveles de supervisión.
• Adaptador SAGSG: El diseño de un módulo de fusión multimodal que preserva la forma y que inyecta adaptativamente la semántica de texto mediante el uso de puertas a escala específica y recalibración de canales, asegurando que se mantenga la integridad visual.
• Eficiencia y Rendimiento: El marco logra un rendimiento de vanguardia con un gasto computacional modesto, evitando el escalado masivo de parámetros visto en algunos modelos fundacionales o basados en prompts.

Resultados Experimentales
Los autores evaluaron BTHA en cuatro conjuntos de datos públicos: MosMedData+ (CT), QaTa-COV19 (Rayos X), SIIM-ACR (Rayos X) y Kvasir-SEG (Endoscopia).

• Transferibilidad del Backbone:
  • Codificadores de Texto: Al probarse con ConvNeXt-Tiny fijo y variando los backbones de texto (BioViL, CLIP, CXR-BERT, BioClinicalBERT), BTHA alcanzó consistentemente el mejor o el segundo mejor puntaje Dice, demostrando independencia de dominios específicos de representación de texto.
  • Codificadores Visuales: Al probarse con CXR-BERT fijo y variando los backbones visuales (Swin-Transformer, ViT-Tiny, ResNet50, ConvNeXt-Tiny), BTHA superó a los modelos de referencia en seis de ocho configuraciones, probando su efectividad tanto en jerarquías visuales convolucionales como basadas en Transformers.
• Comparación con SOTA (Estado del Arte):
  • BTHA superó a los modelos de referencia puramente visuales (por ejemplo, U-Net, UCTransNet), modelos basados en SAM (por ejemplo, MedSAM, SAM3) y métodos existentes de visión-lenguaje (por ejemplo, LanGuideMedSeg, FMISeg).
  • En promedio, BTHA mejoró el puntaje Dice en un 4.04% respecto a los modelos de referencia puramente visuales más fuertes y en un 2.03% respecto al modelo de referencia basado en SAM más fuerte (SAM3).
  • Crucialmente, BTHA logró estas ganancias con un costo computacional significativamente menor, requiriendo solo el 0.38% de los FLOPs de SAM3 y un aumento marginal (6.0M de parámetros) sobre los modelos de referencia comparables guiados por texto.
• Estudios de Ablación:
  • La Estrategia de Supervisión Jerárquica por sí sola mejoró el Dice de 90.89% a 91.45%.
  • El adaptador SAGSG por sí solo funcionó pobremente (88.12%) sin la supervisión jerárquica, indicando que el adaptador de inicialización conservadora de identidad requiere la guía específica de la pérdida jerárquica para calibrarse efectivamente.
  • La combinación completa de SAGSG y Supervisión Jerárquica produjo los mejores resultados (91.88% Dice), confirmando la complementariedad del adaptador del lado de las características y la supervisión del lado del entrenamiento.

Significancia y Reivindicaciones
El artículo afirma que BTHA aborda el problema crítico de la transferibilidad en la segmentación médica guiada por texto. Al desacoplar el módulo de guía de lenguaje de la arquitectura del backbone, los autores demuestran que un único diseño de adaptador puede reutilizarse eficazmente en diversas modalidades de imágenes médicas y familias de codificadores. La significancia reside en alejarse de los bloques de fusión "vinculados a la arquitectura" hacia un enfoque modular impulsado por interfaces que mantiene un alto rendimiento mientras reduce la carga de ingeniería requerida para adaptar los modelos a nuevos backbones. Los autores enfatizan que su enfoque mejora los modelos de referencia fuertes con un gasto computacional modesto, lo que lo convierte en una solución práctica para el análisis de imágenes médicas automatizado y semánticamente informado.