TAMISeg: Text-Aligned Multi-scale Medical Image Segmentation with Semantic Encoder Distillation

1. Planteamiento del Problema

La segmentación de imágenes médicas enfrenta desafíos significativos debido a:

• Anotaciones limitadas: La obtención de anotaciones a nivel de píxel es costosa y requiere expertos clínicos.
• Complejidad anatómica: Las estructuras varían enormemente en tamaño y forma, lo que dificulta la detección de lesiones pequeñas y la localización precisa de regiones grandes.
• Degradación de la imagen: El ruido, el bajo contraste y las variaciones de iluminación en entornos clínicos reducen la fiabilidad de los modelos basados únicamente en visión.
• Limitaciones de los métodos existentes: Los enfoques unimodales carecen de contexto semántico rico, mientras que los métodos multimodales actuales a menudo tienen una discriminabilidad semántica limitada o ignoran la variabilidad de escala de las estructuras anatómicas. Además, los métodos basados en difusión, aunque potentes, son computacionalmente costosos.

2. Metodología: TAMISeg

El authors proponen TAMISeg, un marco de trabajo guiado por texto que integra pistas semánticas clínicas (prompts de lenguaje) para mejorar la comprensión visual y reducir la dependencia de anotaciones densas. La arquitectura se divide en dos fases principales y consta de tres componentes centrales:

A. Codificador Consciente de la Consistencia (Consistency-Aware Encoder - CAE)

• Objetivo: Extraer características robustas frente a degradaciones de imagen (ruido, bajo contraste, iluminación deficiente).
• Mecanismo: Se utiliza una estrategia de preentrenamiento con perturbaciones de datos fuertes (cambios de brillo, contraste, saturación, escala de grises, desenfoque gaussiano).
• Entrenamiento: Se entrena un codificador (ResNet-50) para generar predicciones consistentes tanto en la imagen original como en su variante perturbada, utilizando una pérdida de consistencia simétrica combinada con pérdidas de segmentación (BCE y Dice).

B. Destilación de Codificador Semántico (Semantic Encoder Distillation - SED)

• Objetivo: Mejorar la discriminabilidad semántica de las características visuales multiescala antes de la alineación con el texto.
• Mecanismo: Utiliza un modelo "maestro" congelado DINOv3 (un codificador visual auto-supervisado basado en Transformers) para supervisar al codificador principal.
• Proceso: Las características jerárquicas del codificador se proyectan y alinean mediante una pérdida de similitud coseno con las representaciones semánticas ricas de DINOv3. Esto enriquece las características visuales con dependencias semánticas globales.

C. Módulo de Alineación Multimodal (Cross-modal Alignment - CMA)

• Objetivo: Integrar pistas semánticas de informes clínicos en las características visuales.
• Mecanismo: Utiliza un modelo CXR-BERT congelado para codificar los prompts de texto clínico.
• Proceso: Mediante un mecanismo de atención cruzada, las características visuales enriquecidas actúan como consultas (queries) y las incrustaciones de texto como claves y valores (keys/values), inyectando contexto clínico en la jerarquía visual.

D. Decodificador Adaptativo a la Escala (Scale-Adaptive Decoder - SAD)

• Objetivo: Manejar la variabilidad inherente en el tamaño de las estructuras anatómicas.
• Mecanismo: En lugar de un decodificador único, emplea tres ramas paralelas especializadas para estructuras pequeñas, medianas y grandes.
• Proceso: Cada rama fusiona niveles de características adyacentes (detalles espaciales finos + contexto semántico amplio) y aplica mecanismos de atención (ECA y PSA) para refinar las características antes de generar máscaras específicas por escala, que luego se fusionan.

3. Contribuciones Clave

1. Marco TAMISeg: Un nuevo enfoque guiado por texto que utiliza prompts de lenguaje clínico como pistas semánticas auxiliares, reduciendo la necesidad de anotaciones pixeladas densas.
2. Módulo SED: Introducción de la destilación de un codificador DINOv3 congelado para enriquecer las características del codificador visual, mejorando significativamente la discriminabilidad semántica multiescala.
3. Decodificador SAD: Diseño de un decodificador con ramas paralelas especializadas que adapta la segmentación a diferentes escalas anatómicas, resolviendo el problema de perder lesiones pequeñas o localizar mal las grandes.
4. Rendimiento Superior: Demostración de que la combinación de codificación robusta, destilación semántica y alineación textual supera a los métodos unimodales y multimodales existentes.

4. Resultados Experimentales

El modelo fue evaluado en tres conjuntos de datos de referencia: Kvasir-SEG (pólipos colorrectales), MosMedData+ (enfermedades pulmonares) y QaTa-COV19 (COVID-19).

• Métricas Cuantitativas: TAMISeg superó consistentemente a los métodos de última generación (SOTA), tanto unimodales (U-Net, TransUNet, nnU-Net) como multimodales (LViT, TextDiff, LanGuideSeg).
  • En Kvasir-SEG, logró un Dice del 91.59% y un mIoU del 84.11%, superando al siguiente mejor método multimodal (ProLearn: 90.40% Dice).
  • En QaTa-COV19, alcanzó un Dice del 91.79% y un mIoU del 84.95%.
• Eficiencia: A pesar de su alto rendimiento, TAMISeg mantiene una complejidad computacional razonable (48.75M de parámetros y 29.83G FLOPs), siendo más eficiente que los métodos basados en difusión.
• Estudios de Ablación: Se confirmó que cada componente (CMA, SED, SAD) aporta mejoras incrementales, siendo la combinación completa la que obtiene los mejores resultados.
• Visualización: Las comparaciones cualitativas mostraron que TAMISeg produce delineaciones más precisas y completas, especialmente en lesiones de tamaños variados y condiciones de bajo contraste.

5. Significado e Impacto

El trabajo de TAMISeg es significativo porque:

• Puentea la brecha semántica: Demuestra cómo el texto clínico (disponible gratuitamente junto a las imágenes) puede utilizarse eficazmente para guiar la segmentación sin costos adicionales de anotación.
• Robustez clínica: Al abordar explícitamente el ruido y el bajo contraste mediante preentrenamiento y destilación, el modelo es más viable para entornos clínicos reales donde la calidad de imagen varía.
• Precisión multiescala: La solución al problema de la variabilidad de tamaño de las lesiones mediante el decodificador adaptativo ofrece una mejora práctica sobre los decodificadores estándar que a menudo fallan en lesiones pequeñas.
• Eficiencia: Ofrece un rendimiento superior a los modelos de difusión con un costo computacional mucho menor, facilitando su implementación en sistemas de asistencia a la decisión clínica.

En resumen, TAMISeg representa un avance importante hacia sistemas de segmentación médica más robustos, semánticamente ricos y adaptables, reduciendo la dependencia de anotaciones costosas y mejorando la precisión diagnóstica.