TAMISeg: Text-Aligned Multi-scale Medical Image Segmentation with Semantic Encoder Distillation

1. O Problema

A segmentação de imagens médicas enfrenta desafios significativos devido a:

• Anotações Limitadas: A obtenção de anotações em nível de pixel (fine-grained) é cara e requer especialistas, tornando-se impraticável em muitos cenários clínicos.
• Complexidade Anatômica e Degradação de Imagem: Estruturas complexas, baixo contraste, ruído e variações de iluminação dificultam a extração de características precisas.
• Limitações dos Modelos Atuais:
  • Modelos unimodais (baseados apenas em visão) são vulneráveis a condições desafiadoras e dependem excessivamente de anotações densas.
  • Métodos guiados por texto existentes muitas vezes têm baixa discriminabilidade semântica ou ignoram a variabilidade de escala das estruturas anatômicas (falhando em lesões pequenas ou localizando incorretamente grandes regiões).
  • Abordagens baseadas em difusão, embora potentes, possuem alto custo computacional e de treinamento.

2. Metodologia: O Framework TAMISeg

O TAMISeg é um framework de segmentação guiado por texto que utiliza prompts de linguagem clínica como pistas semânticas auxiliares. A arquitetura segue um design de duas fases:

A. Codificador Consciente de Consistência (Consistency-Aware Encoder - CAE)

• Objetivo: Garantir robustez na extração de características sob condições degradadas (ruído, baixo contraste, iluminação pobre).
• Técnica: Utiliza um backbone ResNet-50 pré-treinado com perturbações de dados fortes (ajustes de brilho, contraste, saturação, conversão para escala de cinza e desfoque gaussiano).
• Mecanismo: Um loss de consistência simétrica é aplicado para forçar o codificador a gerar previsões invariantes entre a imagem original e a variante perturbada, aprendendo características semânticas estáveis.

B. Destilação de Codificador Semântico (Semantic Encoder Distillation - SED)

• Objetivo: Enriquecer a discriminabilidade semântica das características visuais multiescala antes da alinhamento com o texto.
• Técnica: Um modelo DINOv3 (frozen, pré-treinado) atua como "professor" para supervisionar o codificador do TAMISeg ("aluno").
• Mecanismo: As características hierárquicas do codificador são projetadas e alinhadas com as representações semânticas ricas do DINOv3 através de uma função de perda baseada em similaridade de cosseno. Isso melhora a capacidade do modelo de capturar dependências semânticas globais.

C. Módulo de Alinhamento Cross-Modal (Cross-modal Alignment - CMA)

• Objetivo: Integrar pistas semânticas de textos clínicos (relatórios diagnósticos) às características visuais.
• Técnica: Utiliza um modelo CXR-BERT (frozen) para codificar prompts de texto.
• Mecanismo: Um mecanismo de atenção cruzada (cross-attention) alinha as características visuais aprimoradas (do SED) com os embeddings de texto. O texto atua como keys e values, enquanto as características visuais atuam como queries, injetando contexto clínico na hierarquia visual.

D. Decodificador Adaptativo à Escala (Scale-Adaptive Decoder - SAD)

• Objetivo: Lidar com a variabilidade inerente no tamanho das estruturas anatômicas.
• Técnica: Em vez de um único decodificador, o modelo emprega três ramos paralelos especializados para estruturas pequenas, médias e grandes.
• Mecanismo: Cada ramo processa pares de mapas de características adjacentes (nível fino e nível contextual). Utiliza operações convolucionais residuais, atenção de canal eficiente (ECA) e atenção espacial piramidal (PSA) para refinar as características. As saídas são fundidas para gerar a máscara final, permitindo segmentação precisa em múltiplas escalas espaciais.

3. Principais Contribuições

1. Framework TAMISeg: Uma nova arquitetura de segmentação médica guiada por texto que reduz a dependência de anotações densas em pixel, utilizando prompts de linguagem clínica.
2. Módulo SED (Distilação Semântica): Introdução de um módulo que utiliza um professor DINOv3 congelado para enriquecer as características do codificador visual, melhorando a discriminabilidade semântica multiescala antes do alinhamento textual.
3. Decodificador SAD (Adaptativo à Escala): Um mecanismo de decodificação paralelo que trata especificamente estruturas de diferentes tamanhos, superando a limitação de decodificadores uniformes que frequentemente falham em lesões pequenas ou grandes.
4. Integração Robusta: Combinação de pré-treinamento consciente de consistência, distilação de conhecimento e alinhamento cross-modal em um pipeline unificado.

4. Resultados Experimentais

Os experimentos foram conduzidos em três conjuntos de dados públicos: Kvasir-SEG (pólipos colorretais), MosMedData+ (doenças pulmonares) e QaTa-COV19 (COVID-19).

• Desempenho Quantitativo: O TAMISeg superou consistentemente tanto métodos unimodais (como U-Net, TransUNet, nnU-Net) quanto métodos multimodais de última geração (como LanGuideSeg, ProLearn, MAdapter).
  • No conjunto Kvasir-SEG, alcançou um Dice de 91.59% e mIoU de 84.11%.
  • No conjunto MosMedData+, alcançou Dice de 79.30% e mIoU de 65.71%.
  • No conjunto QaTa-COV19, alcançou Dice de 91.79% e mIoU de 84.95%.
• Análise Qualitativa: Visualizações mostram que o TAMISeg produz delimitações mais precisas e completas, especialmente em lesões de tamanhos variados e condições de baixo contraste, com menos falsos positivos/negativos comparado aos baselines.
• Estudos de Ablação: Confirmaram que cada componente (CMA, SED, SAD) contribui positivamente para o desempenho final, sendo a combinação completa a mais eficaz.

5. Significado e Impacto

O trabalho TAMISeg representa um avanço significativo na segmentação de imagens médicas ao:

• Reduzir a Barreira de Anotação: Demonstrar que o uso de relatórios textuais clínicos (disponíveis gratuitamente junto às imagens) pode substituir ou reduzir a necessidade de anotações pixel a pixel detalhadas.
• Melhorar a Robustez Clínica: Oferecer um modelo que funciona bem em condições de imagem reais e degradadas, comuns em ambientes hospitalares.
• Abordar a Variabilidade de Escala: Resolver o problema de segmentar simultaneamente estruturas muito pequenas e muito grandes, um desafio crítico em diagnósticos médicos.
• Eficiência: Propor uma solução que supera métodos baseados em difusão em termos de eficiência computacional, mantendo alta precisão.

Em resumo, o TAMISeg estabelece um novo estado da arte ao integrar eficazmente visão e linguagem, utilizando técnicas avançadas de distilação e adaptação de escala para criar um assistente de diagnóstico mais robusto e preciso.