Focal Modulation and Bidirectional Feature Fusion Network for Medical Image Segmentation

1. Formulação do Problema

A segmentação de imagens médicas é crítica para tarefas clínicas como diagnóstico, planejamento de tratamento e monitoramento. No entanto, os métodos existentes enfrentam desafios significativos:

• Limitações das CNNs: As Redes Neurais Convolucionais (CNNs) tradicionais excelam na captura de características espaciais locais, mas lutam com contexto global e dependências de longo alcance devido aos seus campos receptivos localizados. Isso leva a dificuldades na segmentação de estruturas com bordas complexas, tamanhos variados e baixo contraste.
• Limitações dos Transformers: Embora os Vision Transformers (ViTs) capturem efetivamente o contexto global por meio de atenção automática (self-attention), eles frequentemente carecem da capacidade de preservar detalhes espaciais locais de alta granularidade essenciais para a delimitação precisa de fronteiras.
• Variabilidade Clínica: Imagens médicas (Ressonância Magnética, Tomografia Computadorizada, Ultrassom, etc.) exibem alta variabilidade na qualidade da imagem, contraste e estruturas anatômicas, tornando difícil para os modelos generalizar entre diferentes escalas e modalidades.

2. Metodologia: Arquitetura M-BFF-Net

Os autores propõem um framework de aprendizado profundo híbrido que integra as forças das CNNs (extração de características locais) e dos Transformers (consciência de contexto global). A arquitetura segue uma estrutura codificador-decodificador com os seguintes componentes principais:

A. Backbone e Codificador

• Backbone: Utiliza EfficientNetV2S1 como backbone para maximizar a eficiência computacional.
• Blocos do Codificador: Composto por quatro blocos de codificador ($B_{enc}^{1}$ a $B_{enc}^{4}$) que extraem características hierárquicas.
• Conexões de Salto: Conexões de salto agregadas são estabelecidas entre o codificador e o decodificador para preservar informações espaciais.

B. Bloco de Atenção ConvFormer baseado em Modulação Focal (FMCAB)

Inserido entre os blocos do codificador e as conexões de salto, este módulo refina o fluxo de características:

• Mecanismo: Combina operações convolucionais com um mecanismo de atenção de modulação focal.
• Função: Utiliza Pooling Médio Global (GAP) e Pooling Máximo Global (GMP) para calcular pesos de atenção, permitindo que o modelo foque dinamicamente em regiões cruciais enquanto modula adaptativamente o contexto.
• Objetivo: Melhora a integração de contextos locais e globais, aprimorando a capacidade do modelo de lidar com tamanhos e formas variáveis de lesões.

C. Módulo Vision Transformer (ViTM)

Posicionado na camada de gargalo (entre codificador e decodificador):

• Componentes: Integra Atenção Automática Baseada em Tokens (TSA) e Atenção Espacial Global (GSA).
• Função: A TSA captura dependências de longo alcance usando matrizes de Consulta, Chave e Valor, enquanto a GSA captura dependências de posição global. Isso permite que o modelo compreenda relações em toda a imagem, abordando as limitações das operações locais de CNN.

D. Módulo de Fusão de Características Bidirecional (BiFFM)

Localizado na etapa do decodificador para mesclar características das conexões de salto e das características reconstruídas do decodificador:

• Mecanismo: Recebe entradas da conexão de salto do codificador ($s_n$) e do ramo do decodificador. Processa essas entradas através de caminhos paralelos envolvendo convoluções $1\times3$ e $3\times1$ e Embaralhamento de Canais (CS).
• Função: Facilita uma interação bidirecional eficiente entre as representações do codificador e do decodificador. Harmoniza detalhes locais (das conexões de salto) com informações semânticas globais (do decodificador), garantindo uma reconstrução precisa das fronteiras.

E. Decodificador

• Utiliza Módulos de Refinamento de Características (FRM) e o BiFFM para aumentar progressivamente a amostragem e fundir características.
• A saída final é gerada via uma convolução $1\times1$ seguida por uma ativação sigmoide para produzir a máscara de segmentação.

3. Principais Contribuições

1. Arquitetura Híbrida: Combina com sucesso CNNs e Transformers para equilibrar a extração de características locais com a consciência de contexto global.
2. FMCAB: Introduz um bloco de atenção inovador que modula o fluxo de características, aprimorando a adaptabilidade do modelo a estruturas anatômicas complexas.
3. BiFFM: Desenvolve um módulo de fusão bidirecional que enriquece o contexto em cada etapa do decodificador, melhorando significativamente a precisão das fronteiras.
4. Eficiência: Emprega EfficientNetV2S1 como backbone para garantir que o modelo permaneça computacionalmente eficiente, tornando-o adequado para ambientes clínicos com recursos limitados.

4. Resultados Experimentais

O modelo foi avaliado em oito conjuntos de dados públicos em três domínios de imagem médica:

• Segmentação de Pólipos: Kvasir-SEG, CVC-ClinicDB, CVC-ColonDB.
• Segmentação de Lesões de Pele: ISIC2016, ISIC2017, ISIC2018.
• Segmentação de Ultrassom: BUSI (Mama), DDTI (Tireoide).

Métricas de Desempenho:
O modelo foi comparado contra métodos de Estado da Arte (SOTA), incluindo U-Net, UNet++, Swin-Unet, Meta-Polyp, entre outros.

• Segmentação de Pólipos: O M-BFF-Net alcançou um Índice Jaccard de 92,96% no Kvasir-SEG, superando o próximo melhor método (Meta-Polyp com 92,10%) e mostrando melhorias de até 34,54% no conjunto de dados CVC-300.
• Segmentação de Lesões de Pele: Superou consistentemente os concorrentes em todos os conjuntos de dados ISIC, com melhorias no Índice Jaccard variando de 0,05% a 11,61%.
• Segmentação de Ultrassom: Alcançou resultados superiores nos conjuntos de dados BUSI e DDTI, com melhorias no Índice Jaccard de 0,64% a 11,67% sobre os métodos existentes.
• Qualidade Visual: A análise qualitativa mostrou que o M-BFF-Net produziu máscaras que se alinhavam estreitamente com a Verdade Terrena (GT), particularmente em casos com baixo contraste, formas irregulares e oclusões.

5. Significado e Conclusão

• Impacto Clínico: Ao melhorar a precisão da segmentação e a precisão das fronteiras, o modelo auxilia em diagnósticos de doenças mais confiáveis e no planejamento de tratamento (por exemplo, delimitação de bordas de tumores).
• Robustez: A abordagem híbrida demonstra alta adaptabilidade entre diferentes modalidades de imagem (endoscopia, dermatoscopia, ultrassom) e características variáveis de lesões.
• Trabalho Futuro: Os autores sugerem estender o modelo para dados volumétricos 3D e imagem multimodal, bem como integrar quantificação de incerteza para fornecer estimativas de confiança para a tomada de decisão clínica.

Em resumo, o M-BFF-Net representa um avanço significativo na segmentação de imagens médicas ao conectar efetivamente a lacuna entre a extração de características locais e a modelagem de contexto global, resultando em uma solução robusta e de alta precisão para diversas aplicações clínicas.