Resumo Técnico: CPS4 – Segmentação de Coluna Vertebral Semisupervisionada Dirigida por Prompts de Classe com Restrição de Consistência Específica de Classe

Definição do Problema

A segmentação automática da coluna vertebral, especificamente a segmentação multiclasse de corpos vertebrais (VBs) e discos intervertebrais (IVDs) em RM, é crítica para o diagnóstico ortopédico e planejamento cirúrgico. Embora os métodos de aprendizagem profunda tenham avançado significavelmente, eles dependem fortemente de anotações ao nível de pixel, que são trabalhosas e exigem conhecimento especializado. A aprendizagem semisupervisionada (SSL) oferece uma solução ao utilizar dados rotulados limitados juntamente com abundantes dados não rotulados. No entanto, os métodos de SSL existentes, que tipicamente dependem de regularização de consistência e rotulagem pseudo (pseudo-labeling), frequentemente sofrem com pseudo-rótulos de baixa qualidade. Esses rótulos ruidosos introduzem supervisão incorreta, fazendo com que os modelos foem em características irrelevantes e dificultando a exploração eficaz de dados não rotulados.

Embora os Modelos de Visão-Linguagem (VLMs) mostrem potencial para melhorar a qualidade dos pseudo-rótulos ao alavancar prompts textuais de classe para gerar mapas de segmentação, os VLMs atuais carecem de restrições explícitas para garantir a consistência entre os prompts de classe e objetos de imagem específicos. Essa deficiência leva a um vínculo semântico fraco entre classe e prompt e à interferência entre classes, resultando em um desempenho insatisfatório na geração de mapas de segmentação multiclasse.

Metodologia

Os autores propõem o CPS4, um novo framework que integra prompts de classe na segmentação de coluna vertebral semisupervisionada através de uma estratégia de treinamento de dois estágios.

Estágio 1: Pré-treinamento de VLM com Restrição de Consistência Específica de Classe

Os VLMs existentes (ex: CLIP, MedCLIP) realizam o alinhamento cross-modal ao nível da imagem, o que falha em garantir que distintos prompts de classe foquem em seus objetos correspondentes. Para resolver isso, o CPS4 introduz um estágio de pré-treinamento usando um Modelo de Visão-Linguagem (especificamente utilizando ViT para visão e BioClinicalBERT para texto) com duas novas funções de perda para impor consistência entre os prompts de classe e as unidades da coluna:

1. Perda de Atenção ao Nível de Token ($L_{token}$): Esta perda otimiza o alinhamento entre um token de prompt de classe ($F_{T,i}$) e os tokens de patch de imagem correspondentes ($F_I$). Ela calcula uma pontuação de similaridade para gerar um mapa de atenção grosseiro ($A_i$) e agrega ativações em direção à região prevista da unidade da coluna ($B_i$). O objetivo é forçar o prompt textual a acoplar-se estreitamente com a unidade da coluna alvo no espaço semântico.
2. Perda de Atenção ao Nível de Pixel ($L_{pixel}$): Para evitar que o modelo sobre-agregue a atenção apenas em certas subregiões de uma unidade alvo, uma objetiva de entropia cruzada ao nível de pixel é adicionada. Isso garante que o mapa de atenção cubra todo o alvo da unidade da coluna de forma uniforme.

A perda total de pré-treinamento é a média de $L_{token}$ e $L_{pixel}$.

Estágio 2: Segmentação de Coluna Vertebral Dirigida por Prompt de Classe Semisupervisionada

Neste estágio, os codificadores de visão-texto pré-treinados são usados para aprimorar o processo de rotulagem pseudo para dados não rotulados.

• Geração de Mapa de Segmentação Guiada por Prompt de Classe: Para cada imagem de coluna não rotulada, o sistema gera um mapa de segmentação binário para cada classe (ex: "Vértebra Lombar 1"), computando o produto escalar entre os tokens de patch da imagem e os tokens de prompt de classe. Esses mapas são upsampled e convertidos em máscaras binárias usando o método de limiar automático OTSU. Todos os mapas específicos de classe são empilhados para formar um mapa de segmentação multiclasse unificado ($y^{text}$).
• Geração e Otimização de Pseudo Rótulo: O framework emprega uma arquitetura Mean Teacher (MT) com uma rede estudante e uma rede professor. A rede professor gera pseudo-rótulos ($y^t_u$) para imagens não rotuladas via Média Móvel Exponencial (EMA).
  • Perda Supervisionada ($L_{sup}$): Calculada entre as predições do estudante em dados rotulados e o ground truth.
  • Perda Semisupervisionada ($L_{semi}$): Composta por duas partes:
    1. $L^{text}_{semi}$: Perda de consistência entre a predição do estudante em dados não rotulados e o mapa gerado pelo prompt de classe ($y^{text}$).
    2. $L^{enhance}_{semi}$: Perda de consistência entre a predição do estudante e um pseudo-rótulo aprimorado criado integrando o pseudo-rótulo do professor ($y^t_u$) e o mapa do prompt de classe ($y^{text}$).

Principais Contribuições

1. Primeiro SSL Guiado por Texto para Segmentação de Coluna: Este trabalho é o primeiro a introduzir prompts de classe textuais para melhorar a qualidade dos pseudo-rótulos na segmentação semisupervisionada de coluna vertebral.
2. Novo Vínculo de Consistência Específica de Classe: Os autores propõem um mecanismo de pré-treinamento específico usando perdas de atenção ao nível de token e de pixel para impor restrições explícitas, garantindo um acoplamento semântico estreito entre cada prompt de classe e sua unidade da coluna alvo.
3. Desempenho de Estado da Arte: O método demonstra desempenho superior através de várias proporções de dados rotulados, particularmente em regimes de baixos dados.

Resultados Experimentais

O método foi avaliado no dataset MRSpineSeg, contendo imagens volumétricas de RM ponderadas em T2 de 215 sujeitos com 20 categorias (19 estruturas espinhais e fundo).

• Desempenho: Usando apenas 5% de dados rotulados, o CPS4 alcançou um Dice score de 80,44% e um mIoU de 70,63%.
• Comparação: Estes resultados superam métodos populares de aprendizagem semisupervisionada (ex: MT, BCP, SS-Net) e abordagens baseadas em VLM existentes (ex: CLIP, MedCLIP, MGCA, EGMA).
  • Comparado ao método GraphCL subótimo com prompts de texto em 5% de dados rotulados, o CPS4 melhorou o mDice em 2,23% e o mIoU em 2,42%.
• Robustez: Estudos de ablação confirmaram que tanto as perdas de nível de token quanto as de nível de pixel contribuem significamente para o desempenho. O método mostrou ganhos de desempenho estáveis conforme a proporção de dados rotulados aumentava de 5% para 50%, superando a linha de base MT por uma margem clara.
• Visualização: Mapas de atenção gerados pelo CPS4 mostraram um forte alinhamento com as unidades da coluna alvo, enquanto os VLMs de base (como o MedCLIP) exibiram ativações dispersas e vínculo semântico fraco.

Significância

O artigo afirma que o CPS4 mitiga efetivamente o problema da escassez de rótulos na segmentação da coluna vertebral ao alavancar o poder semântico do texto para guiar a geração de pseudo-rótulos de alta qualidade. Ao restringir explicitamente a consistência entre os prompts de classe e as unidades da coluna durante o pré-treinamento, o framework supera as limitações dos VLMs atuais em tarefas de imagem médica. Os resultados sugerem que esta abordagem permite a geração de pseudo-rótulos mais confiável, guiada por prompts de classe, melhorando significativamente a eficácia da aprendizagem semisupervisionada em cenários com dados anotados limitados. Os autores observam que seu código será disponibilizado para facilitar pesquisas futuras.