Mutual Distillation of Dual-Foundation Models for Semi-Supervised PET/CT Segmentation

Resumo Técnico: Destilação Mútua de Modelos de Duas Fundações para Segmentação de PET/CT Semissupervisionada

Definição do Problema
A segmentação precisa de órgãos em PET/CT de corpo inteiro é essencial para análise metabólica quantitativa, estadiamento de doenças e planejamento de radioterapia. No entanto, o desenvolvimento de modelos de aprendizado profundo para esta tarefa é dificultado por dois desafios primários:

1. Desajuste Anatômico-Funcional: A imagem PET oferece alta sensibilidade metabólica, mas sofre com bordas borradas e artefatos de transbordamento (spill-over), enquanto a CT fornece detalhes estruturais claros. Fundir essas modalidades para resolver discrepâncias espaciais é difícil.
2. Escassez de Dados: Anotações de nível de pixel de alta qualidade exigem perícia sincronizada de radiologistas e especialistas em medicina nuclear, tornando os dados rotulados caros e escassos.
   Embora o Aprendizado Semissupervisionado (SSL) e os recentes Modelos de Fundação (como o SAM) ofereçam soluções, as abordagens existentes são frequentemente limitadas a cenários de modalidade única ou falham em aproveitar a profunda interdependência semântica entre as imagens estruturais (CT) e funcionais (PET). Além disso, os métodos padrão de SSL que dependem de rotulagem pseudo-etiquetada (pseudo-labeling) frequentemente sofrem de viés de confirmação, reforçando previsões errôneas.

Metodologia: O Framework MuDuo
Os autores propõem o MuDuo, um framework de destilação mútua projetado para explorar sinergicamente modelos de fundação estruturais e funcionais para destilar conhecimento em uma rede estudante leve, sem a necessidade de prompting manual. O framework opera sobre entradas de dupla modalidade ($X_{CT}$ e $X_{PET}$) e consiste em três componentes principais:

1. Professores de Modelos de Fundação Duplos:

   • SAM-Med3D: Um professor congelado especializado em CT, aproveitando priors anatômicos.
   • SegAnyPET: Um professor congelado especializado em PET, aproveitando priors metabólicos.
   • Rede Estudante: Uma 3D U-Net treinável ($S_\theta$) que processa entradas de dupla modalidade.
   • Gerador de Prompt: Uma UNet leve ($G_\phi$) que faz a ponte entre o estudante e o professor de PET.

2. Geração de Pseudo-Anotação de Via Dupla:
   Para dados não rotulados, o framework gera pseudo-rótulos através de duas vias distintas adaptadas às características das modalidades:

   • Via CT: As previsões do estudante (via gerador de prompt) são subamostradas e utilizadas como prompts de máscara para o SAM-Med3D. O professor refina essas previsões com base nos priors anatômicos da CT.
   • Via PET: O gerador de prompt produz logits grosseiros, que são convertidos em prompts de múltiplos pontos (amostragem dos locais de maior probabilidade Top-K), em vez de um único centroide. Isso aborda a captação heterogênea típica em imagens PET. Esses pontos guiam o SegAnyPET para gerar máscaras refinadas.

3. Destilação Mútua e Consistência:

   • Filtragem de Consenso Baseada em IoU: Para garantir a confiabilidade, o framework calcula a Interseção sobre União (IoU) entre as previsões das vias CT e PET. Apenas os 50% superiores de amostras onde ambas as modalidades concordam (alto consenso) são retidos para treinamento. Amostras com prompts inválidos são excluídas.
   • Fusão Dinâmica de Pseudo-Rótulos: Pseudo-rótulos de alta qualidade são gerados misturando dinamicamente as previsões dos especialistas de CT e PET usando um fator de ponderação aleatória ($\alpha$). Isso introduz perturbação para evitar que o modelo memorize suas próprias previsões.
   • Perda de Consistência: A rede estudante é treinada para corresponder a esses pseudo-rótulos fundidos e de alta qualidade usando Erro Quadrático Médio (MSE), com um cronograma de peso de aumento gaussiano (Gaussian ramp-up) para evitar instabilidade no início do treinamento.

Principais Contribuições

• Integração de Fundação de Dupla Modalidade: Diferente dos métodos de SSL de modalidade única anteriores, o MuDuo integra unicamente o SAM-Med3D (estrutural) e o SegAnyPET (funcional) para destilar conhecimento mutuamente, abordando o desajuste anatômico-funcional inerente ao PET/CT.
• Mecanismo de Prompt Automático: O framework elimina a necessidade de prompts manuais ou geradores de prompt externos ao utilizar as próprias previsões do modelo estudante para guiar os modelos de fundação, maximizando a utilidade dos dados não rotulados.
• Filtragem de Consenso: A introdução de um mecanismo de filtragem baseado em IoU garante que apenas pseudo-rótulos confiáveis e orientados pelo consenso supervisionem o estudante, mitigando o viés de confirmação comum na rotulagem pseudo-etiquetada tradicional.
• Prompt de Múltiplos Pontos para PET: A proposta de amostragem de múltiplos pontos para entradas de PET captura melhor a extensão espacial de órgãos com captação metabólica heterogênea em comparação com o prompt de ponto único.

Resultados Experimentais
O framework foi avaliado no dataset AutoPET (1.038 estudos), utilizando um subconjunto de 100 casos com anotações de especialistas. Os experimentos foram conduzidos sob configurações extremas de escassez de dados com 5, 10 e 20 casos rotulados.

• Desempenho: O MuDuo alcançou desempenho de estado da arte em todas as configurações. No cenário de 5 casos rotulados, atingiu um escore Dice de 46,93%, superando significativamente o segundo melhor método (CPS) e as abordagens de fundação de modalidade única (SemiSAM+).
• Precisão de Borda: O método demonstrou precisão superior de borda, reduzindo a Distância de Hausdorff de 95º percentil (HD95) para 8,50 voxels no cenário de 5 rótulos — uma redução de 41% em relação ao SemiSAM+.
• Comparação com Totalmente Supervisionado: Com 10 casos rotulados, o método semissupervisionado MuDuo superou a linha de base de dupla modalidade totalmente supervisionada em aproximadamente 9% no escore Dice, demonstrando a eficácia da mineração de dados não rotulados via consenso de cross-modalidade.
• Estudos de Ablação: Experimentos confirmaram que o uso de professores duplos supera as variantes de modalidade única, que a filtragem de IoU adaptativa de top-50% produz melhores resultados do que limiares fixos, e que o prompting de múltiplos pontos (K=3) é superior ao prompting de ponto único para segmentação de PET.

Significância e Alegações
O artigo afirma que o MuDuo consegue unir a lacuna entre a precisão específica de tarefas dos modelos estudantes e os priors de segmentação geral dos modelos de fundação. Ao aproveitar sinergicamente os priors estruturais e funcionais, o framework alcança uma segmentação automática de alta precisão sem o fardo de anotações de dupla modalidade caras. Os autores afirmam que sua abordagem rompe efetivamente os gargalos de desempenho causados por anotações limitadas, oferecendo uma solução prática para análise quantitativa e planejamento de radioterapia em oncologia, onde os dados rotulados são escassos. O código fonte é disponibilizado para facilitar a reprodutibilidade.