Adapting Medical Vision Foundation Models for Volumetric Medical Image Segmentation via Active Learning and Selective Semi-supervised Fine-tuning

Este artigo propõe o framework Active Selective Semi-supervised Fine-tuning (ASSFT), que aprimora a adaptação de modelos fundamentais de visão médica para segmentação volumétrica, combinando uma estratégia de aprendizado ativo que seleciona amostras informativas com base na divergência de conhecimento e na dificuldade anatômica com uma abordagem semi-supervisionada que aproveita dados não rotulados confiáveis para maximizar o desempenho sob orçamentos limitados de anotação.

O essencial

Imagine que você tem um estudante de medicina brilhante que passou anos estudando milhões de livros didáticos de anatomia genéricos (este é o Modelo de Fundação de Visão Médica, ou Med-VFM). Ele conhece o corpo humano de cabo a rabo, mas nunca viu um tipo específico de aparelho de ressonância magnética ou dados de pacientes de um hospital único antes.

Agora, você quer que este estudante comece a trabalhar em um novo hospital (o Domínio Alvo) para ajudar os médicos a segmentar órgãos (como desenhar contornos ao redor do fígado ou dos rins) em exames de imagem 3D. O problema? Os exames do novo hospital parecem ligeiramente diferentes, e o estudante ainda não foi treinado neles. Se você apenas deixá-lo adivinhar, ele cometerá erros. Se você pedir que ele estude cada único novo exame e tenha um especialista humano rotulá-los, isso levaria uma eternidade e custaria uma fortuna.

Este artigo apresenta uma maneira inteligente e eficiente de treinar este estudante: Ajuste Fino Semi-supervisionado Seletivo Ativo (ASSFT). Pense nisso como um sistema de "Super Tutor" que ajuda o estudante a aprender o estilo específico do novo hospital usando o menor número possível de exemplos.

Veja como o sistema funciona, dividido em etapas simples:

1. A Estratégia do "Super Tutor" (Aprendizado Ativo)

Em vez de pedir ao estudante para estudar exames aleatórios, o sistema age como um tutor inteligente que sabe exatamente quais exemplos ensinarão mais ao estudante.

O sistema usa dois "óculos" especiais para escolher os melhores exames para mostrar ao estudante:

• Óculos #1: A Lente da "Lacuna de Conhecimento" (DKD)
  Imagine que o estudante tem um mapa mental do corpo. Esta lente procura exames onde o mapa do estudante está completamente errado ou com peças faltando. Ela pergunta: "Este exame mostra algo que o estudante nunca viu antes?" Se a resposta for sim, é um item de estudo de alta prioridade. Ela também garante que o estudante não estude apenas o mesmo tipo de fígado estranho duas vezes; ela assegura que ele veja uma variedade de coisas novas.
• Óculos #2: A Lente da "Anatomia Difícil" (ASD)
  Às vezes, um exame pode ser confuso não porque é novo, mas porque o órgão tem uma forma estranha ou é difícil de ver. Esta lente olha especificamente para os órgãos (o primeiro plano) e ignora o espaço vazio (o fundo). Ela pergunta: "Este órgão é difícil de contornar?" Se o estudante estiver lutando para adivinhar onde o rim termina e o músculo começa, esta lente marca aquele exame como prioridade máxima para estudo.

O Resultado: O sistema escolhe apenas os exames mais confusos e únicos, pede a um especialista humano que os rotule e, em seguida, ensina o estudante. Isso economiza uma quantidade massiva de tempo porque o estudante aprende primeiro com as "coisas difíceis".

2. A Estratégia de "Adivinhação Confiante" (Aprendizado Semi-supervisionado Seletivo)

Uma vez que o estudante aprendeu com os exemplos rotulados pelo especialista, ainda há milhares de exames sem rótulo esperando na pilha. O sistema não os ignora. Em vez disso, permite que o estudante tente rotulá-los sozinho, mas com uma rede de segurança.

• A Rede de Segurança: O sistema permite que o estudante "estude sozinho" apenas exames onde o estudante está muito confiante e onde o exame parece muito semelhante aos que o especialista já rotulou.
• O Filtro: Se o estudante estiver inseguro ou o exame parecer totalmente diferente do que ele aprendeu, o sistema diz: "Não, não adivinhe neste ainda." Isso impede que o estudante aprenda maus hábitos (rótulos errados) com seus próprios erros.

3. O Ciclo

O processo se repete em um ciclo:

1. Escolha os melhores novos exemplos usando as duas lentes (Lacuna de Conhecimento + Anatomia Difícil).
2. Faça-os rotular por um humano.
3. Permita que o estudante estude esses novos rótulos mais os "seguros" sem rótulo que ele adivinhou corretamente.
4. Repita até que o estudante seja um especialista nos dados do novo hospital.

Por que isso é uma grande coisa?

O artigo testou isso em cinco conjuntos de dados médicos diferentes (diferentes partes do corpo, diferentes tipos de exames como TC e RM). Eles descobriram que:

• É mais rápido: O sistema alcançou desempenho de nível de especialista usando apenas uma pequena fração dos dados rotulados que os métodos tradicionais precisam.
• É mais inteligente: Ele consistentemente superou outros métodos que apenas escolhiam exames aleatórios ou olhavam apenas para "incerteza".
• Funciona sem os dados antigos: Geralmente, para adaptar um modelo, você precisa ver os dados de treinamento originais. Este sistema funciona mesmo se esses dados originais estiverem trancados por motivos de privacidade.

Em resumo: Este artigo dá à IA médica uma maneira de aprender um novo trabalho rapidamente estudando apenas os exemplos mais interessantes e difíceis, enquanto ignora cuidadosamente as coisas fáceis e as adivinhações confusas. Transforma uma IA "tamanho único" em um especialista especializado com muito pouca ajuda humana.

Resumo técnico

Resumo Técnico: Ajuste Fino Semi-supervisionado Seletivo Ativo para Modelos Fundamentais de Visão Médica

1. Declaração do Problema

Modelos Fundamentais de Visão Médica (Med-VFMs), pré-treinados em grandes conjuntos de dados médicos não rotulados via aprendizado auto-supervisionado, demonstraram forte potencial para análise de imagens médicas. No entanto, seu desempenho em tarefas downstream, particularmente na segmentação de imagens médicas volumétricas, permanece limitado quando aplicado a novos domínios-alvo.

As estratégias atuais de adaptação enfrentam três limitações primárias:

1. Seleção Ineficiente de Amostras: Os métodos existentes de Aprendizado Ativo (AL) e Adaptação de Domínio Ativa (ADA) frequentemente dependem de amostragem aleatória ou métricas simples de incerteza/diversidade. Essas abordagens falham em aproveitar explicitamente o conhecimento pré-treinado dos Med-VFMs para identificar amostras contendo padrões de domínio-alvo "não aprendidos". Além disso, métricas em nível de imagem frequentemente enviesam a seleção para incerteza de fundo, negligenciando estruturas anatômicas informativas em primeiro plano.
2. Dependência de Dados de Origem: Muitos métodos de adaptação de domínio exigem acesso a dados do domínio de origem para guiar a adaptação. Na prática, os dados de pré-treinamento para Med-VFMs são frequentemente indisponíveis devido a restrições de privacidade, tornando esses métodos inaplicáveis.
3. Aprendizado Semi-supervisionado Ruidoso: Embora o aprendizado semi-supervisionado (SSL) possa utilizar abundantes dados não rotulados do alvo, o uso ingênuo de todas as amostras pseudo-rotuladas introduz ruído, especialmente nos primeiros rounds de adaptação quando o modelo ainda não é confiável. Isso pode degradar o desempenho ou causar o sobreajuste do modelo a pseudo-rotulos ruidosos em vez de aprender a partir de dados rotulados de alta qualidade.

O desafio central é adaptar os Med-VFMs aos domínios-alvo de forma eficiente sob um orçamento de anotação limitado, sem dados de origem, enquanto se maximiza a utilidade de amostras rotuladas e não rotuladas do alvo.

2. Metodologia: Ajuste Fino Semi-supervisionado Seletivo Ativo (ASSFT)

Os autores propõem o ASSFT, um framework que integra uma estratégia de aprendizado ativo com um mecanismo de ajuste fino semi-supervisionado seletivo. O framework opera iterativamente ao longo de $R$ rounds sem exigir acesso a dados do domínio de origem.

2.1. Estratégia de Consulta de Amostras Ativa no Tempo de Teste

Para selecionar as amostras mais informativas para anotação, os autores introduzem uma estratégia de consulta baseada em duas métricas complementares: Divergência de Conhecimento Diversificada (DKD) e Dificuldade de Segmentação Anatômica (ASD).

• Divergência de Conhecimento Diversificada (DKD): Esta métrica identifica amostras que introduzem novo conhecimento em relação ao modelo pré-treinado, garantindo simultaneamente a diversidade dentro do conjunto de dados alvo. Ela compreende dois componentes:

  • Divergência de Conhecimento Prévio e Adaptativo (PAKD): Mede a distância cosseno entre os embeddings de características do codificador pré-treinado inicial $E^{(0)}$ e o codificador adaptado $E^{(i)}$. Um PAKD alto indica que a amostra contém informações específicas do domínio ainda não capturadas pelo modelo.
  • Dissimilaridade Pares (PD): Mede a dissimilaridade semântica de uma amostra candidata em relação às amostras de alto PAKD previamente classificadas, para evitar redundância e promover a diversidade intra-domínio.
  • Pontuação DKD: Definida como o produto de PAKD e PD.

• Dificuldade de Segmentação Anatômica (ASD): Esta métrica foca na dificuldade de segmentar estruturas anatômicas de primeiro plano em vez de todo o volume da imagem.

  • Para prevenir a dominância do fundo, um mecanismo de escalonamento de temperatura $\tau(r)$ é aplicado à probabilidade da classe de fundo, diminuindo dinamicamente de 3 para 1,5 ao longo dos rounds de adaptação.
  • Uma máscara binária de primeiro plano é gerada com base nas probabilidades ajustadas.
  • A pontuação ASD é computada como a entropia das probabilidades de classe dentro da região de primeiro plano. Um ASD alto indica padrões anatômicos complexos que são desafiadores para o modelo.

• Critério de Consulta Unificado: As pontuações DKD e ASD são normalizadas e transformadas via mapeamento de quantis para garantir comparabilidade, sendo então somadas para formar a pontuação final de consulta $Q(x)$. As $N_B$ amostras superiores são selecionadas para anotação por especialistas.

2.2. Ajuste Fino Semi-supervisionado Seletivo

Para aproveitar dados não rotulados sem introduzir ruído, o framework emprega um processo de três estágios em cada round:

1. Ajuste Fino Supervisionado: O modelo é primeiro atualizado usando as amostras alvo rotuladas atualmente disponíveis.
2. Seleção de Amostras Não Rotuladas Confiáveis: Um subconjunto de amostras não rotuladas é selecionado para pseudo-rotulagem com base em:
   • Confiança Preditiva: A margem entre as duas maiores probabilidades de classe previstas nas regiões de primeiro plano.
   • Distância Semântica: A distância cosseno mínima entre o embedding de características da amostra candidata e os embeddings das amostras rotuladas (âncoras).
   • Amostras com alta confiança e pequena distância semântica são consideradas confiáveis. O número de amostras selecionadas ($N_{SU}$) aumenta com o número de iterações ($N_{SU} = N_B \cdot r$).
3. Ajuste Fino Baseado em Pseudo-rotulos: Pseudo-rotulos são gerados para as amostras confiáveis selecionadas. Estes são combinados com o conjunto rotulado para formar um conjunto de treinamento aumentado para ajuste fino adicional.

Nota: Amostras selecionadas para pseudo-rotulagem são explicitamente excluídas do conjunto de candidatos para o próximo round de aprendizado ativo para evitar anotação redundante.

3. Contribuições Principais

1. Framework ASSFT: Um framework unificado para adaptar Med-VFMs a tarefas de segmentação volumétrica que integra aprendizado ativo e aprendizado semi-supervisionado seletivo, operando sem dados do domínio de origem.
2. Consulta de Amostras Ativa no Tempo de Teste: Uma estratégia novel utilizando DKD e ASD para selecionar amostras informativas. A DKD captura novidade de conhecimento e diversidade, enquanto a ASD prioriza complexidade anatômica, abordando as limitações dos métodos padrão baseados em incerteza.
3. Ajuste Fino Semi-supervisionado Seletivo: Um mecanismo que incorpora seletivamente amostras não rotuladas confiáveis com base na confiança preditiva e proximidade semântica aos dados rotulados, mitigando os riscos de pseudo-rotulos ruidosos.
4. Validação Extensiva: Experimentos abrangentes em cinco tarefas diversas de segmentação de imagens médicas volumétricas (diferentes modalidades, estruturas anatômicas e escalas de conjuntos de dados).

4. Resultados Experimentais

Os autores avaliaram o ASSFT em cinco conjuntos de dados: AMOS2022-CT, FLARE 2021, Abdomen Atlas, AMOS2022-MRI e Abdominal MRI.

• Desempenho: O ASSFT superou consistentemente os métodos de AL e ADA mais avançados (incluindo Random, Entropy, Core-set, BADGE, SANN, UGTST e CUP) em todos os conjuntos de dados e orçamentos de consulta.
  • No AMOS2022-CT, com apenas 5% de amostras consultadas, o ASSFT alcançou uma pontuação Dice de 80,51, superando a forte linha de base UGTST em ~4,7 pontos e a seleção aleatória em ~7,2 pontos.
  • No AMOS2022-MRI (adaptação cross-modality), o ASSFT melhorou a pontuação Dice de uma linha de base quase zero-shot de 0,46 para 52,06 com 5% de amostras consultadas, um ganho de mais de 51 pontos.
  • No Abdominal MRI (configuração few-shot), o ASSFT alcançou um Dice de 83,98 com apenas 3 amostras rotuladas (3-shot), superando significativamente outros métodos.
• Eficiência: O método aproxima-se rapidamente do desempenho limite superior totalmente supervisionado (100% de dados rotulados) com uma fração do custo de anotação. Por exemplo, no FLARE 2021, 25% de amostras consultadas permitiram que o modelo atingisse 97,96% do desempenho totalmente supervisionado.
• Estudos de Ablação:
  • A remoção do componente semi-supervisionado (apenas DKD+ASD) resultou em desempenho inferior, confirmando o valor do pseudo-rotulagem seletiva.
  • O uso apenas de PAKD ou PD individualmente foi inferior à métrica DKD combinada.
  • O escalonamento de temperatura dinâmico na ASD mostrou-se superior à temperatura fixa ou à ausência de máscara.
  • A análise estatística (teste U de Mann-Whitney) confirmou que as amostras selecionadas para pseudo-rotulagem tiveram pontuações Dice significativamente maiores do que as amostras não selecionadas ($p < 0,01$).

5. Significado e Alegações

O artigo alega que o ASSFT fornece uma solução eficiente em anotação e generalizável para implantar Med-VFMs em configurações clínicas onde:

• Dados de origem estão indisponíveis: O método opera em um cenário de adaptação de domínio sem fonte, crucial para dados médicos com restrições de privacidade.
• Anotações são escassas: Ao selecionar ativamente as amostras mais informativas e aproveitar dados não rotulados confiáveis, o framework alcança alto desempenho com rotulagem mínima por especialistas.
• A mudança de domínio é significativa: O framework demonstra robustez através de diferentes modalidades de imagem (CT para MRI) e complexidades anatômicas variadas.

Os autores enfatizam que sua abordagem aborda as limitações específicas da aplicação de modelos fundamentais à segmentação médica, particularmente a necessidade de equilibrar novidade de conhecimento, diversidade de dados e dificuldade anatômica específica da tarefa. Eles concluem que o ASSFT facilita a tradução de Med-VFMs para fluxos de trabalho clínicos práticos, reduzindo significativamente o ônus de anotação enquanto mantém alta precisão de segmentação.