💻 computer science

Cross-Modal MRI Ovary Segmentation in Endometriosis Using Unpaired TVUS Prototype Priors

Este artigo propõe um framework de dois ramos que aproveita os protótipos de prioridade derivados de TVUS para alinhar características entre modalidades, melhorando significativamente a tarefa desafiadora de segmentação de ovário cross-modal em ressonância magnética de endometriose em comparação com métodos de estado da arte.

Autores originais: Xingjian Kang, Lina Felsner, Dominik Perrin, Daiqi Liu, Jasmin Arjomandi, Franziska Mathis-Ullrich, Alexandra Stoll, Katharina Breininger

Publicado 2026-08-20

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xingjian Kang, Lina Felsner, Dominik Perrin, Daiqi Liu, Jasmin Arjomandi, Franziska Mathis-Ullrich, Alexandra Stoll, Katharina Breininger

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A endometriose é uma condição crônica e dolorosa onde o tecido semelhante ao revestimento do útero cresce fora dele, frequentemente formando cistos nos ovários. Para diagnosticar e tratar esta doença, os médicos dependem fortemente de dois tipos diferentes de imagem médica: a ultrassonografia transvaginal, que utiliza ondas sonoras para criar imagens do interior do corpo, e a ressonância magnética, ou RM, que utiliza ímãs poderosos para ver profundamente na pelve. Embora a ultrassonografia seja excelente em mostrar a textura específica dos cistos ovarianos, a RM oferece uma visão mais ampla e clara da anatomia circundante. No entanto, um desafio significativo permanece: os ovários são pequenos e seus limites podem parecer muito semelhantes aos órgãos e tecidos circundantes em um exame de RM. Isso torna difícil para programas de computador, conhecidos como inteligência artificial, desenharem automaticamente e com precisão uma linha ao redor do ovário para ajudar os médicos a medi-lo. Sem esse contorno preciso, é mais difícil acompanhar a doença ou planejar uma cirurgia.

Pesquisadores há muito esperam que a combinação das forças tanto da ultrassonografia quanto da RM possa resolver este problema, mas um grande obstáculo tem impedido o progresso. No mundo real, um paciente raramente faz uma ultrassonografia e uma RM do exato mesmo ovário no exato mesmo momento, o que significa que as duas imagens não se alinham perfeitamente. Essa falta de pares correspondentes impediu que os computadores aprendessem a traduzir as características claras vistas na ultrassonografia diretamente para as imagens de RM. Um novo estudo de uma equipe de cientistas da Alemanha propõe uma solução astuta. Em vez de tentar combinar pacientes individuais entre as duas máquinas, eles ensinaram o computador a aprender uma "ideia" geral do que um ovário parece a partir de centenas de imagens de ultrassonografia e, em seguida, usaram esse conhecimento geral para guiar o computador quando ele olhasse para as imagens de RM.

A equipe construiu um sistema que opera como uma rodovia de duas faixas. Uma faixa processa imagens de ultrassonografia e a outra processa imagens de RM. Eles começaram com um modelo de computador poderoso e pré-treinado, projetado para compreender imagens médicas, o qual adaptaram para focar especificamente nos ovários. Primeiro, alimentaram o sistema com uma grande coleção de imagens de ultrassonografia onde os ovários já haviam sido marcados por especialistas humanos. O computador analisou essas imagens para construir uma biblioteca mental, ou um "banco de protótipos", do que um ovário normal e um ovário com cistos tipicamente parecem em termos de forma e textura. Esta biblioteca atua como um guia de referência, um padrão populacional do que um ovário deve ser.

Uma vez estabelecido esse guia, os pesquisadores voltaram sua atenção para os exames de RM. Eles não precisavam parear essas imagens de RM com imagens de ultrassonografia específicas. Em vez disso, instruíram o computador a olhar para um exame de RM e tentar encontrar o ovário. À medida que o computador fazia seu palpite, ele comparava seus achados contra o guia de referência construído a partir dos dados de ultrassonografia. Se o entendimento do computador sobre a imagem de RM se desviasse da forma e das características estabelecidas de um ovário, o sistema gentilmente o puxava de volta para o padrão correto. Esse processo permitiu que o computador aprendesse a tarefa difícil de detectar ovários na RM ao pegar emprestada a clareza que já havia aprendido na ultrassonografia, tudo sem precisar que os dois tipos de exames fossem realizados na mesma pessoa ao mesmo tempo.

Os resultados desta abordagem foram significativos. Quando a equipe testou seu novo sistema em um conjunto de dados de exames de RM de oitenta e um pacientes com endometriose, ele superou vários métodos existentes. O padrão mais comum para medir o quão bem um computador contorna um órgão é uma pontuação chamada coeficiente Dice, que varia de zero a cem por cento, onde números mais altos indicam melhor precisão. O novo método alcançou uma pontuação de 61,0 por cento, o que é uma melhoria substancial sobre outras técnicas avançadas que pontuaram em torno de 28,9 por cento ou ligeiramente mais com treinamento completo. Os pesquisadores observaram que essa melhoria não foi apenas um pequeno ganho estatístico; os contornos do computador tornaram-se muito mais compactos e precisos, reduzindo o número de vezes que ele identificava erroneamente o tecido saudável como parte do ovário.

No entanto, o estudo também revelou os limites deste progresso. Embora o novo método tenha sido o melhor entre os testados, os pesquisadores reconheceram que uma pontuação de 61 por cento significa que ainda há espaço para melhorias, e o sistema ainda não delineia perfeitamente cada ovário em todas as imagens. Eles descobriram que a maneira como treinaram o sistema importava muito. Especificamente, descobriram que o computador precisava de um curto período de treinamento de "aquecimento" nos dados de ultrassonografia antes de poder aprender efetivamente com os dados de RM. Se tentassem treinar as duas faixas da rodovia ao mesmo tempo desde o início, ou se pulassem o aquecimento completamente, o sistema tinha um desempenho muito inferior. Isso sugere que estabelecer uma base sólida do que um ovário parece a partir das imagens mais claras de ultrassonografia é um primeiro passo crucial antes de tentar aplicar esse conhecimento às imagens de RM mais ambíguas.

A equipe também explorou como diferentes configurações afetavam o desempenho do sistema. Eles descobriram que o equilíbrio entre a tarefa padrão de correspondência de imagem e a nova tarefa de "guia de referência" era delicado. Se o sistema dependesse demais do guia de ultrassonografia, não aprendia bem as características da RM; se dependesse de menos, falhava em corrigir seus erros. Através de testes cuidadosos, identificaram uma configuração específica que funcionava melhor, provando que o método é robusto, mas requer um ajuste preciso. Os pesquisadores concluíram que, embora sua abordagem consiga unir com sucesso dois mundos de imagem diferentes sem precisar de dados de pacientes correspondentes, as limitações atuais dos dados disponíveis significam que a tecnologia ainda está evoluindo. Eles planejam continuar refinando o sistema, particularmente ensinando-o a reconhecer melhor os tecidos específicos que ficam logo ao lado do ovário, que atualmente confundem o computador. Este trabalho representa um passo significativo no uso da inteligência artificial para ajudar os médicos a enxergar os detalhes invisíveis da endometriose, oferecendo um caminho para um diagnóstico e cuidado mais precisos.

Resumo Técnico: Segmentação de Ovários em Ressonância Magnética Transmodal usando Priores de Protótipos de TVUS Não Pareados

Declaração do Problema

A segmentação precisa de ovários em Ressonância Magnética (RM) é crítica para localizar lesões em pacientes com endometriose, particularmente endometriomas ovarianos (cistos de chocolate). No entanto, esta tarefa permanece altamente desafiadora devido ao tamanho reduzido dos ovários e às suas fronteiras ambíguas com as estruturas pélvicas circundantes. Embora a Ultrassonografia Transvaginal (TVUS) frequentemente capture características mais distintas do ovário, obter exames pareados TVUS–RM para aprendizado supervisionado transmodal é difícil na prática clínica. Estudos existentes focam amplamente em análise de modalidade única ou classificação de doenças, deixando a segmentação de ovários transmodal amplamente inexplorada. Há uma escassez de métodos capazes de transferir efetivamente o conhecimento anatômico da TVUS para a RM sem a necessidade de dados pareados.

Metodologia

Os autores propõem um framework de dois ramos (dual-branch) projetado para aproveitar máscaras de ovário de TVUS não pareadas para aprender um prior ovariano em nível populacional, que é então transferido para melhorar a segmentação de ovários em RM. Os componentes principais da metodologia são:

1. Arquitetura de Dois Ramos com Backbone MedSAM3

O framework utiliza o MedSAM3, um modelo de fundação de segmentação de conceitos baseável em prompts, como o backbone para os ramos de TVUS e de RM.

Ajuste Fino de Parâmetros Eficientes (PEFT): Ambos os ramos empregam Adaptação de Baixo Posto (LoRA) para adaptar o modelo pré-treinado MedSAM3.
Configuração dos Ramos:
- Ramo de TVUS: O backbone e os módulos LoRA são congelados após uma fase de aquecimento (warm-up). Uma cabeça de projeção é atualizada via Média Móvel Exponencial (EMA) a partir do ramo de RM.
- Ramo de RM: Os módulos LoRA e a cabeça de projeção são treináveis.
Extração de Características: O Vision Transformer (ViT) gera representações de características multiescala através de uma Rede de Pirâmide de Características (FPN). Estas características são mapeadas para embeddings normalizados usando uma cabeça de projeção leve (convolução 1×1, GroupNorm, ReLU, normalização L2).

2. Construção do Banco de Protótipos

Para injetar conhecimento anatômico da TVUS no ramo de RM, os autores constroem um prior ovariano de primeiro plano (foreground) em nível populacional a partir de máscaras de ovário de TVUS não pareadas.

Banco de Memória de Protótipos: Este banco armazena protótipos de primeiro plano ( $p_{fg}^{TVUS}$ ) e de fundo ( $p_{bg}^{TVUS}$ ).
Extração: Características de primeiro plano ( $q_{fg}$ ) e de fundo ( $q_{bg}$ ) são extraídas das entradas de TVUS via média de agrupamento mascarado (masked average pooling).
Mecanismo de Atualização: Os protótipos são atualizados usando uma estratégia de EMA:
$p_{fg}^{TVUS}(t) = \alpha p_{fg}^{TVUS}(t-1) + (1-\alpha) q_{fg}^{TVUS}(t)$
onde $\alpha$ é o coeficiente de momentum. Isso garante um prior de protótipo estável que representa a anatomia em nível populacional em vez de ruído específico de um lote (batch).

3. Aprendizado Contrastivo de Protótipos

Como os conjuntos de dados não são pareados, a correspondência espacial não é imposta. Em vez disso, o framework impõe a consistência anatômica transmodal no espaço de características.

Objetivo: As características de primeiro plano do ovário em RM ( $q_{fg}^{MRI}$ ) são incentivadas a se aproximar dos protótipos de primeiro plano de ovário de TVUS ( $p_{fg}^{TVUS}$ ) enquanto são afastadas dos protótipos de fundo de TVUS ( $p_{bg}^{TVUS}$ ) e das características de fundo de RM ( $q_{bg}^{MRI}$ ).
Função de Perda: Uma perda contrastiva InfoNCE ( $\mathcal{L}_{proto}$ ) é empregada:
$\mathcal{L}_{proto} = -\log \frac{\exp(\text{sim}(q_{fg}^{MRI}, p_{fg}^{TVUS})/\tau)}{\exp(\text{sim}(q_{fg}^{MRI}, p_{fg}^{TVUS})/\tau) + \sum_{z \in \{p_{bg}^{TVUS}, q_{bg}^{MRI}\}} \exp(\text{sim}(q_{fg}^{MRI}, z)/\tau)}$
Perda Total: A perda contrastiva é combinada com a perda de segmentação padrão ( $\mathcal{L}_{seg}$ ) ponderada por $\lambda$ :
$\mathcal{L}_{total} = \mathcal{L}_{seg} + \lambda \mathcal{L}_{proto}$

4. Estratégia de Treinamento

Pré-treinamento de Aquecimento (Warm-up): O ramo de TVUS é primeiro pré-treinado independentemente por três épocas para estabilizar o espaço de características e extrair protótipos confiáveis.
Treinamento Transmodal: O modelo de TVUS é então congelado, e o ramo de RM é treinado por 10 épocas utilizando os protótipos derivados da TVUS.

Principais Contribuições

O artigo descreve três contribuições primárias:

Framework de Dois Ramos: Uma arquitetura inovadora para segmentação de ovários em RM construída sobre o MedSAM3, capaz de aprender características específicas de cada modalidade e representações anatômicas transmodais.
Prior Ovariano de Nível Populacional: A introdução de um banco de protótipos construído a partir de máscaras de ovário de TVUS não pareadas, fornecendo orientação anatômica para o aprendizado de representação de RM sem exigir dados pareados.
Aprendizado Contrastivo de Protótipos: Uma estratégia para impor consistência anatômica transmodal, regularizando as representações de características de RM em direção a características ovarianas anatomicamente significativas derivadas da TVUS.

Resultados Experimentais

O framework foi avaliado em conjuntos de dados públicos relacionados à endometriose: OTU-2D (TVUS) e UT-EndoMRI (RM).

Desempenho Quantitativo: A abordagem proposta de dois ramos alcançou um coeficiente Dice médio (mDICE) de 61,0% e uma precisão média (mAP) de 27,3%.
- Isso representa uma melhoria de mais de 5 pontos percentuais em mDICE comparado ao MedSAM3 totalmente ajustado (54,6%) e supera significativamente o MedSAM3 zero-shot (14,9%) e o nnU-Net 2D (28,9%).
Observações Qualitativas: O método produziu predições mais compactas e reduziu respostas de falsos positivos em regiões pélvicas circundantes em comparação com as linhas de base. Enquanto modelos zero-shot tiveram dificuldades com localização e o nnU-Net falhou em identificar a região ovariana, o método proposto refinou as predições de contorno.
Estudos de Ablação:
- Banco de Protótipos: A remoção do banco de protótipos reduziu o mDICE de 61,02% para 57,74%, confirmando seu papel na melhoria da qualidade da segmentação.
- Aquecimento (Warm-up): Um aquecimento de 3 épocas apenas de TVUS gerou os melhores resultados. O aquecimento conjunto ou a ausência de aquecimento levaram a quedas de desempenho.
- Parâmetros: O framework mostrou robustez a variações no peso da perda contrastiva ( $\lambda$ ) e no momentum da EMA ( $\alpha$ ), com desempenho ideal em $\lambda=0,015$ e $\alpha=0,95$ .

Significância e Alegações

Os autores afirmam que este trabalho demonstra a viabilidade do uso de dados de TVUS não pareados para construir um prior de protótipo transmodal útil para segmentação de ovários em RM baseada em prompts de texto.

Alegações de Desempenho Modesto: Embora o método supere as linhas de base de estado da arte, os autores reconhecem que o desempenho geral na segmentação de ovários em RM permanece "modesto". Eles atribuem isso à disponibilidade limitada de anotações de ovários no conjunto de dados original e ao desafio de os protótipos de fundo serem dominados por pixels fáceis em vez de estruturas anatomicamente similares.
Insight Metodológico: O estudo destaca que a transferência direta de modelos de fundação (zero-shot) é insuficiente para esta tarefa específica e que a adaptação ao domínio alvo via priors transmodais não pareados é uma estratégia viável.
Direções Futuras: Os autores sugerem que trabalhos futuros foquem na construção de protótipos de "fundo próximo" usando máscaras dilatadas, exploração de pré-treinamento auto-supervisionado para melhor alinhamento de características e extensão do framework para segmentação volumétrica 3D e outras modalidades (ex: vídeo laparoscópico).