A 3D Cross-modal Keypoint Descriptor for MR-US Matching and Registration

Título: Um Descritor de Pontos Chave 3D Cross-Modal para Correspondência e Registro MR-US

1. O Problema

O registro intraoperatório de ultrassom em tempo real (iUS) com imagens de Ressonância Magnética (RM) pré-operatórias permanece um desafio não resolvido na neurocirurgia. As principais dificuldades incluem:

• Diferenças severas de modalidade: A RM oferece volumes 3D de alta resolução com alto contraste de tecidos moles, enquanto o iUS fornece visualizações parciais, ruidosas (ruído de speckle) e com campo de visão (FoV) limitado, baseadas em reflexões de ondas acústicas.
• Variações anatômicas: Durante a cirurgia, ocorrem deslocamentos cerebrais (brain shift) e ressecções de tumores, alterando a topologia e a aparência dos tecidos.
• Limitações dos métodos existentes: A maioria das abordagens atuais é limitada a 2D, depende de inicialização manual ou falha em lidar com a grande lacuna de aparência entre as modalidades em volumes 3D completos.

2. Metodologia

Os autores propõem uma abordagem inovadora baseada em correspondência por síntese (matching-by-synthesis) e aprendizado contrastivo supervisionado. O fluxo do método é dividido nas seguintes etapas:

• A. Geração de Dados de Treinamento (Síntese):

  • Como não é possível adquirir iUS pré-operatório, o método sintetiza volumes de iUS a partir da RM pré-operatória do próprio paciente.
  • Utiliza-se o framework MMHVAE (Variational Auto-Encoder Hierárquico Multimodal) para gerar iUS sintéticos realistas a partir de sequências de RM (T1, T2, FLAIR), variando parâmetros de textura e speckle para criar diversidade.
  • Isso permite criar pares de treinamento (RM real vs. iUS sintético) com correspondências espaciais conhecidas.

• B. Detecção e Amostragem de Pontos Chave:

  • Em vez de detectar pontos independentemente em cada modalidade, cria-se um mapa de saliência cross-modal.
  • Agrega-se estatísticas espaciais de pontos detectados por SIFT3D tanto na RM quanto nos volumes de iUS sintéticos.
  • Aplica-se uma operação probabilística (OR) e um prior espacial baseado no campo de visão (FoV) do iUS para gerar um mapa de saliência residual ($P_{res}$).
  • Os pontos chave para treinamento são amostrados estocasticamente deste mapa, garantindo cobertura espacial e diversidade.

• C. Descritor e Treinamento (Aprendizado Contrastivo):

  • Utiliza-se uma arquitetura Siamese baseada em uma rede 3D ResNet-18 para extrair descritores de patches cúbicos (32³ voxels) ao redor dos pontos chave.
  • Função de Perda: Emprega-se uma perda de triplet com mineração de negativos difíceis (hard negative mining) baseada em curriculum learning.
    • Inicialmente, o modelo aprende com pares negativos espacialmente distantes (fáceis).
    • Progressivamente, o foco muda para pares negativos semanticamente similares (difíceis) à medida que o treinamento avança.
  • Invariância à Rotação: Durante o treinamento, aplica-se rotação 3D aleatória aos patches de RM, aumentando gradualmente o ângulo máximo (de 0° a 30°) ao longo das épocas, para garantir que o descritor seja invariante à orientação.

• D. Inferência e Registro:

  • No teste, detectam-se pontos na RM (usando o mapa de saliência aprendido) e em uma grade uniforme no iUS real.
  • Realiza-se a correspondência via busca de vizinho mais próximo (L2) com filtragem de ambiguidade (Teste de Razão de Lowe).
  • As correspondências esparsas são usadas para estimar uma transformação rígida via RANSAC para o registro final.

3. Principais Contribuições

1. Estratégia de Correspondência por Síntese: Um framework específico para paciente que sintetiza iUS a partir da RM do mesmo paciente para treinar um descritor cross-modal, superando a falta de dados pareados reais.
2. Detector de Pontos Chave Probabilístico: Um método que agrega mapas de saliência de múltiplas modalidades sintéticas para identificar locais anatômicos consistentes e discriminativos.
3. Framework de Aprendizado Contrastivo com Curriculum: Uso de mineração de negativos difíceis progressiva e aumento de dados rotacionais para garantir robustez a ruídos, variações de campo de visão e rotações.
4. Extensão para 3D: Diferente de métodos anteriores focados em 2D, esta solução opera nativamente em volumes 3D, essencial para aplicações cirúrgicas.

4. Resultados

Os experimentos foram realizados no conjunto de dados ReMIND (11 pacientes para correspondência e 4 casos de validação para registro).

• Correspondência de Pontos Chave:

  • O método alcançou uma precisão média de 69,8% e uma pontuação de correspondência (Matching Score) de 4,90%.
  • Superou consistentemente o estado da arte (SOTA), incluindo métodos 2D (SuperPoint, LoFTR, MINIMA) e descritores 3D clássicos (SIFT3D, MIND, F¨orstner+NGF).
  • Métodos tradicionais 3D tiveram desempenho muito inferior devido à grande lacuna de aparência entre RM e iUS.

• Registro de Imagem:

  • No desafio ReMIND2Reg, o método alcançou um Erro de Registro de Alvo (TRE) médio de 2,39 mm.
  • Classificou-se em 3º lugar no leaderboard, competindo favoravelmente com métodos deformáveis complexos e baseados em aprendizado profundo, apesar de utilizar apenas uma transformação rígida e correspondências esparsas.
  • O método demonstrou robustez mesmo em casos com grandes deformações de tecidos e mudanças topológicas pós-ressecção.

• Estudos de Ablação:

  • A síntese usando múltiplas sequências de RM (T1, T2, FLAIR) melhorou significativamente o desempenho.
  • A amostragem estocástica superou a detecção determinística.
  • A perda de triplet com curriculum learning foi superior a BCE e InfoNCE.
  • A augmentação rotacional baseada em curriculum garantiu invariância sem sacrificar a capacidade discriminativa.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na fusão de imagens médicas intraoperatórias.

• Interpretabilidade: Diferente de métodos de "caixa preta", as correspondências de pontos chave podem ser visualizadas diretamente, permitindo que cirurgiões avaliem a plausibilidade anatômica do registro.
• Autonomia: O método não requer inicialização manual, removendo uma barreira significativa para a adoção clínica.
• Robustez: A abordagem demonstra ser robusta a variações no campo de visão do iUS e a mudanças anatômicas drásticas, provando que a melhoria na qualidade da correspondência local é fundamental para o sucesso do registro global.
• Aplicabilidade Clínica: Embora o treinamento seja específico para cada paciente (levando ~5 horas), isso é clinicamente aceitável pois ocorre offline, antes da cirurgia, utilizando a RM já adquirida.

Em resumo, o método propõe uma solução elegante para o problema de registro RM-iUS, combinando síntese de dados realistas com aprendizado profundo robusto, estabelecendo um novo padrão de desempenho para tarefas de correspondência 3D cross-modal.