Point Tracking as a Temporal Cue for Robust Myocardial Segmentation in Echocardiography Videos

Resumo Técnico: Rastreamento de Pontos como uma Pista Temporal para Segmentação Miocárdica Robusta em Vídeos de Ecocardiografia

Problema
A segmentação do miocárdio em vídeos de ecocardiografia (eco) é crucial para avaliar a função sistólica, calcular o strain miocárdico e detectar anormalidades no movimento regional da parede. No entanto, esta tarefa é dificultada pelo baixo contraste da imagem, ruído e variabilidade anatômica significativa, particularmente em configurações de Point-of-Care Ultrasound (POCUS), onde operadores não especialistas frequentemente adquirem clipes de menor qualidade.

As abordagens existentes de aprendizado profundo enfrentam limitações específicas:

• Modelos independentes de quadro (ex: UNet, SwinUNet) ignoram a informação temporal, levando a uma segmentação inconsistente ao longo do ciclo cardíaco.
• Modelos baseados em memória (ex: MemSAM, MedSAM2) propagam características ao longo do tempo, mas são suscetíveis ao acúmulo de erro quando os quadros iniciais são ruidosos ou fora do eixo.
• Métodos baseados em fluxo óptico dependem de suposições de constância de brilho e movimento suave que são frequentemente violadas no eco devido à descorrelação de speckle e movimento fora do plano, resultando em deformações temporalmente instáveis ou anatomicamente implausíveis.
• Modelos de fundação (ex: SAM) frequentemente requerem prompts interativos, o que é impraticável para fluxos de trabalho em tempo real e com escassez de rótulos.

Metodologia: Point-Seg
Os autores propõem o Point-Seg, um framework de segmentação baseado em transformer que integra o rastreamento de pontos como uma pista temporal explícita para garantir uma segmentação miocárdica estável e consistente, sem depender da acumulação de características baseada em memória.

• Arquitetura: O modelo consiste em um encoder (backbone ResNet50 com camadas de atenção deformável transformer), um decoder de pontos, camadas de fusão e um decoder de máscara.
• Módulo de Rastreamento de Pontos: O sistema rastreia $N$ pontos distintos (incluindo uma grade densa e pontos manuais opcionais) através de $T$ quadros. Ele utiliza um decoder de pontos treinado no conjunto de dados sintético SynUS para estimar trajetórias ($L_i$) e sequências de visibilidade ($V_i$). O decoder emprega TAPTR (Transformer-based Point Tracking) ajustado para ecocardiografia.
• Mecanismo de Fusão: O framework utiliza múltiplos mecanismos de atenção para integrar informações espaciais e sensíveis ao movimento:
  • Cross-Attention Ponto-para-Patch: Permite que os tokens de pontos atentem para os tokens de patch, incorporando características espaciais.
  • Auto-Atenção de Pontos: Permite que os pontos rastreados troquem informações dentro de um quadro.
  • Auto-Atenção Temporal de Pontos: Modela o movimento ao permitir que os tokens de pontos atentem para suas próprias trajetórias ao longo dos quadros.
  • Cross-Attention Patch-para-Ponto: Integra pistas de movimento nas representações espaciais para o decoder de máscara.
• Estratégia de Treinamento: O treinamento é realizado em duas etapas. Primeiro, o decoder de pontos é treinado usando uma perda $\ell_1$ para estimativa de trajetória e perda de entropia cruzada para previsão de visibilidade. Segundo, o decoder de pontos é congelado, e o decoder de máscara é treinado usando perda Dice e uma perda de suavização temporal. A perda de suavização temporal impõe similaridade par a par entre os valores de máscara rastreados através dos quadros para aumentar a consistência.
• Inferência: O modelo gera máscaras de segmentação e informações de movimento ao nível do pixel simultaneamente, não exigindo prompts manuais.

Principais Contribuições

1. Rastreamento de Pontos Ajustado para Eco: Os autores adaptam e ajustam o TAPTR usando o conjunto de dados sintético SynUS para gerar trajetórias miocárdicas robustas e densamente amostradas que permanecem estáveis mesmo quando a qualidade da imagem flutua.
2. Segmentação Condicionada por Rastreamento: Um novo cabeçalho de segmentação transformer recebe trajetórias rastreadas como priors de movimento. Esta abordagem impõe consistência temporal sem propagação de memória, reduzindo efetivamente o desvio (drift) em clipes de eco de baixa qualidade.
3. Informação de Movimento ao Nível do Pixel: Ao contrário dos métodos de segmentação padrão, o Point-Seg fornece informações de movimento miocárdico explícitas, o que é essencial para tarefas subsequentes como medição de strain e detecção de anormalidades no movimento da parede.

Resultos Experimentais
O método foi avaliado no conjunto de dados público CAMUS e em um conjunto de dados privado contendo 1.305 vídeos de treinamento, 181 de validação e 367 de teste.

• Dados de Alta Qualidade: Em quadros de alta qualidade do CAMUS, o Point-Seg atinge paridade estatística (p ≥ 0.05) com modelos de última geração (ex: nnUNet, MedSAM2 com prompts de caixa delimitadora) em termos de coeficiente Dice médio (mDice) e distância de Hausdorff (HD95).
• Dados de Baixa Qualidade: Em clipes de eco de baixa qualidade, o Point-Seg demonstra desempenho superior. No conjunto de teste CAMUS, ele alcança um mDice significativamente maior (86.7 vs. 84.0 para nnUNet) e um HD95 menor comparado aos baselines. No conjunto de dados privado, também supera os baselines em cenários de baixa qualidade.
• Estabilidade Temporal: A análise qualitativa (Figura 2) mostra que o Point-Seg mantém fronteiras estáveis durante todo o ciclo cardíaco, evitando o efeito de cintilação (flickering) visto em modelos independentes de quadro e o desvio observado em abordagens baseadas em memória.
• Estudos de Ablação: Experimentos confirmam que a inclusão de trajetórias de pontos, cross-attention ponto-para-patch e, especificamente, a auto-atenção temporal, melhora significativamente a precisão e a estabilidade da segmentação. O rastreador proposto também supera os rastreadores existentes específicos para eco (EchoTracker) e rastreadores gerais (CoTracker) no conjunto de dados SynUS.

Significância e Alegações
O artigo afirma que o Point-Seg oferece uma abordagem confiável e generalizável para a segmentação do miocárdio em ecocardiografia, particularmente em ambientes desafiadores de POCUS. Ao utilizar o rastreamento de pontos como uma pista temporal, o método elimina a necessidade de acumulação de características baseada em memória e de prompts manuais, proporcionando também o benefente adicional de dados de movimento ao nível do pixel. Os autores afirmam que esta abordagem visa as necessidades centrais do diagnóstico de insuficiência cardíaca à beira do leito: segmentação confiável e temporalmente consistente que permite medições acionáveis como fração de ejeção e strain, mesmo quando a qualidade da imagem é suboptimal. O código é disponibilizado para facilitar pesquisas futuras.