🤖 machine learning

Towards Real-Time Autonomous Navigation: Transformer-Based Catheter Tip Tracking in Fluoroscopy

Este artigo apresenta um pipeline de rastreamento em tempo real e multithread da ponta de cateter utilizando modelos de segmentação por aprendizado profundo, demonstrando especificamente que uma arquitetura SegFormer de duas classes supera os métodos existentes em precisão e robustez, fornecendo uma base confiável para a navegação autônoma de trombectomia mecânica baseada em aprendizado por reforço.

Autores originais: Harry Robertshaw, Yanghe Hao, Weiyuan Deng, Benjamin Jackson, S. M. Hadi Sadati, Nikola Fischer, Tom Vercauteren, Alejandro Granados, Thomas C. Booth

Publicado 2026-05-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Harry Robertshaw, Yanghe Hao, Weiyuan Deng, Benjamin Jackson, S. M. Hadi Sadati, Nikola Fischer, Tom Vercauteren, Alejandro Granados, Thomas C. Booth

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Ensinar um Robô a "Dirigir" um Cateter

Imagine que um AVC é como um engarrafamento em uma cidade minúscula e sinuosa dentro do seu cérebro. Para corrigi-lo, os médicos usam um tubo longo e flexível (um cateter) para navegar pelos vasos sanguíneos e desobstruir o bloqueio. Isso é chamado de Trombectomia Mecânica (TM).

Atualmente, um médico humano precisa guiar esse tubo manualmente enquanto observa filmes de raio-X (fluoroscopia). É um trabalho árduo, expõe o médico à radiação e leva muito tempo. O objetivo desta pesquisa é construir um robô capaz de guiar o cateter autonomamente (por si só) usando Inteligência Artificial.

No entanto, para que um robô dirija, ele precisa saber exatamente onde está a ponta do volante. Neste caso, o "volante" é a ponta do cateter. O problema é que, nos filmes de raio-X, o cateter frequentemente aparece tênue, fica desfocado ou se esconde atrás de outros instrumentos.

Este artigo pergunta: Podemos construir um sistema de computador que encontre instantaneamente e com precisão a ponta do cateter nesses vídeos de raio-X confusos, mesmo quando é difícil de ver?

A Solução: Um "Pipeline" de Câmera Inteligente

Os pesquisadores construíram uma linha de montagem de quatro etapas (um pipeline) para resolver isso. Pense nisso como uma fábrica de alta velocidade que processa cada quadro individual de um vídeo de raio-X:

O Leitor: Captura o quadro do vídeo.
O Preparador: Limpa a imagem e a prepara para o computador.
O Cérebro (Inferência): Um modelo especial de IA observa a imagem e tenta desenhar uma máscara ao redor do cateter e do fio dentro dele.
O Refinador: Esta é a parte inteligente. A IA não apenas adivinha um único ponto. Ela:
- Funde peças quebradas da imagem.
- Transforma a forma grossa do cateter em uma linha fina, com a espessura de um pixel (como traçar um caminho com um lápis).
- Encontra a extremidade dessa linha (a ponta).
- Crucialmente: Para evitar confusão com o desfoque de movimento, ela não olha apenas para a ponta. Ela olha para a ponta mais dois pontos logo atrás dela (como olhar para o nariz e dois pontos na testa para saber para onde um rosto está virando). Isso ajuda o sistema a adivinhar a direção mesmo se a ponta estiver desfocada.

Os "Cérebros" Testados: Três Modelos de IA Diferentes

A equipe testou três tipos diferentes de "cérebros" de IA para ver qual era o melhor em desenhar o cateter:

U-Net: Um modelo clássico, confiável e robusto.
U-Net + Transformer: O modelo clássico com uma atualização de "super-visão" que o ajuda a entender o quadro geral.
SegFormer: Um modelo moderno que usa "Transformers" (a mesma tecnologia por trás de chatbots avançados) para entender contexto e detalhes simultaneamente.

Eles testaram esses modelos de duas maneiras:

Modo de Duas Classes: Apenas encontrando "A Ferramenta" vs. "O Fundo".
Modo de Três Classes: Encontrando "O Cateter", "O Fio" e "O Fundo" separadamente.

Os Resultados: Quem Venceu a Corrida?

Os pesquisadores testaram os modelos em três tipos de "pistas":

A Pista de Treino (Fantasma): Uma artéria de plástico falsa em um laboratório.
A Pista do Laboratório ao Vivo (Câmera ao Vivo): Um vídeo em tempo real de um cateter se movendo em um modelo de plástico.
A Estrada Real (Pacientes Humanos): Vídeos reais de raio-X de cirurgias humanas.

O Vencedor:
O modelo SegFormer (o moderno baseado em Transformer) foi o campeão.

Precisão: Cometeu o menor número de erros ao encontrar a localização exata da ponta. Nos vídeos humanos de "dificuldade moderada", ele errou por uma média de 4,44 milímetros.
Robustez: Lidou melhor com as partes confusas, de baixo contraste e desfocadas dos raios-X do que os modelos mais antigos.
Velocidade: Foi rápido o suficiente para operar em tempo real (cerca de 30 quadros por segundo), o que é rápido o suficiente para um robô reagir instantaneamente.

Uma Reviravolta Surpreendente:
Embora encontrar ambos o cateter e o fio separadamente (Três Classes) pareça mais útil para um robô, isso na verdade tornou o rastreamento menos preciso em alguns casos. A IA ficou confusa com os detalhes extras, fazendo com que a "linha" que ela desenhava se ramificasse incorretamente. A abordagem mais simples de "Duas Classes" (apenas encontrando "a ferramenta") foi frequentemente mais estável e precisa para localizar a ponta.

A Conclusão

Este artigo prova que podemos construir um sistema que observa vídeos de raio-X e diz instantaneamente a um robô onde está a ponta do cateter, mesmo quando a imagem é ruidosa ou a ferramenta está se escondendo.

O que eles alcançaram: Um sistema de rastreamento estável e em tempo real que supera métodos anteriores em benchmarks padrão.
O que eles não alcançaram (ainda): Eles não atingiram uma precisão submilimétrica "perfeita" em pacientes humanos reais (o erro foi de alguns milímetros, não menos de 1). Eles notaram que isso ocorre porque a IA foi treinada em modelos de plástico e teve que adivinhar em humanos reais sem treinamento adicional.
O Objetivo: Este sistema fornece os "olhos" necessários para que um robô eventualmente dirija o cateter sozinho, potencialmente tornando o tratamento de AVC mais rápido e seguro para médicos e pacientes.

Em resumo: Eles construíram um par de óculos muito afiados para um robô, permitindo que ele veja o volante de um cateter claramente, mesmo em uma sala de raio-X nebulosa.

Resumo Técnico: Rumo à Navegação Autônoma em Tempo Real: Rastreamento da Ponta de Cateter Baseado em Transformers em Fluoroscopia

Declaração do Problema
A trombectomia mecânica (TM) é uma intervenção crítica para AVCs por oclusão de grandes vasos, contudo sua eficácia é sensível ao tempo e limitada pela falta de acesso a tratamentos locais. Embora plataformas robóticas endovasculares e navegação autônoma baseada em aprendizado por reforço (RL) ofereçam soluções potenciais, as abordagens atuais de RL exigem o rastreamento preciso e em tempo real das coordenadas da ponta do dispositivo (cateter e guia) para funcionar. Os métodos existentes de rastreamento de dispositivos lutam sob condições clinicamente realistas caracterizadas por baixo contraste de imagem, ruído, desfoque de movimento e oclusão do dispositivo. Além disso, permanece incerto se modelos de aprendizado profundo treinados em dados sintéticos ou de fantomas podem generalizar para fluoroscopia clínica in vivo, particularmente quando os dispositivos estão parcialmente ocultos. A ausência de pipelines de rastreamento robustos e em tempo real capazes de operar em modalidades de imagem variáveis dificulta a transição da navegação autônoma de simulações in silico para aplicação clínica.

Metodologia
Os autores propõem um pipeline de rastreamento de ponta de cateter e guia em tempo real, multithread, projetado para operar sob condições fluoroscópicas desafiadoras. O sistema integra quatro estágios assíncronos:

Leitor: Captura quadros brutos de fluoroscopia ou vídeo independentemente da velocidade de inferência para evitar quadros perdidos.
Pré-processador: Redimensiona, normaliza e converte quadros para formato de tensor.
Inferência: Passa quadros através de modelos de segmentação treinados. Para imagens grandes, uma abordagem de janela deslizante com patches sobrepostos é utilizada para equilibrar qualidade e memória.
Pós-processador: Refina máscaras de segmentação através de fusão de componentes, remoção de artefatos e esqueltonização. Crucialmente, emprega um filtro de componentes em dois passos e uma esqueltonização medial de um pixel para identificar pontos finais. Para estabilizar o rastreamento contra desfoque de movimento e oclusão, o sistema amostra três pontos ao longo do esqueleto: a ponta primária ( $T_0$ ) e dois pontos a jusante ( $T_1, T_2$ ) a 5 e 10 pixels, respectivamente.

Arquiteturas de Modelo
Três arquiteturas de segmentação de aprendizado profundo foram treinadas e comparadas usando o conjunto de dados CathAction (25.000 máscaras em nível de pixel de fantomas in vitro e sujeitos suínos in vivo):

U-Net Padrão: Uma U-Net base de 16 canais modificada, otimizada com AdamW para atender a restrições de memória em tempo real, diferindo da implementação SGD de 64 canais original na literatura anterior.
U-Net + Transformer: Substitui o gargalo da U-Net por um módulo de transformer de autoatenção de 16 camadas e 16 cabeças para capturar contexto mais amplo.
SegFormer: Utiliza um codificador Mix Transformer B5 com um decodificador U-Net simétrico, incorporando módulos de atenção de compressão e excitação espacial e de canal (scSE).

O estudo avaliou formulações de duas classes (instrumento vs. fundo) e três classes (cateter vs. guia vs. fundo) para determinar seu impacto na precisão do rastreamento a jusante.

Principais Contribuições

Pipeline de Rastreamento Inovador: Introdução de um pipeline de esqueltonização e amostragem de múltiplos pontos que melhora a estabilidade de localização na presença de baixo contraste, oclusão parcial e instrumentos sobrepostos.
Benchmarks Integrados: Demonstração de que arquiteturas modernas de segmentação, quando incorporadas em um framework de rastreamento, superam benchmarks existentes no conjunto de dados CathAction, estendendo a avaliação além de métricas de segmentação autônomas para incluir erro de localização da ponta.
Validação Transdomínio: Validação do método em dados fluoroscópicos in vitro de fantoma, in vivo animal e in vivo clínico sem ajuste fino in vivo, avaliando a generalização entre modalidades de imagem.

Resultados

Benchmark CathAction: O SegFormer de duas classes alcançou o melhor desempenho (Dice: 0,809, IoU: 0,722), superando U-Net e U-Net+Transformer. Na segmentação de três classes, o SegFormer também liderou com uma pontuação Dice de 0,667, superando benchmarks anteriores (por exemplo, U-Net em 0,517).
RGB Offline In Vitro: O SegFormer alcançou o menor Erro Absoluto Médio (MAE) no rastreamento de duas classes (0,47 mm). No entanto, no rastreamento de três classes, o U-Net teve o melhor desempenho (0,60 mm), enquanto o SegFormer sofreu erros maiores (1,21 mm) devido a ramificações do esqueleto induzidas por má classificação.
Fluoroscopia In Vivo: Em dados clínicos estratificados por complexidade, o SegFormer (duas classes) demonstrou consistentemente a localização de ponta mais estável e precisa. No grupo de "Complexidade Moderada" (G2), alcançou um erro absoluto médio de 4,44 mm, superando U-Net (4,60 mm) e U-Net+Transformer (6,20 mm). Modelos de três classes geralmente exibiram erros maiores e mais artefatos em fundos anatômicos complexos.
Velocidade: O sistema manteve desempenho em tempo real, com velocidades de inferência variando de ~21 a ~30 FPS dependendo do modelo e do conjunto de dados.

Significado e Alegações
O artigo afirma que o framework de rastreamento multithread proposto mantém desempenho estável sob condições de imagem desafiadoras, fornecendo uma base confiável para navegação autônoma de TM baseada em RL. Os autores enfatizam que, embora o sistema supere benchmarks anteriores e demonstre viabilidade para rastreamento em tempo real, ainda não alcança precisão submilimétrica de grau clínico (<1 mm) em configurações in vivo. Os erros observados (4–7 mm) são atribuídos a deslocamentos de domínio (contraste, ruído, movimento), oclusão e à falta de dados de treinamento in vivo.

O estudo conclui que a segmentação de duas classes oferece o compromisso mais confiável entre velocidade, estabilidade e precisão de localização de ponta para as necessidades atuais de rastreamento. No entanto, a segmentação de três classes permanece valiosa para navegação autônoma por RL, pois permite o rastreamento simultâneo de cateter e guia, fornecendo entradas mais ricas para agentes de tomada de decisão. O trabalho posiciona-se como um passo rumo a sistemas clinicamente implantáveis, destacando que melhorias futuras em adaptação de domínio e a inclusão de dados de treinamento in vivo diversos são necessárias para fechar a lacuna entre o desempenho em fantoma e a realidade clínica.