Learning Expert Strategy for Autonomous Robotic Endovascular Intervention via Decoupled Procedural Execution

Resumo Técnico: Estratégia de Aprendizado de Especialista para Intervenção Endovascular Robótica Autônoma via Execução Procedimental Desacoplada

Declaração do Problema
As intervenções endovasculares são procedimentos de alto risco e minimamente invasivos que exigem a manipulação precisa de fios-guia e cateteres flexíveis através de anatomias vasculares complexas e tortuosas sob orientação fluoroscópica 2D. Esses procedimentos demandam uma curva de aprendizado acentuada, resultam em tempos operacionais prolongados e expõem os operadores a radiação contínua. Um desafio crítico para automatizar essas tarefas é a variabilidade na habilidade do operador, o que leva a resultados procedimentais inconsistentes. Embora o Aprendizado por Reforço (RL) tenha mostrado promessa no aprendizado de políticas de navegação a partir de ambientes simulados, as abordagens de aprendizado existentes frequentemente lutam com a satisfação explícita de restrições e garantias de segurança. Políticas de RL puras tendem a produzir decisões localmente ótimas que se manifestam como manobras redundantes, etapas de navegação excessivas e falta de robustez contra condições de contato incertas, o que pode levar a resultados arriscados, como colisões com a parede do vaso. Por outro lado, métodos de otimização puramente baseados em modelos (por exemplo, Controle Preditivo Baseado em Modelo - MPC) frequentemente falham em capturar a dinâmica altamente não linear e dependente da anatomia dos fios-guia flexíveis, particularmente sob sensoriamento incompleto.

Metodologia
O artigo propõe uma estratégia de aprendizado de especialista que desacopla a tomada de decisão estratégica de alto nível da execução procedural de baixo nível. Esta arquitetura espelha o fluxo de trabalho clínico dos intervencionistas, que separam o planejamento procedural global da manipulação precisa do dispositivo. O framework consiste em três módulos primários:

1. Percepção Visual e Estimativa de Estado: O sistema processa imagens fluoroscópicas em tempo real usando um modelo YOLOv5 para detectar a ponta do fio-guia e um backbone ResNet50 para extrair características visuais de alta dimensão que representam a anatomia vascular. Estas são combinadas com dados geométricos de estado (posição da ponta, velocidade, orientação) e ações de controle anteriores para formar um vetor de observação composto.
2. Política de Navegação Estratégica (RL): Um agente Soft Actor-Critic (SAC) é treinado em um ambiente de simulação vascular de alta fidelidade (usando o ambiente Sim4EndoR). Esta política aprende intenções de navegação global para maximizar o sucesso da tarefa e a eficiência a longo prazo. Crucialmente, a função de recompensa para o agente de RL foca na conclusão da tarefa e na eficiência do caminho, mas não impõe explicitamente restrições rígidas de limites de parede vascular durante o treinamento. Isso permite que a política aprenda táticas de alto nível sem ser restringida por limites imediatos de segurança.
3. Refinamento de Movimento Preditivo (MPC): As ações de controle de referência ($u_{RL}$) geradas pela política de RL são passadas para um módulo de Controle Preditivo Não Linear (NMPC) de jusante. Este módulo resolve um problema de otimização com restrições de horizonte finito em tempo real. Ele utiliza um modelo cinemático simplificado do fio-guia para prever trajetórias futuras e impõe explicitamente:
   • Limites cinemáticos: Limites de curvatura ($\kappa_{max}$) para evitar a deformação do dispositivo.
   • Restrições de segurança: Distância mínima das paredes dos vasos ($d_{min}$).
   • Limites de atuador: Limites de velocidade e rotação.
     O NMPC filtra a saída do RL, garantindo que a ação executada final ($u^*_0$) adira às normas operacionais de especialistas e restrições de segurança, preservando a intenção estratégica da política de RL.

Principais Contribuições

• Framework de RL com Restrição Desacoplada: Os autores introduzem uma arquitetura inovadora que separa a aquisição de intenção estratégica (via RL) da imposição de restrições operacionais (via otimização). Esta formulação alinha-se aos fluxos de trabalho clínicos e aborda as limitações do aprendizado de ponta a ponta em domínios de segurança crítica.
• Módulo de Refinamento Preditivo Online: Um módulo NMPC especializado é desenvolvido para incorporar explicitamente a cinemática do fio-guia, restrições de curvatura e aderência à linha central do vaso. Isso garante conformidade em tempo real com as restrições de segurança e suavidade da trajetória sem exigir que o agente de RL aprenda essas restrições rígidas diretamente.
• Validação Abrangente: O framework é validado através de extensos experimentos tanto em um ambiente de simulação 3D de alta fidelidade quanto em uma plataforma robótica física (sistema ALL-VAS™) utilizando fantasmas vasculares.

Resultados Experimentais
O framework proposto foi avaliado contra políticas de RL de base (SAC e DDPG) através de múltiplas geometrias anatômicas (artérias Braquiocefálica, Carótida e Subclávia) e em testes com fantomas físicos.

• Desempenho de Simulação:

  • Taxa de Sucesso: O framework integrado alcançou uma taxa de sucesso de >96% (especificamente 98% na Braquiocefálica e Subclávia, 96% na Carótida), superando o SAC de base (90-94%) e o DDPG (84-92%).
  • Eficiência: Houve uma redução de 29,3% nas etapas operacionais em comparação com as políticas de RL de base, indicando melhor eficiência procedural.
  • Consistência de Trajetória: O framework demonstrou uma padronização superior, com uma redução de 13% na variância da trajetória (especificamente uma redução de 13,0% na dispersão espacial ao longo do eixo principal de navegação e uma redução de 11,4% na largura lateral).
  • Estudo de Ablação: Um fator de peso de refinamento ideal ($\lambda_{MPC} = 0,1$) foi identificado, equilibrando a autonomia da política com a imposição de restrições. Valores muito altos suprimiram a estratégia aprendida, enquanto valores muito baixos falharam em corrigir comportamentos oscilatórios.

• Validação Física (In Vitro):

  • Implementado em uma plataforma robótica com um fantoma vascular de silicone, o sistema alcançou uma taxa de sucesso de 90,0% (18/20 tentativas).
  • O tempo médio de navegação foi de 4,2 minutos com 156 etapas de controle por tentativa.
  • Segurança: Notavelmente, zero violações de limite vascular foram registradas nos experimentos físicos, demonstrando a eficácia da camada MPC em prevenir comportamentos inseguros, apesar do gap entre simulação e realidade (sim-to-real).

Significância e Alegações
O artigo afirma que esta abordagem desacoplada consegue unir a adaptabilidade dos métodos baseados em aprendizado com as garantias de segurança do controle baseado em otimização. Ao replicar o processo de tomada de decisão clínica do especialista — onde a intenção de alto nível é distinta da execução de baixo nível — o framework aumenta a previsibilidade, segurança e consistência das intervenções endovasculares robóticas. Os resultados sugerem que este paradigma pode padronizar a qualidade procedural, reduzir a carga de trabalho do operador e minimizar os riscos de interação dispositivo-vaso. Os autores observam que, embora a transição da simulação para a realidade tenha resultado em uma queda modesta de desempenho (atribuída ao atrito não modelado e oclusões visuais), o sistema manteve a conformidade rigorosa de segurança. É proposto como trabalho futuro integrar modelos biomecânicos de maior fidelidade e realizar ensaios animais in vivo para validar ainda mais a eficácia clínica.