Vision-Language Procedural Reasoning for Context-Aware Reward Modeling of Robotic Endovascular Guidewire Navigation

Resumo Técnico: Raciocínio Procedural de Visão-Linguagem para Modelagem de Recompensa Sensível ao Contexto na Navegação Robótica de Fio-Guia Endovascular

Definição do Problema
Intervenções endovasculares assistidas por robôs requerem navegação precisa e estável de fios-guia através de anatomias vasculares complexas e específicas de cada paciente. Embora o aprendizado por reforço (RL) tenha emergido como um arcabouço para mapear o feedback sensorial para a atuação, os métodos atuais de navegação autônoma enfrentam limitações significativas. A maioria das abordagens existentes baseia-se em funções de recompensa estáticas otimizadas para todo o continuum procedimental. Essa formulação estática falha em abordar as demandas heterogêneas e dependentes de fase da navegação no mundo real, onde os modos operacionais devem mudar dinamicamente (por exemplo, progressão rápida em segmentos retos versus direcionamento estratégico em bifurcações). Além disso, os arcabouços existentes carecem de um mecanismo para integrar o raciocínio contextual de alto nível para fornecer feedback consciente do estágio, levando a trade-offs subótimos entre eficiência, segurança e precisão em tarefas de longo horizonte.

Metodologia
Para enfrentar esses desafios, os autores propõem um arcabouço de Raciocínio Procedural de Visão-Linguagem (VL-PR). Esta abordagem integra um Modelo de Linguagem de Grande Escala Multimodal (MLLM) como um módulo de raciocínio procedural dentro de um pipeline de RL unificado. A inovação central não reside na geração direta de comandos de controle de baixo nível, mas no uso do MLLM para inferir contextos de navegação de alto nível que adaptam dinamicamente a função de recompensa.

1. Módulo de Raciocínio Procedural (MLLM):

   • O MLLM (especificamente um backbone Qwen2.5-VL-3B-Instruct, ajustado via 4-bit QLoRA) processa observações multimodais em tempo real, incluindo imagens vasculares locais, configurações da ponta do fio-guia e pistas geométricas (direção da linha central, curvatura, bifurcações).
   • Ele infere um estado procedural discreto $g_t$ de um espaço definido: $\{cruise, bifurcation, retraction, final\ align\}$.
   • O módulo é treinado usando rótulos semânticos derivados de especialistas com uma função de perda que combina entropia cruzada categórica, regularização de consistência temporal e regularização de entropia para evitar previsões superconfiantes em regiões ambíguas.

2. Adaptação de Recompensa Sensível ao Contexto:

   • Em vez de alternar políticas ou aumentar as entradas da política com variáveis semânticas, o arcabouço mantém uma única política de controle unificada (implementada via Soft Actor-Critic, SAC).
   • A função de recompensa $r_t$ é decomposta em quatro componentes interpretáveis: progresso ($\phi_{prog}$), segurança ($\phi_{safe}$), desvio da linha central ($\phi_{dev}$) e estabilidade de flexão ($\phi_{bend}$).
   • A distribuição procedural inferida pelo MLLM $p_\psi(g_t | o_t)$ modula uma matriz de pesos dependente do estado $W_g(\xi_t)$. Esta matriz ajusta dinamicamente a importância dos componentes de recompensa com base na fase atual e em um indicador de risco $\xi_t$.
     • Cruise (Cruzeiro): Enfatiza a eficiência; penalidades de segurança aumentam com o risco.
     • Bifurcation (Bifurcação): Prioriza o alinhamento geométrico e a capacidade de direção.
     • Retraction (Retração): Suprime recompensas de progresso para incentivar a retirada quando os riscos de contato com a parede ou falha são altos.
     • Final Align (Alinhamento Final): Desloca a prioridade para a precisão geométrica.

3. Treinamento e Implantação:

   • O treinamento ocorre em uma simulação de alta fidelidade baseada em física (framework SOFA) que atua como um gêmeo digital de um fantoma vascular físico.
   • A política aprendida é implantada em uma plataforma robótica física (sistema ALLVAS™) sem ajuste fino adicional (implantação zero-shot).
   • Um pipeline de percepção visual (YOLOv5 para detecção, U-Net para segmentação) estima os estados do fio-guia a partir de quadros de câmera monoculares para fornecer observações de estado em tempo real.

Principais Contribuições

• Arcabouço VL-PR: Estabelecimento de um arcabouço que une o raciocínio multimodal de alto nível com RL para facilitar a tomada de decisão inteligente através de anatomias vasculares complexas.
• Adaptação de Recompensa Sensível ao Contexto: Introdução de uma estratégia para priorizar dinamicamente objetivos conflitantes (por exemplo, equilibrar a eficiência de travessia com a precisão crítica de segurança) com base nos estados procedurais inferidos.
• Validação Física: Demonstração em um sistema robótico físico de que o raciocínio procedural aumenta a confiabilidade da tarefa e a eficiência da navegação em fantomas vasculares realistas e estruturas anatômicas desafiadoras.

Resultados Experimentais
O arcabouço foi avaliado em três cenários vasculares distintos: intervenções coronárias, carótidas e renais.

• Taxa de Sucesso: O método VL-PR proposto alcançou uma taxa de sucesso de 100% nas intervenções coronárias e renais e 97% nas intervenções carótidas. Isso superou significativamente os baselines de RL padrão (SAC, PPO, TD3, DDPG), que variaram de 60% a 73% de taxa de sucesso. O desempenho igualou-se à operação manual de especialistas (93–100%).
• Eficiência: O método reduziu significativamente o número médio de passos de navegação. Para a navegação coronária, o método proposto exigiu 41,6 passos, comparado a 80,6 passos do SAC padrão (uma redução de 48,4%).
• Ablação: A remoção do módulo de raciocínio MLLM (usando um baseline baseado em regras) resultou em uma queda de desempenho, com taxas de sucesso caindo para 73–77% e contagens de passos aumentando significamente, confirmando o papel crítico da adaptação de recompensa sensível ao contexto.
• Precisão de Raciocínio: O MLLM alcançou precisões de classificação de estado procedural entre 91,2% e 94,0%, superando vastamente os baselines baseados em regras (22–27%).

Significância e Alegações
O artigo afirma que o arcabouço VL-PR oferece uma solução escalável para procedimentos robóticos endovasculares complexos e multitarefa, permitindo que uma única política resolva objetivos conflitantes enquanto mantém um objetivo global consistente da tarefa. Ao desacoplar o raciocínio procedural de alto nível do controle de movimento de baixo nível, a abordagem garante a consistência entre o treinamento e a implantação, ao mesmo tempo em que melhora a robustez através de diversas anatomias. Os autores afirmam que este método aumenta a confiabilidade da tarefa e agiliza a eficiência de navegação em comparação com métodos de recompensa estática, fornecendo um caminho para intervenções robóticas mais autônomas e inteligentes que podem se adaptar aos desafios variáveis da navegação vascular do mundo real. O trabalho futuro é identificado como a extensão do raciocínio para representações estruturadas mais ricas, melhoria da generalização sim-to-real e incorporação de restrições formais de segurança.