Learning Expert Strategy for Autonomous Robotic Endovascular Intervention via Decoupled Procedural Execution

Sintesi Tecnica: Strategia di Apprendimento Esperto per l'Intervento Endovascolare Robotico Autonomo tramite Esecuzione Procedurale Disaccoppiata

Problematica
Gli interventi endovascolari sono procedure ad alto rischio e minimamente invasive che richiedono la manipolazione precisa di fili guida e cateteri flessibili attraverso anatomie vascolari complesse e tortuose sotto guida fluoroscopica 2D. Queste procedure richiedono una curva di apprendimento ripida, comportano tempi operatori prolungati ed espongono gli operatori a radiazioni sostenute. Una sfida critica nell'automazione di tali compiti è la variabilità della competenza dell'operatore, che porta a esiti procedurali inconsistenti. Sebbene l'Apprendimento per Rinforzo (RL) abbia mostrato potenziale nell'apprendimento di policy di navigazione da ambienti simulati, gli approoli basati sull'apprendimento esistenti spesso faticano con la soddisfazione esplicita dei vincoli e le garanzie di sicurezza. Le policy di puro RL tendono a produrre decisioni localmente ottimali che si manifestano come manovre ridondanti, passi di navigazione eccessivi e una mancanza di robustezza contro condizioni di contatto incerte, il che può portare a esiti rischiosi come collisioni con la parete del vaso. Al contrario, i metodi di ottimizzazione puramente basati su modelli (ad esempio, il Controllo Predittivo del Modello o MPC) spesso non riescono a catturare la dinamica altamente non lineare e dipendente dall'anatomia dei fili guida flessibili, specialmente in condizioni di rilevamento incompleto.

Metodologia
Il documento propone una strategia di apprendimento esperto che disaccoppia il processo decisionale strategico di alto livello dall'esecuzione procedurale di basso livello. Questa architettura rispecchia il flusso di lavoro clinico degli interventisti, che separano la pianificazione procedurale globale dalla manipolazione precisa del dispositivo. Il framework è composto da tre moduli primari:

1. Percezione Visiva e Stima dello Stato: Il sistema elabora immagini fluoroscopiche in tempo reale utilizzando un modello YOLOv5 per rilevare la punta del filo guida e un backbone ResNet50 per estrarre caratteristiche visive ad alta dimensionalità che rappresentano l'anatomia vascolare. Questi vengono combinati con dati di stato geometrico (posizione della punta, velocità, orientamento) e azioni di controllo precedenti per formare un vettore di osservazione composito.
2. Policy di Navigazione Strategica (RL): Un agente Soft Actor-Critic (SAC) viene addestrato in un ambiente di simulazione vascolare ad alta fedeltà (utilizzando l'ambiente Sim4EndoR). Questa policy apprende intenti di navigazione globale per massimizzare il successo del compito e l'efficienza a lungo termine. Fondamentalmente, la funzione di ricompensa per l'agente RL si concentra sul completamento del compito e sull'efficienza del percorso, ma non impone esplicitamente vincoli rigidi di confine della parete vascolare durante l'addestramento. Ciò consente alla policy di apprendere tattiche di alto livello senza essere limitata da limiti di sicurezza immediati.
3. Raffinamento del Moto Predittivo (MPC): Le azioni di controllo di riferimento ($u_{RL}$) generate dalla policy RL vengono passate a un modulo di Controllo Predittivo Nonlineare (NMPC) a valle. Questo modulo risolve un problema di ottimizzazione vincolato a orizzonte finito in tempo reale. Utilizza un modello cinematico semplificato del filo guida per prevedere le traiettorie future e impone esplicitamente:
   • Limiti cinematici: Soglie di curvatura ($\kappa_{max}$) per prevenire la deformazione del dispositivo.
   • Vincoli di sicurezza: Distanza minima dalle pareti dei vasi ($d_{min}$).
   • Limiti degli attuatori: Limiti di velocità e rotazione.
     L'NMPC filtra l'output dell'RL, garantendo che l'azione eseguita finale ($u^*_0$) aderisca alle norme operative esperte e ai vincoli di sicurezza, preservando al contempo l'intento strategico della policy RL.

Contributi Chiave

• Framework RL con Vincoli Disaccoppiati: Gli autori introducono un'architettura innovativa che separa l'acquisizione dell'intento strategico (tramite RL) dall'applicazione dei vincoli operativi (tramite ottimizzazione). Questa formulazione si allinea ai flussi di lavoro clinici e affronta i limiti dell'apprendimento end-to-end nei domini critici per la sicurezza.
• Modulo di Raffinamento Predittivo Online: Viene sviluppato uno strato NMPC specializzato che incorpora esplicitamente la cinematica del filo guida, i vincoli di curvatura e l'aderenza alla linea centrale del vaso. Ciò garantisce la conformità in tempo reale ai vincoli di sicurezza e la fluidità della traiettoria senza richiedere all'agente RL di apprendere direttamente questi vincoli rigidi.
• Validazione Completa: Il framework è validato attraverso estesi esperimenti sia in un ambiente di simulazione 3D ad alta fedeltà che su una piattaforma robotica fisica (sistema ALL-VAS™) utilizzando phantom vascolari.

Risultati Sperimentali
Il framework proposto è stato valutato rispetto a baseline di policy RL (SAC e DDPG) attraverso molteplici geometrie anatomiche (arterie brachiocefalica, carotide e succlavia) e in prove su phantom fisici.

• Prestazioni di Simulazione:

  • Tasso di Successo: Il framework integrato ha raggiunto un tasso di successo >96% (nello specifico 98% in Brachiocefalica e Succlavia, 96% in Carotide), superando le baseline SAC (90-94%) e DDPG (84-92%).
  • Efficienza: È stata registrata una riduzione del 29,3% nei passi operativi rispetto alle baseline RL, indicando una migliore efficienza procedurale.
  • Consistenza della Traiettoria: Il framework ha dimostrato una superiorità nella standardizzazione, con una riduzione del 13% della varianza della traiettoria (nello specifico una riduzione del 13,0% nella dispersione spaziale lungo l'asse di navigazione primario e una riduzione dell'11,4% nella larghezza laterale).
  • Studio di Ablazione: È stato identificato un fattore di ponderazione ottimale per il raffinamento ($\lambda_{MPC} = 0,1$), che bilancia l'autonomia della policy con l'applicazione dei vincoli. Valori troppo elevati hanno soppresso la strategia appresa, mentre valori troppo bassi non sono riusciti a correggere i comportamenti oscillatori.

• Validazione Fisica (In Vitro):

  • Distribuito su una piattaforma robotica con un phantom vascolare in silicone, il sistema ha raggiunto un tasso di successo del 90,0% (18/20 prove).
  • Il tempo medio di navigazione è stato di 4,2 minuti con 156 passi di controllo per prova.
  • Sicurezza: Notevolmente, zero violazioni del confine vascolare sono state registrate negli esperimenti fisici, dimostrando l'efficacia dello strato MPC nel prevenire comportamenti insicuri nonostante il gap sim-to-real.

Significatività e Rivendicazioni
Il documento afferma che questo approccio disaccoppiato riesce a colmare il divario tra l'adattabilità dei metodi basati sull'apprendimento e le garanzie di sicurezza del controllo basato sull'ottimizzazione. Replicando il processo decisionale clinico esperto — dove l'intento di alto livello è distinto dall'esecuzione di basso livello — il framework migliora la prevedibilità, la sicurezza e la coerenza degli interventi endovascolari robotici. I risultati suggeriscono che questo paradigma può standardizzare la qualità procedurale, ridurre il carico di lavoro dell'operatore e minimizzare i rischi di interazione dispositivo-vaso. Gli autori osservano che, sebbene la transizione dalla simulazione alla realtà abbia prodotto un modesto calo delle prestazioni (attribuito a attriti non modellati e occlusioni visive), il sistema ha mantenuto una rigorosa conformità alla sicurezza. Si propone come lavoro futuro l'integrazione di modelli biomeccanici ad alta fedeltà e l'esecuzione di prove animali in vivo per validare ulteriormente l'efficacia clinica.