Vision-Language Procedural Reasoning for Context-Aware Reward Modeling of Robotic Endovascular Guidewire Navigation

Sintesi Tecnica: Ragionamento Procedurale Vision-Language per la Modellazione del Reward Context-Aware nella Navigazione Robotica di Guidewire Endovascolare

Definizione del Problema
Le interazioni endovascolari assistite da robot richiedono una navigazione precisa e stabile dei guidewire attraverso anatomie vascolari complesse e specifiche per ogni paziente. Sebbene l'apprendimento per rinforzo (RL) sia emerso come un framework per mappare il feedback sensoriale sull'attuazione, gli attuali metodi di navigazione autonoma affrontano limitazioni significative. La maggior parte degli approcci esistenti si basa su funzioni di reward statiche ottimizzate per l'intero continuum procedurale. Questa formulazione statica non riesce ad affrontare le richieste eterogenee e dipendenti dalla fase della navigazione reale, dove le modalità operative devono cambiare dinamicamente (ad esempio, progressione rapida nei segmenti rettilinei rispetto allo sterzata strategica nelle biforcazioni). Inoltre, i framework esistenti mancano di un meccanismo per integrare il ragionamento contestuale di alto livello per fornire un feedback consapevole della fase, portando a compromessi subottimali tra efficienza, sicurezza e precisione in compiti a lungo orizzonte temporale.

Metodologia
Per affrontare queste sfide, gli autori propongono un framework di Ragionamento Procedurale Vision-Language (VL-PR). Questo approccio integra un Modello di Linguaggio di Grande Scala Multimodale (MLLM) come modulo di ragionamento procedurale all'interno di una pipeline di RL unificata. L'innovazione principale non risiede nella generazione diretta di comandi di controllo a basso livello, ma nell'uso dell'MLLM per inferire contesti di navigazione di alto livello che adattano dinamicamente la funzione di reward.

1. Modulo di Ragionamento Procedurale (MLLM):

   • L'MLLM (nello specifico un backbone Qwen2.5-VL-3B-Instruct, raffinato tramite 4-bit QLoRA) elabora osservazioni multimodali in tempo reale, inclusi immagini vascolari locali, configurazioni della punta del guidewire e indizi geometrici (direzione della linea centrale, curvatura, biforcazioni).
   • Inferisce uno stato procedurale discreto $g_t$ da uno spazio definito: $\{cruise, bifurcation, retraction, final\ align\}$.
   • Il modulo è addestrato utilizzando etichette semantiche derivate da esperti con una funzione di perdita che combina la cross-entropia categorica, la regolarizzazione della coerenza temporale e la regolarizzazione dell'entropia per prevenire predizioni eccessivamente sicure in regioni ambigue.

2. Adattamento del Reward Context-Aware:

   • Invece di cambiare le policy o aumentare gli input della policy con variabili semantiche, il framework mantiene una singola policy di controllo unificata (implementata tramite Soft Actor-Critic, SAC).
   • La funzione di reward $r_t$ è scomposta in quattro componenti interpretabili: progresso ($\phi_{prog}$), sicurezza ($\phi_{safe}$), deviazione dalla linea centrale ($\phi_{dev}$) e stabilità della flessione ($\phi_{bend}$).
   • La distribuzione procedurale inferita dall'MLLM $p_\psi(g_t | o_t)$ modula una matrice di pesi dipendente dallo stato $W_g(\xi_t)$. Questa matrice regola dinamicamente l'importanza delle componenti del reward in base alla fase corrente e a un indicatore di rischio $\xi_t$.
     • Cruise (Navigazione costante): Enfatizza l'efficienza; le penalità di sicurezza aumentano con il rischio.
     • Bifurcation (Biforcazione): Prioritizza l'allineamento geometrico e la sterzabilità.
     • Retraction (Ritrazione): Sopprime i reward di progresso per incoraggiare il ritiro quando i rischi di contatto con la parete o di fallimento sono elevati.
     • Final Align (Allineamento finale): Sposta la priorità sulla precisione geometrica.

3. Addestramento e Implementazione:

   • L'addestramento avviene in una simulazione ad alta fedeltà basata sulla fisica (framework SOFA) che funge da gemello digitale di un fantoccio vascolare fisico.
   • La policy appresa viene implementata su una piattaforma robotica fisica (sistema ALLVAS™) senza ulteriore fine-tuning (deployment zero-shot).
   • Una pipeline di percezione visiva (YOLOv5 per il rilevamento, U-Net per la segmentazione) stima gli stati del guidewire da fotogrammi di telecamere monoculari per fornire osservazioni di stato in tempo reale.

Contributi Chiave

• Framework VL-PR: Stabilisce un framework che unisce il ragionamento multimodale di alto livello con l'RL per facilitare il processo decisionale attraverso anatomie vascolari complesse.
• Adattamento del Reward Context-Aware: Introduce una strategia per dare priorità dinamicamente a obiettivi contrastanti (ad esempio, bilanciare l'efficienza di attraversamento con la precisione critica per la sicurezza) in base agli stati procedurali inferiti.
• Validazione Fisica: Dimostrazione su un sistema robotico fisico in cui il ragionamento procedurale migliora l'affidabilità del compito e l'efficienza della navigazione in fantocci vascolari realistici e strutture anatomiche impegnative.

Risultati Sperimentali
Il framework è stato valutato in tre distinti scenari vascolari: interventi coronarici, carotidei e renali.

• Tasso di Successo: Il metodo VL-PR proposto ha raggiunto un tasso di successo del 100% negli interventi coronarici e renali e del 97% in quelli carotidei. Ha superato significativamente i baseline di RL standard (SAC, PPO, TD3, DDPG), che presentavano tassi di successo compresi tra il 60% e il 73%. Le prestazioni sono state in linea con l'operazione manuale esperta (93–100%).
• Efficienza: Il metodo ha ridotto significativamente il numero medio di passi di navigazione. Per la navigazione coronarica, il metodo proposto ha richiesto 41,6 passi rispetto agli 80,6 passi del SAC standard (una riduzione del 48,4%).
• Ablazione: Rimuovendo il modulo di ragionamento MLLM (utilizzando un baseline basato su regole), si è verificato un calo delle prestazioni, con tassi di successo scesi al 73–77% e un aumento significativo dei conteggi dei passi, confermando il ruolo critico dell'adattamento del reward context-aware.
• Accuratezza del Ragionamento: L'MLLM ha raggiunto accuratezze di classificazione dello stato procedurale tra il 91,2% e il 94,0%, superando di gran lunga i baseline basati su regole (22–27%).

Significato e Rivendicazioni
Il documento sostiene che il framework VL-PR offre una soluzione scalabile per procedure endovascolari robotiche complesse e multi-task, consentendo a una singola policy di risolvere obiettivi contrastanti pur mantenendo un obiettivo globale di compito coerente. Decoppiando il ragionamento procedurale di alto livello dal controllo del movimento a basso livello, l'approccio garantisce la coerenza tra addestramento e deployment, migliorando al contempo la robustezza attraverso diverse anatomie. Gli autori affermano che questo metodo migliora l'affidabilità del compito e snellisce l'efficienza della navigazione rispetto ai metodi a reward statico, fornendo una via verso interventi più autonomi e intelligenti che possano adattarsi alle varie sfide della navigazione vascolare nel mondo reale. Il lavoro futuro è identificato nell'estensione del ragionamento a rappresentazioni strutturate più ricche, nel miglioramento della generalizzazione sim-to-real e nell'incorporazione di vincoli di sicurezza formali.