CRRL: A Causality-Based Reinforcement Learning Framework for Autonomous System Recovery

Sintesi Tecnica: CRRL: Un Framework di Reinforcement Learning Basato sulla Causalità per il Recupero di Sistemi Autonomi

Definizione del Problema
Le tradizionali policy di reinforcement learning (RL) per i sistemi autonomi spesso mancano di una comprensione causale, portando a una scarsa generalizzazione in scenari di guasto inediti. Una limitazione critica identificata nel paper è che le standard policy RL, quando addestrate senza la consapevolezza dei meccanismi di recupero esterni, non riescono a cooperare efficacemente con essi. In pratica, l'aggiunta di moduli di recupero euristici a policy pre-addestrate spesso degrada le prestazioni perché la policy non è in grado di anticipare o adattarsi a interventi imprevisti. Di conseguenza, gli agenti possono rimanere bloccati in stati di guasto per fino al 70% di un episodio, e il recupero basato su regole da solo è insufficiente per ambienti complessi e imprevedibili. La sfida centrale non è la mancanza di meccanismi di recupero, ma l'assenza di policy addestrate per collaborare con essi.

Metodologia: Framework CRRL
Gli autori propongono il CRRL (Causal Recovery Reinforcement Learning), un framework ibrido che integra il reinforcement learning guidato dalla causalità con un modulo di recupero basato su regole. Il sistema segue l'architettura del ciclo di feedback MAPE-K (Monitor, Analyze, Plan, Execute, Knowledge):

1. Monitor (Raccolta Dati Sensoriali): Il sistema opera nel simulatore CARLA, raccogliendo traiettorie di guida in serie temporali da interazioni multi-veicolo. I dati includono telemetria del veicolo (velocità, posizione, rotazione), input sensoriali (immagini della telecamera elaborate tramite un Variational Autoencoder) ed eventi di sicurezza (collisioni, deviazioni dalla corsia).
2. Analyze (Costruzione del Modello Causale): Un grafo aciclico diretto (DAG) viene costruito utilizzando la libreria CausalNex partendo dai log di guida. Questa rete bayesiana modella le relazioni causali tra azioni (accelerazione, sterzata), stati (velocità, accelerazione) ed esiti (collisioni, eventi fuori strada). Il modello viene utilizzato per stimare le probabilità condizionali, specificamente $P(\text{collisione} \mid \text{azione}, \text{stato})$, per quantificare l'effetto causale delle azioni sui rischi di guasto.
3. Plan/Execute (Addestramento della Policy RL Ibrida): Un agente PPO (Proximal Policy Optimization) viene addestrato per gestire la guida in avanti ed l'evitamento degli ostacoli. Il framework introduce due integrazioni causali chiave durante l'addestramento:
   • Causal Reward Shaping: Durante le fasi di recupero, il segnale di ricompensa viene aumentato con un bonus causale inversamente proporzionale al rischio di collisione previsto ($1 - P(\text{guasto} \mid \text{azione}, \text{stato})$). Ciò fornisce un feedback denso per guidare la policy verso manovre più sicure.
   • Action Blending: Quando viene rilevato uno stato di guasto (ad esempio, velocità di stallo < 0,5 km/h), si attiva un modulo di recupero basato su regole. Per le azioni di recupero in avanti, l'azione eseguita è una miscela ponderata tra la selezione classificata per rischio del modello causale (80%) e l'output della policy PPO (20%). Per le manovre di retromarcia (per le quali la policy PPO manca di esperienza), l'azione basata su regole viene applicata direttamente.

La pipeline di addestramento prevede un processo in due fasi: prima, l'adattamento della rete bayesiana causale su log di guida discretizzati; secondo, l'affinamento della policy PPO online utilizzando il segnale di ricompensa causale e i meccanismi di action blending.

Contributi Chiave

• Framework CRRL: Un'architettura ibrida in cui i modelli causali appresi dai reali log di guida modellano il segnale di addestramento RL, insegnando esplicitamente alla policy come collaborare con i moduli di recupero basati su regole.
• Pipeline in Tre Fasi: Una metodologia che accoppia la modellazione causale della rete bayesiana con PPO, dove la guida causale influenza i parametri della policy al tempo di addestramento piuttosto che limitarsi a correggere il comportamento al tempo di esecuzione.
• Validazione Empirica: Una valutazione controllata attraverso tre scenari di guida (strada rettilinea, rotatoria, incrocio a T) utilizzando uno studio di ablazione a quattro condizioni per isolare i contributi del training causale e dei meccanismi di recupero.
• Pacchetto di Replicazione: Fornitura di dati grezzi e script di analisi per supportare la riproducibilità.

Risultati
La valutazione ha coinvolto 20 episodi per condizione in tre scenari. Le scoperte principali includono:

• Limitazioni del Baseline: Senza recupero, la policy PPO vanilla è rimasta in stallo per il 26–67% degli episodi, con lo scenario dell'incrocio a T che mostrava il tasso di fallimento più elevato (67,45% di tempo in stallo).
• Efficacia del Sistema Ibrido: Il sistema ibrido addestrato causalmente (Condizione C) ha superato significativamente la baseline vanilla (Condizione A) in scenari complessi. Nell'incrocio a T, la ricompensa è aumentata del 91,1%, il tempo di stallo è diminuito del 51,8% e il tempo fuori strada è sceso del 43,7%.
• Impatto del Training Causale (RQ4): La scoperta più significativa è stata che il training guidato dalla causalità migliora intrinsecamente la qualità della policy. Negli episodi di "zero-recupero" (dove il modulo di recupero non è mai stato attivato), la policy addestrata causalmente ha percorso l'83% in più e ha ottenuto una ricompensa superiore del 257% rispetto alla baseline. Ciò conferma che la policy ha appreso comportamenti di evitamento proattivi piuttosto che fare affidamento esclusivamente sull'intervento esterno.
• Strategia di Recupero: La selezione basata sul rischio causale (Condizione D) ha superato il ciclo euristico (Condizione B) riducendo i tentativi di recupero del 28–39% e aumentando i tassi di successo negli scenari di strada rettilinea e rotatoria.
• Trade-off: Sebbene le manovre di recupero abbiano aumentato il numero di collisioni (fino al 606% in alcuni confronti), la ricompensa netta è rimasta positiva nel confronto completo del sistema (Condizione D vs. B) in tutti gli scenari, indicando che i guadagni in termini di progresso in avanti e velocità hanno superato i rischi di collisione.

Significatività e Rivendicazioni
Il paper sostiene che la fonte primaria di miglioramento nel recupero dei sistemi autonomi è il training guidato dalla causalità, non semplicemente la presenza di un modulo di recupero. Lo studio dimostra che le standard policy RL addestrate senza contesto causale non possono collaborare efficacemente con le interazioni basate su regole, portando spesso a loop controproducenti. Integrando la struttura causale nel segnale di addestramento, CRRL consente alle policy di anticipare gli stati di stallo e regolare le azioni per facilitare il recupero.

Gli autori posizionano CRRL come un passo verso la chiusura del divario tra il ragionamento causale teorico e i sistemi pratici di auto-guarigione. Sottolineano che, sebbene l'attuale implementazione si basi su trigger progettati manualmente e mostri limitazioni nel trasferimento sim-to-real (particolarmente riguardo ai tassi di collisione), il framework dimostra con successo che i modelli causali possono essere utilizzati per modellare le policy RL per un comportamento cooperativo con componenti critiche per la sicurezza. Il lavoro evidenzia la necessità di addestrare le policy a "lavorare con" i meccanismi di recupero piuttosto che aspettarsi che funzionino in isolamento.