CRRL: A Causality-Based Reinforcement Learning Framework for Autonomous System Recovery

Technische Samenvatting: CRRL: Een op causaliteit gebaseerd Reinforcement Learning-framework voor herstel van autonome systemen

Probleemstelling
Traditionele reinforcement learning (RL)-policies voor autonome systemen missen vaak causaal begrip, wat leidt tot een gebrekkige generalisatie in nieuwe faalscenario's. Een kritieke beperking die in het paper wordt geïdentificeerd, is dat standaard RL-policies, wanneer ze getraind worden zonder bewustzijn van externe herstelmechanismen, niet effectief kunnen samenwerken met deze mechanismen. In de praktijk blijkt het toevoegen van heuristische herstelmodules aan vooraf getrainde policies vaak de prestaties te verslechteren, omdat de policy de onvoorziene interventies niet kan anticiperen of zich erop kan aanpassen. Als gevolg hiervan kunnen agenten tot wel 70% van een episode in een faalstatus blijven steken, en is regelgebaseerd herstel alleen onvoldoende voor complexe, onvoorspelbare omgevingen. De kernuitdaging is niet een gebrek aan herstelmechanismen, maar de afwezigheid van policies die getraind zijn om met deze mechanismen te collaboreren.

Methodologie: CRRL Framework
De auteurs stellen CRRL (Causal Recovery Reinforcement Learning) voor, een hybride framework dat causaal gestuurde reinforcement learning integreert met een regelgebaseerd herstelmodule. Het systeem volgt de MAPE-K (Monitor, Analyze, Plan, Execute, Knowledge) feedbackloop-architectuur:

1. Monitor (Sensor Data Collection): Het systeem werkt in de CARLA-simulator en verzamelt tijdreeks-rijtrajecten uit interacties tussen meerdere voertuigen. De data omvat voertuigtelemetrie (snelheid, positie, rotatie), sensorinput (camera-beelden verwerkt via een Variational Autoencoder) en veiligheidsgebeurtenissen (botsingen, afwijkingen van de rijstrook).
2. Analyze (Causal Model Construction): Een directed acyclic graph (DAG) wordt geconstrueerd uit de rijlogs met behulp van de CausalNex-bibliotheek. Dit Bayesiaanse netwerk modelleert causale relaties tussen acties (gas geven, sturen), staten (snelheid, acceleratie) en uitkomsten (botsingen, van de weg raken). Het model wordt gebruikt om conditionele waarschijnlijkheden te schatten, specifiek $P(\text{botsing} \mid \text{actie}, \text{staat})$, om het causale effect van acties op risico's op falen te kwantificeren.
3. Plan/Execute (Hybrid RL Policy Training): Een Proximal Policy Optimization (PPO) agent wordt getraind om voorwaartse rijbewegingen en obstakelvermijding te beheren. Het framework introduceert twee belangrijke causale integraties tijdens de training:
   • Causal Reward Shaping: Tijdens de herstelfases wordt het beloningssignaal aangevuld met een causale bonus die omgekeerd evenredig is aan het voorspelde botsingsrisico ($1 - P(\text{falen} \mid \text{actie}, \text{staat})$). Dit biedt dichte feedback om de policy te leiden naar veiligere manoeuvres.
   • Action Blending: Wanneer een faalstatus wordt gedetecteerd (bijv. stilstaande snelheid < 0,5 km/u), wordt een regelgebaseerde herstelmodule geactiveerd. Voor voorwaartse herstelacties is de uitgevoerde actie een gewogen blend van de door het causale model gerangschikte selectie op basis van risico (80%) en de output van de PPO-policy (20%). Voor achterwaartse manoeuvres (waar de PPO-policy geen ervaring mee heeft), wordt de regelgebaseerde actie direct toegepast.

De trainingspipeline omvat een tweestaps-proces: eerst het fitten van het causale Bayesiaanse netwerk op gediscretiseerde rijlogs; daarna het online finetunen van de PPO-policy met behulp van het causale beloningssignaal en de action blending-mechanismen.

Belangrijkste Bijdragen

• CRRL Framework: Een hybride architectuur waarbij causale modellen, geleerd uit echte rijlogs, het RL-trainingssignaal vormen, waardoor de policy expliciet wordt geleerd te collaboreren met regelgebaseerde herstelmodules.
• Drietraps-pipeline: Een methodologie die Bayesiaanse netwerk causale modellering koppelt aan PPO, waarbij causale sturing de policy-parameters beïnvloedt tijdens de training in plaats van enkel het gedrag tijdens runtime te corrigeren.
• Empirische Validatie: Een gecontroleerde evaluatie over drie rijscenario's (rechte weg, rotonde, T-splitsing) met behulp van een vier-conditie ablatie-studie om de bijdragen van causale training en herstelmechanismen te isoleren.
• Replicatiepakket: Het beschikbaar stellen van ruwe data en analyse-scripts om reproduceerbaarheid te ondersteunen.

Resultaten
De evaluatie omvatte 20 episodes per conditie over drie scenario's. Belangrijkste bevindingen zijn:

• Beperkingen van de Baseline: Zonder herstel bleef de vanilla PPO-policy in 26–67% van de episodes stilstaan, waarbij het T-splitsing scenario de hoogste faalfrequentie vertoonde (67,45% stilstaan).
• Effectiviteit van het Hybride Systeem: Het met causaliteit getrainde hybride systeem (Conditie C) presteerde aanzienlijk beter dan de vanilla baseline (Conditie A) in complexe scenario's. In de T-splitsing nam de beloning toe met 91,1%, de stilstaan-tijd nam af met 51,8% en de tijd buiten de weg nam af met 43,7%.
• Impact van Causale Training (RQ4): De meest significante bevinding was dat causale gestuurde training inherent de kwaliteit van de policy verbetert. In de "zero-recovery" episodes (waarin de herstelmodule nooit werd geactiveerd), legde de causaal getrainde policy 83% meer afstand af en behaalde een 257% hogere beloning dan de baseline. Dit bevestigt dat de policy proactieve vermijdingsgedragingen heeft geleerd in plaats van enkel te vertround op externe interventie.
• Herstelstrategie: De causale risico-gerangschikte selectie (Conditie D) presteerde beter dan heuristisch cyclen (Conditie B) door het aantal herpogingen met 28–39% te verminderen en de succespercentages in rechte wegen en rondes te verhogen.
• Trade-offs: Hoewel de herstelmanoeuvres het aantal botsingen verhoogden (tot 606% in sommige vergelijkingen), bleef de netto beloning positief in de volledige systeemvergelijking (Conditie D vs. B) over alle scenario's, wat aangeeft dat de winsten in voorwaartse progressie en snelheid opwegen tegen de botsingsrisico's.

Betekenis en Claims
Het paper claimt dat de primaire bron van verbetering in het herstel van autonome systemen causaal gestuurde training is, en niet enkel de aanwezigheid van een herstelmodule. De studie demonstreert dat standaard RL-policies die getraind zijn zonder causale context, niet effectief kunnen samenwerken met regelgebaseerde interventies en vaak contraproductieve lussen veroorzaken. Door causale structuren in het trainingssignaal te integreren, maakt CRRL het mogelijk dat policies de faalstatussen anticiperen en hun acties aanpassen om herstel te faciliteren.

De auteurs positioneren CRRL als een stap naar het overbruggen van de kloof tussen theoretische causale redenering en praktische zelfhelende systemen. Ze benadrukken dat hoewel de huidige implementatie afhankelijk is van handmatig ontworkte triggers en beperkingen vertoont wat betreft sim-to-real transfer (met name met betrekking tot botsingspercentages), het framework succesvol bewijst dat causale modellen kunnen worden gebruikt om RL-policies te vormen voor collaboratief gedrag met veiligheidskritische componenten. Het werk onderstreept de noodzaak om policies te trainen om "samen te werken met" herstelmechanismen, in plaats van te verwachten dat zij in isolatie functioneren.