Learning Contextual Runtime Monitors for Safe AI-Based Autonomy

Deze paper introduceert een nieuw kader voor het leren van contextbewuste runtime-monitoren die, door gebruik te maken van contextuele multi-armed bandits, de meest geschikte AI-controller selecteren voor specifieke omstandigheden om zo de veiligheid en prestaties van autonome systemen te verbeteren.

De kern

De Kern van het Probleem: De "Superhelden" die faalschalen

Stel je voor dat je een zelfrijdende auto bouwt. Om veilig te rijden, gebruik je geen enkele computer, maar een team van verschillende AI-controllers (zoals een team van superhelden).

• Superheld A is fantastisch in regenachtig weer.
• Superheld B is een meester in het rijden bij schemering.
• Superheld C is geweldig op drukke kruispunten.

Het probleem is dat deze "superhelden" (de AI's) soms heel slecht presteren als ze in een situatie terechtkomen waar ze niet voor zijn getraind. Als het team in de regen rijdt en Superheld B (die voor zonneschijn is getraind) de leiding neemt, kan de auto in de problemen komen.

De oude manier (De "Gemiddelde" aanpak):
Vroeger probeerden ingenieurs dit op te lossen door de antwoorden van alle superhelden te mixen. Ze namen het gemiddelde van wat A, B en C zeiden.

• Het nadeel: Dit is alsof je in een storm vraagt wat je moet doen, en je luistert naar de mening van de zonneschijn-expert, de regen-expert en de sneeuw-expert, en dan een gemiddeld advies neemt. Dat advies is vaak "half-half", wat in een storm gevaarlijk is. Je verliest de speciale kracht van de regen-expert omdat je hem "verwaterd" met de anderen.

De Nieuwe Oplossing: De Slimme "Regisseur"

De auteurs van dit paper (Luque-Cerpa en collega's) zeggen: "Laten we niet mixen, maar kiezen."

Ze introduceren een contextbewuste monitor. Denk hierbij aan een slimme regisseur of een manager in een theater.

• Deze regisseur kijkt continu naar de omgeving (de "context"): Regent het? Is het nacht? Is er een kind op de weg?
• Op basis daarvan kiest de regisseur één superheld die op dat moment het beste is.
• Als de regisseur denkt dat geen enkele superheld veilig genoeg is (bijvoorbeeld in een onbekende, chaotische situatie), schakelt hij direct over op een noodplan (een "fail-safe"). Dit is een simpele, saaie, maar 100% veilige bestuurder die de auto langzaam en voorzichtig naar de kant rijdt.

Hoe leert deze regisseur? (De "Gokker" met een plan)

De grote vraag is: Hoe weet de regisseur wie de beste is in welke situatie? Hij kan niet alles van tevoren weten.

De auteurs gebruiken een techniek uit de wiskunde die "Contextual Bandits" heet.

• De Analogie: Stel je voor dat je in een casino bent met 10 gokkasten (de AI-controllers). Je weet niet welke kast het meeste geld uitkeert (veiligheid), en dat hangt ook nog eens af van de tijd van de dag (de context).
• De strategie: De regisseur probeert niet zomaar willekeurig. Hij probeert slimme gissingen. Hij kijkt: "Ik heb nog niet veel data over 'regen' en 'Superheld A', dus ik ben daar onzeker. Laten we die combinatie eens testen."
• Als het goed gaat, leert hij: "Ah, bij regen is A de beste!"
• Als het fout gaat, leert hij: "Bij regen is A gevaarlijk, niet gebruiken!"

Dit proces heet actief leren. In plaats van passief te wachten tot er per ongeluk veel data binnenkomt, zoekt de regisseur actief naar de situaties waar hij het minst van afweet, om daar snel van te leren.

Wat leverde dit op? (De Resultaten)

De auteurs hebben dit getest in computersimulaties van zelfrijdende auto's. Ze ontdekten drie belangrijke dingen:

1. Veiliger en sneller: Door de juiste "superheld" te kiezen op het juiste moment, was de auto veiliger dan wanneer ze de antwoorden van allemaal gemixt hadden.
2. Slimmer dan simpele AI: Hun regisseur (gebaseerd op logistieke regressie) was vaak beter dan een complexe neurale netwerk-regisseur. De complexe AI werd soms "verward" en maakte meer fouten, terwijl hun simpele regisseur duidelijk wist wat hij moest doen.
3. De "Noodknop" werkt: Als de regisseur twijfelt, schakelt hij veilig over naar de noodbesturing. Dit voorkomt ongelukken zonder dat de auto onnodig vaak stopt (ze zijn niet te bang, maar wel voorzichtig).

Samenvatting in één zin

In plaats van een rommelige mix van alle AI-adviezen te nemen, gebruiken ze een slimme, lerende regisseur die precies weet welke AI-kracht hij op welk moment moet inzetten, en die altijd een veilig noodplan heeft klaarliggen.

Waarom is dit belangrijk?
Het maakt zelfrijdende auto's (en andere robots) veiliger, omdat ze niet meer vertrouwen op een "gemiddelde" oplossing, maar op de specifieke expertise van hun teamleden, precies op het moment dat die expertise nodig is.

Technische samenvatting

Titel: Het Leren van Contextuele Runtime Monitoren voor Veilige AI-gebaseerde Autonomie

Auteurs: Alejandro Luque-Cerpa, Mengyuan Wang, Emil Carlsson, Sanjit A. Seshia, Devdatt Dubhashi, Hazem Torfah.
Instellingen: Chalmers University of Technology, Universiteit van Göteborg, Sleep Cycle AB, UC Berkeley.

---

1. Probleemstelling

Machine Learning (ML) modellen worden steeds vaker ingezet voor complexe beslissingen in autonome cyber-fysische systemen (zoals zelfrijdende auto's). Een groot nadeel is echter dat deze modellen kwetsbaar zijn: hun prestaties kunnen sterk verslechteren in onbekende omgevingen of specifieke operationele contexten (bijv. bepaalde weersomstandigheden of verkeerssituaties), wat leidt tot veiligheidsrisico's.

Traditionele aanpakken om dit op te lossen, zoals ensemble-methoden (het combineren van meerdere controllers via gemiddelden of stemming), hebben een fundamenteel tekortkoming:

• Ze "verwateren" vaak de specifieke sterke punten van individuele controllers.
• Een controller die perfect werkt in regenachtig weer, kan worden gecompenseerd door een controller die alleen goed werkt in zonnig weer, wat resulteert in een suboptimale gemiddelde prestatie in beide situaties.
• Ze exploiteren niet de contextuele specialisatie: het idee dat verschillende controllers het beste presteren in verschillende operationele domeinen.

Het paper stelt dat in plaats van outputs te mengen, een monitoringssysteem moet leren welke controller het veiligst en meest geschikt is voor de huidige context. Als geen enkele controller betrouwbaar genoeg is, moet het systeem overschakelen naar een veilige "fail-safe" controller (een Simplex-architectuur).

2. Methodologie

De auteurs reformuleren het probleem van het beheren van een ensemble van AI-controllers als een contextueel leerkwestie, specifiek opgelost met technieken uit Contextual Multi-Armed Bandits (CMAB).

Kernconcepten:

• Monitor-Guided System (MGS): Een systeem met een set van $n$ "black-box" controllers en één monitor. De monitor observeert de context (bijv. weer, tijd van dag, afstand tot andere voertuigen) en selecteert de beste controller.
• Context: De operationele omgeving (sensorgegevens, staten).
• Arms (Armen): De beschikbare controllers.
• Reward: Gebaseerd op de voldoening aan een veiligheidspecificatie (bijv. geen baanverlaten, geen botsingen). Een schending resulteert in een negatieve reward.
• Fail-safe: Een geverifieerde, maar minder performante controller die wordt ingeschakeld als de monitor geen enkele ML-controller vertrouwt.

Het Leeralgoritme:

Het paper introduceert een algoritme dat een monitor leert door interactie met het systeem:

1. Logistische Regressie Model: De kans op een veiligheidschending voor een controller $c$ in context $\xi$ wordt gemodelleerd als $\sigma(\theta_c^T \xi)$. De parameter $\theta_c$ wordt geleerd.
2. Actieve Verkenning (Active Learning): In plaats van willekeurig te testen, kiest het algoritme de context en controller met de hoogste epistemische onzekerheid. Dit wordt berekend via de Hessian van de negatieve log-likelihood.
3. Update: Na het testen van een controller en observeren van het resultaat (veilig of onveilig), worden de parameters $\theta$ bijgewerkt via Maximum Likelihood Estimation (MLE).
4. Regret-Minimalisatie: Het doel is om de "regret" (het verschil tussen de prestatie van de gekozen monitor en de optimale monitor) te minimaliseren. Het paper bewijst dat de regret begrensd is door $O(\sqrt{\log(T)^2/T})$, wat betekent dat de monitor snel convergeert naar optimaliteit.

3. Belangrijkste Bijdragen

1. Formalisatie: Het probleem van het leren van runtime monitoren voor controle-ensembles is formeel gedefinieerd als een contextueel bandit-probleem.
2. Framework met Veiligheidsgaranties: Een nieuw framework dat monitoren leert met formele statistische veiligheidsgaranties. In tegenstelling tot pure ML-aanpakken biedt dit een theoretische bovengrens op de foutkans (regret).
3. Exploitatie van Diversiteit: Het framework exploiteert de inherente bias van individuele controllers als een kracht (specialisatie) in plaats van deze als een zwakte te zien, wat leidt tot betere prestaties dan traditionele ensemble-methoden.
4. Experimentele Validatie: Uitgebreide evaluatie in twee gesimuleerde autonome rijscenario's (CARLA simulator).

4. Experimentele Resultaten

De auteurs hebben hun methode getest in twee scenario's:

1. Autonoom Sturen: Bepalen van het stuurhoek op basis van camera-beelden.
2. Dynamische Stedelijke Omgeving: Vermijden van botsingen met voertuigen en voetgangers.

Vergelijking met Baselines:

• Gewogen Gemiddelde (Weighted Average): Presteert slecht wanneer controllers sterk gebias zijn naar specifieke contexten (verliest contextuele informatie).
• Mixture of Experts (MoE): Kan goed presteren maar mist theoretische garanties en vereist vaak veel tuning; presteerde in sommige complexe scenario's slechter dan de voorgestelde logistische regressie-methode.
• Passief vs. Actief Leren:
  • Actief Leren (Bandit): Leert sneller en produceert monitoren die minder conservatief zijn (minder onnodige overschakelingen naar fail-safe) terwijl de veiligheid behouden blijft.
  • Passief Leren (Willekeurige data): Vereist meer data en resulteert in monitoren die te snel overschakelen naar de fail-safe uit voorzorg, wat de prestaties verlaagt.

Kernbevindingen:

• In scenario's met bias en dekking (controllers zijn gespecialiseerd maar dekken het hele domein), verbeterde de contextuele monitor de beloning met ongeveer 30% ten opzichte van gemiddelde methoden.
• In scenario's met bias zonder volledige dekking (out-of-distribution data), kon de monitor veilig overschakelen naar de fail-safe, terwijl andere methoden faalden.
• Logistische regressie (LR) als monitor bleek robuuster en beter generaliserend dan neurale netwerken (NN) voor deze taak, mede door de theoretische garanties.
• De rekenkosten voor de monitor zijn verwaarloosbaar (gemiddeld 4,51 $\mu$s voor LR).

5. Betekenis en Conclusie

Dit paper biedt een cruciale stap naar veilige AI-autonomie door het probleem van "black-box" controle te koppelen aan formele veiligheidsvereisten.

• Veiligheid: Het biedt een mechanisme om te garanderen dat een systeem veilig blijft, zelfs als de AI-modellen falen in onbekende situaties, door dynamisch over te schakelen naar een geverifieerde fail-safe.
• Prestatie: Het lost het dilemma op tussen veiligheid en prestatie door de specifieke sterke punten van verschillende AI-modellen te benutten in plaats van ze te middelen.
• Toekomst: De auteurs plannen uitbreiding naar state-based contexten (geschiedenis van observaties) in plaats van alleen positie-gebaseerde contexten.

Samenvattend bewijst dit werk dat het leren van contextuele monitoren via bandit-algoritmen een superieure aanpak is voor het beheren van ML-ensembles in kritieke systemen, waarbij het een balans vindt tussen maximale autonomie en formele veiligheid.