⚡ electrical engineering

Uncertainty-Aware Predictive Safety Filters for Probabilistic Neural Network Dynamics

Dit artikel introduceert de Uncertainty-Aware Predictive Safety Filter (UPSi), een nieuw framework dat probabilistische ensemble neurale netwerken integreert met rigoureuze op bereikbare verzamelingen gebaseerde verificatie om schaalbare, veiligheidsgegarandeerde exploratie voor modelgebaseerde reinforcement learning te bieden zonder prestaties op te offeren.

Oorspronkelijke auteurs: Bernd Frauenknecht, Lukas Kesper, Daniel Mayfrank, Henrik Hose, Sebastian Trimpe

Gepubliceerd 2026-08-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bernd Frauenknecht, Lukas Kesper, Daniel Mayfrank, Henrik Hose, Sebastian Trimpe

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een videogame te spelen, maar met een twist: de robot leert door dingen uit te proberen, waarbij hij soms wilde gokken doet om te zien wat er gebeurt. Dit wordt Reinforcement Learning genoemd, en dit is hoe machines echt goed worden in complexe taken zoals het besturen van auto's of het spelen van schaken. Maar er is een groot probleem: als de robot een "wilde gok" waagt die te gek is, kan hij de auto crashen of de game breken. We hebben een manier nodig om de robot te laten verkennen en leren, maar hem te stoppen vlak voordat hij iets gevaarlijks doet.

Om dit op te lossen, gebruiken wetenschappers iets dat een "Predictive Safety Filter" wordt genoemd. Denk aan een super-slimme beschermengel of een strenge coach die naast de robot staat. Voordat de robot een zet doet, draait de coach een snelle simulatie in zijn hoofd: "Als je daar springt, raak je dan de muur?" Als het antwoord "misschien" is, grijpt de coach in en verandert hij de zet van de robot naar een veiligere optie. Traditioneel waren deze coaches erg voorzichtig en hadden ze een perfect tekstboek-achtige beschrijving van de wereld nodig om te kunnen werken. Maar de echte wereld is rommelig en ingewikkeld, dus die oude coaches liepen vaak vast of konden niet omgaan met complexe games. Dit papier introduceert een nieuw soort coach die zowel super slim als zeer voorzichtig is, waardoor robots sneller kunnen leren zonder gewond te raken.

Het Probleem: De "Black Box" Coach

In de wereld van machine learning is er een populair hulpmiddel genaamd een "Probabilistic Ensemble" (PE). Stel je voor dat je een team van vijf verschillende experts (neurale netwerken) hebt die proberen te voorspellen wat er hierna in een spel gebeurt. In plaats van slechts één expert te vertrouwen, vraag je het aan alle vijf en kijk je naar hun antwoorden. Als ze het allemaal eens zijn, voel je je zelfverzekerd. Als ze het allemaal oneens zijn, weet je dat je in een "mistig" gebied bent waar het model niet veel van weet. Dit is geweldig voor het leren van complexe zaken, maar het heeft een gebrek: soms wordt het team overmoedig in de mist. Ze kunnen zeggen: "We zijn 100% zeker dat je niet zal crashen," zelfs als ze eigenlijk maar wat aan het gokken zijn.

Eerdere pogingen om deze "expert-teams" als veiligheidscoaches te gebruiken, faalden omdat ze geen rigoureuze manier hadden om te controleren of het team daadwerkelijk de waarheid sprak of gewoon aan het hallucineren was. Ze waren als een coach die zegt: "Ik denk dat je veilig bent," zonder daadwerkelijk de kaart te controleren, wat leidde tot ongelukken wanneer de robot iets te riskants probeerde.

De Oplossing: UPSi (De "Oop-See" Filter)

De auteurs van dit paper introduceren een nieuw systeem genaamd UPSi (uitgesproken als "oop-see"), wat staat voor Uncertainty-Aware Predictive Safety Filter.

Zie UPSi als een veiligheidscoach die niet alleen de experts om een antwoord vraagt, maar ook hun vertrouwensniveau controleert. Het gebruikt een slim wiskundige truc om een "veiligheidsbubbel" rond de mogelijke toekomstige paden van de robot te tekenen.

De Veiligheidsbubbel: In plaats van één enkel toekomstig pad te raden, berekent UPSi een hele wolk van mogelijke plekken waar de robot terecht kan komen. Het zorgt ervoor dat deze hele wolk binnen de "veilige zone" blijft (zoals op de baan blijven).
De Zekerheidscontrole: Dit is het magische deel. UPSi heeft een speciale regel: "We vertrouwen de experts alleen als ze zich in een 'Certain Set' bevinden." Als de robot probeert te bewegen naar een gebied waar de experts verward zijn (hoge onzekerheid), zegt UPSi: "Nee, ik weet niet genoeg over dit gebied om veiligheid te garanderen. Laten we daar niet heen gaan." Dit voorkomt dat de robot het model erin slaagt te denken dat een gevaarlijke zet veilig is, simpelweg omdat het model aan het gokken is.

Hoe het in de praktijk werkt

De onderzoekers hebben UPSi getest in drie verschillende gesimuleerde werelden:

Pendulum: Een robotarm die probeert op te zwaaien zonder een verboden zone te raken.
Cartpole: Een klassieke evenwichtsoefening waarbij een staaf rechtop moet blijven op een bewegende kar.
Drone: Een vliegende robot die een doelhoogte probeert te bereiken zonder neer te storten.

In deze tests hebben ze UPSi vergeleken met andere veiligheidsfilters. De resultaten waren duidelijk:

Minder Crashes: UPSi hield de robot veel vaker tegen bij het maken van gevaarlijke zetten dan de vorige methoden. In de Cartpole-test faalde de oude methode (crashde) 7,15% van de tijd, terwijl UPSi slechts 0,75% van de tijd faalde.
Net zo goed in Leren: Ondanks dat UPSi extra voorzichtig was, leerde de robot de game net zo goed als zonder de filter. Het vertraagde het leerproces niet.

Het "Wat als" en het "Hoe zeker"

De auteurs zijn zeer voorzichtig met wat ze beweren. Ze gokten niet alleen dat UPSi werkt; ze bewezen wiskundig dat hun "veiligheidsbubbels" (genoemd reachable sets) groot genoeg zijn om elke mogelijke uitkomst op te vangen, zelfs als het model van de robot over de wereld een klein beetje fout is. Ze hebben aangetoond dat als de robot binnen deze bubbels blijft, het wiskundig gegarandeerd is dat hij veilig blijft.

Ze geven echter ook toe dat hun huidige versie een beetje traag is voor real-time gebruik in zeer complexe situaties (zoals een snelle drone). In hun simulaties deed de filter er tussen de 0,04 seconden en 25 seconden over om een beslissing te nemen, afhankelijk van de complexiteit. Hoewel dit snel genoeg is voor de tests die ze hebben uitgevoerd, merken ze op dat het een uitdaging voor de toekomst is om het snel genoeg te maken voor real-world, razendsnelle beslissingen.

De Kernboodschap

Dit paper overbrugt een kloof tussen twee werelden: de flexibele, krachtige leerprestaties van moderne AI en de strikte, betrouwbare veiligheid van traditionele techniek. UPSi laat zien dat we krachtige, data-hongerige AI-modellen kunnen gebruiken om robots complexe vaardigheden te leren, zolang we ze maar omhullen met een veiligheidsfilter dat weet wanneer het het niet weet. Het is een stap richting robots die het onbekende kunnen verkennen zonder de wereld kapot te maken.

Technische Samenvatting: Onzekerheidsbewuste Voorspellende Veiligheidsfilters voor Probabilistische Neurale Netwerkdynamica

Probleemstelling

Deep Reinforcement Learning (RL) staat voor aanzienlijke uitdagingen met betrekking tot exploratieveiligheid. Hoewel Predictive Safety Filters (PSF's) strikte veiligheidsgaranties bieden door gebruik te maken van Model Predictive Control (MPC)-concepten, wordt hun praktische toepasbaarheid vaak beperkt door de afhankelijkheid van first-principles modellen of Gaussian Processes (GP's). Deze traditionele modelklassen vereisen ofwel substantiële voorkennis van het domein, ofwel schalen niet effectief mee met grote datasets en hoogdimensionale systemen. Daartegenover staan moderne Model-Based Reinforcement Learning (MBRL)-methoden die Probabilistische Ensemble (PE) neurale netwerken gebruiken om complexe, hoogdimensionale dynamica te leren van data met minimale voorkennis. Echter, bestaande pogingen om PE-modellen te integreren in PSF's missen een rigoureuze onzekerheidskwantificatie, wat leidt tot heuristische veiligheidscontroles die gevoelig zijn voor modelexploitatie onder hoge epistemische onzekerheid.

Methodologie

De auteurs stellen de Uncertainty-Aware Predictive Safety Filter (UPSi) voor, een framework dat de schaalbaarheid van PE-gebaseerde MBRL overbrugt met de strikte veiligheidsgaranties van MPC. UPSi opereert binnen een Dyna-stijl MBRL-architectuur (bijv. MBPO) en formuleert toekomstige uitkomsten als bereikbare verzamelingen (reachable sets) om het voldoen aan restricties af te dwingen.

Kerncomponenten

Probabilistische Ensemble Dynamica: UPSi maakt gebruik van een PE-model bestaande uit $E$ neurale netwerken om systeemdynamica te benaderen. Het model scheidt aleatorische onzekerheid (onherleidbare procesruis) van epistemische onzekerheid (gebrek aan data) via ensemble-discrepantie.
Zekerheidsverzameling ( $C_j$ ): Om modelexploitatie te voorkomen, definieert UPSi een "zekerheidsverzameling" $C_j \subseteq S \times A$ . Binnen deze verzameling is de voorspellende onzekerheid van het model voldoende laag. De verzameling wordt bepaald met een Kalman-gain metriek afgeleid van sensorfusie-principes, wat ervoor zorgt dat voorspellingen alleen worden vertrouwd waar het model voldoende datastructuur heeft.
Constructie van de Bereikbare Verzameling (Reachable Set):
- De methode overbenadert de Robuuste Bereikbare Verzamelingen (RRS) met behulp van ellipsoïdale tubes die langs een nominale traject worden gepropageerd.
- De vormmatrix $P_{n|t}$ van de tube wordt bijgewerkt door de aleatorische variantie te propageren en rekening te houden met linearisatiefouten.
- Cruciaal is dat de auteurs een rigoureuze bovengrens afleiden voor de linearisatiefout ( $e_{max}$ ) veroorzaakt door het benaderen van niet-lineaire dynamica met eerste-orde Taylor-expansies. Deze fout wordt expliciet toegevoegd aan de vormmatrix-propagatie om ervoor te zorgen dat de bereikbare verzameling een geldige overbenadering is van het werkelijke systeemgedrag.
Veiligheidsfilter Formulering: De veiligheidsfilter lost in elke tijdstap een geconstrueerd optimalisatieprobleem op. Het zoekt naar een actievolgorde die de afwijking van de door de RL-agent voorgestelde actie minimaliseert, terwijl het voldoet aan:
- Toestands- en inputrestricties ( $S, A$ ).
- Terminale verzameling-restricties ( $T_j$ ).
- Zekerheidsrestricties: Alle voorspelde staat-actie paren langs het traject moeten binnen de zekerheidsverzameling $C_j$ blijven. Dit wordt afgedwongen door de restricties aan te scherpen op basis van de Lipschitz-continuïteit van de onzekerheidsmaat.
Expansie van de Terminale Verzameling: Om conservatisme te verminderen, wordt de terminale verzameling $T_j$ iteratief uitgebreid met behulp van een datagedreven aanpak. Haalbare trajecten uit voorgaande episodes worden gebruikt om een grotere controleerbare verzameling te benaderen, waardoor de agent verder kan exploreren terwijl de veiligheid behouden blijft.

Belangrijkste Bijdragen

Het artikel presenteert drie primaire bijdragen:

Rigoureuze Bereikbare Verzamelingen vanuit PE-modellen: De auteurs leiden een methode af om controleerbaar overbenaderende bereikbare verzamelingen te berekenen vanuit probabilistische neurale netwerkmodellen. Dit omvat het scheiden van aleatorische en epistemische onzekerheid en het expliciet begrenzen van linearisatiefouten om te garanderen dat de berekende verzamelingen alle mogelijke systeemtrajecten bevatten.
Expliciete Zekerheidsrestrictie: Een nieuwe restrictie wordt geïntroduceerd in de PSF-formulering die voorkomt dat de agent de onnauwkeurigheden van het model exploiteert. Door de planning-horizon te beperken tot de "zekerheidsverzameling", zorgt het filter ervoor dat veiligheid gewaarborgd blijft, zelfs wanneer het model onzeker is.
Empirische Validatie en Praktische Integratie: De auteurs valideren de theoretische overbenadering en integreren een vereenvoudigde versie van UPSi in het MBPO-framework. Ze demonstreren dat deze aanpak de exploratieveiligheid aanzienlijk verbetert ten opzichte van eerdere op neurale netwerken gebaseerde PSF's (specifiek XMPSC), terwijl de prestaties vergelijkbaar blijven met standaard MBPO.

Experimentele Resultaten

De evaluatie werd uitgevoerd op drie standaard Safe RL benchmarks: Pendulum, Cartpole en Drone.

Verificatie van de Bereikbare Verzameling: In de Cartpole-omgeving werd aangetoond dat de voorgestelde ellipsoïdale tube-constructie consistent de grondwaarheid van de bereikbare verzamelingen overbenadert (geverifieerd via 100.000 gesimuleerde trajecten), wat de theoretische grenzen bevestigt.
Veiligheidsprestaties: Bij integratie in MBPO vertoonde UPSi een substantiële reductie in restrictieovertredingen vergeleken met XMPSC (een eerdere PE-gebaseerde veiligheidsfilter). Zo daalde het onhaalbaarheidspercentage in de Cartpole-omgeving van 7,15% (XMPSC) naar 0,75% (UPSi).
Prestaties: Ondanks de toegevoegde veiligheidsrestricties behaalde UPSi control returns die op gelijke voet staan met standaard MBPO en SAC baselines.
Filtergedrag: UPSi greep vaker in dan XMPSC, maar vond vaker haalbare oplossingen, wat wijst op een betere balans tussen veiligheidshandhaving en exploratievermogen.

Betekenis en Claims

Het artikel claimt succesvol de kloof te hebben overbrugd tussen de schaalbaarheid van moderne MBRL-methoden en de strikte veiligheidsgaranties van voorspellende veiligheidsfilters. Door het mogelijk te maken om flexibele, datagedreven PE-modellen binnen een rigoureus MPC-framework te gebruiken, breidt UPSi de toepasbaarheid van veiligheidsfilters uit naar een bredere klasse van hoogdimensionale, niet-lineaire systemen die voorheen moeilijk te modelleren waren met first-principles of GP's.

De auteurs erkennen beperkingen en merken op dat de praktische implementatie steunt op vereenvoudigingen (bijv. vereenvoudigde tube-propagatie, geen aanvullende controller in experimenten) die de formele garanties doorbreken, en dat real-time haalbaarheid voor hoogdimensionale systemen (zoals de Drone) een uitdaging blijft. Desalniettemin legt dit werk een fundamentele aanpak vast voor onzekerheidsbewuste veiligheid in learning-gebaseerde controle, wat suggereert dat toekomstige verbeteringen in real-time haalbaarheid de inzet op complexere hardware kunnen mogelijk maken.