⚡ electrical engineering

Interval POMDP Shielding for Imperfect-Perception Agents

Dit artikel introduceert een methode voor intervalgebaseerde POMDP-schildering die, door perceptieonzekerheid te modelleren met betrouwbaarheidsintervallen afgeleid van gelabelde data, een runtime-schild biedt met een hoge waarschijnlijkheidsgarantie voor veiligheid in autonome systemen met imperfecte waarneming.

Oorspronkelijke auteurs: William Scarbro, Ravi Mangal

Gepubliceerd 2026-04-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: William Scarbro, Ravi Mangal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zelfrijdende auto bestuurt, maar je hebt een bril op die soms de verkeerde dingen ziet. Misschien ziet hij een stopbord als een snelheidsbord, of een voetganger als een boom. Als de auto volledig op zijn "ogen" (de sensoren en het AI-herkenningsprogramma) vertrouwt, kan hij gevaarlijke beslissingen nemen.

Dit artikel gaat over het bouwen van een veiligheidsnet (een "shield") voor zulke systemen. Het doel is simpel: de auto mag doen wat hij wil, zolang het veilig is. Maar als de auto iets doet dat gevaarlijk lijkt, grijpt dit veiligheidsnet in en blokkeert de actie.

Hier is hoe de auteurs dit oplossen, vertaald naar alledaagse taal:

1. Het Probleem: De "Onzekere" Bril

Normaal gesproken bouwen ingenieurs modellen die zeggen: "Als de auto hier staat, is de kans 99% dat het een stopbord is." Maar in de echte wereld is dat niet waar. De AI is getraind op een beperkte dataset. Als de auto in een nieuwe situatie komt (bijvoorbeeld sneeuw of een rare hoek), kan de AI zich vergissen.

De auteurs zeggen: "We weten niet precies hoe onzeker de AI is, maar we kunnen een schatting maken op basis van de data die we hebben."

2. De Oplossing: De "Veiligheidsboog" (Intervalen)

In plaats van te zeggen "De kans is precies 99%", gebruiken ze een boog (een interval). Ze zeggen: "De kans ligt ergens tussen 90% en 99,9%."

De Analogie: Stel je voor dat je een bal gooit naar een emmer. Een gewone AI zegt: "Ik heb 95% kans dat hij erin valt."
Deze nieuwe methode zegt: "Ik weet niet zeker of het 95% is. Het kan 80% zijn, het kan 99% zijn. Laten we er dus van uitgaan dat het slechtst mogelijke scenario (80%) waar is, om op de veilige kant te zitten."

Dit noemen ze een Interval POMDP. Het is een wiskundig model dat rekening houdt met alle mogelijke onzekerheden binnen die boog.

3. De "Schaduw" van de Wereld (Belief Envelopes)

Omdat de auto de werkelijke positie niet direct ziet (hij ziet alleen de "verkeerde" sensoren), moet hij raden waar hij is. Dit noemen ze een "belief" (geloof).

Het probleem: Als je onzeker bent over je sensoren, wordt je "geloof" over waar je bent, niet één punt, maar een wolk of een schaduw.
De oplossing: De auteurs bouwen een schaduwkooi (een "belief envelope") om die wolk heen. Ze berekenen niet één mogelijke positie, maar de ergste mogelijke positie binnen die wolk.
De Analogie: Stel je loopt in het donker met een zaklamp die soms flitst. Je weet niet precies waar de muur is. In plaats van te raden, teken je een grote, veilige zone om je heen. Als je beweging binnen die zone veilig is, mag je gaan. Als je beweging de zone raakt, stopt de computer en zegt hij: "Nee, te gevaarlijk, ik laat je niet bewegen."

4. Hoe werkt het in de praktijk?

De computer doet twee dingen:

Leren: Hij kijkt naar de oude data en maakt die "veiligheidsbogen" (intervallen) voor elke mogelijke sensorfout.
Beschermen: Tijdens het rijden kijkt hij continu: "Zelfs als de sensoren het op het allerergst mogelijke moment verkeerd hebben (binnen onze boog), is deze actie nog veilig?"
- Ja? Dan mag de auto rijden.
- Nee? Dan blokkeert het systeem de actie en kiest een veilig alternatief.

5. Wat zeggen de tests?

De auteurs hebben dit getest op vier verschillende scenarios:

TaxiNet: Een vliegtuig dat moet landen.
Obstacle: Een robot die obstakels moet ontwijken.
CartPole: Een stok die in evenwicht moet worden gehouden.
Refuel: Een voertuig dat brandstof moet tanken zonder te crashen.

De resultaten:

Bij simpele situaties (waar de sensoren goed werken) werkt hun methode net zo goed als de oude methoden.
Bij moeilijke situaties (waar de sensoren vaak verwarren) werkt hun methode veel beter. De oude methoden waren te optimistisch ("Het gaat wel goed") of te bang ("Niets doen, we vallen vast").
Hun methode vindt de perfecte balans: ze blokkeren alleen de echt gevaarlijke acties, maar laten de auto nog wel vrij bewegen waar het veilig is.

Samenvatting in één zin

Deze paper introduceert een slimme "veiligheidsagent" die niet blindelings vertrouwt op wat de AI ziet, maar een veiligheidsnet bouwt rondom alle mogelijke fouten, zodat de auto zelfs in de slechtste denkbare situatie veilig blijft rijden.

1. Probleemstelling

Autonome systemen die vertrouwen op geleerde perceptiecomponenten (zoals Deep Neural Networks) zijn vatbaar voor onvolmaakte perceptie (imperfect-perception). Wanneer sensorgegevens verkeerd worden geclassificeerd, neemt het agent een beslissing op basis van onjuiste informatie, wat kan leiden tot onveilige gedragingen.

De uitdaging ligt in het bouwen van een shield (een veiligheidsmechanisme dat onveilige acties blokkeert) voor deze setting, waarbij:

De systeemdynamica bekend is, maar de perceptieonzekerheid moet worden geschat op basis van beperkte gelabelde data.
Er sprake is van distributieve verschuivingen (distributional shift), specifiek deployment shift: de perceptieonzekerheid die tijdens het trainen wordt gemodelleerd, komt niet exact overeen met de realiteit tijdens de inzet.
Bestaande methoden ofwel te conservatief zijn (en bruikbare acties blokkeren) of te optimistisch (en onveilig gedrag toestaan).

Het doel is een shield te creëren die een finite-horizon veiligheidsgarantie biedt met hoge waarschijnlijkheid, zelfs als de echte perceptieonzekerheid binnen de geleerde intervallen varieert.

2. Methodologie

De auteurs presenteren een aanpak die het probleem modelleert als een Interval Partially Observable Markov Decision Process (IPOMDP) en een runtime shield construeert die een bestaande "perfect-perception shield" uitbreidt naar de onvolmaakte perceptiesetting.

A. Model: Interval POMDP (IPOMDP)

In plaats van punt-schattingen voor de emissiekansen (de kans dat een toestand $s$ een observatie $o$ genereert), worden betrouwbaarheidsintervallen gebruikt.

Data-gedreven intervallen: Op basis van gelabelde data worden voor elke toestand-observatie-paar $(s, o)$ intervallen $[Z^-(o|s), Z^+(o|s)]$ berekend met behulp van de Clopper-Pearson methode. Dit garandeert dat de werkelijke emissiekans met een bepaalde waarschijnlijkheid ( $\lambda$ ) binnen dit interval ligt.
Robuustheid: Dit interval-model is robuust tegen deployment shift, omdat het erkent dat de werkelijke kansen kunnen variëren binnen de berekende grenzen.

B. Shield Constructie: Belief Envelopes

Het kernprobleem is dat de exacte set van mogelijke geloofstoestanden (beliefs) over de tijd niet convex is en exponentieel groeit (vertex explosion). Om dit op te lossen, gebruiken de auteurs een over-approximatie via belief envelopes:

Template Polytope: De set van mogelijke geloofstoestanden wordt benaderd door een polytope beschreven door een vaste set van lineaire richtingen (templates).
Lineaire Programmering (LP): De propagatie van deze envelope door een actie-observatie-update wordt omgezet in een lineair optimalisatieprobleem.
- De dynamische update is lineair.
- De observatie-update (Bayesiaanse normalisatie) introduceert niet-lineariteit. Dit wordt opgelost door de Charnes-Cooper-transformatie (voor lineaire fractionele programmering) en McCormick-envelopes (voor het lineair benaderen van bilineaire termen).
Worst-Case Analyse: De shield accepteert alleen een actie als deze veilig is voor alle geloofstoestanden binnen de over-approximatie (de envelope). Dit zorgt voor een conservatieve, maar veilige benadering.

C. Veiligheidsgaranties

De methode biedt een dubbele waarschijnlijkheidsgarantie:

Model-correctheid: Met waarschijnlijkheid $\ge \lambda$ (gebaseerd op de trainingsdata) ligt de ware perceptiemodel binnen de geconstrueerde intervallen.
Runtime Veiligheid: Als het model correct is, garandeert de shield dat elke toegestane actie voldoet aan een ondergrens voor veiligheid ( $\beta$ ) over een horizon $H$ . De totale garantie is dat de kans op een veilige traject $\ge (\beta \gamma)^H$ is, met een totale waarschijnlijkheid van $\lambda$ .

3. Belangrijkste Bijdragen

IPOMDP Formulering: Een nieuwe formulering van imperfect-perception systemen met eindige data-onzekerheid, gemodelleerd als een IPOMDP.
Runtime Shield: Een algoritme om een perfecte-perceptie shield (bijv. gebaseerd op Probabilistically Controlled Invariant Sets - PCIS) te "liften" naar de onvolmaakte perceptiesetting via interval-gedreven geloofsenvelopes.
Efficiënte Propagatie: Een sound methode gebaseerd op lineaire programmering om bereikbare geloofstoestanden te over-approximeren en conservatieve actietoelating te berekenen.
Empirische Evaluatie: Uitgebreide tests op vier benchmarks (TaxiNet, Obstacle, CartPole, Refuel) die de prestaties vergelijken met state-of-the-art baselines.
Theoretische Interpretatie: Een probabilistische automata/categorische interpretatie van de constructie (beschikbaar in supplementair materiaal).

4. Resultaten en Evaluatie

De auteurs vergelijken hun Envelope Shield met andere methoden:

Observation Shield: Gebruikt alleen de huidige observatie (geen geschiedenis).
Single-Belief: Gebruikt een punt-schatting en Bayesiaanse filtering.
Fwd-Sampling: Een onder-approximatie via forward sampling.
Support-based Shield (Carr et al.): Houdt alleen bij welke toestanden mogelijk zijn, negeert kansen.

Kernbevindingen:

TaxiNet & Obstacle (Moeilijke Partial Observability): In omgevingen waar observaties veel toestanden "verwarren" (aliasing), presteert de Envelope Shield het beste qua veiligheid. Het blokkeert onveilige acties die door Single-Belief of Observation shields worden toegestaan omdat die te optimistisch zijn.
- Nadeel: De Envelope Shield is conservatiever, wat leidt tot een iets hogere "stuck rate" (het systeem blokkeert alle acties en stopt), maar dit is de prijs voor de extra veiligheid.
CartPole (Goede Observaties): Wanneer observaties de toestand bijna uniek identificeren, presteren alle methoden vergelijkbaar; de complexiteit van de Envelope Shield is hier niet nodig.
Refuel (Computationele Grenzen): Voor zeer grote toestandsruimtes wordt de LP-benadering van de Envelope Shield onpraktisch (te traag). Hier biedt Fwd-Sampling een schaalbaar alternatief, hoewel het minder strikte garanties biedt.
Support-based Shield: Deze faalt vaak in aliased omgevingen (zoals TaxiNet) omdat de set van mogelijke toestanden te groot wordt en geen veilige acties meer toelaat, terwijl probabilistische methoden nog wel ruimte laten.

Performance:

De Envelope Shield is computatievriendelijk voor kleinere modellen (microseconden tot milliseconden per stap), maar wordt traag bij grote toestandsruimtes.
De methode biedt een duidelijk compromis: meer veiligheid ten koste van berekeningskosten en soms een hogere kans op "stuck" gedrag, maar vermijdt onveiligheid.

5. Significantie

Dit werk is significant omdat het een brug slaat tussen statistische leertheorie (betrouwbaarheidsintervallen uit beperkte data) en formele verificatie (shielding).

Het lost het probleem op van deployment shift door niet op één punt-schatting te vertrouwen, maar op een interval dat de onzekerheid van de data dekt.
Het biedt een modulaire oplossing: elke bestaande shield voor perfecte perceptie kan worden gebruikt als basis.
Het identificeert het specifieke domein waar interval-benaderingen essentieel zijn: situaties waar punt-schattingen te optimistisch zijn, maar waar "support-only" methoden (die kansen negeren) te grof zijn om bruikbare acties toe te staan.
Het introduceert een praktische, runtime-vriendelijke implementatie van theoretisch complexe IPOMDP's via lineaire programmering.

Kortom, de paper biedt een robuust framework om veilige autonome systemen te bouwen die vertrouwen op imperfecte, op data geleerde perceptie, met formele garanties die rekening houden met de beperkingen van de trainingsdata.