🤖 AI

Silent Failures in Physical AI: A Literature Review of Runtime Action Authorization for Autonomous Systems

Deze literatuurstudie identificeert de kritieke kloof in bestaande veiligheidsmechanismen voor Physical AI, waarbij black-boxmodellen fysiek consequente acties kunnen uitvoeren die plausibel lijken maar stilzwijgend falen, en stelt een verenigd kader voor voor runtime-actieautorisatie om de kloof tussen modelcapaciteit en fysieke veiligheidsborging te overbruggen.

Oorspronkelijke auteurs: Barak Or

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Barak Or

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Zelfverzekerde maar Onjuiste" Robot

Stel je voor dat je een zeer slimme, zelfverzekerde robotassistent hebt. Je vraagt hem: "Ga even koffie halen." De robot kijkt om zich heen, denkt even na en zegt: "Begrepen!" met 100% vertrouwen. Hij begint richting het koffiezetapparaat te lopen.

Maar hier is het probleem: de "ogen" van de robot (sensoren) zijn een beetje wazig, of hij heeft door een schaduw een glas water op de vloer gemist. De robot denkt dat het pad vrij is, maar dat is het niet. Omdat de robot zo veel vertrouwen heeft in zijn eigen interne kaart, loopt hij recht tegen het glas aan, stoot het om en breekt het.

De robot crashte niet met zijn software. Hij gaf geen foutmelding. Hij stopte niet. Hij liep gewoon zelfverzekerd door totdat de fysieke schade was aangericht. Dit is wat het paper een "Silent Failure" (stille fout) noemt.

Het Kernprobleid: Vertrouwen $\neq$ Veiligheid

Het paper stelt dat moderne AI (zoals robots, zelfrijdende auto's en drones) erg goed wordt in het genereren van acties. Ze kunnen taal ("beweeg naar links") omzetten in fysieke beweging.

Er is echter een gevaarlijke kloof tussen wat de AI voorstelt en wat daadwerkelijk veilig is om te doen.

De Oude Manier: Bij tekstgebaseerde AI (zoals een chatbot) houden veiligheidsfilters de AI ervan weer om iets gemeens of illegale te zeggen.
Het Nieuwe Probleem: Bij Physical AI kan de AI een beweging voorstellen die "netjes" is (het probeert niemand pijn te doen), maar die fysiek onmogelijk of gevaarlijk is omdat het begrip van de robot van de wereld onjuist is.

Het paper zegt dat we niet simpelweg op de vertrouwensscore van de robot kunnen vertrouwen. Een robot kan voor 99% zeker weten dat hij veilig is, maar als zijn sensoren hem bedriegen, is dat vertrouwen nutteloos.

De Oplossing: De "Veiligheidsbewaker"

Het paper stelt een nieuwe laag van veiligheid voor genaamd Runtime Action Authorization (Actieautorisatie tijdens de uitvoering). Denk aan dit als een Bewaker die tussen het brein van de robot en zijn spieren staat.

Elke keer dat de robot wil bewegen, stelt de Bewaker vier vragen voordat de actie mag plaatsvinden:

Is de kaart echt? (Heeft de sensor net een fout gemaakt? Is de data verouderd?)
Is de beweging mogelijk? (Kan de robot die zware doos echt tillen zonder om te kieperen?)
Is het hier toegestaan? (Is dit een verboden zone? Is er een "niet lopen"-bord?)
Wat als we het fout hebben? (Als de Bewaker "Stop" zegt, heeft de robot dan een veilig back-up plan, zoals voorzichtig stoppen of om hulp vragen aan een mens?)

Als de Bewaker "Nee" zegt, beweegt de robot niet, zelfs niet als het brein van de robot "Ga!" schreeuwt.

Het "Stille" Gevaar

Waarom is dit zo eng? Omdat in oude software, als er iets misging, het programma zou crashen (zoals een blauw scherm van de dood). Je zou het meteen weten.

Bij Physical AI blijft het systeem draaien. De robot blijft bewegen. De "fout" is stil omdat de interne logica van de robot perfect werkt — het werkt alleen op een valse realiteit.

Analogie: Stel je een bestuurder voor die perfect rijdt volgens zijn GPS, maar de GPS laat een brug zien die niet bestaat. De bestuurder rijdt zelfverzekerd van de rand af. De auto ging niet kapot; de informatie was fout.

Wat het Paper Eigenlijk Zegt (en Niet Zegt)

Het zegt NIET: "We moeten stoppen met het bouwen van robots."
Het zegt NIET: "Huidige robots zijn allemaal gevaarlijk."
Het zegt WEL: We bouwen robots die slimmer en krachtiger worden, maar we hebben nog geen gestandaardiseerd "Bewaker"-systeem gebouwd dat controleert of hun acties veilig zijn in de echte wereld voordat ze plaatsvinden.
Het zegt WEL: We hebben een nieuwe manier nodig om veiligheid te meten. We moeten niet alleen tellen hoe vaak de robot een taak heeft voltooid (Taaksucces). We moeten ook tellen hoe vaak de Bewaker een slechte actie heeft gestopt voordat het schade veroorzaakte (Interventiekwaliteit).

De "Bewaker" Checklist (De Taxonomie)

Het paper organiseert de taak van de Bewaker in een checklist om ervoor te zorgen dat er niets wordt overgeslagen:

Semantische Check: Is het verzoek logisch? (bijv. "Loop niet tegen een muur aan.")
State Check: Is het beeld van de robot van de wereld accuraat? (bijv. "Is dat een persoon of een schaduw?")
Fysieke Check: Kan de robot dit fysiek aan? (bijv. "Is de arm sterk genoeg?")
Ruimte Check: Is dit gebied toegestaan? (bijv. "Is dit een bouwterrein?")
Tijd Check: Is het veilig voor de komende paar seconden, of alleen op dit moment?
Fallback Check: Als we stoppen, wat gebeurt er dan?
Audit Check: Kunnen we later de logs bekijken om te zien waarom we stopten?

De Kernboodschap

Het paper concludeert dat naarmate robots slimmer worden, we moeten stoppen met ze te behanden als zwarte dozen waar we simpelweg op vertrouwen. We moeten een aparte, onafhankelijke veiligheidslaag bouwen die fungeert als een laatste controle.

Deze laag hoeft niet te weten hoe de robot denkt; het hoeft alleen maar te controleren wat de robot wil doen en te vragen: "Is dit op dit moment veilig om te doen, gegeven wat we weten over de wereld?" Als het antwoord is "Ik weet het niet zeker", moet de Bewaker de actie stoppen.

Dit gaat niet over het vertragen van vooruitgang; het gaat over ervoor zorgen dat wanneer deze krachtige machines eindelijk uit het lab stappen en onze echte wereld binnenkomen, ze niet per ongeluk dingen kapotmaken omdat ze zelfverzekerd maar onjuist waren.

Technische Samenvatting: Stille Fouten in Fysieke AI

1. Probleemdefinitie

Het artikel behandelt een kritische veiligheidslacune in fysieke AI-systemen—belichaamde agenten (robots, drones, autonome voertuigen) die gebruikmaken van foundation-modellen, vision-language-action (VLA) modellen en wereldmodellen om multimodale observaties en taalinstructies te mappen naar fysiek consequente acties.

Het kernprobleem is de stille fysieke-actiefout. In tegenstelling tot klassieke softwarefouten (bijv. crashes of expliciete fouten), treden stille fouten op wanneer een autonoom systeem met een hoge schijnbare betrouwbaarheid opereert terwijl het handelt op basis van een onjuiste, incomplete of fysiek ongeldige representatie van de wereld. Deze fouten ontstaan door:

Sensor-drift, occlusie en fouten in de staatsschatting.
Distributieverschuivingen en out-of-distribution (OOD) inputs.
Gehallucineerde affordances (het afleiden dat een object bruikbaar is terwijl dat niet zo is).
Ongeldige fysieke aannames die downstream hardwarecontrollers omzeilen.

Het artikel stelt dat huidige veiligheidsmechanismen gefragmenteerd zijn. Semantische guardrails (inhoudelijke moderatie) verifiëren de fysieke haalbaarheid niet, terwijl laag-niveau veiligheidsfilters (bijv. Control Barrier Functions) vaak uitgaan van bekende dynamica en expliciete staatsvariabelen die black-box modellen niet bieden. Bijgevolg is er geen enkele, controleerbare runtime autorisatiegrens die evalueert of een plausibel modelvoorstel moet worden omgezet in een hardwarematige toezegging.

2. Methodologie en Formalisering

Het artikel hanteert een aanpak van literatuuronderzoek en theoretische synthese, waarbij elf verschillende onderzoeksstromen (waaronder belichaamde foundation-modellen, wereldmodellen, veilige controle, runtime-assurance en onzekerheidsschatting) worden geanalyseerd om interface-aannames en hiaten te identificeren.

2.1 Formeel Kader

De auteur formaliseert het probleem met een minimale notatie die gecentreerd is rond het autorisatie-event:

Modelvoorstel: Een black-box beleid $\pi_\theta$ mapt observaties $o_{\le t}$ en doelen $g$ naar een voorgestelde actie $a_t$ .
Staatsschatting: Het systeem houdt een geschatte staat $s_t$ bij, die door ruis of drift kan afwijken van de ware staat $\bar{s}_t$ .
Constraints: Een set actieve beperkingen $C_t$ (kinematica, botsing, geofence, operationeel) moet worden voldaan.
Autorisatiefunctie: Een runtime-functie $G$ evalueert de tuple $(a_t, s_t, C_t, e_t)$ , waarbij $e_t$ runtime-bewijs is (sensorgezondheid, onzekerheid, OOD-indicatoren).
Besluit: De functie geeft een besluit $\rho_t \in \{\text{autoriseren, modificeren, blokkeren, fallback, escaleren}\}$ .

Het artikel definieert een Stille Fysieke-Actiefout ( $F_t = 1$ ) als optreden wanneer het systeem een actie autoriseert ( $\rho_t = \text{autoriseren}$ ) ondanks dat de ware staat-actie combinatie ongeldig is ( $M_t = 0$ ) of het bewijs onvoldoende is ( $V_t = 0$ ).

2.2 Theoretische Ankers

Het kader integreert drie bestaande veiligheidstheorieën, maar herpositioneert deze bij de autorisatiegrens in plaats van bij de controller:

Conserveerde Staatsonzekerheid: Alleen autoriseren als de constraints standhouden binnen een onzekerheidsset $U_t$ .
Veiligheidsfilters/Projecties: Voorgestelde acties projecteren op een veilige set $A_{safe}$ .
Control Barrier Functions (CBFs): Het waarborgen van de voorwaartse invariantie van een veilige set.

Het artikel stelt dat deze instrumenten noodzakelijk maar op zichzelf onvoldoende zijn voor black-box Fysieke AI, omdat ze de betrouwbaarheid van de staat, semantische intentie of operationele beleidsnaleving niet inherent valideren.

3. Belangrijkste Bijdragen

Het artikel levert vijf primaire technische bijdragen:

Definitie van Vocabulaire: Het stelt een gekoppelde vocabulaire vast voor het vakgebied, waarbij termen als stille fysieke-actiefout, runtime actie-autorisatie, autorisatie-event en de autorisatiekloof worden gedefinieerd.
Formeel Interface: Het formaliseert runtime actie-autorisatie als een beslissingsinterface tussen black-box modeloutputs en fysieke uitvoering, onafhankelijk van specifieke modelarchitecturen.
Taxonomie van Guardrails: Het synthetiseert een taxonomie van zeven runtime guardrail-functies (Tabel 1) die moeten worden geëvalueerd vóór uitvoering:
- Semantische Validiteit: Afstemming met taakintentie en beleid.
- Staat-validiteit: Betrouwbaarheid van de wereldstaat-schatting.
- Fysieke Haalbaarheid: Kinematische en dynamische beperkingen.
- Ruimtelijke en Operationele Validiteit: Geofences en missieregels.
- Temporele Validiteit: Veiligheid over de toekomstige horizon.
- Fallback-autoriteit: Mechanismen voor herstel of escalatie.
- Controleerbaarheid: Reconstructeerbaarheid van de beslissing.
Evaluatievereisten: Het leidt een set evaluatievereisten en metriekfamilies af (Tabel 5) die de interventiekwaliteit meten in plaats van enkel taaksucces. Kernmetrieken zijn onder meer:
- Unsafe-Action Intervention Rate (UAIR): Frequentie van het blokkeren van ongeldige acties.
- False Block Rate (FBR): Frequentie van het blokkeren van geldige acties (bruikbaarheidskosten).
- Pre-Commit Intervention Rate (PCIR): Timing van de beslissing relatief aan de hardwarematige toezegging.
- Residual Violation Severity (RVS): Grootte van de constraint-schendingen na interventie.
Minimaal Autorizatie-event Schema: Het stelt een gestandaardiseerd dataschema voor (Tabel 7) om autorisatie-events vast te leggen. Dit schema maakt het mogelijk om guardrails over verschillende modellen, simulaties en hardwareplatforms te vergelijken zonder gedeelde interne representaties te vereisen.

4. Resultaten en Analyse

Het artikel presenteert geen nieuwe experimentele data of een specifieke implementatie van een guardrail. In plaats daarvan zijn de "resultaten" een synthese van het huidige literatuurlandschap:

Capaciteit vs. Assurance Gap: Terwijl de capaciteiten van Fysieke AI (bijv. Open X-Embodiment, OpenVLA, wereldmodellen) snel vooruitgaan wat betreft taaksucces en generalisatie, zijn deze metrieken niet gelijk aan runtime-veiligheid. Hoge betrouwbaarheidsscores en taaksuccesratio's zijn geen voldoende bewijs voor fysieke toezegging.
Interface Mismatch: De review laat zien dat bestaande veiligheidsliteratuur incompatibele interface-aannames maakt. VLA-modellen richten zich op actiegeneratie; veiligheidsfilters gaan uit van expliciete staatsvariabelen; semantische guardrails richten zich op intentie. Geen van hen biedt een verenigde laag die semantische, staat-, fysieke en operationele controles samenvoegt rond een enkele voorgestelde actie.
Mechanismen van Stille Fouten: De analyse bevestigt dat stille fouten een specifiek risico vormen in closed-loop autonomie, waarbij het systeem blijft opereren ondanks gecorrumpeerde staatsschattingen (bijv. een drone die navigeert op basis van een foutieve vrije-ruimte kaart).
Beperkingen in Evaluatie: Huidige benchmarks en simulaties (bijv. Isaac Sim, CARLA) zijn waardevol voor het genereren van edge cases, maar lossen het autorisatieprobleem niet inherent op. Ze missen het mechanisme om te beslissen of een voorgestelde actie geautoriseerd is onder real-world onzekerheid en operationele beperkingen.

5. Betekenis en Claims

Het artikel beweert dat veiligheid van Fysieke AI fundamenteel een autorisatieprobleem is, en niet louter een modeltrainings- of controllerprobleem.

Het Kernargument: Een "plausibele" modelactie moet een onafhankelijke, controleerbare grens passeren voordat deze een "fysieke toezegging" wordt. Deze grens moet de validiteit van de staat, de fysieke haalbaarheid en de operationele beperkingen simultaan evalueren.
Bescheiden Omvang: De auteurs geven expliciet aan dat dit geen nieuwe standaard, een volledig guardrail-ontwerp of een certificeringshandleiding is. Het is een gestructureerde kaart van de kloof tussen modelcapaciteit en fysieke-actie-assurance.
Falsifieerbaarheid: De centrale claim is falsifieerbaar. De claim zou verzwakt worden als toekomstige systemen zouden kunnen aantonen dat model-interne betrouwbaarheid, laag-niveau filters of semantische guardrails alleen consistent stille fouten voorkomen over heterogene platforms. Omgekeerd wordt de claim versterkt als externe controles noodzakelijk blijven.
Implicaties:
- Onderzoekers moeten de focus van evaluatie verschuiven van taaksucces naar autorisatie-events en interventiekwaliteit.
- Systeembouwers moeten een scheiding ontwerpen tussen modelvoorstellen en runtime-autoriteit om onafhankelijke controles en controleerbaarheid te garanderen.
- Regulatoren en Veiligheidsteams kunnen de reconstructeerbare autorisatieverslagen gebruiken om incidenten te analyseren en te begrijpen waarom acties werden geautoriseerd of geblokkeerd onder onzekerheid.

Concluderend stelt het artikel dat naarmate AI overgaat van het voorspellen van de wereld naar het handelen binnen de wereld, de industrie een runtime-autorisatielaag nodig heeft die de beslissing om te handelen behandelt als een afzonderlijke, controleerbare gebeurtenis, gescheiden van het generatieve proces dat de actie voorstelt.