🤖 AI

SENTINEL: A Multi-Level Formal Framework for Safety Evaluation of Foundation Model-based Embodied Agents

SENTINEL is een nieuw multi-level formeel framework dat de fysieke veiligheid van op foundation models gebaseerde embodied agents waarborgt door semantisch begrip, planning en executie systematisch te verifiëren tegen formele temporele logica-specificaties op semantisch, plan- en trajectniveau.

Oorspronkelijke auteurs: Simon Sinong Zhan, Philip Wang, Yao Liu, Yiyan Peng, Zinan Wang, Qineng Wang, Zhian Ruan, Xiangyu Shi, Xinyu Cao, Frank Yang, Zhenyang Ni, Kangrui Wang, Ruohan Zhang, Huajie Shao, Manling Li, Qi Zhu

Gepubliceerd 2026-07-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Simon Sinong Zhan, Philip Wang, Yao Liu, Yiyan Peng, Zinan Wang, Qineng Wang, Zhian Ruan, Xiangyu Shi, Xinyu Cao, Frank Yang, Zhenyang Ni, Kangrui Wang, Ruohan Zhang, Huajie Shao, Manling Li, Qi Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gloednieuwe robot leert om te helpen in het huishouden. Je wilt dat hij een boterham voor je maakt, je kamer opruimt, of misschien gewoon een glas water aan je geeft. Dit is de opwindende wereld van "embodied agents"—robots die kunnen zien, denken en bewegen in de echte (of virtuele) wereld. Om deze robots slim genoeg te maken om jouw slordige instructies te begrijpen, geven wetenschappers ze "foundation models", die lijken op gigantische, superintelligente breinen die getraind zijn op bijna alles wat mensen ooit hebben geschreven. Maar hier zit de adder onder het gras: alleen omdat een robot slim is, betekent niet dat hij veilig is. Een superintelligente robot kan de snelste manier uitzoeken om je een drankje te geven, maar als hij niet beseft dat water naast een laptop schenken een slecht idee is, kan hij een kortsluiting veroorzaken. De grote vraag die wetenschappers zich stellen is: Hoe zorgen we ervoor dat deze breinachtige robots niet per ongeluk het huis afbranden of onze spullen kapotmaken terwijl ze proberen behulpzaam te zijn?

Hier komt een nieuw framework genaamd SENTINEL in beeld. Denk aan SENTINEL als een zeer strenge, superlogische veiligheidsinspecteur voor robotbreinen. In plaats van de robot alleen te vragen: "Denk je dat dit veilig is?" (wat zoiets is als een kind vragen of het denkt dat springen van een dak oké is—ze zullen misschien ja zeggen omdat ze de zwaartekracht niet begrijpen), gebruikt SENTINEL een speciale "wiskundige taal" genaamd temporele logica. Deze taal is als een set onbreekbare regels die precies beschrijft wat er moet gebeuren, wat er niet mag gebeuren, en in welke volgorde. Bijvoorbeeld, in plaats van te zeggen "wees voorzichtig met vuur", schrijft SENTINEL een regel die zegt: "Als het fornuis aan staat, dan mag papier nooit binnen één meter daarvan zijn."

De onderzoekers hebben een testsysteem gebouwd dat de veiligheid van de robot op drie verschillende stadia controleert, een beetje zoals een beveiligingscontrole met drie lagen op een luchthaven. Eerst, op het Semantische Niveau, controleren ze of de robot de veiligheidsregels die je hem gaf daadwerkelijk begrijpt. Heeft hij je woorden ("Meng geen bleekmiddel en ammoniak") vertaald naar de juiste wiskundige regels? Ten tweede, op het Plan-Niveau, kijken ze naar de to-do lijst van de robot voordat hij begint te bewegen. Als het plan zegt: "Zet de magnetron aan, doe er dan een metalen lepel in", vangt SENTINEL deze fout direct op, zoals een leraar een fout antwoord op een toets opmerkt voordat de leerling deze inlevert. Ten slotte, op het Traject-Niveau, kijken ze naar de robot terwijl deze de taak uitvoert in een simulatie. Zelfs als het plan er goed uitzag, kan het zijn dat de arm van de robot te ver uitsloeg en een vaas omstootte. SENTINEL bekijkt de hele film van de acties van de robot om te controleren of er in realtime niets misgaat.

In hun experimenten testte het team dit systeem op virtuele robots in digitale keukens en woonkamers. Ze ontdekten dat hoewel grote, krachtige AI-modellen erg goed zijn in het uitzoeken van hoe je een taak uitvoert, ze vaak de veiligheidsdetails missen tenzij ze gecontroleerd worden met deze strikte wiskundige regels. Wanneer SENTINEL de robots specifieke feedback gaf over waarom een plan onveilig was (zoals het aanwijzen van het exacte moment waarop een metalen lepel in de magnetron ging), leerden de robots hun fouten veel beter te herstellen dan wanneer ze door een andere AI simpelweg te horen kregen dat het "onveilig" was. De studie suggereert dat om robots echt veilige helpers te maken, we weg moeten bewegen van gissen en moeten beginnen met het gebruiken van deze precieze, wiskundige veiligheidscontroles bij elke stap van het denkproces van de robot. Het gaat niet alleen om slim zijn; het gaat om voorzichtig zijn, en SENTINEL is het hulpmiddel dat ons helpt robots te leren om beide te zijn.

Technische Samenvatting: SENTINEL

Probleemstelling

De integratie van Foundation Models (FM's) in belichaamde agenten (embodied agents) heeft de capaciteiten voor planning en mens-robotinteractie uitgebreid, maar heeft tegelijkertijd de veiligheidsrisico's vergroot. Bestaande evaluatiebenchmarks voor FM-gebaseerde agenten richten zich primair op takenvoltooicingsmetrieken (bijv. succespercentages) en behandelen fysieke gevaren vaak louter als taalfouten in plaats van als afzonderlijke veiligheidsschendingen. Huidige methoden voor veiligheidsevaluatie leunen zwaar op heuristische regels of subjectieve FM-gebaseerde beoordelaars (LLM-as-Judge), die een gebrek aan rigoureuze definities vertonen en er niet in slagen om onderscheid te maken tussen fouten die optreden op verschillende stadia in de pipeline van de agent: semantisch onbegrip, onveilige plangeneratie of onveilige fysieke uitvoering. Bovs wordt er bovendien vaak niet onderscheid gemaakt tussen de specifieke laag waarop een veiligheidsschending ontstaat.

Methodologie

De auteurs stellen SENTINEL voor (Safety EvaluatioN framework with Temporal logics for INterpretable Embodied foundation modeL-based agents), een multi-level formeel framework dat fysieke veiligheid fundeert in temporele logica-specificaties. Het framework opereert binnen simulatieomgevingen (VirtualHome en AI2-THOR) en evalueert agenten over drie progressieve niveaus:

1. Formele Veiligheidsspecificatie

SENTINEL codeert natuurlijke taal veiligheidsbeperkingen in Temporele Logica formules, specifiek Linear Temporal Logic (LTL) en Computation Tree Logic (CTL).

State Invariants (Toestandsinvarianten): Beperkingen die onveilige toestanden op elk moment verbieden (bijv. $G(\neg p)$ voor botsingsvermijding).
Ordering Constraints (Ordeningsbeperkingen): Beperkingen die een correcte actiesequentie afdwingen (bijv. $G(p \to F q)$ voor "uiteindelijk uitschakelen").
Classificatie: Veiligheidsregels worden gecategoriseerd in state invariants en ordering constraints, en in kaart gebracht naar atomaire proposities afgeleid van objecteigenschappen in de simulatie.

2. Multi-Level Evaluatie Pipeline

Het framework maakt gebruik van een driestaps-pipeline om fouten stapsgewijs te filteren en schendingen te lokaliseren:

Semantisch Niveau (Semantic-Level Evaluation):
- Doel: Beoordelen van het vermogen van de FM om natuurlijke taal veiligheidseisen te vertalen naar formele LTL-formules.
- Methode: De agent krijgt veiligheidsbeperkingen voorgeschoteld en genereert kandidaat LTL-formules. Deze worden vergeleken met grondwaarheid (ground-truth) LTL-specificaties via syntactische controles en semantische equivalentieverificatie (via Büchi-automaten en taalcontainment).
- Output: Metrieken over syntactische fouten, semantische niet-equivalentie en succesvolle interpretatie.
Plan Niveau (Plan-Level Evaluation):
- Doel: Verifiëren van hoog-niveau actieplannen en subdoelen tegen de LTL-beperkingen vóór uitvoering.
- Methode: De agent genereert een hoog-niveau actieplan (mijlpaal-subdoelen). Dit plan wordt gecontroleerd tegen de LTL-formules om onveilige symbolische ordeningen of ontbrekende precondities te detecteren. Een Breadth-First Search (BFS) wordt gebruikt om de uitvoerbaarheid van het plan binnen de actieruimte te valideren.
- Output: Identificatie van onveilige plannen die de taakdoelen weliswaig vervullen, maar de veiligheidsbeperkingen schenden.
Traject Niveau (Trajectory-Level Evaluation):
- Doel: Evalueren van de fysieke uitvoering van plannen, rekening houdend met vertakkende uitkomsten en omgevingsdynamiek.
- Methode: Meerdere executie-trajecten worden gesampled uit de simulator op basis van het hoog-niveau plan. Deze trajecten worden samengevoegd in een Computation Tree ( $T$ ). Veiligheidseisen worden van LTL naar CTL getild om branching-time eigenschappen te evalueren.
- Verificatie: Een CTL model checker verifieert eigenschappen (bijv. $AG \phi$ voor "alle paden voldoen altijd aan $\phi$ ") tegen de boom.
- Output: Detectie van uitvoering-afhankelijke schendingen en generatie van tegenvoorbeeldpaden (specifieke toestanden of sequenties die tot falen leiden).

3. Feedback-gestuurde Verfijning

SENTINEL gebruikt de tegenvoorbeelden die gegenereerd worden tijdens de traject-niveau controle om verifieerbare feedback aan de agent te geven. Deze feedbackloop stelt de agent in staat om plannen iteratief te verfijnen, met als doel de veiligheid te verbeteren zonder de onderliggende agent-architectuur te wijzigen.

Belangrijkste Bijdragen

Formele en Interpreteerbare Veiligheidsspecificaties: Het werk fundeert intuïtieve veiligheidseisen in LTL en CTL, wat expliciete categorisering (state invariants, temporele afhankelijkheden) en formele verificatie mogelijk maakt in plaats van heuristische beoordeling.
Uniform Multi-Level Formeel Veiligheidsevaluatie: SENTINEL is het eerste framework dat veiligheid progressief evalueert over semantische interpretatie, plangeneratie en fysieke uitvoering. Dit ontwerp maakt het mogelijk om fouten te lokaliseren naar specifieke stadia (begrip versus redeneren versus uitvoering).
Cross-Level Empirische Analyse: De auteurs passen SENTINEL toe op VirtualHome en AI2-THOR, waarbij zij taken uitbreiden met veiligheidsgerichte vereisten. Zij demonstreren dat veiligheidsschendingen vaak voortkomen uit verschillende niveaus (bijv. semantische misinterpretatie versus laag-niveau controllerfouten) en dat formele evaluatie faalmodi blootlegt die onzichtbaar zijn voor alleen op taaksucces gerichte benchmarks.

Experimentele Resultaten

De auteurs evalueerden meerdere Closed-Source (GPT-5, Claude-Opus, Gemini) en Open-Source (DeepSeek, Qwen, Mistral, Llama) LLM's, evenals Vision-Language Models (VLMs).

Semantisch Niveau: Grotere modellen vertoonden een significant hogere prestatie in het vertalen van natuurlijke taal naar LTL vergeleken met kleinere open-source modellen. Desondanks hadden zelfs sterke modellen moeite met conditionele verboden vergeleken met globale verboden.
Plan Niveau: Modellen met een hogere semantische equivalentie vertoonden over het algemeen hogere veiligheidspercentages op planniveau. Het toevoegen van expliciete veiligheidsinstructies (LTL-prompts) verbeterde de veiligheidsmetrieken echter, maar elimineerde niet alle schendingen.
Traject Niveau:
- LLM's vs. VLMs: VLM-gebaseerde agenten behaalden over het algemeen hogere veiligheidspercentages dan tekstuele LLM's, waarschijnlijk omdat visuele gronding helpt bij het detecteren van fysieke gevaren. VLMs vertoonden echter vaak lagere taaksuccespercentages, wat duidt op een trade-off tussen veiligheid en capaciteit.
- Executiefouten: Er werd een significante daling waargenomen in "Success & Safety" van het plan-niveau naar het traject-niveau, wat suggereert dat veel fouten voortkomen uit laag-niveau actie-argumenten en het gebrek aan veiligheidsmechanismen in de controllers.
Veiligheidsverbetering: In een verfijningsloop-experiment leidde de verifieerbare tegenvoorbeeld-feedback van SENTINEL tot aanzienlijk grotere verbeteringen in de veiligheidsmetrieken (ongeveer een verdubbeling van de verbetering ten opzichte van een LLM-as-Judge baseline), terwijl de winst in taaksucces vergelijkbaar bleef. Analyse toonde aan dat LLM-as-Judge baselines vaak echt onveilige trajecten misten (83% miss rate in één studie), terwijl de formele controles van SENTINEL betrouwbaarder waren.
Efficiëntie: CTL-gebaseerde verificatie over een samengevoegde computation tree bleek efficiënter dan onafhankelijke LTL-controle, waarbij de snelheidswinst toenam naarmate het aantal trajecten groeide.

Betekenis en Claims

Het artikel claimt dat SENTINEL een rigoureuze fundering biedt voor het systematisch evalueren van de veiligheid van FM-gebaseerde belichaamde agenten. Door verder te gaan dan heuristische of subjectieve oordelen, biedt het framework:

Lokalisatie: Het vermogen om aan te wijzen of een veiligheidsfout voortkomt uit het verkeerd begrijpen van instructies, het genereren van onveilige plannen, of het onveilig uitvoeren van acties.
Actiegerichte Feedback: De generatie van verifieerbare tegenvoorbeelden die verfijningslussen kunnen aansturen voor betekenisvolle veiligheidsverbeteringen.
Schaalbaarheid: Het gebruik van CTL over gesamplede computation trees biedt een praktische afweging, waarbij schaalbare empirische detectie van schendingen wordt geboden zonder de onhaalbaarheid van volledige state model checking in complexe fysieke omgevingen.

De auteurs benadrukken dat SENTINEL empirische detectie biedt in plaats van gecertificeerde verificatie, aangezien het opereert op een eindige computation tree die is samengesteld uit gesamplede trajecten. Zij erkennen dat gemiste schendingen mogelijk blijven als het aantal samples onvoldoende is, maar stellen dat deze aanpak dichter bij statistische model checking ligt en noodzakelijk is gezien de black-box natuur van FM's en de complexiteit van fysieke omgevingen. Het framework wordt gepresenteerd als een stap richting verifieerbare veiligheidsbenchmarks en veiligheidsbewuste reinforcement learning rewards.