Pre-Execution Safety Gate & Task Safety Contracts for LLM-Controlled Robot Systems
Dit paper introduceert SafeGate, een neurosymbolische veiligheidsarchitectuur die natuurlijke taalopdrachten voor robots valideert via een deterministische gate en Task Safety Contracts met Z3 SMT-oplossing om onveilige uitvoering te voorkomen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, maar nogal naïeve robot hebt. Deze robot is een super-snel vertaalprogramma: als je tegen hem zegt "Haal die hete koffie voor mijn dochter", denkt hij direct: "Oke, plan gemaakt!" en hij begint te bewegen.
Het probleem is dat deze robot niet echt begrijpt waarom iets gevaarlijk kan zijn. Hij ziet alleen de woorden, niet de risico's. Als je zegt "gooi die mes naar de hond", doet hij het misschien gewoon, omdat hij denkt dat het een opdracht is, niet beseffend dat messen en honden niet goed samenwerken.
De auteurs van dit onderzoek hebben een oplossing bedacht die ze SafeGate noemen. Je kunt je dit voorstellen als een slimme poortwachter of een veiligheidsinspecteur die tussen jou (de gebruiker) en de robot staat.
Hier is hoe het werkt, vertaald naar alledaagse taal:
1. De "Super-Inspecteur" (De Poortwachter)
Voordat de robot ook maar één stap zet, moet je opdracht door deze poortwachter. Deze inspecteur is niet zomaar een robot; hij is een combinatie van een slimme AI (die begrijpt wat je zegt) en een strenge wetboek (dat precies weet wat veilig is).
De inspecteur doet drie dingen:
- Checkt de opdracht: Hij leest je zin en vraagt zich af: "Is dit gevaarlijk?"
- Zoekt naar ontbrekende stukjes: Als je zegt "Geef die fles aan de persoon", vraagt hij: "Welke persoon? Is die persoon een baby of een volwassene? Wat zit er in de fles?" Als hij het niet weet, stopt hij de robot en vraagt jij om verduidelijking.
- Beslist: Hij kan drie dingen doen:
- Goedkeuren: "Alles lijkt veilig, robot, ga aan de slag!"
- Afwachten: "Ik weet het niet zeker, vraag de gebruiker eerst iets."
- Afwijzen: "Dit is te gevaarlijk, absoluut niet doen!" (Bijvoorbeeld: "Gooi de pan met kokend water").
2. Het "Veiligheidscontract" (De Onzichtbare Fysieke Barrière)
Als de inspecteur een opdracht goedkeurt, maakt hij geen gewone opdracht, maar een veiligheidscontract.
Stel je voor dat je een robot een opdracht geeft om een glas water te dragen. Het contract is als een onzichtbaar, onbreekbaar schild rondom de robot.
- Regels voor onderweg: "Je mag nooit sneller dan X lopen."
- Regels voor actie: "Je mag het glas alleen vasthouden als je hand stabiel is."
- De noodknop: "Als het glas begint te leunen, stop je direct."
Dit contract wordt vertaald naar wiskundige regels die de robot moet volgen. Zelfs als de robot zelf een foutje maakt in zijn planning, zorgt dit contract ervoor dat hij stopt voordat hij iemand pijn doet.
3. De "Live-Controle" (De Vlieger in de Storm)
Tijdens het uitvoeren van de taak houdt de inspecteur de robot in de gaten, alsof het een vlieger in een storm is.
- Als de robot plotseling een obstakel ziet of als de situatie verandert (bijvoorbeeld: de persoon loopt plotseling in de weg), controleert het systeem direct: "Is dit nog veilig volgens het contract?"
- Zo nee? Direct stoppen. De robot bevriest op zijn plaats. Hij doet niets meer totdat de situatie veilig is.
Waarom is dit zo belangrijk?
Vroeger waren robots als een onbezonnen kind: ze deden wat ze gezegd kregen, zonder na te denken over de gevolgen.
Met SafeGate is de robot als een ervaren, voorzichtig chauffeur.
- Als je zegt "Rijd hard", zegt hij: "Is de weg droog? Zijn er kinderen?" (Hij vraagt om meer info).
- Als je zegt "Rijd over de rand van de klif", zegt hij: "Nee, dat doe ik niet." (Hij weigert).
- Als je zegt "Rijd naar de winkel", zegt hij: "Oké, maar ik blijf binnen de snelheidslimiet en ik rem als er een hondje oversteekt." (Hij voert het uit met een veiligheidscontract).
Het Resultaat
In hun tests hebben ze gekeken naar 230 verschillende opdrachten.
- De oude systemen lieten vaak gevaarlijke opdrachten door (zoals "gooi het mes") of weigerden juist veilige opdrachten omdat ze bang waren.
- SafeGate slaagde erin om geen enkele gevaarlijke opdracht door te laten, maar liet wel bijna alle veilige opdrachten door.
Kortom: SafeGate zorgt ervoor dat robots niet alleen slim zijn in wat ze doen, maar ook wijs in wat ze niet moeten doen. Het is de veiligheidsriem die je nooit meer afdoet.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.