Technische Samenvatting: RoboJailBench

Probleemstelling

De integratie van Vision-Language Models (VLM's) in fysieke platformen (bijvoorbeeld robots, autonome voertuigen) heeft belichaamde AI-systemen gecreëerd die visuele scènes kunnen interpreteren en natuurlijke taalcommando's kunnen uitvoeren. Deze cyber-fysieke kruising introduceert echter ernstige veiligheidskwetsbaarheden. Hoewel recent onderzoek de haalbaarheid van "jailbreak"-aanvallen op belichaamde AI heeft aangetoond en eerste verdedigingsmaatregelen heeft voorgesteld, lijden huidige evaluatie-inspanningen aan drie kritieke beperkingen:

1. Ad-hoc Datastelsels: Evaluaties vertrouwen op beperkte, niet-gestandaardiseerde datastelsels die het volledige spectrum aan adversariele risico's niet dekken.
2. Verwaarloosde Nuttigheid: Verdedigingsmethoden worden vaak uitsluitend beoordeeld op de Aanvalsuccesratio (ASR), waarbij de afweging tussen veiligheid en het vermogen van het systeem om goedaardige, nuttige commando's uit te voeren, wordt genegeerd.
3. Gebrek aan Standaardisatie: Er bestaat geen uniek benchmark met gestandaardiseerde metrieken en processen om aanvallen en verdedigingen te vergelijken tussen verschillende belichaamde AI-modellen.

Bestaande benchmarks richten zich ofwel op traditionele chat-gebaseerde modellen of focussen op niet-adversariële veiligheid (bijvoorbeeld robuustheid van navigatie), en slagen er niet in de specifieke adversariele invoer, gevolgen en evaluatiecriteria vast te leggen die vereist zijn voor belichaamde systemen.

Methodologie

De auteurs stellen ROBOJAILBENCH voor, een uitgebreid benchmarkkader dat bestaat uit drie kernelementen:

1. Veiligheidstaxonomie

De auteurs hebben een veiligheidstaxonomie afgeleid die is geworteld in de fysieke realiteit van belichaamde AI, door drie bronnen te kruisverwijzen:

• Formele Standaarden: ISO/TS 15066 en ISO 10218 (industriële robotveiligheid).
• Theoretische Kaders: Asimovs Wetten van de Robotica.
• Empirische Data: Wereldwijde ongevallenrapporten en gedocumenteerde veiligheidsviolaties uit nieuws en eerder onderzoek.

Dit proces leverde 18 distincte categorieën van veiligheidsviolatiegevolgen op (bijvoorbeeld botsing met mensen/robots, kracht/drukviolaties, ongeautoriseerde opname, databedrog en fysieke verstoring). In tegenstelling tot taxonomieën voor tekst-only LLM's, bevat deze set categorieën die uniek zijn voor fysieke belichaming, zoals ongeautoriseerde beeldopname en krachtovertredingen.

2. Intentie-Contrast Datastelsel Pijplijn

Om de afweging tussen veiligheid en nuttigheid te meten, introduceerden de auteurs een pijplijn die elke visuele scène koppelt aan twee distincte doelen:

• Adversariaal Doel ($g_{adv}$): Een instructie ontworpen om uitlijning te omzeilen en onveilig gedrag te induceren.
• Goedaardig Doel ($g_{ben}$): Een veilige instructie voor normale bediening binnen dezelfde fysieke context.

De auteurs construeerden een nieuw datastelsel, RJB-Instructions, met 90 afbeeldingen (5 per taxonomiecategorie) die zijn gegenereerd om fysieke haalbaarheid voor beide doelen te waarborgen. Daarnaast verrijkten ze vijf bestaande belichaamde AI-datastelsels (DROID, RH20T, RoboVQA, Robo2VLM en NVIDIA PhysicalAI-AV) met deze pijplijn, waarbij ze voor bestaande afbeeldingen gepaarde adversariele/goedaardige doelstellingen genereerden.

3. Evaluatiekader

Het kader standaardiseert de beoordeling van aanvallen en verdedigingen via drie pijplijnen:

• Aanvalspijplijn: Past technieken toe (bijvoorbeeld prompt-injectie) om invoer te modificeren ($\delta_{inst}, \delta_{vis}$) teneinde een adversariaal doel te bereiken.
• Verdedigingspijplijn: Omhult doelmodellen met verdedigingsstrategieën (bijvoorbeeld prompt-engineering, scene-graph-analyse) om adversariele uitkomsten te voorkomen terwijl de nuttigheid behouden blijft.
• Evaluatiepijplijn: Berekent gestandaardiseerde metrieken:
  • Aanvalsuccesratio (ASR): De kans dat het model het adversariale doel uitvoert.
  • Veiligheidsratio (SR): $1 - ASR$ (de kans op het afwijzen van de aanval).
  • Nuttigheidsratio (UR): De kans op het succesvol uitvoeren van het goedaardige doel.
  • Harmonisch Gemiddelde van Veiligheid en Nuttigheid (SU-HM): Een gecombineerde score die verdedigingen belooft die hoge veiligheid bereiken zonder nuttigheid op te offeren.

Belangrijkste Bijdragen

1. Belichaming-Gewortelde Taxonomie: De eerste veiligheidstaxonomie voor belichaamde AI, afgeleid van ISO-standaarden, robotica-wetten en incidentrapporten, die 18 categorieën van fysieke en digitale risico's bestrijkt.
2. Intentie-Contrast Datastelsels: Een nieuw, op taxonomie gebalanceerd datastelsel (RJB-Instructions) en een verrijkingspijplijn voor vijf bestaande datastelsels, waardoor gelijktijdige evaluatie van veiligheid en nuttigheid mogelijk wordt.
3. Gestandaardiseerd Evaluatiekader: Een uitbreidbaar systeem voor het inzetten van aanvallen en verdedigingen met uniforme metrieken (ASR, SR, UR, SU-HM).
4. Empirisch Benchmarken: Integratie en evaluatie van vier aanvalstechnieken (van BadRobot en RoboPAIR) en twee verdedigingstechnieken (Google Prompt en RoboGuard) op toonaangevende belichaamde VLM's (bijvoorbeeld Gemini Robotics-ER 1.6).

Experimentele Resultaten

De auteurs evalueerden state-of-the-art VLM's en combinaties van aanval/verdediging over de zes datastelsels:

• Basisprestaties: In niet-adversariële settings toonden modellen zoals GPT-5.4 Nano en Claude Haiku 4.5 hoge nuttigheid (acceptatie van goedaardige doelen >94%) en variërende veiligheid (afwijzing van adversariele doelen 88–98%).
• Aanvalseffectiviteit: Conceptuele Bedrog (CD) was de meest effectieve aanval, met een ASR van 94–100% op verschillende datastelsels in de setting zonder verdediging. RoboPAIR was de op één na meest effectieve. Contextuele Jailbreak en Veiligheidsmisalignement waren minder consistent.
• Verdedigingseffectiviteit:
  • Google Prompt: Verbeterde over het algemeen de veiligheid terwijl hoge nuttigheid werd behouden, en behaalde de beste SU-HM-scores op DROID, Robo2VLM en RH20T.
  • RoboGuard: Toonde sterkte tegen RoboPAIR-aanvallen, met name door SU-HM te verbeteren op PhysicalAI AV en RJB-Instructions, vaak met behoud van een perfecte nuttigheidsratio (100%).
  • Afweging: Er werd een duidelijke afweging tussen veiligheid en nuttigheid waargenomen. Hoewel verdedigingen de veiligheid verbeterden, toonden sommige (zoals RoboGuard op bepaalde datastelsels) marginale dalingen in nuttigheid vergeleken met de basislijn, hoewel RoboGuard in meerdere specifieke configuraties 100% nuttigheid behield.

Betekenis en Claims

Het artikel claimt het eerste gestandaardiseerde evaluatiekader te bieden dat specifiek is voor jailbreak-aanvallen in belichaamde AI. De betekenis hiervan ligt in:

• Overbrugging van de Kloof: De overstap van ad-hoc testen naar een door taxonomie gedreven, reproduceerbaar benchmark dat rekening houdt met de unieke fysieke gevolgen van AI-fouten.
• Holistische Evaluatie: De verschuiving van focus van puur het blokkeren van aanvallen naar het optimaliseren van de afweging tussen veiligheid en nuttigheid, zodat robots functioneel blijven voor goedaardige taken terwijl ze weerstand bieden tegen kwaadaardige.
• Gemeenschapsbron: Door het vrijgeven van code, datastelsels en het onderhouden van een publieke leaderboard, beogen de auteurs toekomstig onderzoek in adversariele aanvallen en verdedigingen voor belichaamde AI te ondersteunen, en de ontwikkeling van veiligere fysieke AI-systemen te faciliteren.

De auteurs erkennen beperkingen, waaronder enkel Engelstalige prompts, statische visuele contexten (zonder temporele dynamiek) en de huidige focus op robotica met beperkte data voor autonoom rijden. Ze positioneren RoboJailBench als een fundamentele stap naar een uniek platform voor de veiligheid van belichaamde AI.