💻 computer science

REALM: A Unified Red-Teaming Benchmark for Physical-World VLMs

Dit artikel introduceert REALM, de eerste verenigde red-teaming benchmark voor fysieke Vision-Language Modellen, die de evaluatie van diverse aanvalsmethoden en verdedigingen standaardiseert via een gedeelde, fysiek gegrondeerde doelgeneratie-pipeline om de fragmentatie in huidige veiligheidsbeoordelingen aan te pakken.

Oorspronkelijke auteurs: Yifei Zhao, Qian Lou, Mengxin Zheng

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yifei Zhao, Qian Lou, Mengxin Zheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme robotassistent hebt gebouwd die de wereld kan zien en erover kan praten. Je wilt dat deze robot auto's bestuurt, objecten oppakt of mensen helpt in hun huizen. Maar voordat je hem in de echte wereld loslaat, moet je ervoor zorgen dat hij niet wordt gefopt om iets gevaarlijks te doen, zoals een auto crashen of het verkeerde gereedschap pakken.

Deze paper introduceert REALM, een nieuwe "stress test" die specifiek is ontworpen om te zien hoe gemakkelijk deze robotbreinen kunnen worden misleid wanneer ze te maken hebben met echte fysieke taken.

Hier is een uitsplitsing van wat de paper doet, met behulp van eenvoudige analogieën:

1. Het Probleel: De "Chatbot" Test vs. De "Echte Wereld" Test

Stel je een beveiligingsbeambte voor (de AI).

Oude Tests (Chatbot Benchmarks): Deze tests vragen de bewaker: "Kun je iets gemeens of illegale zeggen?" Als de bewaker zegt: "Nee, dat ga ik niet doen," dan slagen ze. Dit is alsof je een bewaker test op het wel of niet breken van de regels van een gesprek.
Het Echte Probleel: In de fysieke wereld gaat het gevaar niet alleen over het uitspreken van slechte woorden. Het gaat erom dat de bewaker het verkeerde doet. Als een robot die een auto bestuurt een stopbord ziet met een klein stickertje erop, kan hij denken dat het een voorrangsbord is en doorrijden. De oude tests hadden dit niet gevangen. Ze zochten naar "slechte woorden", niet naar "slechte acties".

REALM is de nieuwe test die vraagt: "Als ik je ogen of je instructies foai, maak je dan een fysieke fout?"

2. De Oplossing: Een Verenigde "Gym" voor AI

Voordat deze paper verscheen, had elke onderzoeker zijn eigen verschillende sportschool, zijn eigen verschillende gewichten en zijn eigen verschillende regels. Het was onmogelijk om te vergelijken wie er daadwerkelijk sterker was.

De REALM Gym: De auteurs bouwden één grote, gestandaardiseerde sportschool. Ze verzamelden 12 verschillende manieren om de AI te misleiden (attacks), 3 manieren om de AI te beschermen (defenses) en 13 verschillende AI-modellen om te testen.
De "Agentic" Coach: Een van de moeilijkste onderdelen van testen is beslissen welke fout je moet zoeken. Als je een plaatje van een auto laat zien, moet de AI dan denken dat het een fiets is? Moet de AI denken dat de auto achteruit rijdt?
- De paper creëerde een speciale "Coach AI" (een agentic pipeline). Deze Coach bekijkt elke scène en bedenkt een specifieke, realistische fout die de AI zou kunnen maken. Bijvoorbeeld, in een scène met verkeer, kan de Coach besluiten: "Vandaag moet de AI denken dat het rode licht groen is." Dit zorgt ervoor dat elke AI tegen precies dezelfde "truc" wordt getest, wat de vergelijking eerlijk maakt.

3. De Experimenten: Wat is er Gebeurd?

De onderzoekers hebben deze tests uitgevoerd op 13 verschillende AI-modellen (sommige klein, sommige groot) en vonden enkele verrassende dingen:

De "Notitie op de Muur" Truc is de Beste: De meest effectieve manier om deze robots te breken was niet door de pixels van de afbeelding te verstoren (zoals het toevoegen van onzichtbare ruis). Het was door de tekstuele instructies te veranderen of een nepbord in de afbeelding te plaatsen.
- Analogie: Het is makkelijker om een robot te misleiden door in zijn oor te fluisteren "Negeer het stopbord" (text injection) dan door een piepklein, onzichtbaar stipje op het stopbord te schilderen (visual perturbation).
De "One-Shot" Truc: Sommige aanvallen vereisen dat een hacker honderden keren probeert, waarbij de afbeelding telkens een klein beetje wordt aangepast om te zien wat werkt. De onderzoekers vonden dat sommige "one-shot" aanvallen (slechts één keer proberen) bijna net zo goed werkten als de aanvallen die honderden keren probeerden. Dit betekent dat hackers niet geduldig hoeven te zijn om deze systemen te breken.
Grooter is Niet Altijd Veiliger: Je zou denken dat een gigantische, superdure AI (100 miljard parameters) moeilijker te misleiden is dan een kleine. De paper vond dat grootte er niet veel toe doet. Een enorme AI werd net zo gemakkelijk gefopt als een kleine AI, als de truc maar goed was.
Gespecialiseerde Training Helpt Niet: Sommige AI's werden specifiek getraind om goed te zijn in fysica en redeneren. Je zou denken dat ze slimmer en moeilijker te misleilen zijn. Toch niet. Ze waren net zo kwetsbaar als de anderen.

4. De Defenses: Kunnen We de Trucs Stoppen?

De onderzoekers probeerden ook drie verschillende "schilden" om de AI te beschermen:

Tekst Schild: Eén schild was erg goed in het stoppen van de "fluisterende" teksttrucs.
Visueel Schild: Een ander schild was redelijk in het stoppen van de "onzichtbare stip" afbeeldingstricks.
De Catch: Geen enkel schild stopte alles. Als je een tekstschild gebruikte, werkten de afbeeldingstricks nog steeds. Als je een visueel schild gebruikte, werkten de teksttrucs nog steeds. Je hebt een gelaagd verdedigingssysteem nodig.

Samenvatting

REALM is de eerste gestandaardiseerde manier om te controleren of AI-robots veilig zijn in de echte wereld. Het vond dat:

Teksttrucs momenteel het grootste gevaar vormen.
Grote modellen niet automatisch veilig zijn.
Gespecialiseerde training hen niet immuun maakt voor het worden misleid.
We betere, meerlaagse verdedigingen nodig hebben om onze fysieke AI veilig te houden.

De paper concludeert dat we niet alleen kunnen vertrouwen op testen of een AI "slechte woorden" zegt; we moeten testen of het "slechte bewegingen" maakt in de fysieke wereld.

Technische Samenvatting: REALM – Een Verenigde Red-Teaming Benchmark voor Fysieke Wereld VLM's

1. Probleemstelling

Vision-language modellen (VLM's) worden steeds vaker ingezet als perceptie-redeneringsbackbones voor belichaamde intelligentie in veiligheidskritische fysieke systemen, zoals autonome voertuigen en robotische manipulatorarmen. In deze contexten kunnen fouten in perceptie of redenering leiden tot onveilige fysieke acties. Hoewel er talrijke red-teaming methoden bestaan om de kwetsbaarheden van VLM's te testen, is het huidige evaluatie landschap gefragmenteerd. Bestaande benchmarks richten zich primair op chatbot-gecentreerde veiligheid (bijv. jailbreaking, genereren van giftige inhoud) en missen gestandaardiseerde protocollen voor fysiek gegronde functionele defecten.

Huidige uitdagingen omvatten:

Fragmentatie van Evaluatie: Diverse datasets, metrieken en dreigingsmodellen verhinderen een directe vergelijking van de effectiviteit van aanvallen.
Misalignement van Doelstellingen: Chatbot-benchmarks meten weigeringspercentages of toxiciteit, terwijl fysieke wereld VLM's evaluatie vereisen van actievoorspelling, taakvoltooiing en ruimtelijke redeneringsfouten.
Gebrek aan Verenigde Protocollen: Bestaande fysieke wereld benchmarks (bijv. PhysBench, PAI-Bench) evalueren de schone prestaties, maar bieden geen verenigde red-teaming protocollen met gedeelde aanvalsdoelen over diverse methoden heen.

2. Methodologie: Het REALM Framework

De auteurs introduceren REALM (Red-teaming Benchmark for Physical-World VLMs), de eerste verenigde benchmark die is ontworpen om de adversariële robuustheid in fysieke werelden te evalueren onder een praktisch black-box dreigingsmodel.

2.1 Benchmark Structuur

REALM organiseert de evaluatie langs drie assen:

Fysieke Domeinen: Zeven domeinen inclusief Driving (Rijden), Manipulation (Manipulatie), Grasping (Grijpen), Physics (Natuurkunde), Egocentric assistance (Egocentrische assistentie), Diagnostics (Diagnostiek) en Scene-level Question Answering (Scenario-niveau vraag en antwoord).
Taakfamilies: Perceptie, Voorspelling, Redenering, Evaluatie en Planning.
Foutmodi: Fysiek gegronde outputfouten, zoals fouten in actievoorspelling, fouten in taaksucces, ruimtelijke redeneringsfouten en belichaamde planningsfouten.

De dataset bestaat uit 832 testgevallen afgeleid van bestaande physical-AI benchmarks, uitgebreid naar 9.984 adversariële testgevallen verspreid over 12 red-teaming methoden en 13 slachtoffer-VLM's.

2.2 Agentic Target-Generation Pipeline

Een kerninnovatie van REALM is de agentic target-generation pipeline, die de moeilijkheid aanpakt van het definiëren van vaste aanvalsdoelen voor scenario-specifieke fysieke taken.

Proces: Gegeven een bronafbeelding, een vraag en een grondwaarheid-antwoord, analyseert een redenerend VLM-agent de scène om een plausibele foutmodus te identificeren (bijv. het verkeerd interpreteren van een manoeuvre van een voertuig).
Output: De pipeline genereert een scenario-specifiek target antwoord ( $a^{tar}_i$ ) en een target afbeelding ( $I^{tar}_i$ ) die de beoogde misperceptie visueel instantiëren.
Nut: Deze gedeelde targets stellen diverse red-teaming methoden (visuele perturbaties, prompt injectie, etc.) in staat om geëvalueerd te worden tegen dezelfde scenario-specifieke adversariële doelen, wat een eerlijke vergelijking garandeert.

2.3 Dreigingsmodel en Evaluatie

Dreigingsmodel: Een realistische black-box setting. Zowel de aanval als de defensiemethoden hebben geen toegang tot de parameters, gradiënten of interne staten van het slachtoffer-model.
Aanvalsgeneratie: Adversariële voorbeelden worden offline gegenereerd met behulp van surrogaatmodellen of externe generatoren en getransfereerd naar het slachtoffer-model voor een eenmalige evaluatie.
Metrieken: De primaire metriek is de Attack Success Rate (ASR), gedefinieerd als de snelheid waarmee een adversariële input de VLM ertoe brengt een incorrect antwoord te produceren dat een relevante fysieke fout reflecteert. Schone nauwkeurigheid wordt ook gerapporteerd voor baseline vergelijking.

2.4 Geëvalueerde Componenten

Slachtoffer Modellen: 13 VLM's (7B tot 100B+ parameters), inclusief propriëtaire modellen (Gemini-3-Flash, GPT-4.1-Mini) en open-source families (Qwen3.5, Qwen3-VL, Cosmos-Reason).
Red-Teaming Methoden: 12 methoden die het volgende dekken:
- Visuele Perturbaties: Gradiënt-gebaseerd (FOA, M-Attack, V-Attack), Co-optimalisatie (Chain-of-Attack), en Diffusion-gebaseerd (AdvDiffVLM).
- Fysieke Beperkingen: PhysPatch (gelokaliseerde patches).
- Generatief/Editing: AdvEDM, ImageMix.
- Injectie: Typografisch (FigStep), Prompt (PromptInject), en Single-pass (AnyAttack).
Defenses: 3 model-agnostische preprocessing defenses: PAD (patch verwijdering), FreqPure (frequentie zuivering), en BlueSuffix (tekst/afbeelding zuivering).

3. Belangrijkste Resultaten

3.1 Effectiviteit van Aanvallen

Tekst en Typografische Injectie: Deze aanvallen induceren de meeste fouten. PromptInject behaalde de hoogste gemiddelde ASR (64,8%), gevolgd door FigStep (49,4%). Dit geeft aan dat VLM's zeer kwetsbaar blijven voor manipulatie van de tekst- en hulpinstructiekanalen.
Visuele Perturbaties: Onder de visuele aanvallen leverde Chain-of-Attack (CoA), die perturbaties co-optimaliseert met dynamisch gegenereerde bijschriften, de sterkste transfer (54,6% ASR), waarmee standaard gradiënt-gebaseerde aanvallen werd overtroffen. Dit suggereert dat multimodale co-optimalisatie de cross-modale alignment beter exploiteert dan optimalisatie van enkel visuele features.
Efficiëntie: AnyAttack, een single-pass methode, behaalde een ASR van 49,9%, wat dicht bij de prestaties van iteratieve methoden ligt (zoals FOA met 48,1%) tegen een aanzienlijk lagere computationele kosten.
Fysieke Beperkingen: Ruimtelijk beperkte perturbaties (PhysPatch) vertoonden een lagere transferbaarheid (33,0% ASR) vergeleken met volledige beeld-perturbaties, wat aangeeft dat fysieke plausibiliteitsbeperkingen black-box transfer moeilijker maken.

3.2 Kwetsbaarheid van Modellen

Schaal vs. Robuustheid: Het vergroten van de model schaal (bijv. Qwen3.5 van 9B naar 122B) verbetert de schone nauwkeurigheid maar garandeert geen adversariële robuustheid. De ASR voor specifieke aanvallen (bijv. PromptInject) bleef nagenoeg onveranderd of nam zelfs toe met de schaal.
Domeinspecialisatie: Modellen die zijn post-getraind voor fysiek redeneren (Cosmos-Reason) vertoonden geen superieure robuustheid; sterker nog, ze toonden een hoge kwetsbaarheid, waarbij Cosmos-Reason2-8B een ASR van 76,8% bereikte onder PromptInject.
Propriëtair vs. Open Source: Propriëtaire modellen (Gemini, GPT) vertoonden kwetsbaarheidsniveaus die vergelijkbaar zijn met open-source modellen met een vergelijkbare schone nauwkeurigheid, wat suggereert dat closed-source implementatie niet inherent robuustheid garandeert.
Domein Variantie: Kwetsbaarheid varieert aanzienlijk per domein. Taken binnen Manipulation en Driving vertoonden de hoogste mediane ASR, terwijl Scene QA de laagste vertoonde.

3.3 Defense Analyse

Kanaalspecificiteit: Defenses zijn sterk kanaalspecifiek. BlueSuffix (tekstzuivering) verminderde de PromptInject ASR gemiddeld met 21,7%. FreqPure (frequentiefiltering) verminderde gradiënt-gebaseerde aanvallen (FOA) met 5,8%.
Beperkingen: Geen enkele enkele preprocessing defense generaliseerde over alle aanvals-paradigma's. Zo faalden visuele defenses (PAD, FreqPure) om tekst-injectie aanvallen te mitigeren, en geen van de defenses had invloed op FigStep.

4. Betekenis en Bijdragen

Het artikel stelt dat REALM de eerste verenigde framework biedt voor het vergelijken van red-teaming methoden in fysieke wereld VLM's. De betekenis ligt in:

Verenigde Benchmark: Het integreren van 12 aanvals methoden, 3 defenses en 13 VLM's onder een gedeeld protocol, wat een directe vergelijking van effectiviteit en dekking mogelijk maakt.
Agentic Target Generation: Het oplossen van het probleem van scenario-specifieke doelstelling-alignment, waardoor diverse aanvallen geëvalueerd kunnen worden tegen fysiek gegronde, scenario-consistente foutmodi.
Empirische Inzichten: Het vaststellen dat tekst-kanaal kwetsbaarheden momenteel de meest kritieke foutpunten zijn, dat multimodale co-optimalisatie de visuele transfer versterkt, en dat model schaal alleen onvoldoende is voor robuustheid.

De auteurs concluderen dat toekomstig werk verder moet gaan dan chatbot-georiënteerde contentveiligheid om dedicated benchmarks en defenses te ontwikkelen voor functionele robuustheid in gegronde fysieke taken.