🤖 AI

Hallucination as Exploit: Evidence-Carrying Multimodal Agents

Dit artikel introduceert Bewijsdragende Multimodale Agenten (ECA), een beveiligde architectuur die autorisatiefouten veroorzaakt door hallucinaties voorkomt door tool-aanroepen te valideren tegen getypeerde, externe bewijscertificaten in plaats van te vertrouwen op de niet-geverifieerde perceptuele claims van het model.

Oorspronkelijke auteurs: Guijia Zhang, Hao Zheng, Harry Yang

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guijia Zhang, Hao Zheng, Harry Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar iets naïeve persoonlijke assistent hebt. Deze assistent kan screenshots bekijken, e-mails lezen en het web doorzoeken om je te helpen bij taken zoals geld overmaken, op knoppen te klikken of gegevens te extraheren.

Het probleem is dat deze assistent soms hallucinaties heeft. Hij kan je vol vertrouwen vertellen: "Ik zie een knop die 'Stuur $500 naar mijn vriend' zegt", terwijl die knop in werkelijkheid niet bestaat, of het eigenlijk een valstrik is die door een hacker is geplaatst.

In het verleden was een fout van de assistent gewoon een "slecht antwoord". Maar wanneer deze assistent verbonden is met echte tools (zoals een bankoverschrijving of een e-mailclient), is een hallucinatie niet zomaar een fout – het wordt een beveiligingslek. De assistent gelooft een onwaar feit, en omdat hij het gelooft, voert hij een gevaarlijke actie uit.

Dit artikel introduceert een nieuw systeem genaamd ECA (Evidence-Carrying Multimodal Agents) om dit op te lossen. Hieronder wordt uitgelegd hoe het werkt, met behulp van eenvoudige analogieën:

1. Het probleem: De "naïeve manager"

Stel je een standaard AI-agent voor als een Manager die in een kamer zit.

De Manager kijkt naar een document (het scherm) en zegt: "Ik zie hier een 'Betalen'-knop. Ik klik erop."
Als het document een nepafbeelding is die door een hacker is gemaakt, ziet de Manager toch een 'Betalen'-knop, omdat de AI verbeeldt dat hij er is.
De Manager klikt vervolgens op de knop en geld wordt gestolen. De Manager volgde geen kwaadaardig commando; hij hallucineerde gewoon de toestemming om te handelen.

2. De oplossing: De "bewijsdragende agent"

De auteurs stellen een nieuwe architectuur voor waarbij de Manager niet langer de enige leider is. Ze voegen een Beveiliger en een Notaris toe.

De Manager (De AI): Denkt nog steeds na. Hij kijkt naar het scherm en zegt: "Ik denk dat we op die knop moeten klikken."
De Notaris (De Verificators): Voordat de Manager daadwerkelijk op de knop kan klikken, controleert een apart, streng systeem (de Notaris) het scherm met verschillende tools (zoals een vergrootglas voor tekst, een scanner voor code en een kaart voor de lay-out).
Het Certificaat: De Notaris zegt niet zomaar "Oké". Hij geeft een digitaal certificaat af. Dit certificaat is een getypt, onveranderlijk ontvangstbewijs dat zegt: "Ik, de Notaris, bevestig dat een knop met het label 'Betalen' daadwerkelijk bestaat op deze exacte coördinaten."

3. De "Poort" (De Portier)

Er is een Poort tussen de Manager en de actie.

De Manager kan de poort niet openen door alleen te zeggen: "Ik geloof dat de knop er is."
De Poort opent alleen als de Manager het Certificaat van de Notaris presenteert.
Als de Manager probeert te zeggen: "Ik zag een knop", maar de Notaris heeft er geen certificaat voor afgegeven, blijft de Poort op slot. De actie wordt geblokkeerd.

4. Waarom dit anders is

Oude manier: Het woord van de AI was wet. Als de AI zei "Ik zie een bankoverschrijving", deed het systeem het.
Nieuwe manier (ECA): Het woord van de AI is slechts een suggestie. Het systeem handelt alleen als onafhankelijk bewijs (zoals een scan van de daadwerkelijke webpagina-code) bewijst dat de suggestie waar is.

De resultaten: Hoe goed werkte het?

De onderzoekers testten dit systeem tegen duizenden aanvallen, waaronder hackers die probeerden de AI te misleiden met nepafbeeldingen, verborgen tekst en verwarrende symbolen.

De "naïeve manager" (oude AI): Faalde bijna 100% van de tijd. Als de AI een gevaarlijke actie hallucineerde, voerde hij die uit.
De "alleen prompt"-verdediging (gewoon de AI vertellen om voorzichtig te zijn): Faalde ongeveer 50% van de tijd. De AI werd nog steeds bedrogen door zijn eigen hallucinaties.
Het nieuwe systeem (ECA):
- Het blokkeerde 100% van de onveilige acties in hun end-to-end-tests.
- Zelfs wanneer hackers probeerden de "Notaris" (de verificator) direct te misleiden, had het systeem een "hardening"-proces dat het faalpercentage bijna tot nul terugbracht (tot 1,3% in eerste tests, en 0% in definitieve tests).
- Het stopte de AI niet bij het doen van nuttige dingen; het liet nog steeds 100% van de veilige, normale taken toe.

De grote les

Het artikel betoogt dat we niet kunnen vertrouwen op het "brein" van de AI om te beslissen of het veilig is om te handelen. De AI is te vatbaar voor het verzinnen van dingen. In plaats daarvan hebben we een structurele controle nodig: een apart systeem dat de feiten fysiek verifieert voordat het toestaat dat er een actie wordt uitgevoerd.

Het is als zeggen: "Je kunt niet zomaar zeggen dat je een ticket hebt om het vliegtuig in te komen. Je moet een fysiek ticket tonen dat door het luchthavensysteem is afgedrukt." Als je geen fysiek ticket hebt, gaat de poort niet open, hoe zelfverzekerd je ook beweert dat je er een hebt.

Technische Samenvatting: Hallucinatie als Exploit: Bewijsdragende Multimodale Agenten

1. Probleemstelling

Huidige evaluaties van multimodale agenten behandelen hallucinatie vaak als een fout in de antwoordkwaliteit (bijvoorbeeld een verkeerde bijschrift) en prompt-injectie als een falen in het volgen van instructies. Echter, wanneer een multimodale agent hulpmiddelen bestuurt (bijvoorbeeld klikken, e-mailen, geld overmaken), kan een hallucinatie uitgroeien tot een autorisatiefout. Als een model ten onrechte een voorwaarde waarneemt—zoals de locatie van een knop, een ontvanger-e-mailadres of een veld in een document—kan het een bevoorroep hulpmiddeloproep activeren op basis van een niet-onderbouwde visuele claim.

Bestaande verdedigingsmechanismen falen omdat ze observatie, interpretatie, instructie en toestemming samenvoegen tot één enkele string vrije modeltekst. Bijgevolg kan prompt-filtering geen onderscheid maken tussen een kwaadaardige injectie en de eigen valse overtuiging van het model. Het artikel identificeert Hallucinatie-naar-Actie-omzetting (H2AC) als de kritieke faalmodus: een niet-onderbouwde perceptuele claim die een vereiste actievoorwaarde vervult, waardoor de uitvoeringsbeslissing verandert van "blokkeren" naar "toestaan".

2. Methodologie: Bewijsdragende Multimodale Agenten (ECA)

De auteurs stellen Bewijsdragende Multimodale Agenten (ECA) voor, een architectuur die de interpretatie van taken scheidt van de autorisatie van acties. ECA behandelt vrije modeltekst als niet-toelaatbaar bewijs voor hoog-vertrouwenspredicaten.

Kernarchitectuur

Actieschema's ( $G_a$ ): Elke hulpmiddeloproep wordt ontbonden in specifieke, actie-kritieke predicaten (bijvoorbeeld ui_element, ocr_text, safe_source). Deze schema's definiëren de exacte voorwaarden die nodig zijn voor een veilige actie.
Beperkte Verificators: In plaats van te vertrouwen op het Multimodale Groot Taalmodel (MLLM) om feiten te verifiëren, gebruikt ECA aparte, beperkte verificators (bijvoorbeeld DOM-parsers, OCR-motoren, parsers voor toegankelijkheidsbomen) om getypeerde bewijscertificaten te genereren.
- Een certificaat is een gestructureerd record $e = (\tau, v, r, s, \nu, \kappa, t, \lambda)$ dat type, waarde, regio, bron, verificator, betrouwbaarheid, tijd en een vertrouwenslabel bevat.
- Cruciaal: het component dat de actie voorstelt (het MLLM) kan de feiten die deze autoriseren niet certificeren.
Deterministische Poort ( $\Pi$ ): Een poort evalueert de voorgestelde actie tegen het actieschema. Het verleent toestemming alleen als elk vereist predicaat in het schema wordt ondersteund door een certificaat met het juiste type, bereik, vertrouwenslabel en betrouwbaarheid.
- Toestaan: Alle predicaten worden ondersteund door vertrouwde certificaten.
- Vragen: Bewijs is onvolledig maar de actie is omkeerbaar.
- Blokkeren: Bewijs staat haaks op de actie of vereiste herkomst ontbreekt.

Theoretische Grondslag

Het systeem vertrouwt op principes van Informatiestroombeheersing. De veiligheid van het systeem wordt ontbonden in residuale risico's:

$\epsilon_p$ : De vals-positieve rate van verificators (het certificeren van een vals predicaat).
$\delta_{schema}$ : De waarschijnlijkheid dat het actieschema een kritiek predicaat weglaat.
$\delta_{impl}$ : De waarschijnlijkheid van een implementatie-bypass.
De waarschijnlijkheid dat een onveilige actie plaatsvindt, wordt begrensd door de som van deze residuen, in plaats van de waarschijnlijkheid dat het model hallucineert.

3. Belangrijkste Bijdragen

Formalisatie van H2AC: Het artikel definieert Hallucinatie-naar-Actie-omzetting als het mechanisme waarbij niet-onderbouwde perceptuele claims actie-autoriteit worden.
ECA-architectuur: Een nieuw ontwerp dat een "certificaatpoort" afdwingt, waarbij getypeerd bewijs vereist is voor actie-kritieke predicaten in plaats van te vertrouwen op modeltekst.
Meervoudige Evaluatie:
- Adversariale Red-Teaming: 1.900 aanvallen over 19 categorieën gericht op DOM-, OCR- en toegankelijkheidsboom-verificators.
- Inhoudsgebaseerde Uitvoering: End-to-end (E2E) en browser proof-of-concept (PoC) evaluaties met gebruik van echte DOM-, OCR- en AX-extractie.
- Oracle-Certificaat Replay: 7.488 traces met gebruik van als correct veronderstelde certificaten om poortlogica te isoleren van verificatorfouten.
Structurele versus Neuronale Verdediging: Demonstreert dat structurele poortwerking (ECA) neuronale oordelen (LLM-rechters) overtreft onder dit bedreigingsmodel.
Gerichte Hardening: Vier specifieke fixes (DOM-herkomst kruisverwijzing, UTS #39 verwarrende detectie, AX-DOM integriteitsverificatie, perceptuele-hash OCR-hardening) die bypass-rates aanzienlijk verminderen.

4. Experimentele Resultaten

Het artikel rapporteert resultaten over drie bewijsniveaus, met de nadruk dat de "poort-niveau nul" een ontwerpeigenschap is die afhankelijk is van de correctheid van de verificators.

Adversariale Verificator Red-Teaming:
- Initiële poort-bypass rate: 15%.
- Na vier gerichte hardingsstappen: 1,3% (Bonferroni-corrigerde bovengrens 2,3%).
End-to-End (E2E) en Browser PoC:
- 200-taken E2E-pijplijn: 0% Onveilige Actie Rate (UAR) (Wilson 95% bovengrens 2,67%).
- 120-taken browser PoC: 0% UAR (Wilson 95% bovengrens 4,3%).
- 500-asset real-parser replay: 0% UAR.
Directe HACR Audit:
- Op een gestratificeerde subset van 500 taken bereikten 100% van de niet-onderbouwde actie-kritieke claims de uitvoering voor naïeve agenten, en 49,6% voor prompt-only verdedigingen.
- ECA blokkeerde 100% (0/1.103) van de niet-onderbouwde actie-kritieke claims bij de certificaatpoort.
Vergelijking met Neuronale Rechters:
- GPT-5.4 rechtervarianten behaalden UAR's tussen 79% en 99% op onveilige taken.
- Progent-stijl adversariale probes toonden een 23,3% UAR voor de rechter versus 0% voor ECA.
- Neuronale rechters faalden effectief onderscheid te maken tussen vertrouwde instructies en gehallucineerde voorwaarden.

5. Betekenis en Claims

Het artikel stelt dat het polijsten van het veiligheidsmonoloog van een model een zwak hefboomeffect heeft wanneer gehallucineerde document- of UI-feiten actieschema's kunnen vervullen. De primaire bijdrage is een taal-naar-actie autorisatiegrens die vereist dat claims uit multimodale context worden weergegeven als getypeerde predicaten voordat ze hulpmiddelprivileges kunnen beïnvloeden.

Bescheiden Claims: De auteurs stellen expliciet dat ECA hallucinatie of alle agentmisbruik niet oplost. De veiligheidsclaim is voorwaardelijk: als schema's kritieke predicaten weglaten, implementaties de poort omzeilen, of verificators valse predicaten certificeren, kan ECA falen.
Auditbare Residuen: Het voordeel van ECA is dat fouten niet verborgen zitten in ondoorzichtige modelovertuigingen, maar worden blootgelegd als meetbare residuen ( $\epsilon_p, \delta_{schema}, \delta_{impl}$ ).
Reikwijdte: Het werk richt zich op het "valse-voorwaarde"-aanvalspad, dat instructieclassificators omzeilt. Het claimt geen robuustheid tegen nieuwe verificator-aanvallen, grootschalige live multi-turn implementatie, of willekeurige hulpmiddelen-ecosystemen zonder schema-reparatie.

Kortom, verplaatst ECA de vertrouwensgrens van de planner (het MLLM) naar de bewijslaag (verificators), converteert ondoorzichtige modelovertuiging naar auditbare residuen en voorkomt dat niet-onderbouwde visuele claims stilzwijgend bevoorrechte acties autoriseren.