🤖 AI

Hallucination as Exploit: Evidence-Carrying Multimodal Agents

Dieser Beitrag stellt Evidence-Carrying Multimodal Agents (ECA) vor, eine sichere Architektur, die durch die Anforderung, Tool-Aufrufe gegen typisierte, externe Evidenzzertifikate zu validieren, anstatt sich auf die unverifizierten Wahrnehmungsbehauptungen des Modells zu verlassen, autorisierungsbedingte Ausfälle infolge von Halluzinationen verhindert.

Ursprüngliche Autoren: Guijia Zhang, Hao Zheng, Harry Yang

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guijia Zhang, Hao Zheng, Harry Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr klugen, aber leichtgläubigen persönlichen Assistenten. Dieser Assistent kann Screenshots betrachten, E-Mails lesen und im Internet surfen, um Ihnen dabei zu helfen, Dinge wie Geldüberweisungen zu tätigen, auf Schaltflächen zu klicken oder Daten zu extrahieren.

Das Problem ist, dass dieser Assistent manchmal halluziniert. Er könnte Ihnen selbstbewusst sagen: „Ich sehe eine Schaltfläche mit der Aufschrift ‚Senden Sie 500 $ an meinen Freund'“, obwohl diese Schaltfläche in Wirklichkeit gar nicht existiert oder tatsächlich eine von einem Hacker gesetzte Falle ist.

In der Vergangenheit war es, wenn der Assistent einen Fehler machte, lediglich eine „schlechte Antwort“. Doch wenn dieser Assistent mit echten Werkzeugen verbunden ist (wie einer Banküberweisung oder einem E-Mail-Client), wird eine Halluzination nicht nur zu einem Fehler – sie wird zu einem Sicherheitsverstoß. Der Assistent glaubt an eine falsche Tatsache, und weil er daran glaubt, führt er eine gefährliche Aktion aus.

Dieser Artikel stellt ein neues System vor, das ECA (Evidence-Carrying Multimodal Agents) genannt wird, um dies zu beheben. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „leichtgläubige Manager"

Stellen Sie sich einen Standard-KI-Agenten als einen Manager vor, der in einem Raum sitzt.

Der Manager betrachtet ein Dokument (den Bildschirm) und sagt: „Ich sehe hier eine ‚Zahlen'-Schaltfläche. Ich werde sie anklicken."
Wenn das Dokument ein gefälschtes Bild ist, das von einem Hacker erstellt wurde, sieht der Manager trotzdem eine „Zahlen"-Schaltfläche, weil die KI sich einbildet, dass sie dort ist.
Der Manager klickt dann auf die Schaltfläche, und Geld wird gestohlen. Der Manager hat keinen bösartigen Befehl befolgt; er hat lediglich die Erlaubnis zum Handeln halluziniert.

2. Die Lösung: Der „evidenztragende Agent"

Die Autoren schlagen eine neue Architektur vor, bei der der Manager nicht mehr der Einzige ist, der das Sagen hat. Sie fügen einen Sicherheitsbeamten und einen Notar hinzu.

Der Manager (Die KI): Denkt immer noch nach. Er betrachtet den Bildschirm und sagt: „Ich denke, wir sollten auf diese Schaltfläche klicken."
Der Notar (Die Verifizierer): Bevor der Manager tatsächlich auf die Schaltfläche klicken kann, überprüft ein separates, strenges System (der Notar) den Bildschirm mit verschiedenen Werkzeugen (wie einer Lupe für Text, einem Scanner für Code und einer Karte für das Layout).
Das Zertifikat: Der Notar sagt nicht einfach nur „Okay". Er erteilt ein digitales Zertifikat. Dieses Zertifikat ist ein getippter, unveränderlicher Beleg, der besagt: „Ich, der Notar, bestätige, dass eine Schaltfläche mit der Beschriftung ‚Zahlen' tatsächlich an diesen exakten Koordinaten existiert."

3. Das „Tor" (Der Türsteher)

Zwischen dem Manager und der Aktion befindet sich ein Tor.

Der Manager kann das Tor nicht einfach öffnen, indem er sagt: „Ich glaube, die Schaltfläche ist dort."
Das Tor öffnet sich nur, wenn der Manager das Zertifikat des Notars vorlegt.
Wenn der Manager versucht zu sagen: „Ich habe eine Schaltfläche gesehen", der Notar aber kein Zertifikat dafür ausgestellt hat, bleibt das Tor verschlossen. Die Aktion wird blockiert.

4. Warum dies anders ist

Alter Weg: Das Wort der KI war Gesetz. Wenn die KI sagte „Ich sehe eine Banküberweisung", führte das System diese aus.
Neuer Weg (ECA): Das Wort der KI ist nur ein Vorschlag. Das System handelt nur, wenn unabhängige Beweise (wie ein Scan des tatsächlichen Webseiten-Codes) beweisen, dass der Vorschlag wahr ist.

Die Ergebnisse: Wie gut hat es funktioniert?

Die Forscher testeten dieses System gegen Tausende von Angriffen, einschließlich Hacker, die versuchten, die KI mit gefälschten Bildern, verstecktem Text und verwirrenden Symbolen zu täuschen.

Der „leichtgläubige Manager" (Alte KI): Scheiterte fast zu 100 %. Wenn die KI eine gefährliche Aktion halluzinierte, führte sie diese aus.
Die „nur-Prompt"-Verteidigung (Nur der KI sagen, sie solle vorsichtig sein): Scheiterte etwa zu 50 %. Die KI wurde immer noch von ihren eigenen Halluzinationen getäuscht.
Das neue System (ECA):
- Es blockierte 100 % der unsicheren Aktionen in ihren End-to-End-Tests.
- Selbst wenn Hacker versuchten, den „Notar" (den Verifizierer) direkt zu täuschen, verfügte das System über einen „Härtungs"-Prozess, der die Ausfallrate auf fast null reduzierte (in ersten Tests auf 1,3 %, in den abschließenden Tests auf 0 %).
- Es hinderte die KI nicht daran, hilfreiche Dinge zu tun; es ließ weiterhin 100 % der sicheren, normalen Aufgaben zu.

Die große Erkenntnis

Der Artikel argumentiert, dass wir uns nicht auf das „Gehirn" der KI verlassen können, um zu entscheiden, ob es sicher ist zu handeln. Die KI neigt zu stark dazu, Dinge zu erfinden. Stattdessen benötigen wir eine strukturelle Prüfung: ein separates System, das die Fakten physisch verifiziert, bevor eine Aktion ausgeführt werden darf.

Es ist wie zu sagen: „Sie können nicht einfach sagen, Sie hätten ein Ticket, um an Bord des Flugzeugs zu gehen. Sie müssen ein physisches Ticket vorzeigen, das vom Flughafensystem ausgestellt wurde." Wenn Sie kein physisches Ticket haben, öffnet sich das Tor nicht, egal wie selbstbewusst Sie behaupten, eines zu haben.

Technische Zusammenfassung: Halluzination als Ausnutzung: Beweisführende Multimodale Agenten

1. Problemstellung

Aktuelle Evaluierungen multimodaler Agenten behandeln Halluzinationen häufig als Fehler der Antwortqualität (z. B. eine falsche Bildunterschrift) und Prompt-Injection als ein Versagen bei der Befolgung von Anweisungen. Wenn jedoch ein multimodaler Agent Werkzeuge steuert (z. B. Klicken, E-Mail-Versand, Geldtransfers), kann eine Halluzination zu einem Autorisierungsversagen werden. Wenn ein Modell fälschlicherweise eine Voraussetzung wahrnimmt – wie etwa die Position einer Schaltfläche, eine Empfänger-E-Mail-Adresse oder ein Dokumentenfeld – kann es einen privilegierten Werkzeugaufruf auslösen, der auf einer nicht untermauerten visuellen Behauptung basiert.

Bestehende Verteidigungsmechanismen scheitern, da sie Beobachtung, Interpretation, Anweisung und Berechtigung in einen einzigen String aus freiem Modelltext zusammenfassen. Folglich kann Prompt-Filterung nicht zwischen einer bösartigen Injection und der eigenen falschen Überzeugung des Modells unterscheiden. Die Arbeit identifiziert die Konversion von Halluzination zu Aktion (H2AC) als kritischen Fehlermodus: Eine nicht untermauerte perceptuelle Behauptung erfüllt eine erforderliche Aktionsvoraussetzung und ändert dadurch die Ausführungsentscheidung von „blockieren" auf „zulassen".

2. Methodik: Beweisführende Multimodale Agenten (ECA)

Die Autoren schlagen Evidence-Carrying Multimodal Agents (ECA) vor, eine Architektur, die die Interpretation von Aufgaben von der Autorisierung von Aktionen trennt. ECA behandelt freien Modelltext als unzulässigen Beweis für hochvertrauenswürdige Prädikate.

Kernarchitektur

Aktionsschemata ( $G_a$ ): Jeder Werkzeugaufruf wird in spezifische, aktionskritische Prädikate zerlegt (z. B. ui_element, ocr_text, safe_source). Diese Schemata definieren die exakten Bedingungen, die für eine sichere Ausführung einer Aktion erforderlich sind.
Eingeschränkte Verifizierer: Anstatt sich darauf zu verlassen, dass das Multimodale Large Language Model (MLLM) Fakten verifiziert, setzt ECA separate, eingeschränkte Verifizierer ein (z. B. DOM-Parser, OCR-Engines, Accessibility-Tree-Parser), um typisierte Beweiszertifikate zu generieren.
- Ein Zertifikat ist ein strukturierter Datensatz $e = (\tau, v, r, s, \nu, \kappa, t, \lambda)$ , der Typ, Wert, Region, Quelle, Verifizierer, Konfidenz, Zeit und ein Vertrauenslabel enthält.
- Entscheidend ist, dass die Komponente, die die Aktion vorschlägt (das MLLM), die sie autorisierenden Fakten nicht zertifizieren kann.
Deterministisches Policy-Gate ( $\Pi$ ): Ein Gate bewertet den vorgeschlagenen Akt gegen das Aktionsschema. Es erteilt die Erlaubnis nur dann, wenn jedes im Schema erforderliche Prädikat durch ein Zertifikat mit dem entsprechenden Typ, Geltungsbereich, Vertrauenslabel und der entsprechenden Konfidenz unterstützt wird.
- Zulassen: Alle Prädikate werden durch vertrauenswürdige Zertifikate gestützt.
- Fragen: Die Beweislage ist unvollständig, aber die Aktion ist reversibel.
- Blockieren: Die Beweislage widerspricht der Aktion oder die erforderliche Herkunftsnachweisführung fehlt.

Theoretische Grundlage

Das System stützt sich auf Prinzipien der Informationsflusskontrolle. Die Sicherheit des Systems wird in Restrisiken zerlegt:

$\epsilon_p$ : Die False-Positive-Rate der Verifizierer (Zertifizierung eines falschen Prädikats).
$\delta_{schema}$ : Die Wahrscheinlichkeit, dass das Aktionsschema ein kritisches Prädikat auslässt.
$\delta_{impl}$ : Die Wahrscheinlichkeit eines Implementierungs-Bypass.
Die Wahrscheinlichkeit des Auftretens einer unsicheren Aktion wird durch die Summe dieser Restrisiken begrenzt, nicht durch die Wahrscheinlichkeit einer Halluzination des Modells.

3. Hauptbeiträge

Formalisierung von H2AC: Die Arbeit definiert die Konversion von Halluzination zu Aktion als den Mechanismus, bei dem nicht untermauerte perceptuelle Behauptungen zur Handlungsbefugnis werden.
ECA-Architektur: Ein neuartiges Design, das ein „Zertifikat-Gate" durchsetzt und typisierte Beweise für aktionskritische Prädikate erfordert, anstatt sich auf Modelltext zu verlassen.
Mehrebenen-Evaluierung:
- Adversarial Red-Teaming: 1.900 Angriffe über 19 Kategorien, die auf DOM-, OCR- und Accessibility-Tree-Verifizierer abzielten.
- Inhaltsbasierte Ausführung: End-to-End (E2E)- und Browser-Proof-of-Concept (PoC)-Evaluierungen unter Verwendung echter DOM-, OCR- und AX-Extraktion.
- Oracle-Zertifikat-Replay: 7.488 Spuren unter Verwendung von als korrekt angenommenen Zertifikaten, um die Gate-Logik von Verifizierungsfehlern zu isolieren.
Strukturelle vs. Neuronale Verteidigung: Zeigt, dass strukturelles Gating (ECA) unter diesem Bedrohungsmodell neuronale Urteilsfähigkeit (LLM-Richter) übertrifft.
Gezielte Härtung: Vier spezifische Korrekturen (DOM-Herkunftsnachweis-Kreuzreferenzierung, UTS #39-Verwechslungserkennung, AX-DOM-Integritätsprüfung, perceptual-hash-OCR-Härtung), die die Umgehungsrate signifikant senken.

4. Experimentelle Ergebnisse

Die Arbeit berichtet über Ergebnisse in drei Beweisebenen und betont, dass das „Gate-Level-Null" eine Designeigenschaft ist, die von der Korrektheit der Verifizierer abhängt.

Adversarial Verifier Red-Teaming:
- Initiale Gate-Umgehungsrate: 15 %.
- Nach vier gezielten Härtungsschritten: 1,3 % (Bonferroni-korrigierte Obergrenze 2,3 %).
End-to-End (E2E) und Browser PoC:
- 200-Aufgaben-E2E-Pipeline: 0 % Unsichere-Aktions-Rate (UAR) (Wilson 95 %-Obergrenze 2,67 %).
- 120-Aufgaben-Browser-PoC: 0 % UAR (Wilson 95 %-Obergrenze 4,3 %).
- 500-Asset-Real-Parser-Replay: 0 % UAR.
Direkte HACR-Auditierung:
- Auf einer geschichteten 500-Aufgaben-Teilmenge erreichten 100 % der nicht untermauerten aktionskritischen Behauptungen bei naiven Agenten die Ausführung, und 49,6 % bei reinen Prompt-Verteidigungen.
- ECA blockierte 100 % (0/1.103) der nicht untermauerten aktionskritischen Behauptungen am Zertifikat-Gate.
Vergleich mit neuronalen Richtern:
- GPT-5.4-Richtervarianten erzielten bei unsicheren Aufgaben UARs zwischen 79 % und 99 %.
- Progent-artige adversarielle Sonden zeigten eine 23,3 % UAR für den Richter im Vergleich zu 0 % für ECA.
- Neuronale Richter konnten nicht effektiv zwischen vertrauenswürdigen Anweisungen und halluzinierten Voraussetzungen unterscheiden.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass das Polieren des Sicherheitsmonologs eines Modells ein schwaches Hebelwerkzeug ist, wenn halluzinierte Dokumenten- oder UI-Fakten Aktionsschemata erfüllen können. Der Hauptbeitrag ist eine Sprache-zu-Aktion-Autorisierungsgrenze, die verlangt, dass Behauptungen aus multimodalem Kontext als typisierte Prädikate repräsentiert werden, bevor sie Werkzeugprivilegien beeinflussen können.

Bescheidene Behauptungen: Die Autoren stellen explizit fest, dass ECA Halluzinationen oder alle Missbräuche von Agenten nicht löst. Die Sicherheitsbehauptung ist bedingt: Wenn Schemata kritische Prädikate auslassen, Implementierungen das Gate umgehen oder Verifizierer falsche Prädikate zertifizieren, kann ECA versagen.
Auditierbare Restrisiken: Der Vorteil von ECA besteht darin, dass Fehler nicht in undurchsichtigen Modellüberzeugungen verborgen sind, sondern als messbare Restrisiken ( $\epsilon_p, \delta_{schema}, \delta_{impl}$ ) offengelegt werden.
Umfang: Die Arbeit konzentriert sich auf den Angriffsvektor „falsche Voraussetzung", der Anweisungsklassifikatoren umgeht. Sie beansprucht keine Robustheit gegenüber neuartigen Verifiziererangriffen, großflächigen Live-Einsätzen mit mehreren Durchläufen oder beliebigen Werkzeug-Ökosystemen ohne Schema-Reparatur.

Zusammenfassend verschiebt ECA die Vertrauensgrenze vom Planer (dem MLLM) zur Beweisschicht (Verifizierer), wandelt undurchsichtige Modellüberzeugungen in auditierbare Restrisiken um und verhindert, dass nicht untermauerte visuelle Behauptungen privilegierte Aktionen stillschweigend autorisieren.