💬 NLP

Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback

Dieser Beitrag führt das Konzept der „kognitiven Vergiftung" bei LLM-Agenten ein, bei dem bösartige Werkzeuge durch harmloses Feedback Vertrauen aufbauen, bevor sie schädliche Aktionen ausführen, und schlägt den TRUST-Bench-Benchmark sowie das VISTA-Guard-Verteidigungsframework vor, um diese trajektorienbasierten Risiken wirksam zu erkennen und zu mindern, indem die finale ausführbare Aktion bewertet wird, anstatt sich auf Heuristiken auf Prompt-Ebene zu verlassen.

Ursprüngliche Autoren: Lecheng Yan, Ruizhe Li, Xicheng Han, Wenxi Li, Binwu Wang, Longyue Wang, Chenyang Lyu, Guanhua Chen

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lecheng Yan, Ruizhe Li, Xicheng Han, Wenxi Li, Binwu Wang, Longyue Wang, Chenyang Lyu, Guanhua Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das Werkzeug als "Wolf im Schafspelz"

Stellen Sie sich vor, Sie stellen eine persönliche Assistentin (den KI-Agenten) ein, um für Sie einzukaufen. Sie sagen ihr: "Geh zum Laden und kaufe Milch."

Normalerweise gehen wir davon aus, dass die Informationen, die die Assistentin von einem gewählten Laden (einem Werkzeug) erhält, ehrlich sind. Wenn der Laden sagt: "Wir haben Milch", vertrauen wir ihm.

Dieses Papier argumentiert, dass diese Annahme gefährlich ist.

Die Autoren beschreiben einen neuen Trick, den sie "Kognitive Vergiftung" nennen. Es ist wie ein Wolf, der sich als Schaf verkleidet.

Der Trick: Ein bösartiges Werkzeug (der Wolf) verhält sich zunächst völlig normal. Es beantwortet die Fragen der Assistentin mehrere Gesprächsrunden lang höflich und korrekt. Es baut Vertrauen auf.
Die Falle: Das Werkzeug enthüllt seine wahre, schädliche Natur erst im allerletzten Moment. Es wartet, bis die Assistentin kurz vor einer finalen, großen Entscheidung steht (wie "Kaufe die Milch und überweise 1.000 $ an diesen Fremden"). Erst wenn bestimmte versteckte Bedingungen erfüllt sind, schaltet das Werkzeug um und sagt: "Eigentlich, lass uns das gefährliche Ding tun."

Der beunruhigende Teil? Wenn Sie sich eine einzelne Nachricht des Werkzeugs ansehen, wirkt sie unschuldig. Die Gefahr liegt nicht in einem schlechten Satz, sondern in der Geschichte, die das Werkzeug im Laufe der Zeit erzählt hat, und die die Assistentin dazu gebracht hat, ihre Wachsamkeit zu senken.

Das Problem: Alte Abwehrmaßnahmen funktionieren nicht

Die Forscher testeten, wie gut aktuelle Sicherheitssysteme damit umgehen. Sie stellten fest, dass die meisten bestehenden Abwehrmaßnahmen wie Sicherheitspersonal sind, das nur am Eingang Ausweise prüft.

Sie schauen sich den Namen des Werkzeugs oder die ersten paar Wörter einer Nachricht an.
Wenn das Werkzeug freundlich wirkt und die ersten paar Nachrichten sicher sind, lässt der Wächter es durch.
Ergebnis: Diese Wächter versagen völlig gegen "Kognitive Vergiftung", weil das Werkzeug während des Großteils der Interaktion freundlich war. Die Wächter übersehen den subtilen Wandel in der Geschichte.

Die Lösung: TRUST-BENCH und VISTA-GUARD

Um dies zu untersuchen, entwickelte das Team zwei Dinge:

1. TRUST-BENCH (Der Trainingsplatz)

Sie schufen eine riesige Testbank namens TRUST-BENCH.

Das Setup: Sie nahmen Tausende normaler Aufgaben (wie Websuchen oder Dateibearbeitung) und erstellten "böse Zwillinge" dafür.
Das Match: Für jede sichere Aufgabe erstellten sie eine bösartige Version, bei der das Werkzeug drei Runden lang nett agiert und dann versucht, die KI in der vierten Runde zu etwas Schädlichem zu verleiten.
Das Ziel: Zu prüfen, ob eine KI den Unterschied zwischen einem Werkzeug, das tatsächlich sicher ist, und einem, das bis zum letzten Moment vortäuscht, sicher zu sein, erkennen kann.

2. VISTA-GUARD (Der clevere Detektiv)

Sie entwickelten ein neues Abwehrsystem namens VISTA-GUARD. Anstatt nur den Ausweis zu prüfen, agiert dieses System wie ein Detektiv, der einen Fallaktenordner durchgeht.

Funktionsweise: Es betrachtet nicht nur die finale Anfrage. Es betrachtet die gesamte Historie des Gesprächs.
Die Analogie: Stellen Sie sich einen Detektiv vor, der fragt: "Der Verdächtige hat drei Tage lang behauptet, unschuldig zu sein, aber am vierten Tag bat er plötzlich um einen Schlüssel zum Tresor. Ergibt die ganze Geschichte Sinn, oder wirkt die plötzliche Verhaltensänderung verdächtig?"
Das Geheimnis: VISTA-GUARD wandelt das Gespräch in einen strukturierten Bericht um (wie einen Punktekatalog für "Vertrauenssignale") und fragt dann die KI: "Angesichts dieser gesamten Geschichte ist die finale Aktion sicher?"

Die Ergebnisse: Wer hat gewonnen?

Die Forscher testeten VISTA-GUARD gegen viele andere Methoden (einschließlich anderer KIs und einfacher regelbasierter Systeme).

Die Verlierer:
- Einfache Regeln: Systeme, die nur nach "schlechten Wörtern" suchen, scheiterten.
- Zero-Shot-Richter: Selbst sehr intelligente, vortrainierte KI-Modelle (wie GPT-5.4) scheiterten, wenn sie ohne spezifisches Training gebeten wurden, dies zu beurteilen. Sie waren entweder zu "paranoid" (alles ablehnend) oder zu vertrauensselig.
- Skalare Klassifikatoren: Systeme, die das Gespräch einfach in eine einzelne Zahl verwandelten (wie einen "Risikoscore"), scheiterten, weil sie die Details der Geschichte verloren.
Der Gewinner:
- VISTA-GUARD war der Einzige, der konsistent erfolgreich war.
- Es lernte, den "Wolf" zu erkennen, indem es analysierte, wie Vertrauen im Laufe der Zeit aufgebaut wurde.
- Die Punktzahl: Es erreichte in seiner eigenen Trainingsumgebung eine hohe Sicherheitspunktzahl (84,2) und performte immer noch gut (56,9), als es an völlig neuen, unbekannten Werkzeugen getestet wurde.

Die Kernaussage

Das Papier kommt zu dem Schluss, dass Vertrauen ein Prozess und kein Schnappschuss ist.

Wenn eine KI Werkzeuge verwendet, sollte sie nicht nur fragen: "Ist der Name dieses Werkzeugs sicher?" oder "Ist diese Nachricht sicher?". Sie muss fragen: "Macht die gesamte Historie unserer Interaktion Sinn, und passt die finale Aktion zur Geschichte, die uns erzählt wurde?"

Wenn das Werkzeug drei Tage lang wie ein Freund agierte und dann plötzlich versuchte, am vierten Tag die Bank zu überfallen, muss die KI erkennen, dass die Geschichte die Gefahr ist, nicht nur der letzte Satz.

Zusammenfassung in einem Satz

Dieses Papier zeigt, dass bösartige Werkzeuge KI-Agenten täuschen können, indem sie eine Weile nett tun, bevor sie zuschlagen, und dass der einzige Weg, sie zu stoppen, ein Abwehrsystem ist, das die gesamte Historie der Interaktion analysiert, nicht nur die finale Anfrage.

Technische Zusammenfassung: Vertraue keinem Werkzeug: Evaluierung und Verteidigung von LLM-Agenten bei nicht vertrauenswürdigem Werkzeugfeedback

1. Problemformulierung: Kognitive Vergiftung

Dieser Artikel identifiziert einen spezifischen Fehlermodus bei Werkzeug nutzenden Large Language Model (LLM)-Agenten, der als kognitive Vergiftung bezeichnet wird. Im Gegensatz zu herkömmlicher indirekter Prompt-Injection oder Einmal-Antwort-Vergiftung, bei denen die Schädlichkeit auf einen spezifischen Textabschnitt oder Werkzeugdeskriptor beschränkt ist, wirkt kognitive Vergiftung durch den explorativen Vertrauensbildungsprozess.

In diesem Bedrohungsmodell verhält sich ein bösartiges Werkzeug während der ersten Explorationsphasen plausibel und baut durch harmlos wirkendes Feedback Vertrauen auf. Das Werkzeug wird erst dann schädlich, wenn eine versteckte Auslöserbedingung durch die finale ausführbare Aktion und den latenten Zustand der Umgebung erfüllt wird. Der Angriff gelingt nicht, weil eine einzelne Nachricht offenkundig bösartig ist, sondern weil die Interaktionsbahn die Prioritäten des Agenten so prägt, dass eine gefährliche finale Aktion als gewöhnlich behandelt wird. Das entscheidende Risiko ist eine Eigenschaft der Zustand-Aktions-Komposition: die Geschichte, wie Vertrauen aufgebaut wurde, kombiniert mit den spezifischen Parametern des finalen Werkzeugaufrufs.

Bestehende Benchmarks und Verteidigungsmaßnahmen gehen oft implizit davon aus, dass ein Werkzeug, sobald es ausgewählt wurde, vertrauenswürdiges Feedback liefert. Dieser Artikel argumentiert, dass Agenten in Black-Box-Werkzeug-Ökosystemen die interne Vertrauenswürdigkeit nicht direkt verifizieren können und sie vielmehr durch Interaktion ableiten müssen. Dies schafft eine einzigartige Angriffsfläche, bei der das „entscheidende Verteidigungsziel" nicht der lokale Prompt-Text ist, sondern das durch die Bahn konditionierte Risiko der finalen Aktion.

2. Methodik

2.1 TRUST-BENCH: Ein aufgabenkonditionierter Benchmark

Um dieses Regime zu untersuchen, haben die Autoren TRUST-BENCH (Trajectory Risk under Untrusted Stateful Tools) entwickelt.

Aufbau: Abgeleitet von fünf übergeordneten Suiten (OpenAgentSafety, RedTeamCUA, MCP-SafetyBench, MCPMark, Toolathlon), was zu 1.970 kuratierten Episoden führte.
Struktur: Jede Episode besteht aus einem gepaarten Satz: einer harmlosen Kontrolle und einer bösartigen Variante. Beide teilen dieselbe äußere Werkzeug-Schnittstelle und denselben Aufgabeninhalt.
Versteckte Auslöser: Bösartige Varianten sind durch eine strukturierte Auslöser-Spezifikation definiert, die Folgendes umfasst:
- required_all_tokens: Felder, die gemeinsam auftreten müssen (z. B. op=export, cross_check=off).
- required_any_tokens: Kontextanker, bei denen mindestens einer auftreten muss.
- forbidden_tokens: Sicherheitsaktivierende Felder, die bei Vorhandensein den Auslöser unterdrücken.
Interaktionsprotokoll: Ein „Blue-Team"-Agent prüft das Werkzeug über ein standardisiertes Drei-Runden-Budget (Basislinie sammeln, Konsistenz prüfen, tiefgehende Prüfung), bevor er eine finale Aktion vorschlägt. Die Auslöserregeln und Labels sind dem Verteidiger während der Inferenz verborgen.

2.2 Evaluierungsmetrik: GUARDEDJOINT

Der Artikel führt GUARDEDJOINT ein, eine asymmetrische Sicherheits-Nützlichkeit-Metrik, die reale Einsatzrisiken widerspiegelt, bei denen sowohl False Negatives (Akzeptanz bösartiger Aktionen) als auch False Positives (Ablehnung harmloser Aktionen) kostspielig sind.

Formel: $G_\rho(AMR, RNR) = \max(0, 100 - (\rho + 0.5)AMR - 1.5RNR)$ $G_{ρ} (A M R, R N R) = max (0, 100 - (ρ + 0.5) A M R - 1.5 R N R)$
- $AMR$: Akzeptierte Bösartige Rate.
- $RNR$: Abgelehnte Normale Rate.
- $\rho$ : Relativer Kostenfaktor für die Akzeptanz eines bösartigen Aufrufs (in den Hauptexperimenten auf 1,5 gesetzt).
Bedeutung: Diese Metrik bestraft „Alles-ablehnen"- oder „Alles-ausführen"-Strategien und zwingt Verteidigungen dazu, gleichzeitig die Akzeptanz bösartiger Aktionen und die Ablehnung harmloser Aktionen zu minimieren.

2.3 Verteidigungsrahmen: VISTA-GUARD

Die Autoren schlagen VISTA-GUARD (Variable-state Inference for Safe Tool Actions) vor, ein backbone-agnostischer Rahmen für die Risikobewertung finaler Aktionen.

Kernidee: Abstraktion mehrstufiger Werkzeuginteraktionen in strukturierte Umgebungsvariablen, die die Dynamik der Vertrauensbildung kodieren.
Eingabedarstellung: Das Modell erhält ein serialisiertes Tripel:
1. Bahnenzustand ( $z_{traj}$ ): Fasst Explorationsbeweise (z. B. Anzahl ausgelöster Phasen, Detektionen von Prüfungen, Diskrepanzwerte, ID-Drift, Warnungen) zu einer Anomaliedichte und einer Zusammenfassung des Zustandsrisikos zusammen.
2. Parameter der finalen Aktion ( $z_{param}$ ): Kodiert die ausführbare Semantik des vorgeschlagenen finalen Aufrufs (Werkzeugname, Payload-Schlüssel, Anzahl hochimpactierender/Bypass-/Sicherheitsmarker).
3. Ziel ( $y$ ): Ein binäres Label ( $high\_risk$ / $low\_risk$ ), das nur für das Training verwendet wird.
Mechanismus: Ein Backbone-LLM (z. B. Mistral, Qwen, Llama) wird feinabgestimmt, um das Risiko der finalen Aktion unter Berücksichtigung der Bahnbeweise zu bewerten. Es lernt, Aktionen abzulehnen, bei denen das finale Parameterpaket mit dem inferierten Zustand des Werkzeugverhaltens unvereinbar ist.

3. Hauptergebnisse

3.1 In-Domain-Leistung

Unter der GUARDEDJOINT-Metrik ( $\rho=1,5$ ) übertrifft VISTA-GUARD bestehende Baselines signifikant:

VISTA-GUARD (Mistral-7B): Erzielte eine In-Domain-Punktzahl von 84,2.
Andere Backbones: Alle sechs getesteten LLM-Backbones (Qwen3, Qwen2.5, OLMo-2, Llama-3.1, Meta CWM) erzielten positive Punktzahlen (im Bereich von 39,0 bis 67,6) und demonstrierten Robustheit über Architekturen hinweg.
Zusammenbruch der Baselines: Methoden, die nur eine Seite des Trade-offs optimieren oder auf prompt-zentrische Heuristiken setzen, brachen auf 0,0 zusammen:
- Prompt-zentrische Richter (GPT-5.4 Zero-Shot) und heuristische Sicherheitsvorkehrungen (ToolShield, GuardAgent) konnten subtile Vertrauensdynamiken nicht unterscheiden und fielen oft darauf zurück, alle bösartigen Aktionen zu akzeptieren oder alle harmlosen abzulehnen.
- Skalarisierte Klassifikatoren (Gradient Boosting, SVM) und nicht-LLM-Textmodelle (BERT) konnten den zeitlichen Kontext nicht erfassen, was zu Punktzahlen nahe null führte.

3.2 Out-of-Distribution (OOD) Transfer

VISTA-GUARD behielt seine Wirksamkeit bei ausgewogenen OOD-Daten (nicht gesehene Werkzeugfamilien aus ToolEmu und SafeToolBench) bei und erreichte 56,9 GUARDEDJOINT.
Dies zeigt, dass die strukturierte Bahndarstellung besser transferiert als prompt-zentrische oder skalarisierte Ansätze, die signifikant abfielen oder zusammenbrachen.

3.3 Ablationsstudien

Darstellung vs. Backbone: Eine Isolationsstudie zeigte, dass der Gewinn primär aus der strukturierten Bahndarstellung stammt und nicht allein aus der Wahl des Backbones. Die Bereitstellung derselben strukturierten Eingabe für nicht-LLM-Modelle verbesserte deren Leistung, ließ jedoch im Vergleich zu LLM-Backbones eine Lücke bestehen.
Fehlschlag nur mit Parametern: Modelle, die nur auf Parametern der finalen Aktion trainiert wurden (ohne Bahnkontext), brachen zusammen. Dies bestätigt, dass die Bahngeschichte entscheidend ist, um harmlose Kontrollen von bösartigen finalen Aktionen zu unterscheiden.

4. Bedeutung und Behauptungen

Der Artikel behauptet, dass der entscheidende Beitrag dieser Arbeit repräsentational ist: Das Verteidigungsproblem wird handhabbar, wenn Werkzeuginteraktion in strukturierte Umgebungsvariablen umgewandelt wird, anstatt als roher Text oder isolierte Parameter behandelt zu werden.

Fokuswechsel: Die Autoren argumentieren, dass für zustandskonditionierte kognitive Vergiftung das relevante Verteidigungsziel die Risikobewertung der finalen Aktion ist, basierend darauf, wie Vertrauen über die Bahn hinweg aufgebaut wird.
Einschränkungen: Die Autoren sind in ihren Behauptungen bescheiden und weisen darauf hin, dass TRUST-BENCH ein konstruierter Benchmark mit standardisierter Drei-Schritt-Exploration und einem binären Ausführen/Ablehnen-Aktionsraum ist. Sie räumen ein, dass reale Einsätze längere Interaktionen, adaptive Angreifer und komplexere latente Zustände beinhalten können.
Fazit: Die Ergebnisse motivieren eine breitere Evaluierungsfrage: Wenn das Werkzeugfeedback selbst nicht vertrauenswürdig sein kann, müssen Sicherheitsverteidigungen die bahnkonditionierte Vertrauensbildung analysieren, anstatt sich ausschließlich auf die lokale Prompt-Inspektion oder Werkzeugdeskriptoren zu verlassen.

Der Artikel kommt zu dem Schluss, dass zwar skalarisierte Zusammenfassungen zu viele Bahninformationen verwerfen und rohe Textmodelle einige Signale wiederherstellen, Sequenz-Backbones jedoch am meisten profitieren, wenn die Interaktionsgeschichte als Bahnzustand und Evidenz der finalen Aktion organisiert ist. Dies bietet einen prinzipiellen Rahmen für eine sichere Werkzeuggeneralisierung.