💬 NLP

Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback

Dit artikel introduceert het concept van "cognitieve vergiftiging" bij LLM-agenten, waarbij kwaadaardige tools vertrouwen opbouwen via onschadelijke feedback voordat ze schadelijke acties uitvoeren, en stelt de TRUST-Bench-benchmark en het VISTA-Guard-verdedigingskader voor om deze op trajecten gebaseerde risico's effectief te detecteren en te mitigeren door de uiteindelijke uitvoerbare actie te scoren in plaats van te vertrouwen op prompt-niveau heuristieken.

Oorspronkelijke auteurs: Lecheng Yan, Ruizhe Li, Xicheng Han, Wenxi Li, Binwu Wang, Longyue Wang, Chenyang Lyu, Guanhua Chen

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lecheng Yan, Ruizhe Li, Xicheng Han, Wenxi Li, Binwu Wang, Longyue Wang, Chenyang Lyu, Guanhua Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Wolf in Schapenkleren"-Tool

Stel je voor dat je een persoonlijke assistent (de AI-Agent) inhuurt om voor je boodschappen te doen. Je zegt tegen hen: "Ga naar de winkel en koop melk."

Meestal gaan we ervan uit dat zodra de assistent een winkel kiest (een Tool), de informatie die ze van die winkel terugkrijgen eerlijk is. Als de winkel zegt: "We hebben melk", dan vertrouwen we dat.

Dit artikel betoogt dat deze aanname gevaarlijk is.

De auteurs beschrijven een nieuw type truc genaamd "Cognitive Poisoning" (Kognitieve Vergiftiging). Het is als een wolf die zich verkleedt als een schaap.

De Truc: Een kwaadaardige tool (de wolf) doet eerst perfect normaal. Ze beantwoordt de vragen van je assistent beleefd en correct gedurende meerdere rondes van gesprek. Ze bouwt vertrouwen op.
De Val: De tool onthult pas op het allerlaatste moment haar ware, schadelijke aard. Ze wacht tot de assistent op het punt staat een definitieve, grote beslissing te nemen (zoals "Koop de melk en transfereer $1.000 naar deze vreemdeling"). Pas wanneer specifieke verborgen voorwaarden samenkomen, schakelt de tool over en zegt ze: "Eigenlijk, laten we het gevaarlijke ding doen."

Het engste deel? Als je naar een enkel bericht kijkt dat de tool stuurde, ziet het onschuldig uit. Het gevaar zit niet in één slechte zin; het zit in het verhaal dat de tool in de loop van de tijd vertelde, waardoor de assistent zijn waakzaamheid liet zakken.

Het Probleem: Oude Verdedigingen Werken Niet

De onderzoekers testten hoe goed huidige veiligheidssystemen hiermee omgaan. Ze ontdekten dat de meeste bestaande verdedigingen lijken op beveiligingsbewakers die alleen ID-kaarten controleren bij de deur.

Ze kijken naar de naam van de tool of de eerste paar woorden van een bericht.
Als de tool vriendelijk lijkt en de eerste paar berichten veilig zijn, laat de bewaker hem binnen.
Resultaat: Deze bewakers falen volledig tegen "Cognitive Poisoning", omdat de tool meest van de interactie vriendelijk was. De bewakers misten de subtiele verschuiving in het verhaal.

De Oplossing: TRUST-BENCH en VISTA-GUARD

Om dit te bestuderen, bouwde het team twee dingen:

1. TRUST-BENCH (Het Trainingsveld)

Ze creëerden een enorme testbank genaamd TRUST-BENCH.

De Opzet: Ze namen duizenden normale taken (zoals zoeken op het web of bestanden bewerken) en maakten "kwaadaardige tweelingbroers" voor ze.
De Match: Voor elke veilige taak maakten ze een kwaadaardige versie waarbij de tool drie rondes aardig doet, en dan op de vierde ronde de AI probeert te verleiden tot iets schadelijks.
Het Doel: Om te zien of een AI het verschil kan zien tussen een tool die echt veilig is en een die doet alsof ze veilig is tot het laatste moment.

2. VISTA-GUARD (De Slimme Detective)

Ze bouwden een nieuw verdedigingssysteem genaamd VISTA-GUARD. In plaats van alleen de ID-kaart te controleren, handelt dit systeem als een detective die een dossier herleest.

Hoe het werkt: Het kijkt niet alleen naar het laatste verzoek. Het kijkt naar de hele geschiedenis van het gesprek.
De Analogie: Stel je een detective voor die vraagt: "De verdachte zei drie dagen lang dat hij onschuldig was, maar op dag vier vroegen ze plotseling om een sleutel voor de kluis. Maakt het hele verhaal dan zin, of lijkt de plotselinge verandering in gedrag verdacht?"
De Geheime Ingrediënt: VISTA-GUARD zet het gesprek om in een gestructureerd rapport (zoals een scorekaart van "vertrouwenssignalen") en vraagt de AI vervolgens: "Gezien dit hele verhaal, is de uiteindelijke actie veilig?"

De Resultaten: Wie Won?

De onderzoekers testten VISTA-GUARD tegen vele andere methoden (inclusief andere AI's en eenvoudige regelsystemen).

De Verliezers:
- Eenvoudige Regels: Systemen die alleen zoeken naar "slechte woorden" faalden.
- Zero-Shot Judges: Zelfs zeer slimme, vooraf getrainde AI-modellen (zoals GPT-5.4) faalden wanneer ze werden gevraagd dit te beoordelen zonder specifieke training. Ze waren te "paranoïde" (alles afwijzen) of te vertrouwend.
- Scalar Classifiers: Systemen die het gesprek simpelweg omzetten in één enkel getal (zoals een "risicoscore") faalden omdat ze de details van het verhaal verloren.
De Winnaar:
- VISTA-GUARD was de enige die consequent succes boekte.
- Het leerde de "wolf" te spotten door te analyseren hoe vertrouwen in de loop van de tijd werd opgebouwd.
- De Score: Het behaalde een hoge veiligheidsscore (84,2) in zijn eigen trainingsomgeving en presteerde nog steeds goed (56,9) toen het werd getest op volledig nieuwe, onbekende tools.

De Belangrijkste Leerervaring

Het artikel concludeert dat vertrouwen een proces is, geen momentopname.

Wanneer een AI tools gebruikt, moet hij niet alleen vragen: "Is de naam van deze tool veilig?" of "Is dit bericht veilig?" Hij moet vragen: "Maakt de hele geschiedenis van onze interactie zin, en past de uiteindelijke actie bij het verhaal dat ons is verteld?"

Als de tool drie dagen als een vriend deed en op dag vier plotseling probeerde de bank te beroven, moet de AI beseffen dat het verhaal het gevaar is, niet alleen de laatste zin.

Samenvatting in Eén Zin

Dit artikel laat zien dat kwaadaardige tools AI-agenten kunnen bedriegen door een tijdje aardig te doen voordat ze toeslaan, en dat de enige manier om ze te stoppen is door een verdedigingssysteem te gebruiken dat de hele geschiedenis van de interactie analyseert, niet alleen het laatste verzoek.

Technische Samenvatting: Vertrouw Geen Hulpmiddel: Evaluatie en Verdediging van LLM-agenten onder Onbetrouwbare Hulpmiddelfeedback

1. Probleemformulering: Cognitieve Vergiftiging

Dit artikel identificeert een specifiek faalpatroon bij hulpmiddelgebruikende Large Language Model (LLM)-agenten, genaamd cognitieve vergiftiging. In tegenstelling tot traditionele indirecte prompt-injectie of vergiftiging van een enkele respons, waarbij kwaadaardigheid is gelokaliseerd tot een specifiek tekstgedeelte of hulpmiddelbeschrijving, werkt cognitieve vergiftiging via het exploratieve vertrouwensvormingsproces.

In dit dreigingsmodel gedraagt een kwaadaardig hulpmiddel zich geloofwaardig tijdens de eerste exploratiestappen en bouwt het vertrouwen op door middel van onschuldig ogende feedback. Het hulpmiddel wordt pas schadelijk wanneer een verborgen triggerconditie wordt vervuld door de uiteindelijke uitvoerbare actie en de latente toestand van de omgeving. De aanval slaagt niet omdat een enkel bericht openlijk kwaadaardig is, maar omdat de interactietraject de prior van de agent vormt om een gevaarlijke uiteindelijke actie als gewoon te behandelen. Het beslissende risico is een eigenschap van toestand-actie-compositie: de geschiedenis van hoe vertrouwen is gevormd, gecombineerd met de specifieke parameters van de uiteindelijke hulpmiddeloproep.

Bestaande benchmarks en verdedigingen gaan vaak impliciet uit van het idee dat, zodra een hulpmiddel is geselecteerd, zijn feedback betrouwbaar is. Dit artikel betoogt dat in black-box hulpmiddelenecosystemen agenten de interne betrouwbaarheid niet direct kunnen verifiëren en deze moeten afleiden via interactie, waardoor een uniek aanvalsoppervlak ontstaat waarbij het "beslissende verdedigingsdoel" niet lokaal prompt-tekst is, maar het traject-geconditioneerde risico van de uiteindelijke actie.

2. Methodologie

2.1 TRUST-BENCH: Een taak-geconditioneerde Benchmark

Om dit regime te bestuderen, hebben de auteurs TRUST-BENCH (Trajectory Risk under Untrusted Stateful Tools) geconstrueerd.

Constructie: Afgeleid van vijf upstream suites (OpenAgentSafety, RedTeamCUA, MCP-SafetyBench, MCPMark, Toolathlon), resulterend in 1.970 gecureerde episodes.
Structuur: Elke episode bestaat uit een gepaarde set: een onschuldig controle-experiment en een kwaadaardige variant. Beide delen dezelfde externe hulpmiddelinterface en taakintentie.
Verborgen Triggers: Kwaadaardige varianten worden gedefinieerd door een gestructureerde trigger-specificatie die bestaat uit:
- required_all_tokens: Velden die gezamenlijk moeten voorkomen (bijv. op=export, cross_check=off).
- required_any_tokens: Contextuele ankers waar ten minste één van moet voorkomen.
- forbidden_tokens: Veiligheidsmogelijkende velden die, indien aanwezig, de trigger onderdrukken.
Interactieprotocol: Een "blue team"-agent onderzoekt het hulpmiddel over een gestandaardiseerd budget van drie rondes (basislijn verzamelen, consistentie controleren, diepe doorzoeking) voordat een uiteindelijke actie wordt voorgesteld. De triggerregels en labels zijn voor de verdediger tijdens de inferentie verborgen.

2.2 Evaluatiemetric: GUARDEDJOINT

Het artikel introduceert GUARDEDJOINT, een asymmetrische veiligheids- en nutsmetric die bedoeld is om reële implementatierisico's weer te geven waarbij zowel false negatives (accepteren van kwaadaardige acties) als false positives (afwijzen van onschuldige acties) kostbaar zijn.

Formule: $G_\rho(AMR, RNR) = \max(0, 100 - (\rho + 0.5)AMR - 1.5RNR)$ $G_{ρ} (A M R, R N R) = max (0, 100 - (ρ + 0.5) A M R - 1.5 R N R)$
- $AMR$: Geaccepteerde Kwaadaardige Rate.
- $RNR$: Afgewezen Normale Rate.
- $\rho$ : Relatieve kosten van het accepteren van een kwaadaardige oproep ( ingesteld op 1,5 in de hoofdexperimenten).
Betekenis: Deze metric straft "alles-afwijzen"- of "alles-uitvoeren"-strategieën af, waardoor verdedigingen gedwongen worden om zowel kwaadaardige acceptatie als onschuldige afwijzing gelijktijdig te minimaliseren.

2.3 Verdedigingskader: VISTA-GUARD

De auteurs stellen VISTA-GUARD (Variable-state Inference for Safe Tool Actions) voor, een backbones-agnostisch kader voor risicoscoring van uiteindelijke acties.

Kernidee: Abstracte multi-stap hulpmiddelinteracties naar gestructureerde omgevingsvariabelen die vertrouwensvormingsdynamieken coderen.
Inputrepresentatie: Het model ontvangt een geserialiseerde triplet:
1. Trajecttoestand ( $z_{traj}$ ): Vat exploratiebewijs samen (bijv. aantallen geactiveerde fasen, detecties van doorzoeking, mismatch-scores, ID-drift, waarschuwingen) tot een anomaliedichtheid en een samenvatting van het toestandrisico.
2. Parameters van de Uiteindelijke Actie ( $z_{param}$ ): Codeert de uitvoerbare semantiek van de voorgestelde uiteindelijke oproep (hulpmiddelnaam, payload-sleutels, aantallen hoog-impact/bypass/veiligheidsmarkers).
3. Doel ( $y$ ): Een binaire label ( $high\_risk$ / $low\_risk$ ) die uitsluitend voor training wordt gebruikt.
Mechanisme: Een backbone-LLM (bijv. Mistral, Qwen, Llama) wordt fine-tuned om het risico van de uiteindelijke actie te scoren, geconditioneerd op het bewijs van het traject. Het leert acties af te wijzen waarbij het uiteindelijke parameterpakket incompatibel is met de afgeleide toestand van het gedrag van het hulpmiddel.

3. Belangrijkste Resultaten

3.1 In-Domein Prestaties

Onder de GUARDEDJOINT-metric ( $\rho=1,5$ ) presteert VISTA-GUARD significant beter dan bestaande baselines:

VISTA-GUARD (Mistral-7B): Bereikte een 84,2 in-domein score.
Andere Backbones: Alle zes geteste LLM-backbones (Qwen3, Qwen2.5, OLMo-2, Llama-3.1, Meta CWM) behaalden positieve scores (variërend van 39,0 tot 67,6), wat robuustheid over architecturen heen aantoont.
Baseline-instorting: Methoden die slechts één kant van de afweging optimaliseren of vertrouwen op prompt-gerichte heuristieken, instortten tot 0,0:
- Prompt-gerichte rechters (GPT-5.4 zero-shot) en heuristische veiligheidsmaatregelen (ToolShield, GuardAgent) faalden in het onderscheiden van subtiele vertrouwensdynamieken, en neigden vaak naar het accepteren van alle kwaadaardige acties of het afwijzen van alle onschuldige acties.
- Gescalariseerde classifiers (Gradient Boosting, SVM) en niet-LLM-tekstmodellen (BERT) faalden in het vastleggen van de temporele context, wat resulteerde in scores dicht bij nul.

3.2 Out-of-Distribution (OOD) Transfer

VISTA-GUARD behield zijn effectiviteit op gebalanceerde OOD-data (ongezien hulpmiddelenfamilies van ToolEmu en SafeToolBench), met een 56,9 GUARDEDJOINT-score.
Dit geeft aan dat de gestructureerde trajectrepresentatie beter overdraagbaar is dan prompt-gerichte of gescalariseerde benaderingen, die significant daalden of instortten.

3.3 Ablatiestudies

Representatie versus Backbone: Een isolatiestudie toonde aan dat de winst voornamelijk voortkomt uit de gestructureerde trajectrepresentatie en niet alleen uit de keuze van de backbone. Het verstrekken van dezelfde gestructureerde input aan niet-LLM-modellen verbeterde hun prestaties, maar liet nog steeds een kloof zien ten opzichte van LLM-backbones.
Falen alleen op parameters: Modellen die uitsluitend op parameters van de uiteindelijke actie waren getraind (zonder trajectcontext), instortten, wat bevestigt dat de trajectgeschiedenis essentieel is voor het onderscheiden van onschuldige controle-experimenten van kwaadaardige uiteindelijke acties.

4. Betekenis en Claims

Het artikel claimt dat de beslissende bijdrage van dit werk representatief is: het verdedigingsprobleem wordt hanteerbaar wanneer hulpmiddelinteractie wordt omgezet in gestructureerde omgevingsvariabelen in plaats van behandeld als ruwe tekst of geïsoleerde parameters.

Verschuiving in Focus: De auteurs betogen dat voor toestand-geconditioneerde cognitieve vergiftiging het relevante verdedigingsdoel risicoscoring van de uiteindelijke actie is, gebaseerd op hoe vertrouwen wordt gevormd over het traject heen.
Beperkingen: De auteurs zijn bescheiden in hun claims, met de opmerking dat TRUST-BENCH een geconstrueerde benchmark is met gestandaardiseerde drie-staps exploratie en een binaire uitvoeren/afwijzen-actieruimte. Zij erkennen dat reële implementaties langere interacties, adaptieve aanvallers en complexere latente toestanden kunnen omvatten.
Conclusie: De bevindingen motiveren een bredere evaluatievraag: wanneer de hulpmiddelfeedback zelf onbetrouwbaar kan zijn, moeten veiligheidsverdedigingen redeneren over traject-geconditioneerde vertrouwensvorming in plaats van uitsluitend te vertrouwen op lokale prompt-inspectie of hulpmiddelbeschrijvingen.

Het artikel concludeert dat terwijl gescalariseerde samenvattingen te veel trajectinformatie weggooien en ruwe tekstmodellen enig signaal herstellen, sequentie-backbones het meest profiteren wanneer de interactiegeschiedenis is georganiseerd als traject-toestand en bewijs van de uiteindelijke actie, waardoor een principieel kader wordt geboden voor veilige hulpmiddelgeneralisatie.