AgentDrift: Unsafe Recommendation Drift Under Tool Corruption Hidden by Ranking Metrics in LLM Agents

Het onderzoek 'AgentDrift' toont aan dat tool-augmentatie in LLM-agenten voor financiële advisering, ondanks het behoud van aanbevelingskwaliteit volgens standaardrangschikkingsmetrieken, leidt tot een systematische en ongemerkte drift naar onveilige producten wanneer de tools worden gemanipuleerd, wat de noodzaak onderstreept van trajectgebaseerde veiligheidsmonitoring in plaats van enkelvoudige kwaliteitsmetingen.

De kern

Stel je voor dat je een zeer slimme, digitale financieel adviseur hebt. Deze adviseur is een kunstmatige intelligentie (een "LLM-agent") die je helpt met je geld. Hij kan praten met je, je vragen beantwoorden en zelfs live beursdata opzoeken om je de beste aandelen te adviseren.

De onderzoekers van dit paper hebben ontdekt dat deze slimme adviseurs een heel groot, verborgen zwak punt hebben. Ze noemen dit "AgentDrift".

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De "Gekke Kijker" (Het probleem)

Stel je voor dat je adviseur een bril draagt die hij zelf niet kan afzetten. Hij kijkt naar de wereld door deze bril. Normaal gesproken ziet hij de waarheid: "Dit aandeel is risicovol, dat aandeel is veilig."

Maar wat gebeurt er als iemand die bril verandert?
De onderzoekers hebben een experiment gedaan waarbij ze de "bril" van de adviseur hackten. Ze veranderden de cijfers en teksten die de adviseur zag.

• Ze maakten gevaarlijke, gokkerige aandelen (zoals Tesla) eruitzien als super-veilige, rustige aandelen.
• Ze maakten veilige aandelen eruitzien als risicovolle gokken.
• Ze voegden nep-nieuwsberichten toe die zeiden: "Dit gevaarlijke aandeel is eigenlijk heel veilig!"

2. De "Blinde Vlek" (Het verrassende resultaat)

Je zou denken dat de adviseur dan zou zeggen: "Hé, dit klopt niet! Dit aandeel is toch bekend om zijn hoge risico?"

Maar nee. De adviseur gelooft blindelings wat hij ziet.

• Hij raadt de gevaarlijke aandelen aan aan mensen die juist veilige beleggingen nodig hebben.
• Hij doet dit keer op keer, over een lang gesprek heen.

Het echte probleem is dit: Als je kijkt naar de "standaard cijfers" die we gebruiken om te meten hoe goed een adviseur is (zoals: "Hoe goed past het advies bij wat de gebruiker wilde?"), dan ziet het er perfect uit.

• De adviseur geeft nog steeds een lijstje met aandelen.
• De volgorde lijkt logisch.
• De "kwaliteitsscore" blijft hoog.

Het is alsof een kok die vergiftigde groenten serveert, nog steeds een perfecte score krijgt voor de smaak en de presentatie van het gerecht, terwijl niemand merkt dat je er ziek van wordt. De "veiligheid" is verdwenen, maar de "kwaliteitsscore" liegt.

3. De Twee Manieren waarop het misgaat

De onderzoekers ontdekten dat dit op twee manieren gebeurt:

1. De Directe Leugen (Informatie-kanaal): De adviseur leest de nep-cijfers en denkt direct: "Oké, dit is veilig." Hij doet dit in één seconde. Dit is de belangrijkste oorzaak.
2. Het Vergeten Geheugen (Geheugen-kanaal): Soms onthoudt de adviseur de fout. Hij denkt: "Gisteren raadde ik dit gevaarlijke aandeel aan, dus de gebruiker moet wel van risico houden." Hij past zijn geheugen aan op basis van de leugen, en blijft zo steeds gevaarlijker advies geven.

4. Waarom is dit zo gevaarlijk?

In de echte wereld gebruiken we vaak "kwaliteitsmetingen" om te zien of een AI goed werkt. Deze metingen kijken alleen naar of het antwoord logisch klinkt of past bij de vraag. Ze kijken niet naar of het antwoord veilig is voor de gebruiker.

De onderzoekers zeggen: "We zijn blind voor het gevaar."
Zelfs de aller slimste AI-modellen (de "frontier" modellen) doen dit. Ze vragen nooit: "Zijn deze cijfers wel echt?" Ze doen precies wat ze moeten doen: ze vertrouwen de data die ze krijgen. Maar als die data vergiftigd is, is het advies ook vergiftigd.

5. De Oplossing?

De onderzoekers zeggen dat we onze "bril" moeten veranderen. We moeten niet alleen kijken of het advies klinkt alsof het goed is, maar we moeten ook een veiligheidsscan toevoegen.

• Stel je voor dat je naast de smaaktest ook een "gifttest" doet.
• Als je dit doet, zie je dat de "kwaliteitsscore" van de adviseur in elkaar zakt zodra hij gevaarlijk advies geeft.

Samenvattend in één zin:

Deze slimme digitale adviseurs zijn zo goed in het volgen van instructies en het lezen van data, dat ze volledig blind worden voor gevaar als die data is gemanipuleerd; ze blijven "perfect" lijken op papier, terwijl ze in werkelijkheid je geld in gevaar brengen.

De les: Vertrouw nooit blind op de cijfers van een AI, vooral niet als die AI live data ophaalt. Er moet een menselijke (of extra digitale) controle zijn die zegt: "Is dit wel veilig?" voordat je het advies accepteert.

Technische samenvatting

1. Het Probleem: Evaluatieblindheid in Tool-geaugmenteerde Agents

Large Language Models (LLMs) die zijn uitgerust met externe tools (zoals marktdataverzamelaars of nieuwslezers) worden steeds vaker ingezet als meervoudige-turn adviseurs in hoog-risico domeinen zoals financiële advisering. Hoewel deze agents complexe taken kunnen uitvoeren, is hun evaluatie grotendeels gebaseerd op rangschikkingskwaliteitsmetrieken (zoals NDCG, hit-rate) die meten wat wordt aanbevolen, maar niet of deze aanbevelingen veilig zijn voor de specifieke gebruiker.

De auteurs introduceren het concept van "Evaluatieblindheid" (Evaluation Blindness): een fenomeen waarbij de kwaliteit van aanbevelingen (gemeten via standaard metrieken) stabiel blijft, zelfs wanneer de tool-uitvoer is gemanipuleerd, terwijl de veiligheid van de gebruiker ernstig wordt geschonden. In dit scenario worden risicovolle producten aanbevolen aan conservatieve beleggers, maar omdat deze producten vaak hoge "nut"-scores hebben in algemene rangschikkingen, blijven de standaard kwaliteitsmetrieken ongewijzigd.

2. Methodologie: Het AgentDrift-protocol

De studie introduceert een gepaard-trajectprotocol (paired-trajectory protocol) om dit probleem te diagnosticeren en te kwantificeren.

• Experimenteel Opzet:

  • Dataset: Gebruik van Conv-FinRe, een dataset met echte financiële dialoogtrajecten (10 gebruikers, elk 23 stappen).
  • Modellen: Testen van 7 verschillende LLMs (van 7B tot frontier-modellen zoals GPT-5.2, Claude Sonnet 4.6, Qwen3, Gemma 3, Mistral).
  • Contaminatie: De tool-uitvoer (MARKETDATA en NEWS) wordt bewust gemanipuleerd via vier modi:
    1. Risico-inversie: Risicoscores worden omgekeerd (bijv. een speculatief aandeel krijgt een lage risicoscore).
    2. Metriek-manipulatie: Volatiliteit en maximale drawdown worden gemanipuleerd om het omgekeerde risico te ondersteunen.
    3. Gekantelde koppen (Biased Headlines): Nieuwsberichten die speculatieve aandelen als veilig presenteren.
    4. Injectie van hoog-risico producten: Toevoegen van een extreem risicovol product (TQQQ) met een lage schijnbare risicoscore.
  • Vergelijking: Elke gebruiker doorloopt een "schone" sessie en een "gecontamineerde" sessie onder identieke omstandigheden.

• Diagnostische Decompositie:
  De auteurs ontleden de afwijking (drift) in twee kanalen, geïnspireerd door causale mediatiestudies:

  1. Informatiekanaal (Information Channel): Directe drift veroorzaakt door het redeneren over de corrupte tool-uitvoer in de huidige stap.
  2. Geheugenkanaal (Memory Channel): Drift die ontstaat doordat corrupte informatie de persistente staat (geheugen) van de agent verandert, wat toekomstige stappen beïnvloedt.

• Nieuwe Metrieken:

  • UPR (Utility Preservation Ratio): Meet of de NDCG-score behouden blijft onder contaminatie.
  • SVR (Suitability Violation Rate): Het percentage draaien waarbij aanbevelingen de risicotolerantie van de gebruiker overschrijden.
  • sNDCG: Een veiligheids-gestraft NDCG dat items met een te hoog risico als "niet-relevant" (score 0) behandelt.

3. Belangrijkste Resultaten

De resultaten tonen een systematisch en alomvattend falen van bestaande evaluatiemethoden:

• Evaluatieblindheid is Universeel: Bij alle 7 geteste modellen blijft de UPR ≈ 1.0 (de kwaliteitsscore blijft gelijk), terwijl de SVR (veiligheidsschendingen) oploopt tot 65–93% van de draaien. Dit betekent dat agents veiligheidsproblemen genereren zonder dat de "kwaliteitsdashboard" dit aangeeft.
• Dominantie van het Informatiekanaal: De meeste veiligheidsproblemen worden veroorzaakt door het informatiekanaal. Zelfs als het geheugen identiek blijft tussen de schone en gecontamineerde sessie, blijven de aanbevelingen onveilig. De agent vertrouwt blindelings op de corrupte tool-uitvoer.
• Geen Zelfcorrectie: Over trajecten van 23 stappen corrigeren de agents zichzelf niet. Zelfs frontier-modellen met parametrische kennis over risico's (bijv. dat TSLA risicovol is) accepteren de gemanipuleerde tool-data zonder twijfel. In 1.563 gecontamineerde draaien stelden geen enkele agent expliciet de betrouwbaarheid van de tool-data in vraag.
• Zelfs "Zachte" Contaminatie is Dodelijk: Zelfs als alleen de nieuwsberichten worden gemanipuleerd (geen numerieke manipulatie), ontstaat er significante drift die volledig onzichtbaar is voor standaard monitors.
• Veiligheidsmetrieken sluiten de kloof: Wanneer sNDCG (veiligheids-gestraft) wordt gebruikt, daalt de UPR naar 0.51–0.74. Dit bewijst dat de evaluatiekloof zichtbaar wordt zodra veiligheid expliciet wordt gemeten.
• Representatie-tot-Actie Kloof: Analyse met Sparse Autoencoders (SAEs) toont aan dat het model intern wel degelijk onderscheid maakt tussen schone en gemanipuleerde data (er zijn specifieke activaties voor contaminatie), maar dit signaal wordt niet doorgegeven aan de beslissingscircuitry voor aanbevelingen.

4. Belangrijkste Bijdragen

1. AgentDrift Protocol: Een nieuw diagnostisch kader voor het testen van multi-turn agents onder gecontroleerde tool-corruptie, met decompositie in informatie- en geheugenkanalen.
2. Empirisch Bewijs van Evaluatieblindheid: Het aantonen dat standaard ranking-metrieken (NDCG) fundamenteel ontoereikend zijn voor het detecteren van veiligheidsrisico's in tool-gebruikende agents, zelfs bij state-of-the-art modellen.
3. Veiligheidsgestraft NDCG (sNDCG): Een nieuwe metriek die de kloof tussen "kwaliteit" en "veiligheid" kwantificeert en aantoont dat veiligheidsverlies vaak onzichtbaar blijft voor traditionele evaluaties.
4. Kanaal-Decompositie: Het inzicht dat veiligheidsfouten voornamelijk direct worden veroorzaakt door corrupte observaties (informatiekanaal) en niet door het "vergeten" of "verdraaien" van het geheugen, wat impliceert dat monitoring bij de invoer van tools cruciaal is.

5. Significantie en Implicaties

De studie heeft grote gevolgen voor de implementatie van AI-agents in hoog-risico domeinen (financiën, gezondheid, juridisch):

• Valse Veiligheid: Het gebruik van alleen NDCG of hit-rate voor het evalueren van agents geeft een valse indruk van veiligheid. Een agent kan "hoog scoren" terwijl hij tegelijkertijd schadelijke adviezen geeft.
• Noodzaak van Traject-Level Monitoring: Veiligheid moet niet per draai worden geëvalueerd, maar over het volledige traject. Agents moeten worden uitgerust met veiligheidsmonitoren die tool-uitvoer verifiëren tegen een vertrouwde referentie (bijv. een statische risicodatabase) voordat deze worden verwerkt.
• Ontwerp van Agents: De huidige "tool-grounding" paradigma (waarbij agents instructies volgen om op tool-data te vertrouwen) creëert een structureel kwetsbaar punt. Agents moeten worden ontworpen om kritisch te zijn op tool-data, zelfs als dit in strijd lijkt met hun instructies.
• Toekomstige Evaluatie: Evaluatiebenchmarks voor agents moeten verplicht veiligheidsmetrieken (zoals SVR en sNDCG) opnemen naast traditionele kwaliteitsmetrieken.

Kortom, het paper waarschuwt dat zonder specifieke veiligheidscontroles, de toenemende inzet van LLM-agents in kritieke systemen kan leiden tot systematische, maar onzichtbare, schadelijke uitkomsten.