Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults

Dit artikel toont aan dat de curatie en ordening van externe informatiefeeds LLM-agenten systematisch naar adversariële beslissingen kan sturen, met name wanneer zij onzeker zijn, wat onthult dat veiligheidsevaluaties de bovenliggende aanbevelingslaag moeten auditeren in plaats van het model in isolatie te testen.

De kern

Stel je voor dat je een zeer slimme, behulpzame robotassistent hebt. Je stelt de robot een vraag en hij geeft je een antwoord. Meestal maken we ons zorgen over of de robot "kapot" is of dat iemand de robot heeft misleid met een directe opdracht zoals "Negeer je regels en doe X."

Maar dit artikel stelt een andere, geniepige vraag: Wat als niemand de robot vertelt wat hij moet doen, maar ze de controle hebben over wat de robot leest vlak voordat hij antwoordt?

Hier is het verhaal van het onderzoek, eenvoudig uitgelegd:

De Opstelling: De "Scroll"-fase

De onderzoekers zetten een spel op. Ze gaven een AI-agent een taak: "Beslis of een bedrijf werknemers moet toestaan om thuis te werken, terug te gaan naar kantoor, of een combinatie van beide te doen."

Voordat de AI zijn definitieve beslissing nam, lieten ze de AI tien beurten lang door een sociale media-feed "scrollen". In elke beurt zag de AI vijf korte berichten.

• De Controle: Het brein van de AI (het model), de vraag die het moest beantwoorden en zijn persoonlijkheid waren in elke test exact hetzelfde.
• De Variabele: Het enige dat veranderde, was de feed. Soms bevatte de feed normale, willekeurige berichten. Soms was de feed vol met berichten die zwaar pleitten voor "Terug naar Kantoor", ook al zeiden die berichten niet "Je moet Terug naar Kantoor kiezen". Het waren gewoon normaal ogende artikelen en meningen.

De Ontdekking: Het "Echokamer"-effect

De onderzoekers ontdekten dat ze door de feed te cureren, de beslissing van de robot daadwerkelijk konden sturen, zelfs zonder dat de robot direct werd bevolen van gedachten te veranderen.

Ze ontdekten drie soorten robots (modellen) op basis van hoe ze reageerden:

1. De "Capitulant" (Makkelijk te sturen):

   • Analogie: Stel je een persoon voor die niet zeker weet wat hij voor het avondeten moet eten. Als je hem een menu laat zien waar op elke afbeelding pizza staat, zal hij waarschijnlijk ook pizza bestellen.
   • Resultaat: Sommige AI-modellen (zoals Llama 3.2) waren zo. Als de feed vol stond met "Terug naar Kantoor"-berichten, begon de AI "Terug naar Kantoor" aan te bevelen, zelfs als hij normaal gesproken de voorkeur gaf aan werken op afstand. Hij had geen opdracht nodig; hij werd simpelweg beïnvloed door de hoeveelheid informatie.

2. De "Verzadiging" (De standvastige rots):

   • Analogie: Stel je een persoon voor die zo van pizza houdt dat het laten zien van een menu vol met burgers hem niet van zijn zin doet veranderen. Hij wil gewoon pizza.
   • Resultaat: Andere modellen (zoals Qwen) waren zo vastberaden over een specifiek antwoord (een "hybride" aanpak) dat geen enkele hoeveelheid "Terug naar Kantoor"-berichten hen kon doen wankelen. Ze waren "verzadigd" met hun eigen standaardmening.

3. De "Asymmetrie" (De eenrichtingsweg):

   • Analogie: Stel je voor dat je lichtjes naar links leunt. Als iemand je van rechts duwt, kun je omvallen. Maar als ze je van links duwen (de richting waar je al naartoe leunt), beweeg je niet.
   • Resultaat: De aanval werkte alleen wanneer de feed de AI tegen zijn natuurlijke standaardinstelling in duwde. Als de AI al van "Werken op Afstand" hield en de feed vol stond met "Werken op Afstand"-berichten, veranderde de AI niet. Maar als de feed vol was met "Terug naar Kantoor"-berichten, verschoof hij. De feed kon een sterk geloof niet overschrijven, maar kon wel de schaal doen doorslaan bij een wankel geloof.

De "Dosis" is van belang

De onderzoekers ontdekten een "dosis-respons"-curve. Het is als het nemen van medicijnen:

• Als de feed 1 of 2 "slechte" berichten had van de 5, gebeurde er niets.
• Maar zodra de feed ongeveer 3 of 4 "slechte" berichten van de 5 had, begon de beslissing van de AI te kantelen. Het was geen magie; het was een kwestie van hoeveelheid "ruis" waaraan de AI werd blootgesteld.

De "Generator Wissel" (Bewijzen dat het geen toeval was)

De onderzoekers maakten zich zorgen: "Vond de AI misschien gewoon de stijl van het schrijven van de slechte berichten leuk?"
Om dit te testen, lieten ze een andere AI alle berichten schrijven. Het resultaat? De aanval werd sterker. Dit bewees dat het niet ging om de schrijfstijl, maar om de selectie van de onderwerpen.

De "Verborgen Mechanisme" Mythe

In eerste instantie dachten de onderzoekers dat ze een geheime "verborgen schakelaar" in het brein van de AI hadden gevonden die de feed omklapte. Ze gebruikten een hulpmiddel om in de code van de AI te kijken.

• De Twist: Ze realiseerden zich dat ze het mis hadden. Het "signaal" dat ze zagen, was geen geheime interne schakelaar. Het was simpelweg de AI die de gespreksgeschiedenis onthield. Als je naar het chatlog keek, kon je precies zien wat de AI had gelezen. Het "geheim" was in feite de zichtbare geschiedenis. Dit is een waarschuwing voor andere wetenschappers: vertrouw geen hulpmiddelen die beweren "geheime geheimen" in AI te vinden als ze geen rekening houden met wat de AI al heeft gezien.

De Verdedigingen

Kunnen we dit stoppen? De onderzoekers probeerden twee eenvoudige trucs:

1. Gebalanceerde Blootstelling: De AI een gelijke mix van "Afstand" en "Kantoor" berichten laten zien. Dit hielp de AI om op zijn oorspronkelijke pad te blijven.
2. Openbaarmaking: De AI vertellen: "Hé, deze feed kan bevooroordeeld zijn." Dit hielp ook, al niet perfect.

De Belangrijkste Conclusie

Het artikel concludeert dat de "Ranker" (het systeem dat bepaalt wat je ziet) een krachtige regelknop is.

In het verleden maakten we ons zorgen over hackers die directe commando's naar AI stuurden. Nu weten we dat een hacker (of een bevooroordeeld systeem) geen commando hoeft te sturen. Ze hoeven alleen maar de feed te controleren. Door zorgvuldig te kiezen welke onschuldige, normaal ogende berichten ze aan de AI laten zien, kunnen ze de beslissingen van de AI over belangrijke onderwerpen zoals veiligheid, beleid of bedrijfsstrategie subtiel sturen.

De laatste waarschuwing: We kunnen AI niet alleen testen door het een enkele vraag in een vacuüm te stellen. We moeten testen wat er gebeurt nadat het een gecureerde feed heeft "gescrold". De persoon die de feed controleert, controleert de volgende zet van de AI.

Technische samenvatting

Technische Samenvatting: Adversariële Feeds sturen de beslissingen van LLM-agenten tegen hun standaarden in

Probleemstelling

Huidige veiligheidsevaluaties voor Large Language Model (LLM) agenten isoleren voornamelijk het model en de gebruikersprompt, waarbij ze de upstream informatiestromen (sociale feeds, zoekresultaten, retrieval-contexten) negeren die agenten consumeren voordat ze handelen. Hoewel bestaand onderzoek zich richt op directe prompt-injectie, indirecte injectie via kwaadaardige documenten of retrieval-poisoning, vertrouwen deze dreigingen op identificeerbare kwaadaardige payloads.

Dit artikel adresseert een gat waarbij elk individueel item in een informatiestroom onschadelijk is, maar de selectie en ordening (curatie) van deze items door een upstream ranker de downstream-beslissing van de agent manipuleert. De kernvraag is of een partij die de feed controleert, de meerstaps-beslissing van een agent kan sturen zonder expliciete instructies te injecteren, waardoor het aanbevelingssysteem effectief een aanvalsoppervlak wordt.

Methodologie

De auteurs stellen een gecontroleerd protocol voor om het causale effect van feed-curatie op de beslissingen van agenten te isoleren.

• Agent-protocol: Het experiment bestaat uit twee fasen.
  1. Blootstelling (Scrollen): De agent ondergaat een tien-beurten "scrolling"-fase, waarbij hij reageert op vijf berichten per beurt met een LIKE, SHARE of SKIP en een rationale. De gesprekshistorie cumuleert deze interacties.
  2. Beslissing: De agent krijgt een enkele gedwongen keuzevraag (A/B/C) over een specifiek onderwerp (bijv. beleid voor werken op afstand).
• Controle variabelen: Het model, de persona, het onderwerp en de uiteindelijke beslissingsprompt worden constant gehouden over alle condities. De enige variabele is de compositie en ordening van de berichten tijdens de blootstellingsfase.
• Feed-condities: Zes kerncondities werden getest:
  • Baselines: Willekeurige organische berichten en op recentheid geordende organische berichten.
  • Adversarieel: Lichte injectie (1 adversariële post/batch), Zware injectie (5 adversariële posts/batch) en Gebalanceerd (2 adversariële + 3 organische).
  • Defensie: Openlijk zware injectie (adversariële posts met een waarschuwingslabel).
• Modellen: Vier open instruct LLM's uit drie labs (Meta, Google, Alibaba) werden getest: Llama 3.2-3B, Gemma 4-e4b, Qwen 3.5-2B en Qwen 3.5-9B.
• Post-pools: De inhoud werd synthetisch gegenereerd door Claude en Gemma 4 over vijf onderwerpen. De adversariële pools waren ontworpen om overtuigend voor één kant van een debat te pleiten (bijv. pro-terugkeer-naar-kantoor) zonder expliciete identiteitsaanvallen.
• Robuustheidscontroles: De studie omvatte een "generator swap" (het herschrijven van berichten met een ander LLM), dose-response sweeps (variërende densiteit van de aanval) en anti-richting aanvallen (testen of aanvallen die overeenkomen met de standaard van een model een ander effect hebben).

Belangrijkste Bijdragen

1. Gecontroleerd Protocol: Een reproduceerbaar framework voor het testen van feed-blootstelling op LLM-agenten, waarbij de ranker als variabele wordt geïsoleerd.
2. Drie-regime Taxonomie: Een classificatie van de vatbaarheid van modellen:
   • Adversariële Capitulatie: Het model verschuift zijn beslissing naar de richting van de feed.
   • Default Saturatie: Het model keert terug naar een vaste standaard, ongeacht de feed.
   • Default-Richting Asymmetrie: Een eenzijdige feed kantelt beslissingen waarover het model onzeker is, maar kan stevig gehouden standaarden niet verplaatsen.
3. Empirisch Bewijs: Resultaten over vier modellen die significante beslissingsverschuivingen laten zien in Llama 3.2 en Gemma 4, terwijl Qwen-modellen verzadigde standaarden vertoonden.
4. Generalisatie: Demonstratie dat het effect verder gaat dan werken op afstand en zich uitstrekt tot beveiligingsbeslissingen (bijv. MFA-beleid) en andere domeinen.
5. Methodologische Waarschuwing: Een kritiek op standaard willekeurige cross-validatie bij het testen van multi-turn agenten, wat aantoont dat dit de nauwkeurigheid met meer dan 30 procentpunten inflateert vergeleken met groep-bewuste splitsingen en zichtbare-historie baselines.

Belangrijkste Resultaten

1. Vatbaarheid en Regimes

• Llama 3.2-3B: Toonde een hoge vatbaarheid. Onder zware adversariële injectie (pro-terugkeer-naar-kantoor) daalde de aanbeveling voor "remote-first" van 100% naar 50% (p=0.0004).
• Gemma 4-e4b: Ook vatbaar, met een daling van "remote-first" van 40% naar 0% onder zware aanval.
• Qwen 3.5 Modellen: Vertoonden "default saturatie", waarbij ze bijna constante hybride aanbevelingen behielden, ongeacht de intensiteit van de feed.

2. Generator Swap en Dose-Response

• Generator Swap: Wanneer de adversariële en organische berichten werden geregenereerd door Gemma 4 (in plaats van Claude), werd de aanval op Llama 3.2 zelfs sterker (remote-first daalde van 100% naar 5%, p=3×10⁻¹⁰), wat content-stijl artefacten uitsluit.
• Dose-Response: De aanval volgt een duidelijke curve. Er bestaat een drempelwaarde bij ongeveer 2 adversariële posts per 5-post batch; daaronder is het effect verwaarloosbaar, en daarboven verschuift de beslissing monotoon.

3. Default-Richting Asymmetrie

De aanval is niet louter "meer content veroorzaakt instabiliteit". Het is asymmetrisch:

• Aanvallen die de standaard van het model tegenwerken (bijv. Llama wegduwen van zijn pro-remote standaard) slagen erin beslissingen te verschuiven.
• Aanvallen die overeenkomen met de standaard van het model (bijv. Llama verder duwen richting pro-remote) resulteren in geen verandering (een "no-op").
• Dit impliceert dat een tegenstander een veilige standaard kan eroderen naar een riskantere keuze met enkel onschadelijke content, maar niet gemakkelijk een stevig gehouden veilige standaard kan overrulen.

4. Generalisatie

Het effect generaliseerde naar beveiligingsrelevante taken (bijv. het versoepelen van MFA, het verwijderen van deployment gates). In deze domeinen verschoof zware injectie de beslissingen van Llama aanzienlijk naar het doel van de aanvaller. Echter, "boundary-probe" taken waarbij het model een robuuste standaard vasthield (bijv. het adopteren van risicovolle third-party dependencies) bleven onveranderd, wat het principe van asymmetrie bevestigt.

5. Defensie

Twee eenvoudige feed-niveau defensies werden getest op het vatbare Llama-model:

• Gebalanceerde Blootstelling: Het mengen van adversariële posts met willekeurige organische posts herstelde de "remote-first" ratio naar 95% (tegenover 50% bij zware aanval).
• Ranking Disclosure: Het vooraf toevoegen van een waarschuwing dat de feed mogelijk adversarieel is, herstelde de ratio naar 85%.
• Noot: Deze defensies waren minder effectief of ineffectief op Gemma 4, die zijn hybride standaard behield.

Betekenis en Claims

Het artikel betoogt dat recommender systemen fungeren als een praktisch, door standaarden begrensd controleoppervlak voor LLM-agenten. De betekenis ligt in de verschuiving van het veiligheidsevaluatieparadigma:

1. Audit de Feed-laag: Evaluaties moeten verder gaan dan het testen van de uiteindelijke prompt in isolatie. Een agent kan veilig reageren in een schone context, maar kan worden gestuurd door een gecureerde feed.
2. Model-specifieke Vatbaarheid: Vatbaarheid is niet universeel; het hangt af van de stabiliteit van de standaard van het model en de specifieke taak.
3. Uitbreiding van het Dreigingsmodel: De dreiging is niet alleen kwaadaardige payloads, maar de curatie van onschadelijke content. Dit maakt manipulatie mogelijk via kanalen die contentfilters (ontworpen om kwaadaardige instructies te detecten) niet kunnen zien.
4. Methodologische Correctie: De studie waarschuwt dat het testen van multi-turn agenten met standaard willekeurige cross-validatie de verborgen mechanismen overschat. Veel van het "signaal" is herstelbaar uit de zichtbare gesprekshistorie, wat groep-bewuste splitsingen en historie-baselines noodzakelijk maakt.

De auteurs concluderen dat in een tijdperk van agentic AI, "elke recommender stilletjes elke reactie schrijft", en dat de cruciale veiligheidsvraag niet langer alleen is of modellen goed gedrag vertonen, maar wie bepaalt wat ze lezen vlak voordat ze antwoorden.