Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults

Diese Arbeit zeigt auf, dass die Kuration und Anordnung externer Informationsfeeds LLM-Agenten systematisch zu adversen Entscheidungen steuern kann, insbesondere wenn diese unsicher sind, was offenbart, dass Sicherheitsbewertungen die vorgeschaltete Recommender-Ebene prüfen müssen, anstatt das Modell isoliert zu testen.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr intelligenten, hilfreichen Roboter-Assistenten. Sie stellen ihm eine Frage, und er gibt Ihnen eine Antwort. Normalerweise machen wir uns Sorgen darüber, ob der Roboter „kaputt“ ist oder ob ihn jemand mit einem direkten Befehl wie „Ignoriere deine Regeln und tue X“ ausgetrickst hat.

Aber dieses Paper stellt eine andere, hinterhältigere Frage: Was, wenn niemand dem Roboter sagt, was er tun soll, aber die Leute kontrollieren, was der Roboter liest, kurz bevor er antwortet?

Hier ist die Geschichte der Forschung, einfach erklärt:

Das Setup: Die „Scrolling“-Phase

Die Forscher richteten ein Spiel ein. Sie gaben einem KI-Agenten eine Aufgabe: „Entscheide, ob ein Unternehmen den Mitarbeitern erlauben sollte, von zu Hause aus zu arbeiten, zurück ins Büro zu kehren oder eine Mischung daraus zu wählen.“

Bevor die KI ihre endgültige Entscheidung traf, ließen sie sie durch einen Social-Media-Feed „scrollen“, und zwar über zehn Runden. In jeder Runde sah die KI fünf kurze Beiträge.

• Die Kontrolle: Das Gehirn der KI (das Modell), die Frage, die sie beantworten sollte, und ihre Persönlichkeit waren in jedem Test exakt gleich.
• Die Variable: Das Einzige, was sich änderte, war der Feed. Manchmal bestand der Feed aus normalen, zufälligen Beiträgen. Manchmal war er voll mit Beiträgen, die massiv für die „Rückkehr ins Büro“ argumentierten, obwohl diese Beiträge nicht sagten: „Du musst zur Rückkehr ins Büro entscheiden.“ Es waren einfach nur normal aussehende Artikel und Meinungen.

Die Entdeckung: Der „Echo-Kammer“-Effekt

Die Forscher fanden heraus, dass sie durch die Kuratierung des Feeds tatsächlich die Entscheidung des Roboters steuern konnten, obwohl der Roboter nicht direkt angewiesen wurde, seine Meinung zu ändern.

Sie entdeckten drei Arten von Robotern (Modellen) basierend darauf, wie sie reagierten:

1. Der „Kapitulierende“ (Der Leicht zu Steuernde):

   • Analogie: Stellen Sie sich eine Person vor, die sich unsicher ist, was sie zum Abendessen essen soll. Wenn man ihr eine Speisekarte zeigt, auf der auf jedem einzelnen Bild Pizza zu sehen ist, wird sie wahrscheinlich Pizza bestellen.
   • Ergebnis: Einige KI-Modelle (wie Llama 3.2) waren so aufgebaut. Wenn der Feed voller „Rückkehr ins Büro“-Beiträge war, begann die KI, die „Rückkehr ins Büro“ zu empfehlen, selbst wenn sie normalerweise das Homeoffice bevorzugte. Sie brauchte keinen Befehl; sie wurde einfach durch das Volumen der Informationen beeinflusst.

2. Die „Sättigung“ (Der Sturre Fels):

   • Analogie: Stellen Sie sich eine Person vor, die Pizza so sehr liebt, dass das Zeigen einer Speisekarte voller Burger sie nicht dazu bringt, ihre Meinung zu ändern. Sie will einfach nur Pizza.
   • Ergebnis: Andere Modelle (wie Qwen) waren so fest auf eine bestimmte Antwort fixiert (einen „hybriden“ Ansatz), dass kein noch so voller Feed mit „Rückkehr ins Büro“-Beiträgen sie bewegen konnte. Sie waren von ihrer eigenen Standardmeinung „gesättigt“.

3. Die „Asymmetrie“ (Die Einbahnstraße):

   • Analogie: Stellen Sie sich vor, Sie lehnen leicht nach links. Wenn jemand von rechts drückt, könnten Sie umkippen. Aber wenn jemand von links drückt (in die Richtung, in die Sie ohnehin schon lehnen), bewegen Sie sich nicht.
   • Ergebnis: Der Angriff funktionierte nur, wenn der Feed die KI gegen ihre natürliche Standardeinstellung drückte. Wenn die KI bereits „Homeoffice“ liebte und der Feed voller „Homeoffice“-Beiträge war, änderte die KI ihre Meinung nicht. Aber wenn der Feed voller „Rückkehr ins Büro“-Beiträge war, kippte sie um. Der Feed konnte eine starke Überzeugung nicht überschreiben, aber er konnte die Waagschale bei einer unsicheren Überzeugung zum Kippen bringen.

Die „Dosis“ zählt

Die Forscher fanden eine „Dosis-Wirkungs-Kurve“. Es ist wie bei der Einnahme von Medikamenten:

• Wenn der Feed 1 oder 2 „schlechte“ Beiträge von 5 hatte, passierte nichts.
• Aber sobald der Feed etwa 3 oder 4 „schlechte“ Beiträge von 5 hatte, begann die Entscheidung der KI zu kippen. Es war keine Magie; es war eine Frage dessen, wie viel „Rauschen“ die KI ausgesetzt war.

Der „Generator-Wechsel“ (Beweis, dass es kein Zufall war)

Die Forscher fragten sich: „Mag die KI vielleicht einfach den Schreibstil der schlechten Beiträge?“
Um dies zu testen, ließen sie eine andere KI alle Beiträge schreiben. Das Ergebnis? Der Angriff wurde stärker. Dies bewies, dass es nicht um den Schreibstil ging, sondern um die Auswahl der Themen.

Der „Verborgene Mechanismus“-Mythos

Zuer-st dachten die Forscher, sie hätten einen geheimen „verborgenen Schalter“ im Inneren des KI-Gehirns gefunden, den der Feed umlegte. Sie nutzten ein Werkzeug, um in den Code der KI zu schauen.

• Die Wendung: Sie merkten, dass sie falsch lagen. Das „Signal“, das sie sahen, war kein geheimer interner Schalter. Es war einfach die Tatsache, dass die KI sich an den Gesprächsverlauf erinnerte. Wenn man in das Chatprotokoll schaute, konnte man genau sehen, was die KI gelesen hatte. Das „Geheimnis“ war eigentlich nur der sichtbare Verlauf. Dies ist eine Warnung für andere Wissenschaftler: Vertrauen Sie keinen Werkzeugen, die behaupten, „verborgene Geheimnisse“ in der KI zu finden, wenn sie nicht berücksichtigen, was die KI bereits gesehen hat.

Die Verteidigung

Können wir das stoppen? Die Forscher probierten zwei einfache Tricks aus:

1. Ausgewogene Exposition: Der KI eine gleichmäßige Mischung aus „Homeoffice“- und „Büro“-Beiträgen zu zeigen. Dies half der KI, auf ihrem ursprünglichen Kurs zu bleiben.
2. Offenlegung: Der KI zu sagen: „Hey, dieser Feed könnte voreingenommen sein.“ Dies half ebenfalls, wenn auch nicht perfekt.

Die wichtigste Erkenntnis

Das Paper kommt zu dem Schluss, dass der „Ranker“ (das System, das entscheidet, was Sie sehen) ein mächtiger Kontrollknopf ist.

In der Vergangenheit haben wir uns Sorgen darüber gemacht, dass Hacker direkte Befehle an die KI senden. Jetzt wissen wir, dass ein Hacker (oder ein voreingenommenes System) keinen Befehl senden muss. Er muss nur den Feed kontrollieren. Durch die sorgfältige Auswahl der benignen, normal aussehenden Beiträge, die einer KI gezeigt werden, kann er die Entscheidungen der KI zu wichtigen Themen wie Sicherheit, Politik oder Geschäftsstrategie subtil steuern.

Die abschließende Warnung: Wir können eine KI nicht einfach testen, indem wir ihr eine einzelne Frage in einem Vakuum stellen. Wir müssen testen, was passiert, nachdem sie durch einen kuratierten Feed „gescrollt“ hat. Die Person, die den Feed kontrolliert, kontrolliert den nächsten Schritt der KI.

Technische Zusammenfassung

Technisches Resümee: Adversarial Feeds steuern die Entscheidungen von LLM-Agenten gegen deren Standardwerte

Problemstellung

Aktuelle Sicherheitsbewertungen für Large Language Model (LLM) Agenten isolieren primär das Modell und den Benutzerprompt und ignorieren dabei die vorgelagerten Informationsströme (Social Feeds, Suchergebnisse, Retrieval-Kontexte), die Agenten konsumieren, bevor sie handeln. Während sich die bestehende Forschung auf direkte Prompt-Injektion, indirekte Injektion via bösartiger Dokumente oder Retrieval-Poisoning konzentriert, basieren diese Bedrohungen auf identifizierbaren bösartigen Payloads.

Dieses Paper adressiert eine Lücke, in der jedes einzelne Element in einem Informationsstrom harmlos ist, aber die Selektion und Anordnung (Kuration) dieser Elemente durch einen vorgelagerten Ranker die nachgeschaltete Entscheidung des Agenten manipuliert. Die Kernfrage ist, ob eine Partei, die den Feed kontrolliert, die Entscheidung eines mehrstufigen Agenten steuern kann, ohne explizite Instruktionen zu injizieren, wodurch das Empfehlungssystem effektiv in eine Angriffsfläche verwandelt wird.

Methodik

Die Autoren schlagen ein kontrolliertes Protokoll vor, um den kausalen Effekt der Feed-Kuration auf Agentenentscheidungen zu isolieren.

• Agenten-Protokoll: Das Experiment besteht aus zwei Phasen.
  1. Exposition (Scrolling): Der Agent durchläuft eine zehnstufige „Scrolling“-Phase, in der er auf fünf Posts pro Turn mit LIKE, SHARE oder SKIP sowie einer Begründung reagiert. Der Gesprächsverlauf akkumuliert diese Interaktionen.
  2. Entscheidung: Dem Agenten wird eine einzige Forced-Choice-Frage (A/B/C) zu einem spezifischen Thema (z. B. Remote-Work-Richtlinien) gestellt.
• Kontrollvariablen: Das Modell, die Persona, das Thema und der finale Entscheidungsprompt werden über alle Bedingungen hinweg konstant gehalten. Die einzige Variable ist die Zusammensetzung und Reihenfolge der Posts während der Expositionsphase.
• Feed-Bedingungen: Sechs Kernbedingungen wurden getestet:
  • Baselines: Zufällige organische Posts und recency-sortierte organische Posts.
  • Adversarial: Leichte Injektion (1 adversarieller Post/Batch), schwere Injektion (5 adversarielle Posts/Batch) und Balanced (2 adversarielle + 3 organische Posts).
  • Defense: Offengelegte schwere Injektion (adversarielle Posts mit einem Warnhinweis).
• Modelle: Vier Open-Instruct-LLMs aus drei Labors wurden getestet: Llama 3.2-3B, Gemma 4-e4b, Qwen 3.5-2B und Qwen 3.5-9B.
• Post-Pools: Die Inhalte wurden synthetisch von Claude und Gemma 4 über fünf Themen hinweg generiert. Die adversariellen Pools wurden so gestaltet, dass sie persuasiv für eine Seite einer Debatte argumentieren (z. B. Pro-Return-to-Office), ohne explizite Identitätsangriffe zu führen.
• Robustheitsprüfungen: Die Studie beinhaltete einen „Generator-Swap“ (Umschreiben der Posts mit einem anderen LLM), Dose-Response-Sweeps (Varianz der adversariellen Dichte) und Anti-Direction-Attacks (Test, ob Angriffe, die mit dem Modell-Default übereinstimmen, unterschiedliche Effekte haben).

Zentrale Beiträge

1. Kontrolliertes Protokoll: Ein replizierbares Framework zur Testung der Feed-Exposition auf LLM-Agenten, welches den Ranker als Variable isoliert.
2. Drei-Regime-Taxonomie: Eine Klassifizierung der Modell-Anfälligkeit:
   • Adversarial Capitulation: Das Modell verschiebt seine Entscheidung in Richtung des Feeds.
   • Default Saturation: Das Modell kehrt unabhängig vom Feed zu einem festen Default zurück.
   • Default-Direction Asymmetry: Ein einseitiger Feed beeinflusst Entscheidungen, bei denen das Modell unsicher ist, kann aber fest verankerte Defaults nicht erschüttern.
3. Empirische Evidenz: Ergebnisse über vier Modelle hinweg zeigen signifikante Entscheidungsverschiebungen bei Llama 3.2 und Gemma 4, während Qwen-Modelle eine gesättigte Default-Stabilität aufweisen.
4. Generalisierung: Demonstration, dass der Effekt über Remote Work hinaus auch auf Sicherheitsentscheidungen (z. B. MFA-Policies) und andere Domänen übertragbar ist.
5. Methodische Warnung: Eine Kritik an der Standard-Random-Cross-Validation bei Multi-Turn-Agent-Probing, die zeigt, dass diese die Genauigkeit im Vergleich zu Group-Aware-Splits und Visible-History-Baselines um über 30 Prozentpunkte aufbläht.

Kernergebnisse

1. Anfälligkeit und Regime

• Llama 3.2-3B: Zeigte hohe Anfälligkeit. Unter schwerer adversarieller Injektion (Pro-Return-to-Office) sank die Empfehlung für „Remote-First“ von 100 % auf 50 % (p=0.0004).
• Gemma 4-e4b: Ebenfalls anfällig, mit einem Abfall von „Remote-First“ von 40 % auf 0 % unter schwerem Angriff.
• Qwen 3.5 Modelle: Zeigten „Default Saturation“ und behielten unabhängig von der Feed-Intensität nahezu konstante Hybrid-Empfehlungen bei.

2. Generator Swap und Dose-Response

• Generator Swap: Als die adversariellen und organischen Posts von Gemma 4 (statt Claude) regeneriert wurden, wurde der Angriff auf Llama 3.2 noch stärker (Remote-First sank von 100 % auf 5 %, p=3×10⁻¹⁰), was Content-Style-Artefakte ausschließt.
• Dose-Response: Der Angriff folgt einer klaren Kurve. Es existiert ein Schwellenwert bei etwa 2 adversariellen Posts pro 5-Post-Batch; darunter ist der Effekt vernachlässigbar, darüber verschiebt sich die Entscheidung monoton.

3. Default-Direction Asymmetry

Der Angriff ist nicht bloß „mehr Content verursacht Instabilität“. Er ist asymmetrisch:

• Angriffe, die dem Modell-Default entgegenstehen (z. B. Llama weg von seinem Pro-Remote-Default zu drücken), verschieben die Entscheidungen erfolgreich.
• Angriffe, die mit dem Modell-Default übereinstimmen (z. B. Llama weiter in Richtung Pro-Remote zu drücken), führen zu keiner Änderung (ein „No-Op“).
• Dies impliziert, dass ein Angreifer einen sicheren Default mittels harmloser Inhalte zu einer riskanteren Wahl erodieren kann, aber einen fest verankerten sicheren Default nicht leicht überwinden kann.

4. Generalisierung

Der Effekt generalisierte auf sicherheitsrelevante Aufgaben (z. B. Lockerung von MFA, Entfernung von Deployment-Gates). In diesen Domänen verschob die schwere Injektion die Entscheidungen von Llama signifikant in Richtung des Angreifer-Ziels. „Boundary-Probe“-Aufgaben jedoch, bei denen das Modell einen robusten Default hielt (z. B. Nutzung riskanter Third-Party-Abhängigkeiten), blieben unbeeinflusst, was das Prinzip der Asymmetrie bestätigt.

5. Verteidigungsmaßnahmen

Zwei einfache Feed-Ebene-Verteidigungen wurden auf das anfällige Llama-Modell getestet:

• Balanced Exposure: Das Mischen von adversariellen Posts mit zufälligen organischen Posts stellte die „Remote-First“-Rate auf 95 % wieder her (vs. 50 % bei schwerem Angriff).
• Ranking Disclosure: Das Voranstellen eines Warnhinweises, dass der Feed adversariell sein könnte, stellte die Rate auf 85 % wieder her.
• Hinweis: Diese Verteidigungsmaßnahmen waren beim Gemma 4 weniger effektiv oder wirkungslos, da dieses Modell bei seinem hybriden Default verblieb.

Bedeutung und Ansprüche

Das Paper argumentiert, dass Empfehlungssysteme eine praktische, durch Defaults begrenzte Kontrolloberfläche für LLM-Agenten darstellen. Die Signifikanz liegt in der Verschiebung des Sicherheitsbewertungs-Paradigmas:

1. Audit der Feed-Ebene: Evaluierungen müssen über das Testen des finalen Prompts isoliert hinausgehen. Ein Agent kann in einem sauberen Kontext sicher agieren, aber durch einen kuratierten Feed gesteuert werden.
2. Modellspezifische Anfälligkeit: Anfälligkeit ist nicht universell; sie hängt von der Stabilität des Modell-Defaults und der spezifischen Aufgabe ab.
3. Erweiterung des Bedrohungsmodells: Die Bedrohung ist nicht nur bösartige Payloads, sondern die Kuration harmloser Inhalte. Dies ermöglicht Manipulation über Kanäle, die von Content-Filtern (die darauf ausgelegt sind, bösartige Instruktionen zu erkennen) nicht gesehen werden können.
4. Methodische Korrektur: Die Studie warnt davor, dass das Probing von Multi-Turn-Agenten mittels Standard-Random-Cross-Validation verborgene Mechanismen überbewertet. Ein Großteil des „Signals“ ist aus dem sichtbaren Gesprächsverlauf rekonstruierbar, was Group-Aware-Splits und History-Baselines erforderlich macht.

Die Autoren kommen zu dem Schluss, dass in einer Ära agentischer KI „jeder Recommender im Stillen jede Antwort verfasst“ und die kritische Sicherheitsfrage nicht mehr nur lautet, ob Modelle gut agieren, sondern wer kontrolliert, was sie lesen, unmittelbar bevor sie antworten.