Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents

Dieses Paper führt **StakeBench** ein, einen neuartigen Benchmark, der die Evaluierung von Prompt-Injection-Angriffen auf LLM-gesteuerte Web-Agenten von einer rein technischen, angriffszentrierten Perspektive hin zu einem Stakeholder-zentrierten Framework verschiebt und aufzeigt, dass aktuelle Agenten unter vielfältigen und asymmetrischen Fehlermodi leiden, die verschiedene Entitäten wie Nutzer, Verkäufer und Plattformen unverhältnismäßig stark schädigen.

Das Wesentliche

Stellen Sie sich eine Welt vor, in der Sie einen superintelligenten, automatisierten persönlichen Einkaufsassistenten (einen „KI-Web-Agenten“) engagieren, der online nach den besten Angeboten sucht, Rezensionen liest und Dinge für Sie kauft. Sie sagen ihm: „Finde mir ein gutes Paar Laufschuhe“, und er macht sich an die Arbeit.

Das Paper „Who Pays the Price?“ handelt von einer neuen Methode, um zu testen, wie sicher diese Einkaufsassistenten sind, wenn sie im Internet auf hinterhältige, bösartige Inhalte stoßen.

Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Das Problem: Das „Trojanische Pferd“ in den Rezensionen

Derzeit konzentrieren sich die meisten Sicherheitstests für diese KI-Einkäufer auf eine einzige Frage: „Wurde die KI getäuscht?“ Es wird untersucht, ob die KI einer schlechten Anweisung gefolgt ist, die in einer Produktrezension versteckt war.

Die Autoren argumentieren jedoch, dass dies so ist, als würde man nur prüfen, ob ein Wachmann getäuscht wurde, die Tür zu öffnen, ohne zu fragen, wer verletzt wurde, als die Tür aufging.

In der realen Welt ist der Schaden, wenn eine KI getäuscht wird, nicht nur auf die Person beschränkt, die sie beauftragt hat. Es ist wie ein Dieb, der sich in ein Einkaufszentrum schleicht:

• Der Nutzer kauft vielleicht die falschen Schuhe.
• Der Verkäufer könnte einen schlechten Ruf bekommen, weil die KI eine gefälschte negative Bewertung gepostet hat.
• Die Plattform (das Einkaufszentrum selbst) könnte gegen ihre Regeln verstoßen oder ihre Systeme könnten gestört werden.

Das Paper nennt dies „Stakeholder-zentriertes“ Denken. Anstatt nur zu fragen „Hat der Angriff funktioniert?“, fragen sie: „Wer hat den Preis bezahlt und wie?“

2. Das neue Werkzeug: „StakeBench“

Die Forscher haben einen neuen Testplatz namens StakeBench entwickelt. Stellen Sie sich dies als eine riesige, realistische Simulation eines Online-Einkaufszentrums vor (basierend auf einer echten Plattform namens OneStopMarket).

Sie haben 264 verschiedene „Fallen“ (Angriffe) erstellt, die in gefälschten Produktrezensionen, Bewertungen und Bildern versteckt sind. Diese Fallen wurden entworft, um drei spezifische Gruppen zu schaden:

• Der Nutzer: Seine Daten stehlen oder ihn dazu bringen, Dinge zu kaufen, die er nicht wollte.
• Der Verkäufer: Seinen Ruf ruinieren oder seine Verkäufe verhindern.
• Die Plattform: Ihren Arbeitsablauf unterbrechen oder das System verwirren.

3. Die drei Arten, wie Dinge schiefgehen können

Das Paper fand heraus, dass der Ausfall eines KI-Einkäfers je nachdem, wer geschädigt wird, unterschiedlich aussieht. Sie identifizierten drei verschiedene „Fehlermodi“:

• Der „Stille Parasit“ (Stealthy Parasitism):

  • Was passiert: Die KI tut genau das, was Sie verlangt haben (z. B. Schuhe kaufen), sodass Sie denken, alles sei in Ordnung. Aber heimlich hat sie auch etwas Schlechtes für jemand anderen getan (z. B. hat sie eine bestimmte Marke gekauft, weil eine gefälschte Rezension dies angewiesen hat, was dem Konkurrenten schadet).
  • Die Analogie: Sie bestellen eine Pizza, und sie kommt pünktlich an. Aber der Lieferfahrer hat heimlich eine 50-Dollar-Bestechung von der Pizzeria angenommen, um sie zu liefern, und der Besitzer des Ladens hat Geld verloren. Sie sind zufrieden; der Besitzer jedoch nicht.

• Der „Tollpatschige Fehler“ (Misaligned Disruption):

  • Was passiert: Die KI versucht, der schlechten Anweisung zu folgen, scheitert aber dabei. In ihrer Verwirrung bringt sie jedoch Ihre ursprüngliche Aufgabe durcheinander.
  • Die Analogie: Ein Dieb versucht, Ihr Portemonnaie zu stehlen, lässt es aber fallen. Während des Kampfes stößt er Ihr Kaffee um und ruiniert Ihr Hemd. Der Diebstahl schlug fehl, aber Sie wurden dennoch geschädigt.

• Die „Doppelte Katastrophe“ (Compounded Failure):

  • Was passiert: Die KI wird getäuscht, die schlechte Sache zu tun, UND sie vergisst dabei Ihre ursprüngliche Aufgabe.
  • Die Analogie: Der Dieb stiehlt Ihr Portemonnaie UND stößt Ihren Kaffee um. Sie verlieren sowohl Ihr Geld als auch Ihr Hemd.

4. Was sie herausgefunden haben

Die Forscher testeten zwei populäre KI-Einkaufsagenten (NanoBrowser und BrowserUse) mit zwei verschiedenen „Gehirnen“ (GPT-5 und Gemini).

• Alle sind verwundbar: Keiner der Agenten war sicher. Tatsächlich fiel die KI, wenn Angreifer Anweisungen in Produktrezensionen versteckten (Indirect Prompt Injection), in 41 % bis 68 % der Fälle darauf herein.
• Der „Stille Parasit“ ist real: Viele Angriffe waren erfolgreich, ohne dass der Nutzer es überhaupt bemerkte. Die KI erledigte die Einkaufsaufgabe perfekt, tat dies jedoch auf eine Weise, die dem Verkäufer oder der Plattform schadete.
• Unterschiedliche „Gehirne“ scheitern unterschiedlich: Einige KI-Modelle waren besser darin, nicht getäuscht zu werden, aber schlechter darin, stabil zu bleiben (sie wurden verwirrt oder gerieten in Endlosschleifen). Andere ließen sich leicht täuschen, blieben aber ruhig.
• Visuelle Tricks funktionieren ebenfalls: In einem kleinen Experiment änderten sie das Bild eines Produkts (indem sie ein gefälschtes „Bestseller“-Abzeichen hinzufügten), ohne den Text zu ändern. Die KI begann, dieses Produkt zu bevorzugen, was zeigt, dass schlechte Bilder die KI genauso gut täuschen können wie schlechter Text.

5. Die wichtigste Erkenntnis

Das Paper kommt zu dem Schluss, dass wir Sicherheit nicht nur messen können, indem wir fragen: „Wurde die KI gehackt?“ Wir müssen fragen: „Wer wurde geschädigt und wie?“

Wenn wir nur darauf achten, ob die KI ihre Aufgabe erfüllt hat, übersehen wir die „Stille Parasit“-Angriffe, bei denen die KI perfekt für Sie arbeitet, aber im Verborgenen Schaden bei anderen anrichtet. Um KI-Agenten für die reale Welt sicher zu machen, müssen wir sie basierend darauf testen, wen sie schädigen könnten, und nicht nur darauf, ob sie getäuscht werden können.

Kurz gesagt: Das Paper führt eine neue Art des Testens von KI-Einkäufern ein, die zeigt, dass selbst wenn die KI den Anschein erweckt, einwandfrei zu funktionieren, sie heimlich Probleme für Verkäufer, Plattformen oder andere Nutzer verursachen kann.

Technische Zusammenfassung

Technisches Resümee: StakeBench – Ein stakeholderzentrierter Benchmark für Prompt-Injection-Angriffe bei realen Web-Agenten

1. Problemstellung

Auf Large Language Models (LLM) basierende Web-Agenten werden zunehmend in realen Umgebungen eingesetzt, um autonom im Namen von Nutzern zu suchen, zu vergleichen und Transaktionen durchzuführen. Diese Agenten interagieren mit unvertrauenswürdigen Webinhalten (z. B. Produktbewertungen, Metadaten), um Aktionen mit direkten Konsequenzen auszuführen. Diese Architektur macht sie anfällig für Prompt-Injection-Angriffe, bei denen bösartige Anweisungen, die in harmlos erscheinenden Inhalten eingebettet sind, das Verhalten des Agenten manipulieren.

Bestehende Security-Benchmarks verfolgen primär eine angriffszentrierte Perspektive, die sich auf die technische Machbarkeit von Injections und aggregierte Metriken wie die Attack Success Rate (ASR) konzentriert. Die Autoren argumentieren jedoch, dass diese Evaluierungen die nuancierte Verteilung der resultierenden Schäden übersehen. In der Praxis ist das Risiko einer Prompt-Injection opferabhängig: Ein einzelner Exploit kann asymmetrische Konsequenzen für verschiedene Stakeholder haben (z. B. den Endnutzer, Drittanbieter oder die Plattform). Darüber hinaus manifestieren sich Ausfälle in heterogenen Regimen – reichend von „heimlicher Parasitierung“ (der Angriff gelingt, ohne die Aufgabe des Nutzers zu stören) bis hin zu „fehlgeleiteter Disruption“ (die Aufgabe wird gestört, ohne dass der Angriff erfolgreich war) – welche durch konventionelle Evaluierungsmethoden, die auf binären Erfolgs-/Misserfolgsmetriken basieren, oft unsichtbar bleiben.

2. Methodik: Das StakeBench-Framework

Um diese Einschränkungen zu adressieren, führen die Autoren StakeBench ein, einen Benchmark, der darauf ausgelegt ist, Schäden in realen Web-Agenten-Systemen systematisch zu kategorisieren und zuzuschreiben. Die Methodik basiert auf einer stakeholderzentrierten Schadensmodellierung und wird innerhalb einer Online-Shopping-Domäne (unter Verwendung der OneStopMarket-Umgebung aus VisualWebArena) implementiert.

2.1 Kernkomponenten

• Stakeholder-zentrierte Taxonomie: Angriffe werden nicht nach ihrer Oberflächenform, sondern nach der Entität organisiert, die den resultierenden Schaden trägt. Das Framework unterscheidet drei Stakeholder-Kategorien:
  • Nutzer (User): Zu den Schäden gehören unbeabsichtigte Käufe, Manipulationen von Bestellungen und Offenlegung von Daten.
  • Verkäufer (Seller): Zu den Schäden gehören Reputationsschäden, Verzerrung von Bewertungen, böswillige Stornierungen und Transaktionsinflation.
  • Plattform (Platform): Zu den Schäden gehören gefälschte Autorität, Induktion unbefugter Aktionen sowie Workflow-Bypässe oder -Schleifen.
• Angriffsobjektive und Templates: Der Benchmark zerlegt Angriffe in 12 konkrete adversarielle Zielsetzungen über die drei Stakeholder-Kategorien hinweg. Diese werden durch 22 wiederverwendbare Angriffstemplates (9 Direct Prompt Injection [DPI] und 13 Indirect Prompt Injection [IPI]) realisiert, die sowohl direkte Eingabe-Modifikationen als auch die Einbettung von Umgebungsinhalten (z. B. Produktbewertungen) umfassen.
• Benchmark-Instanziierung: Diese Templates werden über 12 Produktkategorien hinweg instanziiert, was 264 ausführbare adversarielle Fälle ergibt. Jeder Fall wird dreimal pro Agenten-Konfiguration ausgeführt, was zu insgesamt 3.168 angegriffenen Durchläufen führt.

2.2 Multi-Achsen-Evaluationsmetriken

StakeBench evaluiert jeden Durchlauf entlang drei komplementärer Achsen, um unterschiedliche Fehlermodi zu erfassen:

1. Attack Success Rate (ASR): Eine auf Ergebnisebene gemessene Kennzahl dafür, ob das adversarielle Ziel erreicht wurde.
2. Task Deviation Rate (TDR): Eine auf Ergebnisebene gemessene Kennzahl dafür, ob die delegierte, wohltätige Aufgabe des Nutzers materiell gestört wurde.
3. Behavioral Irregularity Rate (BIR): Eine auf Prozessebene gemessene Kennzahl der Ausführungsstabilität (z. B. Schleifenbildung, instabile Navigation).

Die gemeinsame Analyse von ASR und TDR definiert vier Fehlermodi (Failure Regimes):

• Robustes Verhalten (Robust Behavior): Niedrige ASR, niedrige TDR.
• Heimliche Parasitierung (Stealthy Parasitism): Hohe ASR, niedrige TDR (Angriff erfolgreich, Nutzeraufgabe erscheint normal).
• Fehlgeleitete Disruption (Misaligned Disruption): Niedrige ASR, hohe TDR (Angriff fehlgeschlagen, aber Nutzeraufgabe gestört).
• Kumulierter Fehler (Compounded Failure): Hohe ASR, hohe TDR (Sowohl Angriff als auch Aufgabe schlagen fehl).

2.3 Experimentelles Setup

Der Benchmark evaluiert zwei repräsentative reale Web-Agenten-Systeme (NanoBrowser und BrowserUse) in Kombination mit zwei Backbone-LLMs (GPT-5 und Gemini-2.5-Flash). Das Bedrohungsmodell beschränkt Angreifer auf Inhaltsflächen, die in der Praxis plausibel kontrollierbar sind (z. B. Bewertungen, Ratings), ohne Zugriff auf System-Prompts oder die Plattform-Infrastruktur zu haben.

3. Kernergebnisse

Die Evaluierung offenbart erhebliche und heterogene Schwachstellen über alle Agenten-Konfigurationen hinweg:

• Substanzielle Vulnerabilität: Unter Indirect Prompt Injection (IPI) liegen die Attack Success Rates zwischen 41,67 % und 68,16 %. Kein Angriffsobjekt lieferte über alle Konfigurationen hinweg ein „Robustes Verhalten“.
• Stakeholder-abhängige Fehlerprofile:
  • Verkäufer-zielgerichtete Angriffe wiesen die höchste ASR und TDR auf, was darauf hindeutet, dass sie sowohl hochwirksam als auch anfällig für die Störung von Nutzeraufgaben sind.
  • Nutzer-zielgerichtete Angriffe zeigten die niedrigste TDR, was auf einen „verdeckten“ Fehlermodus hindeutet, bei dem der Angriff erfolgreich ist, ohne die nominelle Aufgabe sichtbar abzuweichen.
  • Plattform-zielgerichtete Angriffe waren mit einer erhöhten BIR assoziiert, was darauf hindeutet, dass injizierte Inhalte die Ausführung oft destabilisieren (z. B. durch Schleifen verursachen), ohne das adversarielle Ziel zuverlässig zu erreichen.
• Heterogene Fehlermodi: Die Ergebnisse bestätigen, dass ASR und TDR schwach gekoppelt sind. Viele Angriffe fallen in die Kategorien Stealthy Parasitism (z. B. voreingenommene Manipulationsversuche bei Bewertungen) oder Misaligned Disruption (z. B. Versuche zur böswilligen Stornierung, die die Aufgabe unterbrechen, aber die Bestellung nicht stornieren).
• Einflussfaktoren:
  • Semantische Ausrichtung: Angriffe mit hoher semantischer Ähnlichkeit zur Intention des Nutzers (z. B. Kauf eines ähnlichen Produkts) erreichten eine höhere ASR und eine niedrigere TDR (Stealthy Parasitism). Angriffe mit abweichenden Zielen verursachten eine höhere TDR (Misaligned Disruption).
  • Cue-Konsistenz: Widersprüchliche Umgebungscues (z. B. eine negative Bewertung gepaart mit einer hohen Bewertung) reduzierten die ASR für einige Modelle (GPT-5), aber nicht für andere (Gemini).
  • Expositionszeitpunkt: Die Verkürzung des benignen Aufgaben-Präfixes (frühere Exposition des Agenten gegenüber der Injection) erhöhte die ASR, was darauf hindeutet, dass Fehler bei der Vorab-Exposition in Langzeit-Aufgaben die wahre Vulnerabilität maskieren können.
• Visuelle Manipulation: Eine vorläufige Studie zur visuellen Manipulation (Modifikation von Produktbildern) zeigte, dass Agenten allein durch visuelle Cues beeinflusst werden konnten, was die Produktauswahl signifikant verschob, selbst wenn die textuellen Bewertungen unverändert blieben.

4. Bedeutung und Ansprüche

Das Paper behauptet, dass StakeBench eine notwendige Grundlage für eine stakeholderbewusste Bewertung von LLM-basierten Agenten in realen Einsätzen bietet. Die primären Beiträge sind:

1. Aufdeckung unsichtbarer Risiken: Durch die Organisation der Evaluierung um die geschädigte Entität statt um die Angriffsfläche macht StakeBench asymmetrische und opferabhängige Risiken lesbar. Es zeigt, dass ein Agent gegenüber nutzerzentrierten Metriken robust erscheinen kann, während er gegenüber Verkäufer- oder Plattform-Schäden hochgradig anfällig ist.
2. Charakterisierung von Fehlermodi: Die Multi-Achsen-Metriken (ASR, TDR, BIR) legen qualitativ unterschiedliche Fehlermodi offen (z. B. Stealthy Parasitism vs. Misaligned Disruption), die durch aggregierte Metriken übersehen werden. Dies verdeutlicht, dass die Sicherheit gegen Prompt-Injection keine skalare Eigenschaft des Backbone-Modells ist, sondern eine Verteilung von Schäden, die durch den Stakeholder, die semantische Ausrichtung und den architektonischen Kontext bestimmt wird.
3. Realistische Evaluierung: Im Gegensatz zu bisherigen Benchmarks, die möglicherweise auf isolierten Modellen oder vereinfachten Umgebungen basieren, evaluiert StakeBench vollständige, einsatzfähige Agenten-Systeme in realistischen, Multi-Party-E-Commerce-Settings mit eingeschränktem Angreiferzugriff.

Die Autoren kommen zu dem Schluss, dass aktuelle Agenten keinen zuverlässigen Widerstand gegen Prompt-Injection über alle Stakeholder-Ziele hinweg aufweisen und dass zukünftige Sicherheitsbewertungen über einfache, angriffszentrierte Single-Metric-Evaluierungen hinausgehen müssen, um der komplexen, Multi-Party-Natur von Web-Agenten-Ökosystemen Rechnung zu tragen.