AgentSCOPE: Evaluating Contextual Privacy Across Agentic Workflows

Die Arbeit stellt mit AgentSCOPE ein neues Benchmark-Framework vor, das auf der Kontextuellen Integrität basiert und zeigt, dass die alleinige Bewertung von Eingabe und Ausgabe die Privatsphärenrisiken agenter Systeme erheblich unterschätzt, da die meisten Verstöße in den intermediären Datenflüssen zwischen Agenten und Tools auftreten.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen super-intelligenten, aber etwas unvorsichtigen persönlichen Assistenten namens „Agent". Dieser Assistent darf auf Ihre E-Mails, Ihren Kalender, Ihre Dateien und Ihre Nachrichten zugreifen, um Ihnen den Alltag zu erleichtern. Er soll zum Beispiel eine E-Mail an Ihren Chef schreiben, weil Sie krank sind.

Das Problem ist: Der Assistent ist so eifrig, dass er auf dem Weg zum Ziel oft Dinge tut, die Ihre Privatsphäre verletzen, auch wenn das Endergebnis (die fertige E-Mail) harmlos aussieht.

Die Forscher von AgentSCOPE haben eine neue Methode entwickelt, um genau diese „versteckten" Probleme aufzudecken. Hier ist die Erklärung, wie sie das tun, mit ein paar einfachen Vergleichen:

1. Das Problem: Nur das Endergebnis zu prüfen, ist wie ein Lügen-Test am Ende des Tages

Bisher haben Experten nur geschaut: „Ist die fertige E-Mail an den Chef privat?" Wenn ja, war alles gut.
Aber das ist, als würden Sie nur prüfen, ob am Ende des Tages niemand verletzt wurde, ohne zu schauen, was auf dem Weg passiert ist. Vielleicht hat der Assistent unterwegs versehentlich Ihre privaten Arztbriefe auf den Tisch gelegt, sie wieder weggeräumt und erst am Ende die E-Mail geschrieben. Niemand hat es gesehen, aber die Privatsphäre war trotzdem verletzt.

Die Forscher sagen: Wir müssen jeden einzelnen Schritt auf dem Weg überwachen.

2. Die Lösung: Der „Privatsphären-Fluss-Graph" (Privacy Flow Graph)

Um das zu verstehen, stellen Sie sich den Arbeitsprozess des Assistenten wie einen Wasserfluss in einem komplexen Rohrsystem vor.

• Der Benutzer (Sie) ist die Quelle.
• Der Assistent ist das Pumpwerk.
• Die Werkzeuge (Kalender, E-Mail-App) sind verschiedene Wasserbehälter.
• Der Empfänger ist das Zielbecken.

Das neue Werkzeug der Forscher, der Privacy Flow Graph, zeichnet jeden Tropfen Wasser auf, der durch die Rohre fließt. Es fragt bei jedem Schritt:

• Wer schickt das? (Sie oder der Assistent?)
• Wer empfängt es? (Das Tool oder der Chef?)
• Was ist das für ein Tropfen? (Ist es nur die Arbeitszeit oder auch Ihre private Fertility-Behandlung?)
• Darf dieser Tropfen hier überhaupt fließen?

Wenn der Assistent Ihren Kalender öffnet, um die Arbeitszeit zu finden, aber dabei versehentlich auch Ihre privaten Termine für eine IVF-Behandlung (Künstliche Befruchtung) sieht und diese Daten im Gedächtnis behält, markiert der Graph das als Leck. Selbst wenn diese Daten am Ende nicht in der E-Mail stehen, war der Fluss an dieser Stelle bereits „verschmutzt".

3. Der Test: AgentSCOPE

Die Forscher haben einen großen Testlauf namens AgentSCOPE entwickelt.

• Sie haben eine fiktive Person namens Emma erfunden.
• Sie haben 62 verschiedene Alltagssituationen für Emma erstellt (z. B. „Schreib dem Chef, dass du krank bist" oder „Finde heraus, welche Meetings ich verpasse").
• In Emmas digitalen Unterlagen haben sie absichtlich viele sensible Daten versteckt (Krankheitsberichte, Finanzdaten, intime Termine).
• Dann haben sie sieben der besten aktuellen KI-Assistenten (von Firmen wie OpenAI und Anthropic) getestet, um zu sehen, wie sie mit diesen Aufgaben umgehen.

4. Was sie herausgefunden haben (Die schockierende Wahrheit)

Das Ergebnis ist beunruhigend, aber wichtig:

• Die Illusion der Sicherheit: Wenn man nur auf die fertige E-Mail schaut, sehen die KIs ziemlich gut aus. Nur etwa 24 % der E-Mails enthielten tatsächlich private Daten.
• Die harte Realität: Wenn man aber den ganzen Weg (den Fluss durch alle Rohre) anschaut, haben über 80 % der KIs auf dem Weg Privatsphäre verletzt!
• Wo passiert es? Meistens passiert das nicht am Ende, sondern in der Mitte:
  1. Beim Öffnen der Werkzeuge: Die Kalender-App gibt dem Assistenten alles zurück, nicht nur das, was er braucht (wie ein Kellner, der Ihnen den ganzen Speisekarte zeigt, obwohl Sie nur nach dem Preis für eine Suppe fragen).
  2. Beim Fragen: Der Assistent fragt zu viel nach („Gib mir alle Termine" statt „Gib mir nur den Termin am Dienstag").

5. Warum das wichtig ist

Die Forscher sagen: Wir können uns nicht mehr darauf verlassen, dass die KI am Ende „sauber" ist. Wenn die KI unterwegs sensible Daten sieht und speichert, ist das Risiko schon da, auch wenn sie sie später nicht weiterleitet.

Die einfache Lehre:
Stellen Sie sich vor, Sie schicken einen Boten mit einem Brief. Früher haben wir nur geprüft, ob der Brief am Ziel ankommt. Jetzt müssen wir prüfen, ob der Boten unterwegs nicht versehentlich Ihre Geheimnisse in einem Café laut vorgelesen hat, nur weil er den Weg falsch verstanden hat.

AgentSCOPE ist wie eine neue Kamera, die den ganzen Weg des Boten aufzeichnet, damit wir sehen können, wo die Privatsphäre wirklich gefährdet ist, und nicht nur, wo sie am Ende zu sein scheint.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „AgentSCOPE: Evaluating Contextual Privacy Across Agentic Workflows" auf Deutsch:

1. Problemstellung

Agentische KI-Systeme übernehmen zunehmend autonome Aufgaben im Alltag der Nutzer, indem sie auf sensible Daten wie E-Mails, Kalender, Cloud-Dateien und Nachrichten zugreifen. Bisherige Privacy-Evaluierungen konzentrierten sich fast ausschließlich auf die Eingabe- (Nutzeranweisung) und Ausgabegrenzen (finale Antwort des Agents).

Das Paper identifiziert jedoch ein kritisches Defizit: Jede Aufgabe durchläuft mehrere intermediäre Informationsflüsse (z. B. Agent-Abfragen an Tools, Tool-Antworten an den Agenten). Diese Zwischenschritte werden derzeit nicht bewertet. Das Ergebnis ist, dass Agenten zwar eine Aufgabe erfolgreich abschließen können, dabei aber häufig Datenschutznormen verletzen (z. B. durch übermäßiges Abfragen von Tools oder das Weiterleiten irrelevanter sensibler Daten durch Tools). Da diese Verstöße oft nicht im finalen Output sichtbar sind, wird das tatsächliche Datenschutzrisiko agenter Systeme massiv unterschätzt.

2. Methodik

A. Privacy Flow Graph (PFG)

Als theoretisches und technisches Fundament führt das Paper den Privacy Flow Graph ein, der auf dem Konzept der Contextual Integrity (CI) von Nissenbaum basiert.

• Struktur: Der Workflow wird als gerichteter Graph modelliert, der Informationsübertragungen zwischen vier Akteuren darstellt: Nutzer, Agent, externe Tools und nachgelagerte Empfänger.
• Annotation: Jede Kante (Informationstransfer) wird mit den fünf CI-Parametern annotiert:
  1. Absender (Sender)
  2. Empfänger (Recipient)
  3. Subjekt (Subject)
  4. Datentyp (Data Type)
  5. Übertragungsprinzip (Transmission Principle)
• Ziel: Der PFG unterscheidet zwischen essentiellen (für die Aufgabe notwendigen) und nicht-essentiellen sensiblen Informationen. Er ermöglicht die Rückverfolgung (Traceability) von Verstößen zu ihrem Ursprung (z. B. ob ein Tool zu viele Daten zurückgab oder der Agent zu breit abfragte), auch wenn diese Daten nie im finalen Output landeten.

B. AgentSCOPE Benchmark

Um den PFG anzuwenden, stellen die Autoren AgentSCOPE vor, einen neuen Benchmark mit folgenden Eigenschaften:

• Umfang: 62 Multi-Tool-Szenarien, die den fiktiven Nutzer „Emma" und ihren persönlichen Agenten-Assistenten betreffen.
• Domänen: Abdeckung von 8 regulatorischen und sozialen Bereichen (z. B. Medizin, Finanzen, Recht, Reproduktionsgesundheit).
• Ground Truth: Im Gegensatz zu bestehenden Benchmarks (wie PrivacyLens, die nur den Output bewerten), bietet AgentSCOPE eine Ground Truth für jede Pipeline-Stufe. Dies umfasst annotierte Daten, welche Informationen in jedem Schritt (Anweisung, Abfrage, Antwort, Output) angemessen oder unangemessen sind.
• Umgebung: Der Agent interagiert live mit einer gefüllten Umgebung (E-Mails, Kalender, etc.), um eigene Trajektorien zu generieren.

C. Evaluierungs-Metriken und -Methoden

Die Autoren evaluieren sieben State-of-the-Art-LLMs (von OpenAI und Anthropic) mit folgenden Metriken:

1. Task Success Rate (TSR): Erfolg bei der Aufgabenerfüllung.
2. Leak Rate (LR): Sichtbare Verstöße im finalen Output.
3. Pipeline Violation Rate (PVR): Verstöße in intermediären Stufen (auch wenn der Output sauber ist).
4. Violation Origin Rate (VOR): Wie oft ein Output-Verstoß auf einen früheren Fehler zurückzuführen ist.

Zur Bewertung werden zwei Ansätze verglichen:

• Keyword-Matching: Baseline, die nach sensiblen Schlüsselwörtern sucht (neigt zu Unterbewertung).
• LLM-as-a-Judge: Ein KI-basierter Richter, der jeden Informationsfluss basierend auf den spezifischen CI-Parametern und dem Kontext bewertet (feingranularer und genauer).

3. Wichtige Ergebnisse

Die Evaluierung der sieben Modelle auf AgentSCOPE liefert folgende Erkenntnisse:

• Versteckte Risiken: Während die Leak Rate (LR) im finalen Output moderat erscheint (24–40 %), steigt die Pipeline Violation Rate (PVR) dramatisch auf 82–94 %. Das bedeutet, dass in fast allen Szenarien mindestens eine Verletzung der kontextuellen Integrität in einem Zwischenschritt stattfindet.
• Ursprung der Verstöße: Die meisten Verstöße treten nicht im Output, sondern in den Stufen Response (Tools liefern zu viele Daten) und Instruction (Nutzer teilt zu viel mit) auf. Auch Query-Stufen (Agent fragt falsche Tools/Parameter ab) sind eine signifikante Quelle.
• Trade-off: Es gibt eine negative Korrelation zwischen Leistung und Privatsphäre. Das Modell mit der höchsten Task Success Rate (GPT-4o-mini, 79 %) hatte auch die höchste Leak Rate (40 %).
• Limitationen von Keyword-Matching: Die Keyword-basierte Methode unterschätzt Verstöße massiv im Vergleich zum LLM-Judge (z. B. bei GPT-4.1: 61 % vs. 92 % PVR), da sie kontextuelle Nuancen in Zwischenschritten nicht erfasst.

4. Signifikanz und Beitrag

• Paradigmenwechsel: Das Paper argumentiert überzeugend, dass Privacy-Evaluation für Agenten-Systeme nicht mehr auf den Output beschränkt sein darf. Jeder Grenzübergang in der Pipeline ist ein potenzieller Ort für Datenschutzverletzungen und muss unabhängig bewertet werden.
• Neues Framework: Der Privacy Flow Graph macht bisher unsichtbare Datenflüsse sichtbar und ermöglicht eine strukturierte, nachvollziehbare Zuordnung von Verstößen zu ihrer Ursache.
• Standardisierung: Mit AgentSCOPE wird der erste Benchmark bereitgestellt, der Ground Truth auf jeder Pipeline-Stufe bietet. Dies ist essenziell für Entwickler und Regulierungsbehörden, um zu unterscheiden, ob Datenschutz durch Design oder nur durch Zufall gewahrt wird.
• Zukunftsperspektive: Die Autoren sehen die Notwendigkeit, diese Evaluierungsmethoden von einer reinen Analyse in eine Echtzeit-Intervention zu überführen, um Datenschutzverletzungen während der Ausführung zu verhindern, bevor sie den Agenten verlassen.

Fazit: Agentische Systeme bieten hohe Nützlichkeit, bergen aber massive, bisher übersehene Datenschutzrisiken in ihren internen Prozessen. AgentSCOPE und der Privacy Flow Graph liefern die notwendigen Werkzeuge, um diese Risiken zu quantifizieren und Systeme zu entwickeln, die Privatsphäre und Funktionalität gemeinsam optimieren.