💻 computer science

Dependency-Aware Privacy for Multi-turn Agents

RootGuard ist ein neuartiges Datenschutz-Framework für Multi-Turn-LLM-Agenten, das private Root-Werte einmalig bereinigt und nachfolgende Ausgaben deterministisch ableitet, wodurch eine Verschlechterung des Datenschutzes über mehrere Turns hinweg verhindert und im Vergleich zu bestehenden unabhängigen Rauschverfahren ein deutlich besserer Datenschutz-Nutzen-Kompromiss erreicht wird.

Ursprüngliche Autoren: Divyam Anshumaan, Sarthak Choudhary, Nils Palumbo, Somesh Jha

Veröffentlicht 2026-05-06

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Divyam Anshumaan, Sarthak Choudhary, Nils Palumbo, Somesh Jha

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Patient, der einen digitalen Gesundheitsassistenten (einen „LLM-Agenten") aufsucht. Sie müssen sensible private Daten teilen, wie Ihren Blutdruck, Ihr Gewicht oder Laborergebnisse, damit der Assistent eine Diagnose oder einen Risikoscore berechnen kann. Die Dienste, mit denen der Assistent kommuniziert (die „adversarial services"), könnten jedoch unzuverlässig sein. Es könnte sich um Hacker handeln, sie könnten durch gerichtliche Anordnungen gezwungen werden, oder sie könnten einfach neugierig sein und versuchen, Ihre wahre Identität aus den von Ihnen geteilten Zahlen zusammenzusetzen.

Das Problem: Der „undichte Eimer" unabhängigen Rauschens

Derzeit funktionieren die meisten Privatsphären-Tools wie ein undichter Eimer. Jedes Mal, wenn der Assistent eine Zahl an einen Dienst sendet, fügt er ein wenig „Rauschen" hinzu, um den tatsächlichen Wert zu verschleiern. Dies wird als unabhängiges Rauschen bezeichnet.

Hier liegt der Fehler:

Schritt 1: Sie teilen Ihre Größe mit. Der Assistent fügt Rauschen hinzu.
Schritt 2: Sie teilen Ihr Gewicht mit. Der Assistent fügt neues, anderes Rauschen hinzu.
Schritt 3: Der Dienst fragt nach Ihrem BMI. Der Assistent berechnet ihn aus Ihrem verrauschten Gewicht und Ihrer verrauschten Größe und fügt dem Ergebnis dann noch mehr Rauschen hinzu, bevor er es sendet.

Für einen Angreifer sieht dies wie eine Schnitzeljagd aus. Er erhält mehrere unabhängige Einblicke in dieselbe zugrunde liegende Wahrheit. Wenn er dasselbe zweimal abfragt oder einen abgeleiteten Wert (wie den BMI) anfragt, nachdem er die Bestandteile (Größe/Gewicht) erfragt hat, kann er das Rauschen herausmitteln. Es ist, als würde man versuchen, eine geheime Zahl zu erraten, indem man sie durch eine Wand flüstern hört; wenn man sie dreimal mit unterschiedlichem Hintergrundrauschen flüstern hört, kann man schließlich die echte Zahl herausfinden. Je mehr Schritte der Angreifer erzwingt, desto mehr „Lecks" erhält er, und desto weniger privat werden Sie.

Die Lösung: RootGuard (Der „Master-Blueprint")

Die Studie schlägt ein neues System namens RootGuard vor. Anstatt bei jeder Übermittlung einer Zahl Rauschen hinzuzufügen, ändert RootGuard die Strategie grundlegend.

Die Analogie: Der Master-Blueprint
Stellen Sie sich vor, Sie haben ein geheimes Rezept (Ihre privaten Daten).

Alte Methode (Unabhängiges Rauschen): Jedes Mal, wenn Sie eine Kopie des Rezepts an einen Koch senden, kritzeln Sie zufällige Notizen auf das Papier, reißen eine Ecke ab und verschmieren die Tinte. Wenn Sie es an 10 Köche senden, haben Sie 10 verschiedene verschmierte Versionen. Ein cleverer Beobachter kann alle 10 vergleichen, um das Originalrezept zu erraten.
RootGuard-Methode: Sie nehmen Ihr geheimes Rezept und kritzeln die Notizen nur einmal auf die originale Master-Kopie. Dann schließen Sie diese „verrauschte Master-Kopie" in einen Safe ein.
- Wenn Koch A nach den Zutaten fragt, geben Sie ihm eine Fotokopie der verrauschten Master.
- Wenn Koch B nach dem fertigen Gericht fragt, berechnen Sie es unter Verwendung der verrauschten Master und geben ihm das Ergebnis.
- Wenn Koch A erneut fragt, geben Sie ihm exakt dieselbe Fotokopie.

Da jedes einzelne Stück Information, das der Angreifer sieht, aus dieser einen verrauschten Master-Kopie stammt, kann er durch weitere Fragen nichts Neues lernen. Ob er 1 Mal oder 1.000 Mal fragt, er betrachtet nur dasselbe statische Bild. Die Privatsphäre-Garantie ist von Anfang an verankert.

Der Vorteil der „Doppelten Asymmetrie"

Die Studie hebt eine faszinierende Wendung hervor, die als Doppelte Asymmetrie bezeichnet wird:

Für den Angreifer (Unabhängiges Rauschen): Jede zusätzliche Frage, die er stellt, macht seine Aufgabe einfacher. Er erhält mehr Datenpunkte, um das Rauschen herauszumitteln. Seine Fähigkeit, Ihre echten Daten zu erraten, wird mit jedem Schritt stärker.
Für Sie (RootGuard): Jede zusätzliche Frage, die der Angreifer stellt, macht das System tatsächlich besser für Sie (in Bezug auf die Nützlichkeit). Da der Angreifer das System zwingt, ein größeres Gesamtbudget für Privatsphäre zu verwenden (mehr erlaubtes Rauschen), kann RootGuard dieses größere Budget auf Ihre Datenwurzeln verteilen. Das bedeutet, dass das Rauschen pro Wurzel niedriger sein kann, was die medizinischen Berechnungen genauer macht, während Ihre Privatsphäre genau gleich bleibt.

Kurz gesagt: Je mehr der Angreifer versucht, herauszufinden, desto genauer werden Ihre medizinischen Ergebnisse unter RootGuard, während seine Fähigkeit, Ihre Geheimnisse zu erraten, konstant bleibt. Bei der alten Methode lernen sie mit jedem Versuch mehr.

Nutzung von „Domänenwissen", um intelligenter zu werden

RootGuard ist nicht nur ein statisches Schloss; es ist ein intelligentes Schloss, das die Beziehungen zwischen Ihren Daten versteht.

Ebene 1 (Abhängigkeiten): Wenn Sie wissen, dass der BMI nur eine mathematische Formel basierend auf Größe und Gewicht ist, erkennt RootGuard, dass es kein separates Rauschen für den BMI hinzufügen muss. Es berechnet den BMI einfach aus dem verrauschten Gewicht und der verrauschten Größe. Dies spart ein „Privatsphäre-Budget" (die Erlaubnis, wie viel Rauschen hinzugefügt werden darf), damit es dort eingesetzt werden kann, wo es am wichtigsten ist.
Ebene 2 (Empfindlichkeit): Manche Zahlen sind für eine spezifische Diagnose wichtiger als andere. RootGuard betrachtet die medizinische Formel (z. B. „Leberfibrose-Score") und fragt: „Welche Eingabe verursacht die größte Änderung im Ergebnis?" Es weist dann mehr Privatsphäre-Budget (mehr Rauschen) den sensiblen Eingaben zu und weniger denjenigen, die weniger wichtig sind. Dies hält die endgültige Diagnose genau, während die kritischsten Geheimnisse geschützt werden.

Die Ergebnisse: Was die Studie festgestellt hat

Die Autoren testeten dies an 8 verschiedenen medizinischen Szenarien (wie Berechnung des Leber-Risikos, des Herz-Kreislauf-Risikos oder von Anämie) unter Verwendung echter Gesundheitsdaten der CDC.

Genauigkeit: RootGuard war 2,6 bis 3,8 Mal genauer bei der Erzeugung der korrekten medizinischen Diagnose im Vergleich zur alten Methode des „unabhängigen Rauschens".
Privatsphäre: Als Angreifer versuchten, Ihre echten Daten durch viele Fragen wiederherzustellen, versagte die alte Methode kläglich (ihre Vermutungen wurden mit jeder Frage deutlich besser). RootGuard blieb vollständig invariant; der Angreifer lernte nach 16 Fragen nichts mehr als nach der ersten Frage.
Realitätsnahe Prüfung: Sie führten dies sogar durch einen echten KI-Agenten (GPT-5.4 nano), der Tool-Aufrufe tätigte. Die Ergebnisse hielten perfekt stand und bewiesen, dass dies nicht nur Theorie ist – es funktioniert in einem live geführten, mehrstufigen Gespräch.

Das Fazit

RootGuard behandelt Ihre privaten Daten wie eine einzige Quelle der Wahrheit, die an der Wurzel einmalig geschützt wird. Alles andere ist nur eine Berechnung, die von dieser geschützten Quelle abgeleitet ist. Dies verhindert, dass Angreifer den Code knacken, indem sie dieselbe Frage auf verschiedene Weise stellen, und stellt sicher, dass Ihre Privatsphäre nicht nur deshalb leidet, weil Sie ein langes Gespräch mit einem digitalen Assistenten führen müssen.

Technische Zusammenfassung: Abhängigkeitsbewahrender Datenschutz für Multi-Turn-LLM-Agenten

Problemstellung

Die Integration von Large Language Model (LLM)-Agenten in sensible Bereiche (Gesundheitswesen, Finanzen, Recht) schafft eine neue Angriffsfläche für Datenschutzverletzungen. Nutzer delegieren Aufgaben an Agenten, die über Protokolle wie das Model Context Protocol (MCP) mit mehreren externen Diensten interagieren. In Multi-Turn-Workflows kann ein Angreifer unabhängige Datenfreigaben kombinieren, um private Nutzerattribute wiederherzustellen.

Bestehende Bereinigungsmethoden wie Prϵmpt und CAPE verlassen sich auf metrischen Differential Privacy (mDP), behandeln jedoch jede Datenfreigabe unabhängig. Diese Unabhängigkeitsannahme versagt in Multi-Turn-Szenarien:

Unschädliche Offenlegung: Plattformübergreifende Redundanz (Senden desselben Wurzelwerts an zwei Dienste) oder strukturelle Redundanz (Senden eines Wurzelwerts und eines abgeleiteten Werts separat) führt dazu, dass sich das Datenschutzbudget linear mit der Anzahl der Dienste oder abgeleiteten Funktionen skaliert.
Böswillige Offenlegung: Ein Angreifer kann wiederholte Abfragen erzwingen, um Rauschen auszugleichen ( $1/\sqrt{q}$ ), oder beliebige abgeleitete Funktionen anfordern. Für nichtlineare Funktionen, die in medizinischen und finanziellen Workflows üblich sind (z. B. BMI, FIB-4), verstärkt das unabhängige Hinzufügen von Rauschen zu einem abgeleiteten Wert die Unterscheidbarkeit des zugrunde liegenden Wurzelwerts durch die Lipschitz-Konstante ( $L$ ) der Funktion, was den nominalen Datenschutzparameter potenziell um Größenordnungen überschreiten kann.

Das Kernproblem besteht darin, dass ohne Verfolgung von Abhängigkeiten zwischen Freigaben jede zusätzliche Interaktion den Datenschutz des Nutzers über das nominale Budget hinaus verschlechtert, unabhängig davon, ob die Offenlegung unschädlich oder böswillig ist.

Methodik: RootGuard

Die Autoren schlagen RootGuard vor, einen abhängigkeitsbewahrenden Datenschutzmechanismus, der für Multi-Turn-Agenten-Interaktionen entwickelt wurde. Das Grundprinzip besteht darin, private „Wurzel"-Werte genau einmal zu bereinigen und alle nachfolgenden Freigaben deterministisch aus diesen verrauschten Wurzeln zu berechnen.

Systemarchitektur

Initialisierung: Der Nutzer-Agent identifiziert sensible Wurzelwerte ( $X$ ) und bereinigt sie einmalig mithilfe eines differentialprivaten Mechanismus ( $M_\epsilon$ ). Diese verrauschten Werte ( $\hat{X}$ ) werden in einem bereinigten Cache gespeichert.
Operation pro Turn: Wenn ein Angreifer einen Wert anfordert:
- Handelt es sich bei der Anforderung um einen Wurzelwert, wird der zwischengespeicherte verrauschte Wert zurückgegeben.
- Handelt es sich bei der Anforderung um einen abgeleiteten Wert, wird dieser deterministisch aus den zwischengespeicherten verrauschten Wurzeln berechnet.
- Nach der Initialisierung wird kein neues Rauschen hinzugefügt.
Vertrauensgrenze: Der Angreifer interagiert ausschließlich mit dem bereinigten Cache. Aufgrund des Nachverarbeitungs-Theorems des Differential Privacy ist die Sicht des Angreifers unabhängig von der Anzahl der Turns ( $t$ ) oder der angeforderten Funktionen ( $f$ ) nicht informativer als die initiale Wurzelbereinigung.

Ausnutzung strukturellen Wissens

RootGuard nutzt öffentliches Domänenwissen, um den Trade-off zwischen Datenschutz und Nutzen zu optimieren, ohne die Garantien zu schwächen:

Ebene 1 (Inter-Wurzel-Abhängigkeiten): Wenn eine deklarierte Wurzel eine deterministische Funktion anderer ist (z. B. BMI aus Größe und Gewicht), identifiziert der Agent die wahren unabhängigen Wurzeln. Abhängige Wurzeln werden aus verrauschten Eltern neu berechnet und erben den Datenschutz ohne marginale Kosten (Theorem 3).
Ebene 2 (Ziel-Sensitivität): Wenn die Zwischenschritt-Zielfunktion $g$ (z. B. eine klinische Formel wie FIB-4) bekannt ist, weist der Agent das Datenschutzbudget $\epsilon_i$ den Wurzeln basierend auf ihrer Sensitivität gegenüber dem Ziel zu. Die Zuweisung folgt einer sensibilitätsgewichteten Regel: $\epsilon_i \propto (|h_i| \cdot D_i)^{1/2}$ , wobei $h_i$ die partielle Ableitung der Zielfunktion nach Wurzel $i$ ist und $D_i$ die Domänenbreite. Dies minimiert den erwarteten Fehler bei der finalen klinischen Entscheidung.

Theoretische Garantien

Theorem 1 (DAG-Datenschutzgarantie): Die Datenschutzgarantie hängt ausschließlich von den Parametern der Wurzelbereinigung ab und ist unabhängig von der Wahl der Funktionen durch den Angreifer oder der Anzahl der Interaktionsturns.
Theorem 2 (Verstärkung der Unterscheidbarkeit): Beweist, dass das unabhängige Hinzufügen von Rauschen zu einem abgeleiteten Wert die Unterscheidbarkeit des Eltern-Wurzelwerts durch die Lipschitz-Konstante $L$ der Funktion verstärkt.
Theorem 3 (Implizierter Datenschutz): Beweist, dass das Hinzufügen von Rauschen zu Wurzeln und deren Nachverarbeitung zur Ableitung von Werten mindestens so starken Datenschutz bietet wie das direkte Hinzufügen von Rauschen zu den abgeleiteten Werten.

Hauptbeiträge

Formalisierung des Multi-Turn-Agenten-Datenschutzes: Das Papier formalisiert das Datenschutzspiel für Multi-Turn-Interaktionen und beweist, dass die Garantie von RootGuard gegenüber der Anzahl der Abfragen und den Funktionswahlen des Angreifers invariant ist.
Nachweis der Verstärkung und Vererbung: Es wird gezeigt, dass das unabhängige Hinzufügen von Rauschen zu abgeleiteten Werten den Datenschutzverlust verstärkt (Theorem 2), während eine koordinierte Wurzelrauschung es abgeleiteten Werten ermöglicht, den Datenschutz kostenlos zu erben (Theorem 3).
Sensibilitätsgewichtete Zuweisung: Eine Methode zur Zuweisung von Datenschutzbudgets basierend auf der Sensitivität der Zielfunktion, die den Ziel-Fehler minimiert und gleichzeitig formale Garantien wahrt.
Empirische Validierung: Umfassende Experimente an 8 medizinischen Diagnosevorlagen (abgeleitet aus NHANES-Daten) und einer vollständigen End-to-End-LLM-Bereitstellung (GPT-5.4 nano), die den Mechanismus validieren.

Experimentelle Ergebnisse

Die Evaluierung vergleicht RootGuard-Konfigurationen (M-Roots, M-Opt) mit unabhängigem Rauschen (M-All) über drei Forschungsfragen hinweg:

RQ1: Ziel-Nutzen

Metrik: Weighted Mean Absolute Percentage Error (wMAPE) und Risk Class Error (RCE).
Ergebnisse: RootGuard schneidet gegenüber unabhängigem Rauschen signifikant besser ab. Bei $\epsilon = 0.1$ und einem Budget von $B = (2k+1)\epsilon$ erreicht M-Opt ein 2,6-fach niedrigeres wMAPE (7,8 % vs. 20,3 %) und einen 2,2-fach niedrigeren Risk Class Error (7,0 % vs. 15,7 %) im Vergleich zu M-All.
Doppelte Asymmetrie: Wenn der Angreifer mehr Turns erzwingt ( $t$ ), verbessert sich der Nutzen von RootGuard (mehr Budget pro Wurzel verfügbar), während sich der Datenschutz von M-All verschlechtert (Akkumulation unabhängiger Beobachtungen).

RQ2: Rekonstruktionsangriffe

Metrik: Rekonstruktions-wMAPE unter einem Maximum A Posteriori (MAP)-Angreifer.
Ergebnisse: Unter M-All nimmt der Rekonstruktionsfehler ab, wenn die Anzahl der Abfragen ( $q$ ) steigt (z. B. Rückgang von 10,2 % auf 3,2 %, wenn $q$ von 1 auf 16 steigt bei $\epsilon_r=0.1$ ). Unter RootGuard bleibt der Rekonstruktionsfehler invariant gegenüber $q$ , da wiederholte Abfragen denselben zwischengespeicherten Wert zurückgeben.

RQ3: Strukturelle Analyse

Ergebnisse: Der Vorteil von RootGuard ist am ausgeprägtesten für „komprimierende" Formeln (z. B. FIB-4, HOMA), bei denen die Zielfunktion Wurzelrauschen abschwächt. Die Budgetzuweisung folgt der vorhergesagten Potenzgesetz-Beziehung $\epsilon_i \propto (|h_i| \cdot D_i)^{0.5}$ , was die sensibilitätsgewichtete Strategie bestätigt.

RQ4: End-to-End-Bereitstellung

Setup: Eine Simulation der realen Welt unter Verwendung eines GPT-5.4 nano-Agenten über 21.600 Sitzungen hinweg.
Ergebnisse: Die auf Mechanismusebene gewonnenen Erkenntnisse übertragen sich auf die LLM-Bereitstellung. Die Reihenfolge der Leistung (M-Opt > M-Roots > M-All) bleibt erhalten, und es gab null Konformitätsfehler auf Sitzungsebene (keine Parse-Fehler oder fehlerhaft formatierte Antworten).

Bedeutung und Behauptungen

Das Papier behauptet, dass RootGuard den Trade-off zwischen Datenschutz und Nutzen in Multi-Turn-Agenten-Interaktionen grundlegend verändert. Durch den Wechsel von zustandsloser, unabhängiger Bereinigung zu einem zustandsbehafteten, abhängigkeitsbewahrenden Ansatz stellt RootGuard sicher, dass:

Datenschutz ist konstant: Der Angreifer gewinnt keine zusätzlichen Informationen, unabhängig davon, wie viele Turns er erzwingt oder welche Funktionen er berechnet.
Nutzen verbessert sich mit Turns: Zusätzliche Interaktionsturns ermöglichen eine größere Gesamtbudgetverteilung über die Wurzeln hinweg, was die Genauigkeit verbessert, ohne das Datenschutzrisiko zu erhöhen.
Robustheit: Der Ansatz hält auch unter adversarischer Prompt-Injection oder böswilligem Service-Design stand, da alle Freigaben Nachverarbeitungen der initialen verrauschten Wurzeln sind.

Die Autoren kommen zu dem Schluss, dass unabhängiges Rauschen für Multi-Turn-Workflows mit korrelierten privaten Werten grundsätzlich unzureichend ist und dass abhängigkeitsbewahrende Bereinigung eine notwendige Verteidigung für den Einsatz von LLM-Agenten in hochriskanten Bereichen darstellt. Die Arbeit geht von einer perfekten Named Entity Recognition (NER) zur Wurzelidentifikation aus und konzentriert sich auf strukturierte numerische Daten, wobei die Integration von freiem Text und verrauschter NER als zukünftige Arbeit offen bleibt.