🤖 AI

CAMP: Cumulative Agentic Masking and Pruning for Privacy Protection in Multi-Turn LLM Conversations

Die Arbeit stellt CAMP vor, ein Framework, das durch die Verwaltung einer sitzungsbasierten PII-Registrierung und die Berechnung eines kumulativen Expositionsrisikos über mehrere Gesprächsrunden hinweg die Lücke schließt, die herkömmliche, zustandslose Maskierungsmethoden bei der Verhinderung von Re-Identifizierung durch fragmentierte Daten offen lassen.

Ursprüngliche Autoren: Aman Panjwani

Veröffentlicht 2026-04-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aman Panjwani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterhalten sich mit einem sehr klugen, aber etwas naiven Assistenten (einer KI), der Ihnen bei verschiedenen Aufgaben hilft. Das Problem ist: Dieser Assistent merkt sich alles, was Sie sagen, und gibt diese Informationen bei jeder neuen Frage an eine große, externe Datenbank weiter.

Das Papier beschreibt ein neues Sicherheitswerkzeug namens CAMP, das ein ganz neues Problem löst, das bisherige Schutzmaßnahmen übersehen haben.

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der "Tropfen, der das Fass zum Überlaufen bringt"

Bisherige Sicherheits-Tools (wie ein digitaler Bodyguard) schauen sich jeden einzelnen Satz an, den Sie sagen.

Satz 1: "Ich heiße Max." -> Der Bodyguard denkt: "Okay, ein Name. Nichts Gefährliches, das passiert oft." -> Er lässt es durch.
Satz 2: "Ich wohne in Berlin." -> Der Bodyguard denkt: "Ein Ort. Auch harmlos." -> Er lässt es durch.
Satz 3: "Ich arbeite bei Siemens." -> Der Bodyguard denkt: "Eine Firma. Kein Problem." -> Er lässt es durch.
Satz 4: "Ich verdiene 100.000 Euro." -> Der Bodyguard denkt: "Gehalt. Immer noch okay." -> Er lässt es durch.

Das Problem: Für den Bodyguard war jeder Satz einzeln harmlos. Aber für die KI, die alle Sätze zusammen liest, ist das jetzt ein komplettes Profil: Max aus Berlin bei Siemens mit 100k Gehalt. Das ist wie ein Puzzle, bei dem jedes Teil einzeln unscheinbar ist, aber zusammen ein Gesicht ergibt, das man sofort erkennt.

Dieses Phänomen nennt das Papier kumulative PII-Exposition (kumulative Offenlegung von persönlichen Daten). Es ist wie das Legen von Steinen: Ein einziger Stein ist nichts. Aber wenn Sie viele Steine über mehrere Tage sammeln, bauen Sie eine Mauer, hinter der sich niemand mehr verstecken kann.

2. Die Lösung: CAMP (Der "Erinnernde" Wächter)

CAMP ist wie ein neuer, viel aufmerksamerer Wächter. Er macht zwei Dinge, die die alten Tools nicht taten:

Er hat ein Gedächtnis: Er merkt sich nicht nur den aktuellen Satz, sondern führt ein Tagebuch über alles, was in diesem Gespräch bisher gesagt wurde.
Er erkennt Muster: Er weiß, dass "Name + Ort + Job" zusammen viel gefährlicher sind als jeder für sich allein.

Wie funktioniert CAMP im Detail?

Das Risiko-Regelwerk: CAMP berechnet nach jedem Satz einen "Risiko-Score". Solange der Score niedrig ist, lässt er alles durch.
Der Alarm: Sobald der Score einen bestimmten Wert erreicht (weil zu viele Puzzleteile zusammen sind), schlägt Alarm.
Die Rückwärts-Maskierung (Das Genie-Trick): Anstatt das Gespräch einfach zu unterbrechen oder zu löschen, macht CAMP etwas Cleveres:
- Er nimmt alles, was Sie bisher gesagt haben, und tauscht die echten Namen gegen erfundene Namen aus (z. B. wird "Max" zu "Herr Müller" und "Berlin" zu "Stadt X").
- Er behält eine geheime Liste (eine Art Übersetzungsschlüssel) in seinem Kopf, die nur er kennt.
- Er schickt diese "verfälschte" Geschichte an die KI. Die KI lernt also nur über "Herr Müller" und "Stadt X".
- Wenn die KI antwortet, nimmt CAMP die Antwort, schaut in seinen Schlüssel und ersetzt "Herr Müller" wieder durch "Max".
- Das Ergebnis: Sie erhalten eine perfekte Antwort, als wäre nichts passiert. Aber die KI hat nie Ihre echten Daten gesehen.

3. Eine Analogie aus dem Alltag

Stellen Sie sich vor, Sie gehen mit einem Freund in ein Café, und Sie wollen nicht, dass der Kellner (die KI) weiß, wer Sie wirklich sind.

Der alte Weg (Per-Turn-Masking): Der Kellner schaut auf jeden einzelnen Satz, den Sie sagen. Wenn Sie "Ich heiße Anna" sagen, streicht er das "Anna" durch und schreibt "Name" hin. Wenn Sie später "Ich wohne in München" sagen, streicht er "München" durch. Aber er vergisst, dass er das "Name" vorhin schon gestrichen hat. Wenn Sie später sagen "Ich wohne in München und heiße Anna", sieht der Kellner immer noch zwei getrennte, harmlose Streichungen, aber er merkt nicht, dass die Kombination Sie verrät.
Der CAMP-Weg: Der Kellner hat ein Notizbuch. Er merkt sich: "Aha, der Mann hat gerade seinen Namen genannt." Später, als er den Ort nennt, denkt er: "Moment, Name + Ort = Gefahr!" Sofort zieht er einen Vorhang auf. Er tauscht die Namen in Ihrem Notizbuch gegen Pseudonyme aus (z. B. "Herr Schmidt"). Er gibt dem Kellner nur die Version mit "Herr Schmidt". Wenn der Kellner eine Antwort gibt, tauscht Ihr Notizbuch "Herr Schmidt" wieder in "Ihr echter Name" zurück, bevor Sie die Antwort lesen.

4. Warum ist das wichtig?

Das Papier zeigt, dass wir in der Welt der KI-Assistenten (die oft viele Runden lang mit uns sprechen) nicht mehr nur auf einzelne Sätze achten dürfen. Wir müssen auf die Gesamtheit des Gesprächs achten.

Bisher: Wir schützten nur die einzelnen Wörter.
Mit CAMP: Wir schützen das Gesamtbild, das sich aus vielen kleinen, harmlosen Teilen zusammensetzt.

Es ist wie bei einem Schloss: Früher haben wir nur das Schloss an der Haustür gesichert. CAMP sichert auch die Fenster, den Gartenzaun und das Hintertor, weil es weiß, dass ein Dieb nicht nur durch die Tür, sondern auch durch die Kombination aller Schwachstellen einbrechen kann.

Zusammenfassend: CAMP ist ein intelligenter Sicherheitsmechanismus, der verhindert, dass eine KI durch das Zusammenfügen vieler kleiner, harmloser Informationen ein komplettes Profil von Ihnen erstellt, ohne dabei den Fluss des Gesprächs zu stören oder Ihre Antworten unverständlich zu machen.

1. Problemstellung: Kumulative PII-Exposition (CPE)

Die Autoren identifizieren eine kritische Lücke in den aktuellen Schutzmechanismen für Persönlichkeitsbezogene Daten (PII) in Large Language Models (LLMs).

Aktueller Stand: Bestehende Systeme (wie Microsoft Presidio oder PAPILLON) arbeiten turn-basiert (pro Nachricht). Sie scannen jede einzelne Nachricht isoliert, erkennen PII und maskieren sie, bevor sie an das Modell gesendet wird. Diese Systeme sind zustandslos (stateless) und haben kein Gedächtnis für vorherige Nachrichten.
Das neue Risiko: In agenticen, mehrstufigen Konversationen (Multi-Turn) geben Nutzer PII oft schrittweise über mehrere Nachrichten hinweg preis (z. B. Name in Nachricht 1, Arbeitgeber in Nachricht 3, Gehalt in Nachricht 5).
Das Problem: Keine einzelne Nachricht enthält genug Informationen, um einen Alarm auszulösen. Wenn jedoch die gesamte Konversationshistorie an das LLM gesendet wird (was für den Kontext notwendig ist), aggregieren sich diese isolierten Fragmente zu einem vollständig re-identifizierbaren Profil.
Begriff: Die Autoren nennen dieses Phänomen Cumulative PII Exposure (CPE). Es handelt sich um ein kombinatorisches Risiko, das durch die Überlappung von Quasi-Identifikatoren entsteht, ähnlich dem „Mosaik-Effekt" in der Informationssicherheit.

2. Methodik: Das CAMP-Framework

CAMP (Cumulative Agentic Masking and Pruning) ist ein Middleware-Framework, das zwischen dem Nutzer und dem externen LLM platziert wird. Es führt einen zustandsbehafteten (stateful) Schutz auf Sitzungsebene ein.

Kernkomponenten:

Per-Turn PII-Extraktor: Nutzt Named Entity Recognition (NER) und Regex (basierend auf Microsoft Presidio), um PII in jeder eingehenden Nachricht zu identifizieren.
Sitzungs-Registry (Session Registry): Ein lokaler Speicher, der alle erkannten PII-Entitäten über den gesamten Verlauf der Konversation hinweg sammelt. Dies ist der entscheidende Unterschied zu bestehenden Systemen.
Koinzidenz-Graph (Co-occurrence Graph): Ein Graph, der die Beziehungen zwischen den im Sitzungsspeicher vorhandenen Entitätstypen modelliert.
- Knoten repräsentieren Entitätstypen (z. B. Ort, Gehalt).
- Kanten entstehen, wenn zwei Entitätstypen in derselben Sitzung vorkommen.
- Ein „Verstärker" (Amplifier) erhöht das Gewicht eines Knotens basierend auf seiner Vernetzung (Anzahl der Kanten), da kombinierte Daten ein höheres Risiko darstellen als isolierte Daten.
CPE-Score-Berechnung: Nach jedem Turn wird ein Score berechnet:
$CPE(t) = \sum w(v) \cdot (1 + \alpha \cdot deg(v))$
Dabei ist $w(v)$ das Basisgewicht der Entität und $deg(v)$ der Grad des Knotens im Graph. Der Score wächst superlinear, sobald neue Entitätstypen mit bestehenden verknüpft werden.
Retroaktiver Pseudonymisierer: Sobald der CPE-Score einen konfigurierbaren Schwellenwert $\tau$ $τ$ überschreitet, wird die gesamte bisherige Konversationshistorie (inklusive früherer Nachrichten) lokal umgeschrieben.
- Echte PII-Werte werden durch konsistente synthetische Ersatzwerte (z. B. generierte Namen, Städte) ersetzt.
- Die Zuordnung (Mapping) bleibt lokal gespeichert und wird nie an das externe Modell gesendet.
De-Masking-Schicht: Wenn das LLM antwortet, werden die synthetischen Werte in der Antwort wieder durch die originalen PII-Werte ersetzt, bevor die Antwort dem Nutzer angezeigt wird. Der Nutzer erlebt eine nahtlose Konversation, während das externe Modell nur synthetische Daten verarbeitet.
Hard-Block-Regeln: Bestimmte hochsensible Daten (wie Sozialversicherungsnummern oder Kreditkarten) werden sofort und dauerhaft durch Platzhalter ersetzt, unabhängig vom CPE-Score.

3. Wichtige Beiträge

Formalisierung von CPE: Die erste formale Definition von „Cumulative PII Exposure" als metrisches Maß für das Sitzungsrisiko in Multi-Turn-LLMs.
Kombinatorisches Risikomodell: Einführung des Koinzidenz-Graphen, der das Risiko nicht nur aus der Summe einzelner Entitäten, sondern aus deren Kombination ableitet.
Retroaktive Intervention: Ein neuartiger Ansatz, der die Historie nachträglich umschreibt, sobald das Risiko zu hoch wird, anstatt nur zukünftige Nachrichten zu filtern.
Erhaltung der Nutzbarkeit (Utility): Durch das lokale De-Masking wird sichergestellt, dass die Konversationsqualität und der Kontext für den Endnutzer vollständig erhalten bleiben, ohne dass das externe Modell echte Daten sieht.

4. Ergebnisse und Evaluation

Die Autoren evaluierten CAMP in vier synthetischen Szenarien (Gesundheitswesen, HR/Recruiting, Finanzen, Allgemeine Konversation) und verglichen es mit einem Standard-Per-Turn-Baseline (Presidio).

Schutzlevel:
- Baseline (Presidio): In allen vier Szenarien wurden zwischen 3 und 6 verschiedene PII-Entitätstypen ungeschützt an das externe LLM weitergeleitet, da keine einzelne Nachricht den Schwellenwert überschritt.
- CAMP: Reduzierte die Exposition echter PII-Daten an das externe Modell auf Null in allen Szenarien.
Interventionszeitpunkt: CAMP griff genau dann ein, als die Kombination der Daten das Risiko erhöhte (z. B. Turn 2 im Finanz-Szenario, Turn 4 im Gesundheits-Szenario), noch bevor ein vollständiges Profil rekonstruierbar war.
Nutzbarkeit: Die LLM-Antworten waren nach dem De-Masking vollständig kohärent und enthielten keine synthetischen Platzhalter. Die Konversationsqualität blieb erhalten.
Schwellenwert-Sensitivität: Die Evaluation mit verschiedenen Schwellenwerten ( $\tau \in \{1.5, 2.0, 2.5\}$ ) zeigte, dass ein Wert von 2.0 einen guten Kompromiss zwischen Datenschutz und natürlicher Konversation bietet. Finanzszenarien reagierten am empfindlichsten auf Änderungen des Schwellenwerts.

5. Bedeutung und Ausblick

Das Paper adressiert ein fundamentales Architekturproblem in der aktuellen KI-Sicherheit: Die Annahme, dass Datenschutz durch isolierte Nachrichtenprüfung gewährleistet sei, ist in agenticen Systemen falsch.

Paradigmenwechsel: CAMP verschiebt den Fokus von der Einzelnachricht zur Sitzungsebene. Es erkennt an, dass der Kontext selbst das Risiko trägt.
Praktische Relevanz: Das Framework bietet einen Weg, um die Vorteile von kontextbewussten Agenten (die Historie benötigen) mit strengen Datenschutzanforderungen (wie DSGVO) in Einklang zu bringen, ohne die Funktionalität einzuschränken.
Zukunftsperspektiven: Die Autoren schlagen vor, das System durch adaptive Schwellenwerte, Inferenz-basierte Erkennung impliziter PII (durch lokale kleine Modelle) und Integration von Differential Privacy weiterzuentwickeln.

Zusammenfassend stellt CAMP einen wesentlichen Schritt dar, um die Sicherheit von Multi-Turn-LLM-Interaktionen zu gewährleisten, indem es die kumulative Natur von Datenschutzverletzungen formalisiert und technisch adressiert.