🤖 machine learning

Auditing Privacy in Multi-Tenant RAG under Account Collusion

Dieser Beitrag zeigt, dass Multi-Tenant-RAG-Systeme, die differenziellen Datenschutz pro Konto beanspruchen, gegenüber unbegrenzter Datenschutzverschlechterung bei Kollusion von Konten desselben Mieters anfällig sind, und stellt das erste Audit-Protokoll vor, das kryptografische Primitive verwendet, um die Datenschutzgarantien des Abruf-Score-Kanals quantitativ zu verifizieren, ohne Systemänderungen oder die Offenlegung des Index zu erfordern.

Ursprüngliche Autoren: Florian A. D. Burnat, Brittany I. Davidson

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Florian A. D. Burnat, Brittany I. Davidson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Gruppenchat"-Problem

Stellen Sie sich eine riesige, hochsichere Bibliothek vor (den Multi-Tenant-RAG-Dienst), in der Tausende verschiedener Personen (Mandanten) ihre privaten Dokumente speichern. Zum Schutz der Privatsphäre hat die Bibliothek eine Regel: Jede einzelne Person darf eine begrenzte Anzahl von Fragen stellen, und die Antworten werden „verrauscht" (verschmiert), sodass niemand herausfinden kann, welche spezifischen Dokumente sich genau in der Bibliothek befinden. Dies ist die Garantie für die Privatsphäre pro Konto.

Die Bibliothek sagt Ihnen: „Machen Sie sich keine Sorgen, wenn Sie 100 Fragen stellen, garantieren wir Ihre Privatsphäre."

Die Entdeckung des Papiers:
Die Autoren fanden eine Lücke. Was, wenn ein böswilliger Akteur nicht nur ein Konto nutzt, sondern 100 gefälschte Konten (Sockenpuppen) erstellt und alle koordiniert, um gleichzeitig Fragen zu stellen?

Das Papier argumentiert, dass die aktuelle Sicherheitsgarantie der Bibliothek wie ein Sicherheitsgurt für eine Person ist. Er funktioniert hervorragend, wenn Sie allein im Auto sind. Aber wenn 100 Personen in das Auto drängen und alle Sicherheitsgurte tragen, sich aber alle an den Händen halten und gemeinsam ziehen, versagt das Gurtsystem. Das „Rauschen", das die Dokumente schützt, wird aufgehoben, wenn die Antworten aller 100 Konten kombiniert werden.

Die Kernanalogie: Das Flüstern-Spiel

Stellen Sie sich ein Spiel vor, bei dem Sie ein geheimes Wort erraten sollen, das in einem Raum versteckt ist.

Der Wächter (Die Bibliothek): Der Wächter flüstert Ihnen das Wort zu, fügt aber viel statisches Rauschen hinzu, sodass Sie es nicht klar hören können.
Die Regel: Wenn eine Person zuhört, ist das Rauschen zu laut, um das Wort zu erraten. Die Bibliothek sagt: „Wir sind sicher, weil das Rauschen für eine Person laut genug ist."
Der Angriff (Die Kollusion): Stellen Sie sich nun vor, 100 Personen (eine Koalition) stehen im Raum. Jede Person hört das Wort mit Rauschen.
- Person 1 hört: „W...h...s...t..."
- Person 2 hört: „W...h...s...t..."
- Person 100 hört: „W...h...s...t..."
Das Ergebnis: Wenn sie alle ihre Notizen vergleichen, hebt sich das zufällige Rauschen auf, und das echte Wort wird kristallklar.

Das Papier beweist mathematisch, dass, wenn $k$ Personen kolludieren, der Privatsphärenschutz nicht nur ein wenig sinkt, sondern um den Faktor $\sqrt{k}$ (die Quadratwurzel der Anzahl der Personen) abnimmt.

Wenn 1 Person angreift: Die Privatsphäre ist zu 100 % (wie versprochen).
Wenn 100 Personen angreifen: Der Privatsphärenschutz ist effektiv 10-mal schwächer (da $\sqrt{100} = 10$ ).

Die drei Hauptbeiträge

1. Die Mathematik: „Die Quadratwurzel-Regel"

Das Papier berechnet genau, wie viel Privatsphäre verloren geht, wenn Konten sich zusammenschließen.

Altes Denken: Wenn sich 100 Personen zusammenschließen, ist das Risiko vielleicht 100-mal höher (linear).
Neue Erkenntnis: Das Risiko ist tatsächlich die Quadratwurzel von 100-mal höher (was 10 ist).
Warum es wichtig ist: Es ist nicht so schlimm wie das Worst-Case-Szenario (100-fach), aber es ist viel schlimmer als die Bibliothek zugibt (1-fach). Eine Bibliothek, die behauptet „100 % sicher für eine Person", ist für eine Gruppe von 100 tatsächlich nur „10 % sicher".

2. Der Beweis: „Der gefälschte Angriff"

Die Autoren haben nicht nur Mathematik betrieben; sie bauten eine Simulation, um zu beweisen, dass es im echten Leben funktioniert.

Sie erstellten eine gefälschte Bibliothek und eine Gruppe von 20 gefälschten Konten.
Sie zeigten, dass sie durch die Kombination der Antworten dieser 20 Konten die geheimen Dokumente viel besser erraten konnten als ein einzelnes Konto.
Wichtige Erkenntnis: Selbst wenn die Bibliothek eine „Top-K"-Auswahl verwendet (nur die Top-5-Ergebnisse anzeigt statt der vollständigen Liste), funktioniert der Gruppenangriff weiterhin. Die „Quadratwurzel-Regel" gilt.

3. Die Lösung: „Der unsichtbare Prüfer"

Dies ist der kreativste Teil. Die Autoren entwickelten eine neue Art, die Bibliothek zu prüfen, ohne dass die Bibliothek ihre geheimen Dokumente zeigen oder ihren Code ändern muss.

Stellen Sie sich ein magisches Quittungsbuch vor:

Jedes Mal, wenn die Bibliothek eine Frage beantwortet, generiert sie eine kryptografische „Quittung" (ein digitales Siegel), die beweist:
1. Die Antwort stammt aus den richtigen Dokumenten.
2. Das „statische Rauschen" korrekt hinzugefügt wurde.
3. Die Antwort keine Informationen über die Dokumente anderer Personen preisgibt.
Ein Prüfer (eine dritte Partei) kann diese Quittungen ansehen und mathematisch beweisen: „Ja, wenn eine Gruppe von 10 Personen angreift, ist die Privatsphäre nur so stark."
Das Urteil: Der Prüfer vergibt eine einfache BESTANDEN- oder NICHT BESTANDEN-Note sowie eine Zahl (wie „Ihre Privatsphäre ist nur 3,2 von 10"). Dies ermöglicht es Kunden, das tatsächliche Risiko zu kennen, ohne dass die Bibliothek ihre Geheimnisse preisgeben muss.

Was dies für Sie bedeutet (den Leser)

Für Nutzer: Wenn Sie Dienste wie Microsoft Copilot oder KI-Assistenten nutzen, die mit Ihren privaten Dateien verbunden sind, könnte die „Privatsphäre-Garantie", die im Kleingedruckten steht, irreführend sein, wenn Sie Teil einer großen Organisation sind oder wenn Angreifer viele gefälschte Konten erstellen.
Für Unternehmen: Sie können nicht einfach sagen „Wir sind sicher für einen Benutzer". Sie müssen berücksichtigen, dass Benutzer sich zusammenschließen könnten.
Für Aufsichtsbehörden: Das Papier schlägt eine neue Art vor, KI zu auditieren. Anstatt Unternehmen zu bitten, ihren Code vorzulegen (was sie nicht tun werden), können Aufsichtsbehörden dieses „magische Quittungssystem" nutzen, um Privatsphäre-Behauptungen mathematisch zu verifizieren.

Was das Papier NICHT sagt

Es sagt nicht, dass aktuelle KI-Dienste „kaputt" sind oder dass Ihre Daten gerade jetzt definitiv gestohlen werden.
Es sagt nicht, dass die „Top-K"-Funktion (nur Top-Ergebnisse anzeigen) nutzlos ist; es sagt nur, dass sie einen koordinierten Gruppenangriff nicht aufhält.
Es löst nicht das Problem der „Embedding-Inversion" (das Erraten des Textes nur anhand der Mathematik im Hintergrund); es konzentriert sich ausschließlich auf den Abrufschritt.

Zusammenfassung

Das Papier enthüllt, dass Privatsphäre in KI-Bibliotheken fragil ist, wenn Benutzer sich zusammenschließen. Es beweist, dass eine Gruppe von Angreifern das Privatsphärenrauschen viel schneller aufheben kann als erwartet. Um dies zu beheben, erfanden die Autoren ein kryptografisches Audit-System, das wie eine „Wahrheitsmaschine" fungiert und es jedem ermöglicht, das tatsächliche Privatsphärenniveau eines KI-Dienstes zu überprüfen, ohne dass dessen geheime Daten eingesehen werden müssen.

Technische Zusammenfassung: Auditierung der Privatsphäre in Multi-Tenant-RAG-Systemen bei Account-Kollusion

1. Problemstellung

Produktive Retrieval-Augmented Generation (RAG)-Dienste (z. B. Microsoft 365 Copilot, OpenAI Assistants) operieren typischerweise als Multi-Tenant-Systeme, bei denen eine gemeinsame Infrastruktur Tausende von Kundenkonten bedient. Die aktuellen Privatsphärengarantien für diese Systeme werden auf der Ebene pro Konto formuliert: Für die Abfragen jedes Kontos wird zugesichert, dass sie $(\epsilon_{acc}, \delta_{acc})$ -differentialen Datenschutz (DP) bezüglich des Index des Mandanten erfüllen.

Die Arbeit identifiziert ein kritisches Versagen der Privatsphärengrenze: Diese pro-Konto-Framing ist unzureichend, wenn ein Angreifer $k$ Konten kontrolliert (eine Koalition), die koordiniert denselben Mandantenindex abfragen. Während die Standard-DP-Theorie nahelegt, dass $k$ unabhängige Abfragen die Privatsphäre linear ( $k \cdot \epsilon_{acc}$ ) verschlechtern oder unverändert bleiben könnten, zeigen die Autoren, dass bei mit Gaußschem Rauschen versehenen Abrufmechanismen die gemeinsame Offenlegung mit einer Rate von $\Theta(\sqrt{k} \cdot \epsilon_{acc})$ verschlechtert wird.

Diese Lücke impliziert, dass ein Dienst, der ein sicheres pro-Konto-Budget bewirbt (z. B. $\epsilon_{acc}=1$ ), unbeabsichtigt eine deutlich schwächere gemeinsame Garantie (z. B. $\approx 3,2$ für $k=10$ ) offenlegen kann, wenn sich eine Koalition bildet. Bestehende Verteidigungsmaßnahmen modifizieren die Bereitstellung, um die Offenlegung pro Abfrage zu reduzieren, bieten jedoch keinen Mechanismus, um die gemeinsame Offenlegung einer unveränderten Bereitstellung zu auditieren, ohne den zugrunde liegenden Index oder die Modellgewichte preiszugeben.

2. Methodik

2.1 Bedrohungsmodell

Die Autoren formalisieren ein $(\epsilon, \delta, k)$ -Kollusions-DP-Modell. Der Angreifer kontrolliert $k \ge 1$ Konten innerhalb eines einzigen Mandanten (Kollusion innerhalb desselben Mandanten) oder über Mandanten hinweg (Kollusion zwischen Mandanten/extern, abhängig vom Versagen der Zugriffskontrolle). Der Angreifer verfügt über:

Gemeinsame Posterior-Wahrscheinlichkeit: Ein einheitlicher probabilistischer Glaube an den Zielindex.
Adaptive Koordination: Abfragen von Konto $a_i$ können vom vollständigen Transkript aller anderen Konten bis zum Zeitpunkt $t-1$ abhängen.
Bewusstsein für Geschwindigkeitsbegrenzungen: Abfragen werden so geplant, dass das aggregierte Budget maximiert wird, während die individuellen pro-Konto-Grenzen eingehalten werden.
Gemeinsamer Ausgabekanal: Alle Abrufantworten werden zusammengeführt, bevor der Schätzer des Angreifers ausgeführt wird.

Die Analyse geht von unabhängigem, frischem Gaußschem Rauschen pro Abfrage und einem deterministischen Embedder innerhalb des Audit-Fensters aus.

2.2 Theoretische Analyse

Die Arbeit spezialisiert die fortgeschrittene DP-Kompositionstheorie auf das RAG-Szenario:

Obere Schranke: Durch Reduzierung von $k$ koordinierten Konten auf einen einzigen adaptiven Analysten mit einem Budget von $kn$ Abfragen wenden die Autoren den Advanced Composition Theorem an. Für die Freigabe von mit Gaußschem Rauschen versehenen Scores beweisen sie, dass der gemeinsame Privatsphärenparameter $\epsilon_k$ wie folgt skaliert:
$\epsilon_k = \Theta\left(\sqrt{k} \cdot \epsilon_{acc}\right)$
Dies ist strikt schlechter als das beworbene pro-Konto-Budget, aber besser als die naive lineare Gruppen-Privatsphärengrenze.
Untere Schranke: Die Autoren konstruieren einen spezifischen Angriff (eine Sondierungsabfrage gegen benachbarte Indizes, die sich um ein Dokument unterscheiden), bei dem eine Koalition von $k$ Konten einen Vorteil bei der Mitgliedschaftsinferenz (MIA) von $\Omega(\sqrt{k} \cdot \epsilon_{acc})$ erzielt.
Rényi-DP (RDP): Die Analyse wird unter Verwendung von RDP und dem Moments Accountant verfeinert, um engere numerische Grenzen für die praktische Auditberichterstattung zu liefern.

2.3 Audit-Protokoll

Um diese Lücke überprüfbar zu machen, entwickelt die Arbeit ein vierphasiges Audit-Protokoll, das auf unveränderten RAG-Bereitstellungen operiert, ohne eine Indexoffenlegung zu erfordern:

Verpflichtung: Der Anbieter verpflichtet sich für den Embedder, den Indexinhalt (via Vektorverpflichtungen), den Rausch-Samen und die Richtliniendaten (einschließlich einer deklarierten Obergrenze für Koalitionen $k_{max}$ ) unter Verwendung kryptografischer Hashes und Merkle-Bäume.
Abfrage-spezifische Bescheinigung: Für jede Abfrage generiert der Anbieter einen Zero-Knowledge (ZK)-Beweis, der bescheinigt, dass:
- Die Einbettung unter Verwendung des verpflichteten Embedders berechnet wurde.
- Gaußsches Rauschen vom verpflichteten Samen abgeleitet wurde.
- Die Top-K-Auswahl auf den verrauschten Scores durchgeführt wurde (Rauschen vor der Auswahl).
- Der Abruf auf den korrekten Mandantenindex beschränkt war.
Schätzung der Koalitionsgröße: Der Anbieter reicht eine Schätzung der Koalitionsgröße ( $\hat{k}$ ) basierend auf Abfragekorrelationen (Clustering ähnlicher Abfragen im öffentlichen Ledger) ein, begleitet von einem ZK-Beweis.
Verifizierung: Ein Drittpartei-Verifizierer prüft die Beweise und die Konsistenz des Ledgers. Wenn die geschätzte Koalitionsgröße innerhalb der Richtliniengrenze ( $k_{max}$ ) liegt, erlässt der Verifizierer ein quantitatives Urteil: (PASS, $\epsilon_{audit}$ ), wobei $\epsilon_{audit}$ die berechnete Obergrenze der gemeinsamen Offenlegung ist.

3. Hauptbeiträge

Identifizierung des Bedrohungsmodells: Die Arbeit definiert die Multi-Account-Kollusion innerhalb desselben Index als strukturelles Versagen von pro-Konto-DP-Garantien in RAG und etabliert die $\Theta(\sqrt{k})$ -Verschlechterungsrate für mit Gaußschem Rauschen versehene Abrufe.
Falsifizierbare empirische Vorhersagen: Die Autoren leiten eine spezifische Vorhersage für die Area Under the Curve (AUC) des Membership Inference Attack (MIA) ab: $AUC_k = \frac{1}{2} + \Theta(\sqrt{k} \cdot \epsilon_{acc})$ . Sie verpflichten sich zu zwei Falsifizierungsschwellen (Steigung und Schärfe), um die Theorie zu validieren.
Verifizierbares Audit-Protokoll: Das erste Protokoll zur Auditierung der gemeinsamen Offenlegung in unveränderten RAG-Bereitstellungen. Es verwendet eine Kombination aus generischen kryptografischen Primitive (Merkle-Ledger, ZK-Beweise) und RAG-spezifischen Primitive (Embedder-Verpflichtung, Bescheinigung für Rauschen vor der Auswahl), um ein quantitatives $(PASS, \epsilon_{audit})$ -Urteil auszusprechen, ohne den Index oder die Modellgewichte preiszugeben.
Numerisches Privatsphäre-Tracking: Die Integration von RDP und dem Moments Accountant ermöglicht eine exakte numerische Bewertung des Privatsphärenverlusts und liefert engere Grenzen als geschlossene Näherungen für moderate Koalitionsgrößen.

4. Experimentelle Ergebnisse

Die Autoren validierten ihre theoretischen Vorhersagen unter Verwendung einer synthetischen, FAISS-basierten Multi-Tenant-Umgebung und eines trainierten Embedders (BAAI/bge-small-en-v1.5).

Skalierungsvalidierung: Experimente mit Koalitionsgrößen $k \in \{1, 2, 5, 10, 20\}$ bestätigten die vorhergesagte $\sqrt{k}$ -Skalierung. Beispielsweise wuchs bei $\epsilon_{acc}=4$ der empirische MIA-Vorteil von 0,070 ( $k=1$ ) auf 0,281 ( $k=20$ ), was dem vorhergesagten Wachstumsfaktor von $\sqrt{20} \approx 4,5$ nahe kommt.
Top-K-Nachverarbeitung: Der $\sqrt{k}$ -Trend wurde auch dann beobachtet, wenn die Ausgabe auf einen binären „Top-K-Treffer"-Indikator beschränkt wurde, obwohl der absolute Vorteil um einen konstanten Faktor reduziert war (ca. 30 % niedriger als beim Roh-Score-Angriff).
Robustheitsprüfungen:
- Alternative Angreifer: Varianten, die Bayes'sche Log-Likelihood-Verhältnisse oder diversifizierte Multi-Ziel-Aufteilungen verwendeten, überschritten nicht die Basislinie der $\sqrt{k}$ -Rate; Diversifizierung verschlechterte den Vorteil tatsächlich.
- Embedder-Transfer: Die Rate hielt für einen trainierten 384-dimensionalen Embedder, wobei der Vorteil linear mit der realisierten Score-Lücke ( $\Delta$ ) skalierte.
- Extern vs. Innerhalb desselben Mandanten: Unter der Annahme eines Versagens der Zugriffskontrolle (M4) erzielten externe Angreifer Offenlegungsraten, die statistisch nicht von Koalitionen innerhalb desselben Mandanten zu unterscheiden waren.
Produktionsmaßstab: Tests an einem HNSW-Index mit $10^6$ Dokumenten bestätigten, dass zwar benutzerbeobachtbare Top-K-Treffer in großem Maßstab eine nahezu Null-Offenlegung bieten, die vom Auditor beobachtbaren gepoolten verrauschten Scores (zugänglich über das Audit-Protokoll) jedoch weiterhin den $\sqrt{k}$ -Offenlegungstrend aufweisen.

5. Bedeutung und Behauptungen

Die Arbeit positioniert sich als technische Grundlage und nicht als bereitgestellte Spezifikation. Ihre primäre Bedeutung liegt in:

Aufdecken struktureller Schwachstellen: Sie argumentiert, dass Missbrauch durch Multi-Accounts (z. B. Sockpuppets) nicht nur ein Betrugsproblem, sondern ein grundlegendes Versagen der Privatsphärengrenzen ist, das von aktuellen pro-Konto-DP-Garantien nicht abgedeckt wird.
Ermöglichung von Drittpartei-Audits: Das Protokoll bietet Mechanismen für Regulierungsbehörden und Dritte, Privatsphärenbehauptungen (z. B. im Rahmen des EU-KI-Gesetzes oder des DSA) zu verifizieren, ohne dass der Anbieter proprietäre Daten oder Modelle offenlegen muss.
Operationalisierung von $\epsilon_{audit}$ : Sie schlägt vor, die Einheit der regulatorischen Offenlegung vom pro-Konto-Budget ( $\epsilon_{acc}$ ) auf die gemeinsame Audit-Grenze ( $\epsilon_{audit}$ ) zu verschieben, die die Realität koordinierter Angriffe widerspiegelt.

Die Autoren grenzen die Privatsphäre des Generationskanals (LLM-Ausgabe, konditioniert auf ausgewählte Dokumente) und Angriffe auf die Umkehrung von Einbettungen explizit aus und behandeln sie als separate Audit-Prädikate. Sie erkennen an, dass die Wirksamkeit des Protokolls davon abhängt, dass der Anbieter eine aussagekräftige Obergrenze für Koalitionen ( $k_{max}$ ) deklariert, und dass der Schätzer der Koalitionsgröße von Angreifern umgangen werden kann, die ihre Abfragen absichtlich diversifizieren. Die Arbeit schließt mit der Feststellung, dass die Lücke zwar strukturell ist und architektonische Änderungen erfordert, um vollständig geschlossen zu werden, das vorgeschlagene Audit-Protokoll jedoch einen überprüfbaren, unmittelbaren Schritt hin zu Transparenz in produktiven RAG-Diensten darstellt.