Technische Samenvatting: Auditing van Privacy in Multi-Tenant RAG onder Accountcollusie

1. Probleemstelling

Productie Retrieval-Augmented Generation (RAG)-diensten (bijv. Microsoft 365 Copilot, OpenAI Assistants) opereren doorgaans als multi-tenant systemen waarbij een gedeelde infrastructuur duizenden klantaccounts bedient. De huidige privacygaranties voor deze systemen worden geformuleerd op het per-account niveau: voor elke account wordt beloofd dat de queries voldoen aan $(\epsilon_{acc}, \delta_{acc})$-differentiële privacy (DP) met betrekking tot de index van de tenant.

Het artikel identificeert een kritiek privacygrens-falen: deze per-account formulering is onvoldoende wanneer een adversary $k$ accounts controleert (een coalitie) die coördineren om dezelfde tenant-index te bevragen. Hoewel standaard DP-theorie suggereert dat $k$ onafhankelijke queries de privacy lineair kunnen verslechteren ($k \cdot \epsilon_{acc}$) of stabiel blijven, tonen de auteurs aan dat voor retrieval-mechanismen met Gaussisch ruis de gezamenlijke lekken verslechtert met een snelheid van $\Theta(\sqrt{k} \cdot \epsilon_{acc})$.

Deze kloof impliceert dat een dienst die een veilig per-account budget adverteert (bijv. $\epsilon_{acc}=1$), onbedoeld een aanzienlijk zwakker gezamenlijke garantie kan blootleggen (bijv. $\approx 3.2$ voor $k=10$) als er een coalitie vormt. Bestaande verdedigingen passen de implementatie aan om lekken per query te verminderen, maar geen enkele biedt een mechanisme om het gezamenlijke lekken van een ongewijzigde implementatie te auditen zonder de onderliggende index of modelgewichten te onthullen.

2. Methodologie

2.1 Bedreigingsmodel

De auteurs formaliseren een $(\epsilon, \delta, k)$-collusie DP-model. De adversary controleert $k \ge 1$ accounts binnen een enkele tenant (collusie binnen dezelfde tenant) of over tenants heen (collusie tussen tenants/extern, afhankelijk van een falen in toegangscontrole). De adversary beschikt over:

• Gedeelde posterior: Een unificerend probabilistisch geloof over de doel-index.
• Adaptieve coördinatie: Queries van account $a_i$ kunnen afhankelijk zijn van het volledige transcript van alle andere accounts tot tijdstip $t-1$.
• Bewustzijn van snelheidsbeperkingen: Queries worden gepland om het totale budget te maximaliseren terwijl ze binnen de individuele per-account limieten blijven.
• Gedeeld uitvoerkanaal: Alle retrieval-antwoorden worden samengevoegd voordat de schatter van de adversary draait.

De analyse gaat uit van onafhankelijke, verse Gaussische ruis per query en een deterministische embedder binnen het auditvenster.

2.2 Theoretische Analyse

Het artikel specialiseert geavanceerde DP-compositietheorie voor de RAG-omgeving:

• Bovenste grens: Door $k$ gecoördineerde accounts te reduceren tot een enkele adaptieve analist met een budget van $kn$ queries, passen de auteurs de Geavanceerde Compositiestelling toe. Voor de vrijgave van scores met Gaussische ruis bewijzen ze dat de gezamenlijke privacyparameter $\epsilon_k$ schaalt als:
  $$\epsilon_k = \Theta\left(\sqrt{k} \cdot \epsilon_{acc}\right)$$
  Dit is strikt slechter dan het geadverteerde per-account budget, maar beter dan de naïeve lineaire groepsprivacygrens.
• Onderste grens: De auteurs construeren een specifieke aanval (een proefquery tegen naburige indices die één document verschillen) waarbij een coalitie van $k$ accounts een voordeel bij lidmaatschapsinferentie (MIA) bereikt van $\Omega(\sqrt{k} \cdot \epsilon_{acc})$.
• Rényi DP (RDP): De analyse wordt verfijnd met behulp van RDP en de moments accountant om strakkere numerieke grenzen te bieden voor praktische auditrapportage.

2.3 Auditprotocol

Om deze kloof verifieerbaar te maken, ontwerpt het artikel een auditprotocol met vier fasen dat werkt op ongewijzigde RAG-implementaties zonder vereiste voor indexopenbaarmaking:

1. Commitment: De provider committeert tot de embedder, indexinhoud (via vector-commitments), ruiszaad en beleidsparameters (inclusief een verklaarde coalitiecap $k_{max}$) met behulp van cryptografische hashes en Merkle-bomen.
2. Per-Query Attestatie: Voor elke query genereert de provider een Zero-Knowledge (ZK)-bewijs dat attestert dat:
   • De embedding is berekend met de gecommitteerde embedder.
   • Gaussische ruis is afgeleid van het gecommitteerde zaad.
   • De Top-K-selectie is uitgevoerd op de verstoord scores (ruis dan selecteren).
   • De retrieval is beperkt tot de juiste tenant-index.
3. Schatting van Coalitiegrootte: De provider dient een schatting in van de coalitiegrootte ($\hat{k}$) gebaseerd op querycorrelatie (clustering van vergelijkbare queries in het openbare grootboek), vergezeld van een ZK-bewijs.
4. Verificatie: Een derde partij-verificator controleert de bewijzen en de consistentie van het grootboek. Als de geschatte coalitiegrootte binnen de beleidscap ligt ($k_{max}$), geeft de verificator een kwantitatief oordeel af: (PASS, $\epsilon_{audit}$), waarbij $\epsilon_{audit}$ de berekende grens voor gezamenlijke lekken is.

3. Belangrijkste Bijdragen

1. Identificatie van Bedreigingsmodel: Het artikel definieert multi-account collusie op dezelfde index als een structureel falen van per-account DP-garanties in RAG, en vestigt de $\Theta(\sqrt{k})$-verslechteringsrate voor retrieval met Gaussische ruis.
2. Valideerbare Empirische Voorspellingen: De auteurs leiden een specifieke voorspelling af voor het Area Under the Curve (AUC) van de Membership Inference Attack (MIA): $AUC_k = \frac{1}{2} + \Theta(\sqrt{k} \cdot \epsilon_{acc})$. Ze verbinden zich aan twee falsificatiepoorten (helling en strakheid) om de theorie te valideren.
3. Verificator-uitvoerbaar Auditprotocol: Het eerste protocol om gezamenlijke lekken te auditen in ongewijzigde RAG-implementaties. Het gebruikt een combinatie van generieke cryptografische primitieven (Merkle-grootboeken, ZK-bewijzen) en RAG-specifieke primitieven (commitment van embedder, attestatie van ruis dan selecteren) om een kwantitatief $(PASS, \epsilon_{audit})$-oordeel af te geven zonder de index of modelgewichten bloot te leggen.
4. Numerieke Privacy-tracking: De integratie van RDP en de moments accountant maakt een exacte numerieke evaluatie van privacyverlies mogelijk, wat strakkere grenzen biedt dan gesloten-formule benaderingen voor gematigde coalitiegroottes.

4. Experimentele Resultaten

De auteurs hebben hun theoretische voorspellingen gevalideerd met behulp van een synthetische multi-tenant FAISS-gebaseerde harness en een getrainde embedder (BAAI/bge-small-en-v1.5).

• Validatie van Schaling: Experimenten met coalitiegroottes $k \in \{1, 2, 5, 10, 20\}$ bevestigden de voorspelde $\sqrt{k}$-schaling. Bijvoorbeeld, bij $\epsilon_{acc}=4$ groeide het empirische MIA-voordeel van 0,070 ($k=1$) naar 0,281 ($k=20$), wat nauw aansluit bij de voorspelde groeifactor van $\sqrt{20} \approx 4.5$.
• Top-K Nabewerking: De $\sqrt{k}$-trend werd waargenomen te blijven bestaan, zelfs wanneer de output werd beperkt tot een binair "Top-K-hit"-indicator, hoewel het absolute voordeel werd verminderd met een constante factor (ongeveer 30% lager dan de aanval op de ruwe score).
• Robuustheidcontroles:
  • Alternatieve Adversaries: Varianties met Bayes log-likelihood ratios of gediversifieerde multi-doel splitsing overschreden de basale $\sqrt{k}$-rate niet; diversificatie verslechterde het voordeel zelfs.
  • Embedder-overdracht: De rate gold voor een getrainde 384-dimensionale embedder, waarbij het voordeel lineair schaalt met de gerealiseerde scorekloof ($\Delta$).
  • Extern versus Same-Tenant: Onder de aanname van een falen in toegangscontrole (M4) bereikten externe aanvaller lekkenraten die statistisch niet te onderscheiden waren van coalities binnen dezelfde tenant.
• Productieschaal: Tests op een $10^6$-document HNSW-index bevestigden dat hoewel door de gebruiker waarneembare Top-K-hits bij schaal bijna nul lekken bieden, de door de auditor waarneembare samengevoegde verstoord scores (toegankelijk via het auditprotocol) nog steeds de $\sqrt{k}$-lekken trend vertonen.

5. Betekenis en Claims

Het artikel positioneert zichzelf als een technische basis in plaats van een ingezette specificatie. De primaire betekenis ligt in:

• Blootleggen van Structurele Kwetsbaarheid: Het betoogt dat misbruik van meerdere accounts (bijv. sock puppets) niet alleen een fraudekwestie is, maar een fundamenteel falen van de privacygrens dat huidige per-account DP-garanties niet dekken.
• Mogelijk maken van Derde-partij Audits: Het protocol biedt een mechanisme voor regelgevers en derden om privacyclaims te verifiëren (bijv. onder de EU AI Act of DSA) zonder dat de provider eigendomsgegevens of modellen hoeft openbaar te maken.
• Operationaliseren van $\epsilon_{audit}$: Het stelt voor om de eenheid voor regelgevende openbaarmaking te verschuiven van het per-account budget ($\epsilon_{acc}$) naar de gezamenlijke auditgrens ($\epsilon_{audit}$), wat de realiteit van gecoördineerde aanvallen weerspiegelt.

De auteurs sluiten expliciet privacy van het generatiekanaal (LLM-output geconditioneerd op geselecteerde documenten) en embedding-inversie-aanvallen uit, en behandelen deze als aparte auditpredicaten. Ze erkennen dat de effectiviteit van het protocol afhankelijk is van dat de provider een betekenisvolle coalitiecap ($k_{max}$) verklaart en dat de schatter van de coalitiegrootte kan worden ontweken door adversaries die hun queries bewust diversifiëren. Het artikel concludeert dat hoewel de kloof structureel is en architecturale wijzigingen vereist om volledig te worden gedicht, het voorgestelde auditprotocol een verifieerbare, directe stap biedt naar transparantie in productie-RAG-diensten.