Differential Privacy in Generative AI Agents: Analysis and Optimal Tradeoffs

Probleemstelling

Bedrijven integreren steeds vaker Large Language Models (LLM's) en AI-agenten in hun systemen om toegang te krijgen tot interne databases en contextbewuste antwoorden te genereren. Hoewel dit de productiviteit verhoogt, brengt het aanzienlijke privacyrisico's met zich mee.

• Het Kernrisico: LLM's kunnen gevoelige informatie uit interne databases (zoals HR-records, financiële gegevens of intellectueel eigendom) onbedoeld lekken via hun output. Zelfs als directe records niet worden onthuld, kunnen aanvragers via strategische queries en analyse van de antwoorden gevoelige attributen afleiden (inference-based leakage).
• Beperkingen van Bestaande Oplossingen: Huidige enterprise-oplossingen vertrouwen vaak op "guardrails" (zoals prompt-filtering en regelgebaseerde detectie). Deze zijn echter vaak ad hoc, gebrek aan een theoretisch fundamenteel onderbouwing, en bieden geen kwantificeerbare garanties voor privacy.
• Dynamische Omgevingen: In dynamische data-omgevingen waar databases continu veranderen, worden statische guardrails snel verouderd, wat kwetsbaarheden creëert.
• Ontbrekende Metriek: Er ontbreekt een gestandaardiseerde, formele metriek om de hoeveelheid informatie die uit gegenereerde LLM-outputs kan worden afgeleid, te kwantificeren.

Methodologie

De auteurs ontwikkelen een probabilistisch raamwerk om privacylekken in AI-agenten te analyseren, gebaseerd op Differential Privacy (DP).

1. Stochastisch Generatief Mechanisme:

   • Het antwoordgeneratieproces wordt gemodelleerd als een stochastisch mechanisme dat prompts en datasets afbeeldt op distributies over token-sequenties.
   • Een agent $i$ genereert een bericht $m_i^t$ als een eindige reeks tokens, waarbij de kans op elk volgend token afhangt van de context (prompt, eerdere berichten, externe documenten) en interne modelparameters.

2. Differential Privacy Definities:

   • Token-level DP: De kansverdeling van een individueel token moet onafhankelijk zijn van het bestaan van een specifiek record in de dataset.
   • Message-level DP: De totale output (het volledige bericht) moet voldoen aan de DP-eisen. De auteurs bewijzen dat als elke token-stap $(\epsilon_k, \delta_k)$-DP voldoet, het totale bericht $(\sum \epsilon_k, \sum \delta_k)$-DP voldoet (compositie-eigenschap).

3. Rol van Temperatuur en Lengte:

   • De auteurs analyseren de invloed van de decoding-temperatuur ($T_i$) en de berichtlengte ($L_i$) op de privacy.
   • De temperatuur schaalt de logit-waarden in de softmax-functie. Een hogere temperatuur maakt de distributie uniformer (minder deterministisch), terwijl een lage temperatuur de meest waarschijnlijke tokens selecteert.

4. Privacy-Utility Afweging:

   • Er wordt een optimalisatieprobleem geformuleerd om de temperatuur te kiezen die de balans vindt tussen nut (kwaliteit van het antwoord) en privacy (bescherming).
   • De nut-functie wordt gemodelleerd als een verwachte score gebaseerd op de gegenereerde tokens.

Belangrijkste Bijdragen

1. Probabilistisch Model: Een input-output systeemmodel dat een LLM-agent beschrijft als een stochastisch generatief mechanisme dat context en datasets afbeeldt op berichtdistributies.
2. Nieuwe Privacy-Niveaus: Introductie van zowel token-level als message-level differential privacy voor LLM-agenten, inclusief afgeleide privacygrenzen.
3. Theoretische Grenzen: Afleiding van expliciete privacygrenzen die laten zien dat de privacylek ($\epsilon$) evenredig is met de berichtlengte en omgekeerd evenredig met de temperatuur:
   • $\epsilon \leq \frac{2\Delta}{T_i} L_i$ (waarbij $\Delta$ de gevoeligheid van de logit-mapping is).
   • Dit betekent: hogere temperatuur en kortere berichten leiden tot betere privacy.
4. Optimalisatie Framework: Formulering van een "privacy-utility design problem" waarbij de temperatuur wordt geoptimaliseerd om een reguliere doelfunctie te maximaliseren (nut + privacy-preferentie).

Resultaten

De auteurs valideren hun theorie met een empirische case study met GPT-2:

• Experiment: De modellen werden getest op twee buren-datasets (verschillend in één record) met variërende temperaturen (0.1 tot 2.0) en berichtlengtes (2, 5, 10 tokens).
• Privacy: De empirische privacyverliezen (gemeten via Total Variation Distance, Jensen-Shannon Divergentie en $\epsilon$) nemen af naarmate de temperatuur stijgt. Een hogere temperatuur vermindert de gevoeligheid van de output voor veranderingen in de onderliggende dataset.
• Nut: De verwachte nut (informatie-score) nemen af naarmate de temperatuur stijgt. Hogere temperaturen leiden tot minder consistente en minder "zeker" gegenereerde antwoorden.
• Lengte-effect: Langere berichten accumuleren meer privacyverlies en variatie in nut, wat bevestigt dat de privacygrenzen lineair groeien met het aantal gegenereerde tokens.
• Optimalisatie: De resultaten tonen aan dat er een continue trade-off bestaat. De optimale temperatuur is de waarde waarbij de marginale winst in privacy (door temperatuur te verhogen) gelijk is aan de marginale kosten in nut.

Significantie

Dit artikel biedt een fundamentele theoretische basis voor het beveiligen van enterprise AI-systemen:

• Van Ad Hoc naar Principieel: Het verschuift de privacybescherming van heuristische guardrails naar een wiskundig onderbouwde aanpak met formele garanties.
• Besturingsparameters: Het identificeert temperatuur en berichtlengte als directe, regelbare knoppen voor systembeheerders om privacy en nut te balanceren zonder het model opnieuw te hoeven trainen.
• Toekomstige Toepassingen: Het raamwerk biedt een basis voor het ontwikkelen van dynamische privacy-mechanismen in real-time enterprise systemen, waar databases continu veranderen. Het stelt organisaties in staat om de privacyrisico's van generatieve AI kwantificeerbaar te maken en te beheersen.

Kortom, de studie bewijst dat het verhogen van de decoding-temperatuur een effectieve, theoretisch onderbouwde strategie is om de privacy van gegenereerde LLM-antwoorden te verbeteren, ten koste van een bepaalde mate van output-kwaliteit.