Information-Theoretic Privacy Control for Sequential Multi-Agent LLM Systems

Dit artikel introduceert een theoretisch kader en een privacy-geregulariseerd trainingsframework om compositiegevoelige privacylekkage in sequentiële multi-agent LLM-systemen te beperken, waarbij wordt aangetoond dat privacy een systeemkarakteristiek is die niet alleen door lokale beperkingen kan worden gegarandeerd.

De kern

Stel je voor dat je een heel complex probleem hebt, zoals het diagnosticeren van een ziekte of het analyseren van je financiële situatie. In plaats van één super-intelligente computer (een 'enkelvoudig brein') die alles zelf doet, heb je nu een team van gespecialiseerde experts die samenwerken.

In de wereld van kunstmatige intelligentie (AI) noemen we dit een Multi-Agent Systeem.

• Agent 1 (de ontvanger) luistert naar je vraag.
• Agent 2 (de denker) bedenkt een oplossing.
• Agent 3 (de schrijver) formuleert het antwoord.
• Agent 4 (de controleur) kijkt of het veilig is.

Elke agent heeft zijn eigen geheugen en weetjes. Soms hebben ze ook gevoelige informatie die ze niet met de rest van het team (of de buitenwereld) mogen delen. Bijvoorbeeld: Agent 2 weet dat een patiënt een zeldzame ziekte heeft, maar Agent 3 hoeft dat niet te weten om het antwoord te schrijven.

Het Probleem: De "Fluisterende Keten"

Het artikel van Sadia Asif en Mohammad Mohammadi Amiri waarschuwt voor een groot risico in deze teams.

Stel je voor dat Agent 2 een fluisteraar is. Hij fluistert een hint naar Agent 3. Agent 3 fluistert die hint, verpakt in een nieuw verhaal, door naar Agent 4. Agent 4 fluistert het weer door naar de klant.

Op het moment dat de klant het antwoord krijgt, lijkt het misschien onschuldig. Maar als je alle fluisteringen van Agent 2, 3 en 4 bij elkaar optelt, kan een slimme buitenstaander (een hacker) de oorspronkelijke, geheime ziekte van Agent 2 terugreconstrueren.

Het artikel noemt dit compositional privacy leakage (samengestelde privacylek).

• De misvatting: "Agent 2 is veilig, Agent 3 is veilig, dus het hele team is veilig."
• De realiteit: Zelfs als elke agent individueel zijn mond houdt, kan de keten van communicatie de geheime informatie toch onthullen. Het is alsof je een geheim in stukjes verdeelt over vijf brieven; elke brief is onschuldig, maar samen vormen ze het geheime document.

De Oplossing: Een "Informatie-Filter"

De auteurs hebben een nieuwe manier bedacht om dit te voorkomen. Ze gebruiken wiskunde (informatietheorie) om te meten hoeveel "gevoelige informatie" er door de fluisterketen lekt.

Hun oplossing is een trainingssysteem met een strakke regel:
Tijdens het leren van de AI-agenten, krijgen ze een boete als ze te veel informatie over hun geheime weetjes doorgeven aan de volgende agent.

• De Metafoor: Stel je voor dat elke agent een veiligheidscontroleur is op een vliegveld.
  • Normaal gesproken kijken ze alleen of de passagier (het antwoord) veilig is.
  • Met hun nieuwe methode krijgen ze een gevoeligheidsmeter. Als Agent 2 merkt dat zijn antwoord te veel lijkt op zijn geheime dossier, moet hij het antwoord "afwassen" of "versluieren" voordat hij het doorgeeft. Hij moet zorgen dat de volgende agent alleen het nodige ziet, maar niets van de achtergrondgeschiedenis kan afleiden.

Wat hebben ze bewezen?

Ze hebben dit getest op drie moeilijke gebieden:

1. Geneeskunde: Waar patiëntgegevens geheim moeten blijven.
2. Financiën: Waar bedrijfsgeheimen veilig moeten zijn.
3. Alledaagse taken: Waar sociale normen over privacy belangrijk zijn.

De resultaten waren duidelijk:

• Zonder hun nieuwe methode: Hoe langer de keten van agenten (meer stappen), hoe groter het risico dat het geheim lekt. Het was alsof je een emmer water door een reeks mensen gaf; bij elke overdracht viel er een beetje water weg (informatie lekken).
• Met hun nieuwe methode: De "emmer" bleef dicht. Zelfs bij lange ketens van 5 agenten, bleef het geheim veilig, zonder dat de AI zijn werk (zoals het beantwoorden van vragen) slecht deed.

De Kernboodschap in één zin

Je kunt privacy niet alleen vertrouwen op het goede gedrag van één persoon in een team; je moet het systeem als geheel zo ontwerpen dat de geheime informatie niet kan "opstapelen" en ontsnappen, net zoals je een lek in een boot niet stopt door alleen het eerste plankje te repareren, maar door de hele boot waterdicht te maken.

Kortom: Privacy is geen eigenschap van één robot, maar van het hele team.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Information-Theoretic Privacy Control for Sequential Multi-Agent LLM Systems" in het Nederlands.

1. Probleemstelling

De paper adresseert een kritiek privacyprobleem in sequentiële multi-agent Large Language Model (LLM) systemen. In deze systemen worden complexe gebruikersverzoeken verwerkt door een keten van gespecialiseerde agents (bijv. voor interpretatie, redenering en compliance), waarbij de output van de ene agent als input dient voor de volgende.

• De Kernuitdaging: Hoewel individuele agents lokaal privacybeperkingen kunnen naleven, kan gevoelige informatie (zoals proprietary logica, interne routing of domein-specifieke data) toch worden afgeleid door de sequentiële compositie van intermediate representaties.
• Het Falen van Lokale Beperkingen: Traditionele privacymaatregelen (zoals lokale differentiaalprivacy of memorisatiegrenzen) behandelen agents als geïsoleerde eenheden. De auteurs tonen aan dat zelfs als elke agent een lage lokale lekwaarde heeft, deze lekken zich exponentieel versterken naarmate de pipeline dieper wordt. De eindoutput kan dus aanzienlijk meer informatie over de gevoelige variabelen van alle agents bevatten dan de som van de individuele lekken.
• Gevolg: Privacy in agentic systemen kan niet worden gegarandeerd door alleen lokale constraints; het moet worden behandeld als een systeem-eigenschap.

2. Methodologie

De auteurs gebruiken een informatietheoretisch perspectief om privacylekken te kwantificeren en te beheersen.

A. Theoretische Analyse

• Formalisatie: Het systeem wordt gemodelleerd als een Markov-keten waarbij de output $O_i$ van agent $i$ afhankelijk is van de vorige output $O_{i-1}$, publieke input $D_i$ en lokale gevoelige data $S_i$.
• Mutuele Informatie (MI): Privacylek wordt gemeten als de wederzijdse informatie $I(O_N; S_1, ..., S_N)$ tussen de uiteindelijke systeemoutput en alle lokale gevoelige variabelen.
• Theorema 4.1 (Cumulatieve Lekgrens): De auteurs leiden een theoretische bovengrens af die aantoont dat lekken door vroege agents exponentieel bijdragen aan de totale lekwaarde. Voor een pipeline van $N$ agents met een uniforme lokale lek $\epsilon$, kan de globale lek oplopen tot $(2^N - 1)\epsilon$. Dit bevestigt dat vroege agents de grootste invloed hebben op de totale privacy.

B. Privacy-Geregulariseerde Training (MINE-Reg)

Om dit probleem op te lossen, stellen ze een nieuw trainingsframework voor dat de stroom van informatie direct beperkt tijdens het trainen.

• Doelfunctie: De totale loss functie combineert de taak-utility (bijv. cross-entropy) met een privacy-strafterm:
  $$L_{total} = L_{utility} + \sum_{i=1}^{N} \beta_i \cdot \hat{I}(O_i; S_i)$$
  Waarbij $\beta_i$ de afweging tussen privacy en nut bepaalt.
• Schatten van Mutuele Informatie: Omdat MI direct berekenen onmogelijk is voor hoge dimensies, gebruiken ze MINE (Mutual Information Neural Estimation). Dit maakt gebruik van variational estimation (Donsker-Varadhan representatie) via een "critic" netwerk dat de afhankelijkheid tussen de agent-output en de gevoelige variabele schat.
• Optimalisatie: Tijdens het trainen worden de agent-parameters geüpdatet om de taak-utility te maximaliseren en de geschatte MI te minimaliseren, terwijl de critic-parameters worden geüpdatet om de MI nauwkeurig te schatten.

3. Belangrijkste Bijdragen

1. Formalisatie van Compositie: Het paper formaliseert privacylek in sequentiële multi-agent systemen en bewijst dat lokale privacybeperkingen onvoldoende zijn voor globale privacy.
2. Theoretische Grens: Afleiding van een theoretische bovengrens die laat zien hoe lekken exponentieel versterken in diepe pipelines, met een sterke dominantie van vroege agents.
3. Nieuw Trainingsframework: Introductie van een MI-geregulariseerd trainingsframework dat direct de wederzijdse informatie tussen intermediate representaties en gevoelige variabelen beperkt.
4. Uitgebreide Evaluatie: Empirische validatie over drie domeinen (Medisch, Financieel, Contextuele Privacy) met verschillende modelgroottes en pipeline-dieptes.

4. Resultaten

De methode is getest op benchmarks zoals MedQA (medisch redeneren), FinQA (financieel redeneren) en PrivacyLens (contextuele privacynormen), met modellen uit de LLaMA- en Qwen-families (2B tot 7B parameters) en pipelines van 2 tot 5 agents.

• Drastische Reductie van Lekken: De MI-geregulariseerde training (MINE-Reg) reduceerde de gemiddelde wederzijdse informatie ($MI_{avg}$) met 75-90% vergeleken met de baseline.
  • Voorbeeld: Bij MedQA met Qwen-4B en 2 agents daalde $MI_{avg}$ van 0.54 naar 0.06.
• Versterking van Privacy bij Diepere Pipelines: Terwijl baselines een sterke toename in lekken vertoonden naarmate het aantal agents toenam (van 2 naar 5), bleef de lekwaarde bij MINE-Reg stabiel en laag.
• Behoud van Utility: De taakprestaties (benign accuracy) bleven redelijk stabiel. Er was een kleine daling in nauwkeurigheid (bijv. 6-8 punten bij grotere modellen), maar dit werd ruimschoots gecompenseerd door de enorme winst in privacy.
• Adversariale Robuustheid: De "Sensitive Blocked" (SB) score, die aangeeft hoe goed een aanvaller gevoelige informatie niet kan afleiden, steeg aanzienlijk (bijv. van 0.38 naar 0.82 bij 2 agents).
• PARI (Privacy-Aware Reasoning Index): De gecombineerde metric voor privacy en nut verbeterde significant, wat aantoont dat het systeem betrouwbaar blijft werken onder strikte privacybeperkingen.

5. Betekenis en Conclusie

Deze paper biedt een fundamenteel inzicht in de veiligheid van moderne LLM-architecturen:

• Systeemdenken is noodzakelijk: Privacy in multi-agent systemen is niet lokaal; het is een emergent eigenschap van de interactie tussen agents.
• Informatietheorie als oplossing: Door privacy te definiëren als mutuele informatie en deze direct te regulariseren tijdens het trainen, kunnen systemen leren representaties die nuttig zijn voor de taak maar vrij zijn van gevoelige context.
• Praktische Impact: De methode biedt een schaalbare, interpreteerbare manier om privacy te garanderen in complexe, real-world deployments (zoals gezondheidszorg en finance) waar meerdere agents samenwerken, zonder de functionaliteit volledig op te offeren.

Kortom, de auteurs bewijzen dat zonder systeemniveau controle, zelfs de veiligste individuele agents samen een groot privacyrisico kunnen vormen, en bieden een effectieve, theoretisch onderbouwde oplossing om dit te voorkomen.