Technische Samenvatting: DiSan (Disentangled Sanitization)

1. Probleemstelling

Het artikel behandelt de kritieke privacyuitdaging in cross-organisatorische gedistribueerde agent-samenwerking, specifiek binnen Retrieval-Augmented Generation (RAG) en multi-agent vraagbeantwoordsystemen. Wanneer agents tekstuele bewijslast uitwisselen over organisatorische grenzen heen, treedt er privacylekkage op op twee verschillende niveaus:

1. Expliciete Identificatoren: Traditionele persoonsgegevens (PII) zoals namen, rekeningnummers en adressen.
2. Distributionele Signaturen: Impliciete lekkage door conventies in formattering, vocabulairekeuzes en syntactische patronen die de interne praktijken van de oorspronkelijke partij coderen (organisatorische vingerafdrukken).

De auteurs stellen dat bestaande oplossingen ontoereikend zijn omdat ze privacy behandelen als een probleem op identificatieriveau in plaats van op representatieniveau. Regelgebaseerde maskering verwijdert expliciete PII, maar laat distributionele signaturen intact, terwijl LLM-gebaseerde parafrasering geen mechanismen heeft om te garanderen dat de outputdistributie statistisch bron-invariant is. Bovendien lost standaard Federated Learning (FL) weliswaar de decentralisatie van modeltraining op, maar lost het het probleem niet op van het delen van de data zelf voor downstream-taken.

2. Methodologie: DiSan

De voorgestelde oplossing, DiSan (Disentangled Sanitization), is een privacy-preserverend framework geïntegreerd in het Intern-Shannon multi-agent besturingssysteem. Het werkt via een rol-stijl factorisatie-aanpak, waarbij taakrelevante semantiek wordt gescheiden van bron-gelinkte variaties.

Kernarchitectuur

• Two-Stream Encoder: DiSan maakt gebruik van een pre-trained encoder (LongT5-TGlobal-Base) die de inputtekst projecteert in twee orthogonale subruimten:
  • Rol Subruimte ($Z_r$): Codeert bron-invariante taaksemantiek (entiteiten, relaties, gebeurtenissen) bedoeld voor delen.
  • Stijl Subruimte ($Z_s$): Codeert agent-specifieke variaties (formulering, formattering, organisatorische stijl). Deze stroom blijft strikt lokaal en wordt na decodering weggegooid.
• Fusie en Decodering: De twee stromen worden lokaal gefuseerd om de gesaniteerde tekst ($\tilde{d}$) te genereren. De decoder is getraind om rol-feiten te behouden terwijl identificatoren en bron-specifieke formuleringen worden onderdrukt. Alleen de gesaniteerde tekst $\tilde{d}$ passeert de privacygrens.

Federated Training Mechanisme

Om de sanitizer te trainen zonder de ruwe tekst te centraliseren, gebruikt DiSan een federated optimalisatiestrategie met drie kerncomponenten:

1. Prototype Alignment: Om te voorkomen dat rol-ruimtes afwijken bij non-IID agents, wisselen agents compacte rol-prototypes uit (EMA van batch rol-centroids). Deze prototypes worden uitgelijnd op een eenheids-hypersfeer om globale consistentie te waarborgen zonder de ruwe bewijslast te delen.
2. Adversarial Regularization: Een discriminator met Gradient Reversal Layers (GRL) wordt toegepast op de geüploade prototypes. Dit dwingt de rol-representaties om minder voorspellend te zijn voor de bron-agent, waardoor persistente distributionele signaturen verder worden onderdrukt dan publieke capaciteitstags.
3. Orthogonaliteitsrestrictie: Een verliesterm ($L_{orth}$) dwingt cosinus-orthogonaliteit af tussen de mean-pooled rol- en stijlvectoren, wat de scheiding van taaksemantiek en bronidentiteit waarborgt.

Implementatie

In een multi-agent RAG-pipeline routeert een aanvragende agent queries naar helper-agents op basis van publieke capaciteitstags. Helpers halen lokale fragmenten op, saneren deze via DiSan en verzenden de gesaniteerde tekst. De aanvrager aggregeert dit gesaniteerde bewijs om uiteindelijke antwoorden te genereren.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. Disentangled Sanitization Formulering: Het herformuleert cross-agent tekstsanitisatie als een rol-stijl factorisatieprobleem, waarbij taaksemantiek wordt gescheiden van bron-gelinkte variatie.
2. Federated Role Alignment: Het introduceert lichtgewicht prototype alignment om rol-ruimtes te stabiliseren over non-IID agents zonder ruwe tekst te centraliseren, gekoppeld aan adversarial training om bron-specifieke prototype-signaturen te verwijderen.
3. Privacy Diagnostiek: Het evalueert privacy over drie oppervlakken: outputtekst (stylometrie), geleerde representaties (embedding attributie) en geüploade prototypes, waarbij onderscheid wordt gemaakt tussen lekkage tijdens de applicatiefase en artefacten tijdens de trainingsfase.
4. Empirische Validatie: Het demonstreert dat DiSan aanzienlijk beter presteert dan identifier-level masking en LLM-parafrasering in het verminderen van bron-attributie, terwijl de bruikbaarheid (utility) hoog blijft.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op een synthetische meertalige financiële corpus (die 7 verschillende typen agents simuleert) en de Enron e-mail corpus voor stylometrische validatie.

• Privacy Prestaties:

  • PII Expositie: DiSan verminderde de antwoord-niveau PII-expositie met een factor 20× vergeleken met onbeschermde sharing (0,6% vs. 11,8%).
  • Stylometrische Attributie: Op de Enron-dataset verminderde DiSan de TF-IDF stylometrische attributie met 73,2% en de neurale probe attributie met 70,6%. In tegenstelling hiertoe reduceerde het maskeren van 19,2% van de tokens (met sterke PII-detectoren) de TF-IDF attributie slechts met 18,6%.
  • Prototype Lekkage: Geüploade prototypes bereikten bijna willekeurige attributie-accuratesse (F1 $\approx$ 0,09), wat duidt op succesvolle onderdrukking van bron-vingerafdrukken.

• Utility Prestaties:

  • Trouw (Faithfulness): DiSan behield 83,17% antwoord-trouw op de gedistribueerde RAG-benchmark, dicht bij de 86,10% baseline van onbeschermde sharing.
  • Vergelijking: DiSan behaalde de meest gunstige privacy–utility trade-off van alle baselines, inclusclusief placeholder masking, LLM-parafrasering en policy gating.

• Ablatie Studies:

  • Het verwijderen van de orthogonaliteitsrestrictie ($L_{orth}$) verhoogde de PII-expositie met een factor 7,3×, wat bevestigt dat isolatie van stijl cruciaal is voor privacy.
  • Het verwijderen van prototype alignment veroorzaakte rol-ruimte drift, wat zowel de utility (ChunkHit@3 daalde met 3,6pp) als de privacy verslechterde.

5. Betekenis en Claims

Het artikel claimt dat identifier-level anonimisering onvoldoende is voor bron-invariante tekstdeling, omdat private organisatorische informatie vaak een distributionele eigenschap van de tekst is in plaats van een reeks gelokaliseerde identificatoren.

• Praktisch Pad: DiSan biedt een praktisch pad naar veiligere tekstdeling door rol-stijl orthogonaliteit en federated role alignment af te dwingen. Het stelt agents in staat om taakrelevante bewijslast te delen zonder de "organisatorische vingerafdrukken" te onthullen die interne praktijken of propriëtaire documentstructuren kunnen lekken.
• Beperkingen en Reikwijdte: De auteurs geven expliciet aan dat DiSan geen formele differential privacy (DP) garanties biedt. Zij argumenteren dat het toepassen van DP op sequence-to-sequence generatie leidt tot onaanvaardbare kosten voor de utility (30–50% verlies in coherentie) en dat hun aanpak steunt op empirische validatie tegen honest-but-curious adversaries. Het dreigingsmodel sluit kwaadwillende servers, poisoning en collusie uit.
• Toekomstig Werk: Het artikel suggereert toekomstige richtingen zoals het bestuderen van sterkere adaptieve adversaries, repeated-query settings en bredere cross-domain implementaties.

Samenvattend vertegenwoordigt DiSan een verschuiving van oppervlakkige masking naar representatie-niveau ontrafeling (disentanglement), wat multi-agent samenwerking mogelijk maakt waarbij de bruikbaarheid van data behouden blijft terwijl bron-specifieke distributionele signaturen effectief worden onderdrukt.