Riepilogo Tecnico: DiSan (Disentangled Sanitization)

1. Definizione del Problema

Il documento affronta la critica sfida della privacy nella collaborazione tra agenti distribuiti tra diverse organizzazioni, specificamente all'interno di sistemi di Retrieval-Augmented Generation (RAG) e di question-answering multi-agente. Quando gli agenti scambiano evidenze testuali attraverso confini organizzativi, si verifica una fuga di informazioni riservate a due livelli distinti:

1. Identificatori Espliciti: PII (Informazioni Identificative Personali) tradizionali come nomi, numeri di conto e indirizzi.
2. Firme Distribuzionali: Fuga implicita attraverso convenzioni di formattazione, scelte lessicali e schemi sintattici che codificano le pratiche interne della parte originaria (impronte digitali organizzative).

Gli autori sostengono che le soluzioni esistenti siano insufficienti perché trattano la privacy come un problema a livello di identificatore piuttosto che a livello di rappresentazione. Il masking basato su regole rimuove la PII esplicita ma lascia intatte le firme distribuzionali, mentre la parafrasi basata su LLM manca di meccanismi per garantire che la distribuzione dell'output sia statisticamente invariante rispetto alla sorgente. Inoltre, il Federated Learning (FL) standard decentralizza l'addestramento dei modelli ma non risolve il problema della condivisione dei dati stessi per compiti a valle.

2. Metodologia: DiSan

La soluzione proposta, DiSan (Disentangled Sanitization), è un framework di preservazione della privacy integrato nel sistema operativo multi-agente Intern-Shannon. Opera tramite un approccio di fattorizzazione ruolo-stile, separando la semantica rilevante per il compito dalle variazioni legate alla sorgente.

Architettura Core

• Encoder a due flussi (Two-Stream Encoder): DiSan utilizza un encoder pre-addestrato (LongT5-TGlobal-Base) che proietta il testo in input in due sottospazi ortogonali:
  • Sottospazio del Ruolo ($Z_r$): Codifica la semantica del compito invariante rispetto alla sorgente (entità, relazioni, eventi) destinata alla condivisione.
  • Sottospazio dello Stile ($Z_s$): Codifica le variazioni specifiche dell'agente (fraseggio, formattazione, stile organizzativo). Questo flusso rimane strettamente locale ed viene scartato dopo la decodifica.
• Fusione e Decodifica: I due flussi vengono fusi localmente per generare il testo sanificato ($\tilde{d}$). Il decoder è addestrato per preservare i fatti del ruolo pur sopprimendo gli identificatori e il linguaggio specifico della sorgente. Solo il testo sanificato $\tilde{d}$ attraversa il confine di privacy.

Meccanismo di Addestramento Federato

Per addestrare il sanificatore senza centralizzare il testo grezzo, DiSan impiega una strategia di ottimizzazione federata con tre componenti chiave:

1. Allineamento dei Prototipi: Per evitare che gli spazi dei ruoli divergano tra agenti non-IID, gli agenti scambiano prototipi di ruolo compatti (EMA dei centroidi del batch del ruolo). Questi prototipi sono allineati su un ipersfera unitaria per garantire la coerenza globale senza condividere l'evidenza grezza.
2. Regolarizzazione Avversaria: Un discriminatore con strati di inversione del gradiente (Gradient Reversal Layers - GRL) è applicato ai prototipi caricati. Questo forza le rappresentazioni del ruolo a essere meno predittive dell'agente sorgente, sopprimendo le firme distribuzionali persistenti oltre i tag di capacità pubblica.
3. Vincolo di Ortogonalità: Un termine di perdita ($L_{orth}$) impone l'ortogonalità del coseno tra i vettori medi di ruolo e di stile, garantendo la separazione della semantica del compito dall'identità della sorgente.

Deployment

In una pipeline RAG multi-agente, un agente richiedente instrada le query verso agenti ausiliari basandosi sui tag di capacità pubblica. Gli ausiliari recuperano frammenti locali, li sanificano tramite DiSan e trasmettono il testo sanificato. Il richiedente aggrega questa evidenza sanificata per generare le risposte finali.

3. Contributi Chiave

Il documento delinea quattro contributi primari:

1. Formulazione della Sanitizzazione Disentangled: Inquadra la sanitizzazione del testo cross-agente come un problema di fattorizzazione ruolo-stile, separando la semantica del compito dalla variazione legata alla sorgente.
2. Allineamento del Ruolo Federato: Introduce l'allineamento leggero dei prototipi per stabilizzare gli spazi dei ruoli tra agenti non-IID senza centralizzare il testo grezzo, accoppiato all'addestramento avversario per rimuovere le firme dei prototipi specifiche della sorgente.
3. Diagnostica della Privacy: Valuta la privacy su tre superfici: il testo in uscita (stilometria), le rappresentazioni apprese (attribuzione dell'embedding) e i prototipi caricati, distinguendo tra la fuga di dati nella fase di applicazione e gli artefatti della fase di addestramento.
4. Validazione Empirica: Dimostra che DiSan supera significativamente il masking a livello di identificatore e la parafrasi tramite LLM nel ridurre l'attribuzione della sorgente mantenendo un'alta utilità.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un corpus finanziario multilingue sintetico (che simula 7 tipi di agenti distinti) e sul corpus di email di Enron per la validazione stilometrica.

• Performance della Privacy:

  • Esposizione PII: DiSan ha ridotto l'esposizione della PII a livello di risposta di 20× rispetto alla condivisione non protetta (0,6% vs 11,8%).
  • Attribuzione Stilometrica: Sul dataset Enron, DiSan ha ridotto l'attribuzione stilometrica TF-IDF del 73,2% e l'attribuzione tramite sonda neurale del 70,6%. Al contrario, il masking del 19,2% dei token (usando forti detector di PII) ha ridotto l'attribuzione TF-IDF solo del 18,6%.
  • Leakage dei Prototipi: I prototipi caricati hanno raggiunto un'accuratezza di attribuzione quasi casuale (F1 $\approx$ 0,09), indicando una soppressione efficace delle impronte della sorgente.

• Performance di Utilità:

  • Fedeltà (Faithfulness): DiSan ha mantenuto una fedeltà della risposta dell'83,17% sul benchmark RAG distribuito, vicina all'86,10% del baseline non protetto.
  • Confronto: DiSan ha ottenuto il miglior compromesso privacy-utilità tra tutti i baseline, inclusi il masking con placeholder, la parafrasi LLM e il policy gating.

• Studi di Ablazione:

  • Rimuovere i vincoli di ortogonalità ($L_{orth}$) ha aumentato l'esposizione della PII di 7,3×, confermando che l'isolamento dello stile è critico per la privacy.
  • Rimuovere l'allineamento dei prototipi ha causato il drift dello spazio del ruolo, degradando sia l'utilità (ChunkHit@3 diminuito di 3,6pp) che la privacy.

5. Significato e Rivendicazioni

Il documento sostiene che l'anonimizzazione a livello di identificatore è insufficiente per la condivisione di testi invarianti rispetto alla sorgente, poiché l'informazione organizzativa privata è spesso una proprietà distribuzionale del testo piuttosto che un insieme di identificatori localizzati.

• Percorso Pratico: DiSan fornisce una via pratica verso una condivisione di testi più sicura imponendo l'ortogonalità ruolo-stile e l'allineamento federato del ruolo. Permette agli agenti di condividere evidenze rilevanti per il compito senza rivelare le "impronte digitali organizzative" che potrebbero rivelare pratiche interne o strutture documentali proprietarie.
• Limiti e Ambito: Gli autori dichiarano esplicitamente che DiSan non fornisce garanzie di privacy differenziale (DP) formale. Sostengono che l'applicazione della DP alla generazione sequence-to-sequence comporti costi di utilità proibitivi (perdita di coerenza del 30-50%) e che il loro approccio si basa sulla validazione empirica contro avversari "honest-but-curious". Il modello di minaccia esclude server malevoli, avvelenamento (poisoning) e collusione.
• Lavoro Futuro: Il documento suggerisce direzioni future che includono lo studio di avversari adattivi più forti, scenari di query ripetute e implementazioni cross-dominio più ampie.

In sintesi, DiSan rappresenta un passaggio dal masking superficiale alla disentangled representation, consentendo la collaborazione tra agenti dove l'utilità dei dati è preservata mentre le firme distribuzionali specifiche della sorgente sono efficacemente soppresse.