CAMP: Cumulative Agentic Masking and Pruning for Privacy Protection in Multi-Turn LLM Conversations

Titolo: CAMP: Mascheramento e Potatura Agente Cumulativo per la Protezione delle PII Cross-Turn nelle Conversazioni Multi-Turn con LLM

1. Il Problema: L'Esposizione Cumulativa delle PII (CPE)

L'articolo identifica una nuova classe di vulnerabilità della privacy nei sistemi di Intelligenza Artificiale basati su Large Language Models (LLM) in modalità "agente" e conversazioni multi-turno.

• Limitazione degli approcci attuali: Le soluzioni esistenti per la protezione delle Informazioni Personalmente Identificabili (PII), come Microsoft Presidio o PAPILLON, operano su base per-turno (per messaggio). Analizzano ogni messaggio utente in isolamento, rimuovendo le PII esplicite prima di inviarle al modello. Tuttavia, questi sistemi sono stateless (senza stato): non ricordano ciò che è stato detto nei turni precedenti.
• Il fenomeno CPE: In una conversazione multi-turno, un utente può rivelare frammenti di informazioni apparentemente innocui in messaggi separati (es. nome al turno 2, città al turno 4, datore di lavoro al turno 5, reddito al turno 7). Sebbene nessun singolo messaggio superi le soglie di rilevamento di un mascheratore tradizionale, la loro combinazione all'interno della cronologia completa della sessione crea un profilo completamente re-identificabile.
• Definizione: Gli autori definiscono questo fenomeno come Cumulative PII Exposure (CPE), un rischio di privacy che emerge dall'intersezione di più "quasi-identificatori" distribuiti nel tempo, amplificata dal fatto che gli agenti LLM inviano l'intera cronologia della conversazione al modello ad ogni turno.

2. Metodologia: Il Framework CAMP

Per affrontare il CPE, gli autori propongono CAMP (Cumulative Agentic Masking and Pruning), un framework middleware che opera a livello di sessione. CAMP introduce cinque componenti coordinati:

1. Estrattore PII per Turno: Utilizza il riconoscimento di entità nominate (NER) e regole basate su pattern (es. Presidio) per identificare le PII in ogni messaggio in entrata.
2. Registro di Sessione (Session Registry): Un componente stato-state che mantiene un record storico di tutte le entità PII rilevate durante l'intera conversazione. È la fonte di verità per il calcolo del rischio.
3. Grafo di Co-occorrenza: Modella il rischio di combinazione tra i tipi di entità.
   • Ogni nodo rappresenta un tipo di entità PII (es. Persona, Luogo, Salario).
   • Gli archi si formano quando due tipi di entità appaiono nella stessa sessione.
   • Un amplificatore di combinazione ($f(v) = 1 + \alpha \cdot deg(v)$) aumenta il peso di un'entità in base al numero di altre entità con cui è correlata.
4. Calcolo del Punteggio CPE: Ad ogni turno, viene calcolato un punteggio cumulativo:
   $$CPE(t) = \sum w(v) \cdot (1 + \alpha \cdot deg(v))$$
   Dove $w(v)$ è il peso di base dell'entità e $deg(v)$ è il grado nel grafo. Il punteggio cresce in modo superlineare man mano che nuove entità si collegano a quelle esistenti.
5. Pseudonimizzazione Retroattiva e De-masking:
   • Trigger: Se il punteggio CPE supera una soglia configurabile ($\tau$), il sistema attiva la pseudonimizzazione retroattiva.
   • Azione: L'intera cronologia della conversazione (inclusi i turni precedenti) viene riscritta sostituendo le PII reali con identità sintetiche coerenti (generate localmente, es. con la libreria Faker).
   • De-masking: Quando l'LLM risponde, un layer di "de-masking" sostituisce le identità sintetiche con quelle originali prima di mostrare la risposta all'utente.
   • Regole Hard-Block: Entità ad alto rischio (es. SSN, numeri di carta di credito) vengono bloccate immediatamente e sostituite da segnaposto, indipendentemente dal punteggio CPE.

3. Contributi Chiave

• Formalizzazione del CPE: Prima definizione formale del rischio di esposizione cumulativa delle PII come metrica a livello di sessione per le conversazioni LLM.
• Modello di Grafo di Co-occorrenza: Un approccio innovativo per quantificare il rischio derivante dalla combinazione di entità, piuttosto che dalla loro sensibilità individuale.
• Framework di Pseudonimizzazione Retroattiva: Un sistema capace di riscrivere la cronologia passata quando il rischio cumulativo diventa critico, una funzionalità assente nei sistemi di mascheramento per-turno.
• Preservazione dell'Utilità: Dimostrazione che è possibile proteggere la privacy senza degradare l'esperienza conversazionale, grazie al layer di de-masking che restituisce all'utente il contesto originale.

4. Risultati Sperimentali

Il framework è stato valutato su quattro scenari sintetici (Sanità, Risorse Umane, Finanza, Conversazione Generale) confrontandolo con una baseline per-turno (Presidio).

• Riduzione dell'Esposizione: CAMP ha ridotto l'esposizione di entità PII reali al modello esterno a zero in tutti gli scenari. Al contrario, la baseline per-turno ha esposto tra 3 e 6 tipi di entità diverse per sessione.
• Intervento Tempestivo: CAMP ha attivato la pseudonimizzazione retroattiva non appena il punteggio CPE ha superato la soglia (es. al turno 2 in scenari finanziari, turno 4 in sanità), prevenendo la formazione di profili re-identificabili.
• Sensibilità alla Soglia ($\tau$): È stato dimostrato che una soglia più bassa ($\tau=1.5$) porta a interventi più precoci (maggiore privacy), mentre una soglia più alta ($\tau=2.5$) permette più contesto naturale (maggiore utilità). Il valore $\tau=2.0$ ha offerto un buon compromesso.
• Utilità Conversazionale: L'LLM ha prodotto risposte coerenti e contestualmente appropriate anche con dati pseudonimizzati. Il layer di de-masking ha ripristinato con successo le identità originali, garantendo che l'utente finale non notasse alcuna differenza.

5. Significato e Implicazioni

Il lavoro di CAMP è significativo perché sposta il paradigma della protezione della privacy negli LLM da una visione atomica (per messaggio) a una visione olistica (per sessione).

• Superamento del "Mosaico Effect": Affronta direttamente il rischio che informazioni apparentemente innocue, quando aggregate, diventino sensibili.
• Architettura Agente: Fornisce una soluzione pratica per gli agenti LLM che necessitano di memoria a lungo termine per compiti complessi, senza compromettere la sicurezza dei dati.
• Conformità Normativa: Offre un meccanismo tecnico per soddisfare principi come la "minimizzazione dei dati" (GDPR Art. 25), garantendo che solo dati sintetici o anonimi vengano inviati a servizi LLM esterni, mantenendo però l'utilità del servizio.
• Limiti e Futuro: Il sistema dipende dalla capacità di rilevamento esplicito delle PII (potrebbe non catturare disclosure implicite) e richiede un'attenta configurazione della soglia. Le direzioni future includono il rilevamento inferenziale delle PII implicite e l'integrazione con la privacy differenziale.

In sintesi, CAMP dimostra che la privacy nelle conversazioni multi-turno non può essere gestita isolando i messaggi, ma richiede una gestione dinamica e cumulativa del rischio basata sul contesto della sessione.