Adaptive Text Anonymization: Learning Privacy-Utility Trade-offs via Prompt Optimization

1. Il Problema

L'anonymizzazione del testo è un problema altamente sensibile al contesto: l'equilibrio ottimale tra protezione della privacy e preservazione dell'utilità (l'informazione utile per compiti successivi) varia a seconda del dominio dei dati, degli obiettivi di privacy specifici e dell'applicazione a valle.

Le sfide principali identificate dagli autori sono:

• Rigidità delle metodologie esistenti: I metodi attuali si basano su strategie statiche e progettate manualmente, che non riescono ad adattarsi a requisiti diversi o a generalizzare tra domini.
• Prompt Engineering manuale: Le pipeline basate su LLM (Large Language Models) richiedono un'ingegneria manuale dei prompt, un processo soggettivo, laborioso e spesso subottimale.
• Dipendenza da modelli chiusi: Molte soluzioni efficaci dipendono da API proprietarie (es. GPT-4/5), il che crea un paradosso di sicurezza: inviare dati sensibili a provider esterni per anonimizzarli viola di per sé gli obiettivi di privacy.
• Mancanza di adattabilità: Non esiste una singola strategia di anonimizzazione che possa soddisfare tutti i compromessi privacy-utilità; è necessario un approccio adattivo.

2. Metodologia: Adaptive Text Anonymization

Gli autori introducono un nuovo paradigma chiamato Adaptive Text Anonymization, in cui le strategie di anonimizzazione vengono apprese automaticamente e adattate a requisiti specifici tramite ottimizzazione del prompt.

Il framework proposto si basa su tre pilastri principali:

A. Formulazione del Problema

L'anonymizzazione è trattata come un problema di ottimizzazione multi-obiettivo. L'obiettivo è trovare un prompt $\Pi$ che guidi un modello linguistico locale (open-source) a generare un testo anonimizzato $\tilde{x}$ partendo da un testo $x$, soddisfacendo contemporaneamente:

1. Obiettivo di Privacy ($p$): Cosa deve essere protetto (es. PII, stile di scrittura, attributi demografici).
2. Obiettivo di Utilità ($u$): Cosa deve essere preservato (es. terminologia clinica, intenti, struttura logica).

B. Pipeline di Ottimizzazione (GEPA Esteso)

Il framework utilizza un algoritmo evolutivo basato su GEPA (Reflective Prompt Evolution), adattato per operare in un ambiente con budget computazionale fisso. La pipeline avviene in tre fasi:

1. Inizializzazione: Si parte da un "seed prompt" generico condiviso per tutti i task.
2. Fase 1: Warm-Start con Feedback Base:
   • Utilizza un feedback scalare semplice (media tra metriche di privacy e utilità).
   • L'agente "proposer" genera varianti del prompt e le valuta su un sottoinsieme di dati di training.
   • Selezione Pareto: Si mantengono i prompt che offrono il miglior compromesso tra privacy e utilità.
3. Fase 2: Rifinitura con Feedback Ricco (Rich Feedback):
   • Se il budget computazionale lo permette, si passa a una fase di raffinamento.
   • Viene generato un feedback ricco ($\mu_{rich}$) che include non solo i punteggi numerici, ma anche spiegazioni naturali, tracce di ragionamento e dettagli specifici sugli errori (es. "L'agente ha indovinato l'età perché il tono di scrittura era troppo specifico").
   • Viene utilizzato un campionamento adattivo del set di validazione per esplorare più efficientemente lo spazio delle soluzioni senza consumare tutto il budget.
   • L'agente "rich feedback" (un LLM separato) analizza le tracce di esecuzione per fornire istruzioni mirate al proposer.

C. Agenti Collaborativi

Il sistema utilizza agenti LLM locali (es. Mistral, Gemma, Qwen) che ricoprono due ruoli:

• Agente di Anonymizzazione: Applica il prompt candidato per modificare il testo.
• Agente Proposer: Analizza il feedback e genera nuove varianti di prompt.
• Agente di Feedback Ricco: Genera le spiegazioni dettagliate per guidare l'ottimizzazione.

3. Contributi Chiave

1. Framework Adattivo: Un sistema che scopre automaticamente istruzioni di anonimizzazione efficaci attraverso la collaborazione di agenti e l'ottimizzazione del prompt, eliminando la necessità di design manuale.
2. Benchmark Unificato: Introduzione di un benchmark che copre 5 dataset diversi (DB-Bio, SynthPAI, TAB, PUPA, MedQA) con domini, minacce alla privacy e obiettivi di utilità distinti.
3. Prestazioni con Modelli Open-Source: Dimostrazione che modelli open-source di dimensioni medie (es. Qwen3-30B, Gemma-3-27B), se guidati da prompt ottimizzati, possono competere con soluzioni basate su modelli chiusi di grandi dimensioni (GPT-5).
4. Esplorazione del Trade-off: Il metodo non converge a una singola soluzione, ma scopre un fronte di Pareto di strategie diverse, permettendo agli utenti di scegliere il punto di compromesso (privacy vs utilità) più adatto al loro caso d'uso.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 5 benchmark diversi utilizzando modelli open-source (Mistral-Small-3.2-24B, Gemma-3-27B, Qwen3-30B-A3B) e confrontati con baseline come OpenPII, Adversarial Feedback (AF), RUPTA e prompt manuali.

• Prestazioni Superiori: Il prompt ottimizzato ha costantemente migliorato il compromesso privacy-utilità rispetto ai prompt seed e alle baseline manuali. In molti casi, ha raggiunto o superato le prestazioni di modelli chiusi come GPT-5.
• Efficienza Computazionale: Il framework è stato eseguito localmente, riducendo i costi e i rischi di privacy legati all'invio di dati a provider esterni. I costi di valutazione sono stati minimi (circa $1 per task).
• Scoperta di Strategie: Il sistema ha scoperto strategie non intuitive. Ad esempio, nel task MedQA, il prompt ottimizzato ha imparato a preservare rigorosamente i fatti diagnostici mentre distruggeva aggressivamente lo stile di scrittura (stylometric obfuscation), un equilibrio difficile da raggiungere manualmente.
• Robustezza: Le prestazioni sono state consistenti su diversi modelli, suggerendo che l'ottimizzazione si adatta alle bias induttive specifiche di ciascun modello.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo significativo verso l'adozione pratica dell'anonymizzazione basata su LLM:

• Democratizzazione: Rende possibile l'anonymizzazione di alta qualità utilizzando modelli open-source locali, risolvendo il conflitto etico e pratico dell'uso di API esterne per dati sensibili.
• Flessibilità Operativa: Sposta il paradigma da "una strategia per tutti" a un approccio adattivo, dove le strategie possono essere generate dinamicamente in base alle normative (es. GDPR, HIPAA) e ai requisiti specifici del dominio.
• Sostenibilità: Dimostra che l'ottimizzazione del prompt è un metodo efficiente per adattare i modelli senza bisogno di riaddestramento (fine-tuning), riducendo il consumo energetico e i costi.

In conclusione, il paper propone una soluzione scalabile ed efficiente per gestire la complessità intrinseca del compromesso privacy-utilità, trasformando l'anonymizzazione da un processo statico a uno dinamico e guidato dai dati.