💬 NLP

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models

Il documento propone DP-Fusion, un meccanismo di inferenza differenzialmente privata a livello di token per i grandi modelli linguistici che limita in modo dimostrabile l'influenza dei token di contesto sensibili sugli output per consentire una privatizzazione documentale di alta qualità con un miglioramento significativo dei compromessi tra privacy e utilità rispetto ai metodi esistenti.

Autori originali: Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

Pubblicato 2026-02-03

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un robot molto intelligente e chiacchierone (un Large Language Model, o LLM) che ti aiuta a riassumere documenti. A volte, questi documenti contengono informazioni segrete, come il nome di un paziente, una data specifica o un numero di conto bancario. Vorresti che il robot riassumesse la storia senza spifferare accidentalmente questi segreti.

Il problema è che i robot attuali sono scarsi in questo. Se dici loro semplicemente "non dire il nome", potrebbero confondersi e scrivere cose senza senso. Se dici loro di "riscrivere bene la cosa", potrebbero comunque scivolare e rivelare il segreto per sbaglio.

Ecco DP-FUSION: Il Frullatore "Sicuro per i Segreti"

Gli autori di questo articolo hanno costruito un nuovo metodo chiamato DP-FUSION. Immaginalo come un frullatore speciale per il testo che garantisce che i segreti rimangano nascosti mantenendo la storia leggibile. Ecco come funziona, usando una semplice analogia:

Lo Scenario: Le Due Versioni di una Storia

Immagina di avere un referto medico su "Mrs. Smith" che ha ricevuto una fattura di $345,25.

La Storia Originale: Contiene il nome "Mrs. Smith" e l'importo esatto della fattura.
La Storia Redatta: Prendi un pennarello e oscuri "Mrs. Smith" e "$345,25", sostituendoli con dei vuoti come [NOME] e [IMPORTO].

Come Funziona DP-FUSION (Il Processo del Frullatore)

Invece di scegliere tra una versione o l'altra, DP-FUSION compie una danza astuta:

Esegui il Robot Due Volte:
- Prima, chiede al robot di prevedere la parola successiva usando la Storia Redatta (la versione sicura). Questo fornisce una supposizione "sicura".
- Secondo, chiede al robot di prevedere la parola successiva usando la Storia Originale (la versione segreta). Questa fornisce una supposizione "rischiosa" che potrebbe far trapelare il segreto.
Il "Pomello della Privacy" (La Manopola del Frullatore):
- Il sistema ha una manopola chiamata $\epsilon$ (epsilon).
- Manopola girata tutta in basso (Epsilon Basso): Il frullatore mescola le due supposizioni in modo così pesante che la supposizione "rischiosa" viene quasi completamente sommersa dalla supposizione "sicura". Il robot potrebbe dire "un paziente" invece di "Mrs. Smith". Questo è molto privato, ma la storia potrebbe sembrare un po' generica.
- Manopola girata in alto (Epsilon Alto): Il frullatore lascia passare più della supposizione "rischiosa". Il robot potrebbe dire "Mrs. Smith" se si adatta bene al contesto. La storia suona meglio, ma c'è una leggera possibilità che un segreto possa scivolare fuori.
La Garanzia:
- La magia di DP-FUSION è che dimostra matematicamente che, non importa quanto duramente un hacker cerchi di indovinare il segreto, le sue possibilità di successo sono strettamente limitate dall'impostazione di quella manopola. Anche se un hacker sapesse esattamente come funziona il frullatore, non può fare l'ingegneria inversa per risalire al segreto.

Perché è Meglio di Quello che Abbiamo Ora?

L'articolo confronta DP-FUSION con altri metodi:

Lo "Scrubber" (NER): Questo è come usare un pennarello nero per cancellare i segreti. È sicuro, ma lascia brutti buchi nel testo, rendendo difficile la lettura (bassa utilità).
Il "Parafrasatore" (Prompt Engineering): Questo è come chiedere al robot di "riscrivere questo bene". Suona bene, ma il robot spesso rivela accidentalmente il segreto perché non è stato costretto a essere attento.
DP-FUSION: Questo è il punto di equilibrio ideale. Mantiene il testo fluido (alta qualità) garantendo matematicamente che i segreti rimangano nascosti.

I Risultati

I ricercatori hanno testato il metodo su veri documenti legali e medici. Hanno scoperto che:

Qualità: Il testo generato da DP-FUSION era molto più naturale e leggibile rispetto ad altri metodi di privacy.로 In effetti, era 6 volte migliore (in termini di "perplessità", una misura di quanto sia confuso il testo) rispetto al secondo miglior metodo di privacy.
Sicurezza: Anche quando gli hacker hanno cercato di indovinare i nomi o le date nascoste, hanno fallito quasi quanto se stessero tirando a indovinare casualmente.
Sicurezza Bonus: Il metodo aiuta anche a fermare gli attacchi di "jailbreak", in cui gli hacker cercano di trarre in inganno il robot per fargli ignorare le sue regole. Trattando gli input sospetti come "token sensibili", il frullatore può diluirne l'influenza, mantenendo il robot al sicuro.

In Breve

DP-FUSION è un nuovo modo per usare l'IA per riassumere documenti sensibili. Agisce come un frullatore intelligente che mescola una versione "sicura" del testo con la versione "reale", controllata da una manopola della privacy. Ciò assicura che i segreti (come nomi o date) siano matematicamente garantiti come nascosti, mentre la storia risultante rimane di alta qualità e facile da leggere.

Riepilogo Tecnico: DP-FUSION

Problematica

I Large Language Models (LLM) mancano di garanzie intrinseche di privacy durante l'inferenza. Quando gli LLM vengono aumentati con strumenti o database esterni contenenti informazioni sensibili (ad esempio, Informazioni Identificative Personali o PII), gli output del modello possono rivelare involontariamente tale contesto. I metodi esistenti di inferenza che preservano la privacy soffrono di limitazioni significative:

Mancanza di Garanzie Provabili: Metodi come il prompt engineering o la semplice rimozione (redazione) non offrono garanzie formali di privacy e sono vulnerabili ad attacchi di ricostruzione o di inferenza dell'appartenenza (membership inference).
Scadente Compromesso Utilità/Privacy: I metodi di inferenza con Differenziale Privacy (DP) come il DP-Decoding (interpolazione con rumore uniforme) o il DP-Prompt (clipping dei logit) spesso causano un degrado severo della qualità del testo (alta perplessità) per ottenere la privacy.

La sfida specifica affrontata è la privatizzazione di documenti: parafrasare un documento contenente token sensibili in modo tale che un attaccante non possa inferire in modo affidabile i token sensibili originali dall'output parafrasato, mantenendo al contempo un'alta qualità del testo.

Metodologia: DP-FUSION

Gli autori propongono DP-FUSION, un meccanismo di Inferenza con Differenziale Privacy (DPI) a livello di token che limita in modo provabile l'influenza dei token di contesto sensibili sull'output generato. Il metodo opera sotto un modello di minaccia in cui un attaccante gray-box adattivo conosce il metodo di inferenza, l'architettura del modello e i pesi, e osserva l'output privatizzato e l'input redatto.

Meccanismo Core

DP-FUSION adatta il concetto di predizione privata basata su ensemble (simile a PMixED) all'impostazione di inferenza. Il processo prevede quattro fasi principali:

Etichettatura dei Token (Token Labeling): Un sottoinsieme di token sensibili nel documento di input viene identificato e raggruppato in gruppi di privacy ( $G_1, \dots, G_m$ ) utilizzando un tagger (ad esempio, NER).
Inferenza Baseline (Pubblica): L'LLM viene eseguito sul documento con tutti i token sensibili redatti (sostituiti con segnaposto di uguale lunghezza) per ottenere una distribuzione del prossimo token "pubblica" ( $p_{pub}$ ).
Inferenza Privata: L'LLM viene eseguito $m$ volte (una per ogni gruppo di privacy), dove solo i token di un gruppo specifico $G_i$ vengono rivelati insieme al contesto redatto. Ciò produce $m$ distribuzioni del prossimo token "private" ( $p_{priv, i}$ ).
Miscelazione delle Distribuzioni (Mollification): Per ogni gruppo $i$ $i$ , un coefficiente $\lambda_i \in [0, 1]$ $λ_{i} \in [0, 1]$ viene calcolato tramite ricerca per bisezione. $\lambda_i$ $λ_{i}$ è il valore massimo tale per cui la divergenza di Rényi tra la distribuzione miscelata ( $\lambda_i p_{priv, i} + (1-\lambda_i) p_{pub}$ $λ_{i} p_{p r i v, i} + (1 - λ_{i}) p_{p u b}$ ) e la baseline $p_{pub}$ $p_{p u b}$ soddisfa un budget di privacy predefinito $\beta_i$ $β_{i}$ .
- La distribuzione finale del prossimo token è una media di queste distribuzioni miscelate.
- Un token viene campionato da questa distribuzione miscelata.

Garanzie di Privacy

Il metodo fornisce Differenziale Privacy di Rényi $(\alpha, \beta_i)$ per gruppo.

Definizione di Vicinato: Due documenti sono considerati adiacenti se differiscono solo per la presenza/assenza di tutti i token di un singolo gruppo di privacy.
Limite Teorico: L'algoritmo assicura che la divergenza di Rényi simmetrica tra le distribuzioni degli output di documenti adiacenti sia limitata. Ciò si traduce in garanzie di $(\epsilon, \delta)$ -DP per l'intero trascritto generato, dove $\epsilon$ è controllato dal numero di token generati, l'ordine di Rényi $\alpha$ e i budget dei gruppi $\beta_i$ .
Robustezza: Il meccanismo limita il vantaggio dell'attaccante anche se la query è scelta in modo avversariale (ad esempio, tentativi di jailbreak).

Contributi Chiave

Inferenza DP a Livello di Token: Introduzione di un metodo che fornisce garanzie DP provabili a livello di token durante l'inferenza degli LLM, specificamente per compiti di parafrasi.
Migliore Compromesso Utilità/Privacy: A differenza dei metodi precedenti che aggiungono rumore alla distribuzione di output o effettuano il clipping dei logit, DP-FUSION miscela le distribuzioni basandosi sulla differenza tra contesti "sensibili" e "non sensibili". Ciò consente di mantenere più informazioni semantiche pur limitando rigorosamente la fuga di specifici token.
Mitigazione della Prompt Injection: Gli autori dimostrano che il meccanismo può anche essere applicato alla sicurezza, dove i "token sensibili" sono definiti come frammenti recuperati da fonti non attendibili (ad esempio, nelle pipeline RAG). Limitando l'influenza di questi frammenti, DP-FUSION mitiga gli attacchi di prompt injection.
Implementazione Open Source: Gli autori rilasciano un pacchetto PyPI e un repository GitHub che consentono l'applicazione di DP-FUSION a qualsiasi LLM e dataset.

Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando il modello Qwen 2.5 7B-Instruct sul dataset TAB-ECHR (casi della Corte Europea dei Diritti dell'Uomo con PII annotate a mano).

Utilità (Perplessità): DP-FUSION ha raggiunto una perplessità (PPL) di 1.426 in un'impostazione di privacy rilassata ( $\alpha\beta = 0.10$ $α β = 0.10$ ) e di 1.459 in un'impostazione rigorosa ( $\alpha\beta = 0.01$ $α β = 0.01$ ).
- Questo è significativamente migliore di DP-Decoding (PPL > 3.9) e DP-Prompt (PPL > 4.26 per larghezza 50, e > 100 per larghezza 5).
- DP-FUSION ottiene una perplessità 6 volte inferiore rispetto al miglior baseline (DP-Prompt) a parità di livelli di privacy.
Utilità (LLM-as-a-Judge): Nei confronti a coppie contro altri metodi, le parafrasi di DP-FUSION hanno vinto >95% delle volte contro DP-Decoding e DP-Prompt. Ha inoltre superato il baseline "No DPI - NER" (pura redazione) il 45% delle volte in impostazioni di privacy rigorose.
Privacy (Attack Success Rate): Gli autori hanno valutato gli attacchi di recupero dei token (attacchi Min-K% e LOSS).
- DP-FUSION ha mantenuto un Attack Success Rate (ASR) vicino al caso casuale (circa 26-29% per $|C|=5$ ) anche ad alta utilità.
- Al contrario, DP-Prompt (larghezza 50) ha mostrato un ASR di circa il 50%, indicando un fallimento nel fornire privacy empirica nonostante la minore perplessità.
- DP-FUSION ha offerto una privacy leggermente migliore del baseline No-DPI NER in impostazioni rigorose grazie alla casualità introdotta durante la miscelazione delle distribuzioni.

Significato e Rivendicazioni

L'articolo sostiene che DP-FUSION rappresenti un avanzamento significativo nell'impiego di LLM con dati sensibili, offrendo garanzie di privacy provabili senza il severo degrado dell'utilità osservato nei metodi di inferenza DP esistenti.

Cambio di Paradigma: Gli autori sostengono che, invece di trattare la privacy come un passaggio di post-elaborazione o un'iniezione globale di rumore, la privacy può essere gestita modellando esplicitamente l'influenza di specifici gruppi di token e limitando tale influenza tramite la miscelazione delle distribuzioni.
Praticità: Il metodo è computazionalmente fattibile (parallelizzabile) e funziona con gli LLM esistenti senza richiedere un nuovo addestramento.
Doppia Utilità: Oltre alla privacy, il meccanismo è dichiarato efficace contro le minacce di sicurezza come la prompt injection nei sistemi RAG, fornendo un approccio unificato alla gestione del contesto non attendibile.

Gli autori rimangono modesti riguardo alla dipendenza dalla qualità del tagger di token iniziale (NER), riconoscendo che i falsi negativi nella marcatura cadono al di fuori delle garanzie teoriche, sebbene i risultati empirici suggeriscano che i tagger standard siano sufficienti per i casi d'uso dimostrati.