Riepilogo Tecnico: Estrazione dei Dati di Addestramento dai Modelli Linguistici Diffusivi tramite Completamento

Enunciato del Problema

Sebbene la memorizzazione dei dati di addestramento nei modelli linguistici autoregressivi (ARM) sia stata ampiamente studiata attraverso l'estrazione condizionata al prefisso (dove un avversario fornisce un prefisso e il modello genera il suffisso), questo approccio non riesce a catturare il profilo di rischio completo dei Modelli Linguistici Diffusivi (DLM). I DLM operano tramite un processo iterativo di denoising e possiedono un bias induttivo bidirezionale, che consente loro di ricostruire token in posizioni arbitrarie dato il contesto circostante. Affidarsi esclusivamente al probing condizionato al prefisso, un protocollo ereditato dalla ricerca sugli ARM, sottostima significativamente il rischio di estrazione dei dati di addestramento nei DLM, poiché ignora la capacità del modello di "riempire" i token mascherati utilizzando sia il contesto precedente che quello successivo.

Metodologia

Gli autori introducono l'Estrazione tramite Completamento, un protocollo generalizzato di estrazione dei dati parametrizzato da una maschera binaria arbitraria $m$. In questo protocollo, una sequenza di addestramento viene parzialmente mascherata e al DLM viene assegnato il compito di ricostruire i token mascherati basandosi sul contesto non mascherato. La sequenza è considerata "estratta" se la ricostruzione corrisponde al testo mascherato originale.

Configurazione Sperimentale

Lo studio valuta questo protocollo su due DLM su larga scala (LLaDA-8B e Dream-7B) e li confronta con una baseline ARM di scala equivalente (LLaMA-2-7B). Gli esperimenti coprono:

1. Cinque Modalità di Estrazione:
   • Condizionata al prefisso: I primi $k$ token rivelati (baseline ARM standard).
   • Condizionata al suffisso: Gli ultimi $k$ token rivelati.
   • Condizionata ai bordi: I primi e gli ultimi $k/2$ token rivelati (contesto a parentesi).
   • Condizionata al centro: Un intervallo contiguo al centro rivelato.
   • Casuale: Un sottoinsieme uniformemente casuale di $k$ token rivelati.
   • Mirata: Solo le entità sensibili (PII) sono mascherate, con l'intera sequenza circostante rivelata.
2. Tre Pipeline di Addestramento: Full Fine-Tuning (FT), Low-Rank Adaptation (LoRA) e Supervised Fine-Tuning (SFT) sotto un template di chat.
3. Tre Dataset:
   • MIMIR Pile: Per l'estrazione di sequenze verbatim.
   • Enron Email: Per l'estrazione di Informazioni Personalmente Identificabili (PII) (indirizzi email e numeri di telefono).
   • Tulu3: Per la fuoriuscita di prompt/risposte in contesti addestrati su istruzioni.
4. Parametri di Decodifica: Lo studio analizza l'impatto dei passi di denoising ($T$), della dimensione del blocco semi-autoregressivo ($b$), della temperatura di campionamento ($\tau$) e delle strategie di rimasking.

Contributi Chiave

1. Formalizzazione dell'Estrazione tramite Completamento: Il documento definisce un protocollo parametrizzato da maschera che generalizza l'estrazione condizionata al prefisso, tenendo conto esplicitamente della natura bidirezionale dei DLM.
2. Valutazione Sistematica: Fornisce il primo studio sistematico sulla memorizzazione nei grandi DLM attraverso pattern di accesso diversi, regimi di esposizione e configurazioni al momento dell'inferenza.
3. Identificazione di Nuovi Canali di Fuoriuscita: Il lavoro dimostra empiricamente che l'accesso bidirezionale apre canali di fuoriuscita strutturalmente inaccessibili agli ARM, come il recupero dei prompt utente dalle risposte del modello.

Risultati Chiave

1. La Geometria della Maschera Governa l'Estrattibilità

La posizione del contesto rivelato influisce significativamente sul successo dell'estrazione.

• Superiorità della Condizione ai Bordi: Le maschere condizionate ai bordi (che rivelano sia l'inizio che la fine) estraggono fino a tre volte più sequenze verbatim rispetto alle maschere condizionate al prefisso. Ad esempio, su LLaDA-8B-FT, la modalità Edge ha raggiunto un ASR dello 0,41% rispetto allo 0,18% per il Prefisso.
• Bias Bidirezionale: Ciò conferma che i DLM sfruttano il contesto da entrambe le direzioni per ricostruire i token mascherati, una capacità non utilizzata nel probing standard basato sul prefisso.

2. L'Accesso Bidirezionale Apre Nuovi Canali di Fuoriuscita

• Recupero del Prompt: Nei modelli addestrati su istruzioni (SFT), gli avversari possono recuperare i prompt utente da risposte del modello note (estrazione condizionata alla risposta). Mentre l'estrazione condizionata al prompt (standard) mostrava un ASR di circa il 10%, l'estrazione condizionata alla risposta ha comunque raggiunto un ASR non trascurabile (circa 1,78–3,36%), un canale impossibile per gli ARM.
• Token vs Sequenza: Sebbene il recupero a livello di token (TER) possa essere elevato (ad esempio, il 56% per maschere casuali), l'estrazione esatta verbatim (ASR) rimane bassa, suggerendo che i token rivelati forniscono un'impalcatura che aiuta il recupero parziale ma non garantisce la riproduzione completa della sequenza.

3. Modello di Minaccia Realistico: Dati Oscurati e PII

Lo studio simula uno scenario realistico in cui un avversario ottiene una versione oscurata dei dati di addestramento (ad esempio, tramite rilascio normativo o perdita parziale) e utilizza il modello per recuperare le PII oscurate.

• Completamento Mirato: Quando solo i token PII sono mascherati e il contesto circostante è rivelato, i DLM mostrano un'elevata estrattibilità. Sul dataset Enron, LLaDA-8B fine-tuned ha raggiunto un recall del 40,5% per gli indirizzi email e del 28,9% per i numeri di telefono.
• Confronto con gli ARM: Sotto un attacco strettamente condizionato al prefisso, i DLM apparivano più sicuri degli ARM (LLaDA: 16,3% vs LLaMA: 35,9% di recall per le email). Tuttavia, sotto completamento mirato, i DLM hanno eguagliato o superato la baseline ARM (LLaDA: 40,5% vs LLaMA: 35,9%). Ciò indica che le valutazioni basate solo sul prefisso sottostimano gravemente i rischi dei DLM in scenari realistici che coinvolgono dati oscurati.

4. Influenza dei Parametri di Decodifica

• Passi di Denoising ($T$): Un $T$ più alto (più passi di raffinamento) aumenta il recall, mentre le impostazioni a basso $T$ orientate alla produttività oscurano i contenuti memorizzati.
• Dimensione del Blocco ($b$): Dimensioni di blocco più grandi (denoising completamente parallelo) aumentano significativamente il successo dell'estrazione rispetto a blocchi piccoli (comportamento simile all'AR), identificando il parallelismo bidirezionale come un motore primario della fuoriuscita.
• Strategia di Rimasking: Il rimasking basato sulla confidenza (impegnando previsioni ad alta confidenza) amplifica l'estrazione rispetto al rimasking casuale.
• Temperatura ($\tau$): La decodifica greedy ($\tau \to 0$) generalmente produce l'estrazione più forte.

5. Persistenza attraverso l'SFT

Una fase successiva di Supervised Fine-Tuning (SFT) su dati di istruzioni ridistribuisce ma non elimina la memorizzazione. Sebbene il recall delle email sia diminuito leggermente dopo l'SFT, il recall dei numeri di telefono è rimasto sostanzialmente invariato, suggerendo che le stringhe numeriche brevi e idiosincratiche sono ortogonali agli obiettivi di follow-up delle istruzioni e sopravvivono al processo di allineamento.

Significato e Affermazioni

Il documento sostiene che la valutazione attuale della sicurezza dei DLM è incompleta perché si basa su protocolli condizionati al prefisso progettati per gli ARM. Introducendo l'estrazione tramite completamento, gli autori dimostrano che:

1. I DLM presentano un rischio maggiore di fuoriuscita dei dati di addestramento rispetto a quanto pensato in precedenza, in particolare quando gli avversari possono sfruttare il contesto bidirezionale o accedere a dati di addestramento oscurati.
2. La geometria della maschera è un fattore critico nella memorizzazione, con il completamento condizionato ai bordi e mirato che rivela vulnerabilità invisibili al probing basato solo sul prefisso.
3. I parametri di decodifica agiscono come leve sia per l'amplificazione che per la mitigazione; i praticanti possono regolarli per bilanciare prestazioni e resistenza alla fuoriuscita.

Gli autori concludono che, sebbene i DLM possano apparire più sicuri sotto le metriche tradizionali basate sul prefisso, la loro natura bidirezionale crea canali unici e potenti per l'estrazione dei dati che devono essere affrontati nella futura ricerca sulla sicurezza e nelle strategie di deployment.