Riepilogo Tecnico: Quando le Tabelle Si Fugano: Attacchi alla Memorizzazione di Stringhe nella Generazione di Dati Tabellari Basata su LLM

1. Enunciato del Problema

I Modelli Linguistici di Grandi Dimensioni (LLM) si sono affermati come generatori all'avanguardia per dati tabellari sintetici, utilizzando due regimi principali: Apprendimento in Contesto (ICL), dove gli esempi sono forniti nella finestra di contesto, e Fine-Tuning Supervisionato (SFT), dove i modelli sono addestrati su dati tabellari codificati come stringhe. Sebbene questi metodi offrano un'elevata fedeltà statistica e utilità per i compiti a valle, introducono una nuova vulnerabilità alla privacy distinta dai modelli generativi tradizionali (ad es. GAN, VAE).

I generatori tabellari tradizionali operano direttamente nello spazio delle caratteristiche, trattando i campioni come unità atomiche. Al contrario, gli LLM decompongono le righe tabellari in sequenze di stringhe autoregressive (token per token). Questo documento ipotizza che questo cambiamento architetturale crei una superficie di attacco unica: gli LLM tendono a memorizzare e riprodurre pattern rigidi e strutturati di cifre numeriche dai loro dati di addestramento. Poiché i dati tabellari mancano dell'ambiguità semantica del linguaggio naturale (dove il parafrasare è possibile), anche minime riproduzioni a livello di carattere costituiscono una memorizzazione esatta di informazioni sensibili (ad es. importi finanziari, identificatori).

Gli attuali Attacchi di Inferenza di Appartenenza (MIA) per dati sintetici si concentrano sulle distanze nello spazio delle caratteristiche (ad es. distanza euclidea, stima della densità). Gli autori sostengono che questi metodi non riescano a rilevare le vulnerabilità intrinseche alla rappresentazione intermedia di stringa utilizzata dagli LLM, lasciando un vuoto critico nel controllo della privacy per i generatori tabellari basati su LLM.

2. Metodologia

2.1 Modello di Minaccia

Lo studio adotta un conservativo modello di minaccia No-box. L'avversario ha accesso solo al dataset sintetico generato ($S$). L'avversario non ha:

• Accesso agli interni del modello, ai pesi o agli iperparametri.
• Accesso alle query al modello.
• Un dataset di riferimento o dati ausiliari per la calibrazione.
  Questo modello riflette scenari realistici in cui i dati sintetici sono condivisi pubblicamente senza la divulgazione del processo di generazione.

2.2 L'Attacco: LevAtt (Attacco Levenshtein)

Per sfruttare la natura basata su stringhe della generazione degli LLM, gli autori propongono LevAtt, un MIA No-box basato sulla similarità di stringhe piuttosto che sulla prossimità nello spazio delle caratteristiche.

• Meccanismo: L'attacco converte i record tabellari in rappresentazioni di stringa canoniche, preservando la struttura (precisione coerente per i numeri, token stabili per le categorie). Successivamente calcola la distanza di modifica Levenshtein (distanza di modifica a livello di carattere) tra un'osservazione di test ($x^*$) e il record sintetico più vicino nel dataset generato.
• Punteggio: Il punteggio dell'attacco è definito come $f(x^*_{str}, S_{str}) = -\min_{s \in S_{str}} \ell(x^*_{str}, s)$, dove $\ell$ è la distanza di Levenshtein. Distanze inferiori (punteggi più alti) indicano una corrispondenza più stretta, suggerendo che il dato sintetico ha memorizzato il record di addestramento.
• Razionale: A differenza del linguaggio naturale, le stringhe numeriche tabellari sono rigide. Una singola modifica di cifra altera il valore in modo significativo. Pertanto, una corrispondenza di stringa quasi esatta è un segnale forte e ad alta confidenza di memorizzazione che gli attacchi nello spazio delle caratteristiche non rilevano.

2.3 Difese Proposte

Il documento valuta due strategie per mitigare questa fuoriuscita:

1. Modificatore di Cifre (DM): Un algoritmo di post-elaborazione che itera attraverso le colonne numeriche e inverte le cifre basandosi su una funzione di probabilità $g$. I valori di maggiore magnitudine ricevono probabilità di perturbazione più elevate. Questo viene applicato dopo la generazione.
2. Processore di Logit basato su Tendenza (TLP): Una difesa integrata nel processo di generazione al momento del campionamento. Applica una funzione di curvatura concava e monotona ($f_t(x) = x^{1/t}$) ai logit del modello prima del campionamento. Questo sopprime i token ad alta confidenza (spesso sequenze memorizzate) e amplifica i token a probabilità inferiore, introducendo casualità controllata senza rompere le dipendenze delle caratteristiche.

3. Risultati Sperimentali

3.1 Regime ICL (Apprendimento in Contesto)

Gli esperimenti sono stati condotti su 35 dataset di regressione reali utilizzando LLaMA 3.3-70B, GPT-4o-mini e TabPFN-v2.

• Fuoriuscita: LevAtt ha dimostrato una significativa fuoriuscita di privacy. Per TabPFN-v2 e LLaMA 3.3-70B, l'attacco ha raggiunto una classificazione perfetta dell'appartenenza (AUC-ROC $\approx$ 1.0) nei primi 20 casi peggiori.
• Correlazione: LevAtt ha mostrato una debole correlazione con i tradizionali MIA nello spazio delle caratteristiche (DCR, Stima della Densità, MC), confermando che rileva un segnale di fuoriuscita unico e ortogonale.
• Scalabilità: La fuoriuscita di privacy è aumentata con la dimensione del modello (i modelli da 70B hanno fuoriuscito più dei modelli su scala 7B) e diminuita con il numero di esempi in contesto (meno esempi hanno portato a una maggiore memorizzazione).

3.2 Regime SFT (Fine-Tuning Supervisionato)

Gli esperimenti hanno coinvolto il fine-tuning di modelli (LLaMA 3.2, Qwen2.5, Mistral, GPT-2) su dataset come CASP, Diabetes e CA-Housing, confrontati con RealTabFormer e GREAT.

• Fuoriuscita: I modelli SFT hanno mostrato una fuoriuscita inferiore ma comunque significativa rispetto all'ICL. RealTabFormer, nonostante le affermazioni di consapevolezza della privacy, ha mostrato la vulnerabilità più alta (AUC di LevAtt $\approx$ 0.65–0.70).
• Modelli Convenzionali: I generatori di deep learning tradizionali (CT-GAN, TVAE) sono stati immuni a LevAtt, poiché non generano sequenze di token.
• Fattori: La fuoriuscita è aumentata monotonicamente con il volume di dati sintetici generati e con la lunghezza delle sequenze di cifre nei dati di addestramento.
• Compromesso: È stata osservata una correlazione negativa tra privacy (AUC di LevAtt) e fedeltà (MMD, distanza di Wasserstein). I modelli con maggiore fedeltà statistica erano più soggetti alla memorizzazione di stringhe.

3.3 Valutazione delle Difese

• Modificatore di Cifre (DM): Ha ridotto con successo l'AUC di LevAtt ma ha causato un crollo catastrofico nella fedeltà dei dati. L'iniezione di rumore ha spinto i valori fuori dalla distribuzione valida, rendendo i dati inutili per i compiti a valle.
• TLP: Ha ridotto con successo l'AUC di LevAtt a livelli quasi casuali ($\approx$ 0.55) e il TPR a $<0.125$, mantenendo la fedeltà statistica (le distanze MMD e di Wasserstein sono rimaste comparabili alla generazione vanilla) e l'utilità a valle (performance di XGBoost).
• Privacy Differenziale (DP): Sebbene DP2Stage (DP-SGD) abbia efficacemente sconfitto LevAtt, ha portato alla peggiore utilità e fedeltà tra tutti i modelli, evidenziando il severo compromesso privacy-utilità della DP al momento dell'addestramento per gli LLM.

4. Contributi Chiave

1. Identificazione della Memorizzazione di Stringhe: Il documento identifica che i generatori tabellari basati su LLM memorizzano pattern rigidi di stringhe numeriche, una vulnerabilità invisibile agli attacchi nello spazio delle caratteristiche.
2. Attacco LevAtt: Introduzione di un semplice MIA No-box che utilizza la distanza di Levenshtein e che raggiunge una classificazione perfetta sui modelli all'avanguardia sotto ipotesi avversarie minime.
3. Evidenza Empirica del Rischio: Dimostrazione che i modelli SFT e ICL ad alta fedeltà (incluso RealTabFormer) fuoriescono informazioni di appartenenza, mentre i generatori convenzionali non lo fanno.
4. Difesa Efficace (TLP): Proposta di TLP, un meccanismo al momento del campionamento che mitiga la memorizzazione perturbando i logit, bilanciando con successo la protezione della privacy con l'utilità e la fedeltà dei dati.

5. Significato e Affermazioni

Gli autori affermano che la generazione di dati tabellari basata su LLM introduce un rischio di privacy fondamentalmente nuovo distinto dai modelli generativi tradizionali. Il significato di questo lavoro risiede in:

• Ridefinizione della Superficie di Attacco: Spostare il focus dalla distanza nello spazio delle caratteristiche alla similarità di stringhe a livello di carattere, che è critica per i modelli autoregressivi.
• Sfida alle Assunzioni sulla Privacy: Dimostrare che anche i metodi SFT "consapevoli della privacy" e i generatori ad alta fedeltà possono fuoriuscire catastroficamente i dati di addestramento quando la struttura dei dati è rigida.
• Mitigazione Pratica: Fornire una difesa deployabile (TLP) che non richiede riaddestramento né sacrificio dell'utilità dei dati, a differenza della Privacy Differenziale.

Il documento conclude che, sebbene gli LLM offrano un'utilità superiore, la loro natura autoregressiva li rende soggetti a "recupero" piuttosto che a "generalizzazione" nei contesti tabellari. Gli autori sottolineano che, senza difese specifiche come TLP, il deployment di dati tabellari sintetici basati su LLM in settori sensibili alla privacy (sanità, finanza) comporta un significativo rischio di re-identificazione.

Limitazioni Notate:

• LevAtt si basa su un formattazione coerente delle stringhe; variazioni di formattazione (ad es. "17.5" vs "17.500") potrebbero oscurare i segnali.
• Le difese (DM, TLP) sono empiriche e mancano di garanzie formali di privacy (a differenza della DP).
• Lo studio assume un modello No-box; attacchi più potenti con accesso al modello potrebbero essere più efficaci.
• L'attacco è meno efficace su campi di testo aperti rispetto a schemi numerici/categoriali rigidi.