Sintesi Tecnica: LLM-as-a-Discriminator (LLM come Discriminatore)

Definizione del Problema

Le organizzazioni utilizzano sempre più spesso dati tabulari sintetici per condividere informazioni mitigando al contempo i rischi per la privacy. Tuttavia, l'audit della privacy di tali dati rimane una sfida. Gli strumenti classici di Controllo Statistico della Divulgazione (SDC) (ad es., $k$-anonymity) e le moderne misure basate su attacchi (ad es., Membership Inference Attacks o MIA) spesso non riescono a cogliere se una tabella sintetica sia percettivamente distinguibile da una reale per un osservatore umano o un'IA. Sebbene il MIA inquadri il rischio di privacy come una classificazione binaria del fatto che un record appartenesse o meno al set di addestramento, esso non valuta direttamente se un avversario informato possa distinguere un rilascio sintetico da uno reale basandosi sulle proprietà distributive e sull'aspetto dei dati.

Metodologia

Gli autori propongono un protocollo LLM-as-a-Discriminator, inquadrando l'audit della privacy come un compito di classificazione binaria in cui un Large Language Model (LLM) agisce come discriminatore ($D$).

Condizioni Sperimentali

Lo studio valuta due modelli di minaccia:

• C1 (Solo Tabella): Il discriminatore riceve un campione in formato Markdown di 20 righe della tabella con nomi delle colonne e dimensioni del dataset. Questo simula un avversario con accesso solo al rilascio dei dati.
• C2 (Tabella + Metadati): Lo stesso campione è aumentato con un blocco di metadati strutturati contenente statistiche descrittive per colonna (media, deviazione standard, quartili, skewness, curtosi), risultati del test di Shapiro–Wilk, frequenze delle top-$k$ categorie, entropia di Shannon e una matrice di correlazione di Pearson. Questo simula uno scenario in cui le statistiche di sintesi vengono pubblicate insieme ai dati sintetici.

Protocollo e Metriche

• Modelli: Lo studio utilizza Gemini-2.5-Flash (Google) e LLaMA-3.1-8b-instant (tramite Groq) come discriminatori.
• Metodi di Sintesi: Tre generatori sono stati testati: CTGAN (Conditional GAN), TVAE (Variational Autoencoder) e Gaussian Copula.
• Dataset: Sono stati utilizzati due dataset di censimento: UCI Adult (codifiche stringhe leggibili dall'uomo) e ACS Census 2018 (codifiche intere numeriche per le colonne categoriche).
• Disclosure Risk Score (DRS): Per tradurre l'accuratezza grezza in uno scalare orientato alla privacy, gli autori definiscono il DRS come il minimo tra i tassi di veri positivi per entrambe le classi:
  $$DRS = \min(\hat{p}_{REAL}, \hat{p}_{SYNTHETIC})$$
  Un DRS vicino a 0 indica che il discriminatore non può distinguere i dati (a causa di una buona privacy o di un modello collassato), mentre un DRS vicino a 0,5 indica una discriminazione a livello di puro caso. Un DRS > 0,5 suggerisce che i dati sintetici contengono artefatti discriminativi.
• Baseline: I risultati degli LLM sono stati confrontati con:
  1. Classifier Two-Sample Test (C2ST): Un classificatore di regressione logistica addestrato per separare le distribuzioni reali e sintetiche.
  2. Record Linkage: Misurazione della distanza euclidea tra i record sintetici e i loro vicini reali più prossimi.
  3. Annotazione Umana: Uno studio pilota con due annotatori umani che eseguono gli stessi compiti C1/C2.

Contributi Chiave

1. Definizione del Protocollo: Un protocollo formale di LLM-as-a-Discriminator per l'audit della privacy black-box sotto due distinti scenari di minaccia (C1 e C2).
2. Valutazione Empirica: Una valutazione completa attraverso 451 prove valide coinvolgendo due dataset, tre metodi di sintesi e due famiglie di LLM, rivelando forti dipendenze dalla scelta del modello e dalla codifica dei dati.
3. Proposta di Metrica: L'introduzione del Disclosure Risk Score (DRS) per normalizzare l'accuratezza della discriminazione e tenere conto degli artefatti di bias delle etichette.
4. Confronto Umano-LLM: Un pilot controllato che dimostra come, mentre i frontier LLM possano eguagliare o superare le prestazioni umane, i modelli open più piccoli possano collassare verso baseline distorte, fallendo nel fornire un segnale di privacy utile.

Risultati Sperimentali

Disparità di Performance dei Modelli

La scelta del modello discriminatore si è rivelata critica quanto la scelta del sintetizzatore:

• LLaMA (Groq): Ha mostrato un severo bias. Su UCI Adult, ha etichettato quasi tutte le tabelle come REAL (DRS = 0%). Su ACS Census, ha etichettato tutte le tabelle come SYNTHETIC (DRS = 0%). In entrambi i casi, il modello è collassato, non fornendo alcun segnale discriminativo.
• Gemini: Ha dimostrato un'alta capacità discriminativa.
  • Su UCI Adult, Gemini ha raggiunto un DRS = 100% per CTGAN e TVAE in entrambe le condizioni C1 e C2.
  • Su ACS Census, Gemini ha raggiunto un DRS = 100% in C1 per tutti i metodi. In C2, le prestazioni sono diminuite per CTGAN (0%) e TVAE (25%), mentre Gaussian Copula è rimasta al 100%.

Effetti dei Metadati (C1 vs. C2)

L'impatto dell'aggiunta di metadati distribuzionali è dipeso dal dataset e dal metodo:

• Su UCI Adult, i metadati non hanno avuto effetto sulla perfetta discriminazione di CTGAN e TVAE da parte di Gemini.
• Su ACS Census, i metadati hanno ridotto significativamente la discriminazione per CTGAN e TVAE, suggerendo che quando le marginali reali e sintetiche sono strettamente allineate, le statistiche di sintesi possono oscurare il segnale di rilevamento.

Allineamento con le Baseline Formali

• UCI Adult: Il DRS di Gemini ha raggiunto un tetto (100%) per CTGAN e TVAE, impedendo la classificazione dei metodi. Tuttavia, i punteggi C2ST variavano (TVAE: 0,725, CTGAN: 0,538), indicando che mentre Gemini rilevava artefatti in entrambi, il C2ST poteva differenziare il grado di separazione distributiva.
• ACS Census: Sotto C2, l'ordine del DRS (Gaussian Copula > TVAE > CTGAN) era invertito rispetto ai punteggi C2ST. Gaussian Copula aveva un basso punteggio C2ST (0,542) ma manteneva un alto DRS, suggerendo che i suoi artefatti rimanevano percettivamente salienti nonostante la somiglianza statistica.

Umano vs. LLM

• Performance Umana: Gli annotatori umani hanno ottenuto un DRS aggregato del 66,4%, superando significativamente LLaMA (che è collassato allo 0%) ma generalmente inferiori a Gemini.
• Gemini vs. Umani: Gemini ha eguagliato o superato le prestazioni umane nella maggior parte delle celle, particolarmente su UCI Adult dove ha raggiunto un DRS del 100% rispetto ai tassi umani del 33–60%.
• Ragionamento: Sia gli umani che Gemini hanno identificato gli stessi artefatti strutturali come principali discriminatori, come le mappature interrotte tra i livelli di istruzione e i codici numerici (ad es., "Bachelors" vs 13) e le contraddizioni nei campi di stato civile/relazione.

Significato e Rivendicazioni

L'articolo sostiene che la discriminazione tramite LLM è un segnale pratico di audit della privacy, ma solo se interpretata con attenzione riguardo al modello specifico e alla codifica dei dati utilizzati.

• Dipendenza dal Modello: La capacità del discriminatore è il collo di bottiglia. Un modello collassato (come LLaMA in questo studio) produce un DRS dello 0%, il che simula una privacy perfetta ma indica in realtà un fallimento del valutatore. Al contrario, un modello forte (Gemini) può rilevare sottili violazioni strutturali che i test statistici potrebbero mancare.
• Utilità Pratica: Gli autori posizionano il DRS come uno "schermo distributivo rapido" piuttosto che come una garanzia di privacy autonoma. Raccomandano di utilizzare il DRS insieme al C2ST per uno screening iniziale, seguito da un MIA più rigoroso se la preoccupazione riguarda la memorizzazione a livello di record.
• Interpretabilità: A differenza dei test statistici black-box, gli LLM fornis bil l l'analisi in linguaggio naturale (ad es., identificare vincoli specifici interrotti), rendendo il processo di audit trasparente e azionabile per i professionisti.

Lo studio conclude che, sebbene il paradigma sia promettente, il lavoro futuro richiede modelli ospitati localmente per evitare fallimenti delle API, una validazione più ampia su altri metodi di sintesi (inclusi diffusione e generatori basati su LLM) e un auditing consapevole della codifica per gestire le rappresentazioni numeriche rispetto a quelle testuali.