🤖 machine learning

Leak It: A Probabilistic Approach to Training-Data Extraction from Black-Box Language Models

Questo articolo sostiene che le metriche aggregate di inferenza dell'appartenenza, come la ROC-AUC, oscurino il grave rischio, dipendente dalla capacità, di estrazione letterale dei dati di addestramento dai modelli linguistici black-box, dimostrando che documenti specifici contenenti identificatori o codice vengono frequentemente estratti indipendentemente dai baseline ciechi o dalla deduplicazione, e propone un framework di audit probabilistico per documento tramite lo strumento "leakit" per misurare accuratamente tale danno alla privacy.

Autori originali: Victor Maricato

Pubblicato 2026-08-04

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Victor Maricato

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire se una specifica ricetta segreta sia stata usata per cuocere una torta gigante e misteriosa. Non puoi vedere la cucina e non puoi chiedere al pasticciere la lista degli ingredienti. Tutto ciò che puoi fare è chiedere al pasticciere di preparare qualche altra fetta di torta basandoti su una minuscola briciola che hai trovato in precedenza. Se il pasticciere continua a sputare fuori esattamente la stessa lista di ingredienti segreti ogni volta che glielo chiedi, potresti ipotizzare che la ricetta segreta fosse effettivamente nella sua memoria. Questo è il mondo dei "Modelli di Linguaggio": programmi informatici super intelligenti che imparano leggendo enormi quantità di testo da internet. Sono come quei pasticceri, ma invece delle torte, prevedono la parola successiva in una frase.

La grande domanda che gli scienziati si pongono è: questi pasticceri digitali ricordano i libri specifici che hanno "mangiato"? Questo è chiamato "Membership Inference". Se un modello ricorda un documento specifico, potrebbe accidentalmente sputare fuori dettagli privati, come l'indirizzo email o il numero di telefono di una persona, che erano nascosti all'interno di quel documento. Per molto tempo, i ricercatori hanno cercato di misurare questo fenomeno osservando la prestazione "media" dei loro test. Dicevano: "Ehi, il nostro test è accurato al 90%!". Ma proprio come una previsione del tempo che dice che sarà "prevalentemente soleggiato" ma manca un improvviso e pericoloso temporale, questi punteggi medi potrebbero nascondere il fatto che un modello sta perdendo segreti pericolosi per alcune persone sfortunate.

Questo articolo, intitolato "LEAK IT", offre una nuova prospettiva su come intercettare queste fughe digitali. L'autore, guidato da Victor Maricato, sostiene che il vecchio modo di misurare la privacy sia fuorviante. Hanno scoperto che molti test "intelligenti" che sostenevano di rilevare se un documento fosse presente nei dati di addestramento stavano in realtà solo indovinando in base allo stile del testo stesso, non alla memoria del modello. È come cercare di indovinare se una torta è stata fatta con una ricetta segreta guardando solo il colore della glassa, quando il colore della glassa è in realtà solo una coincidenza.

Tuttavia, l'articolo rivela una verità più pericolosa: sebbene il test "medio" possa sembrare innocuo, il modello sta perdendo informazioni, ma solo per un gruppo molto specifico e ristretto di documenti. Il ricercatore ha scoperto che se chiedi al modello di continuare una frase partendo da un pezzo di codice o da un documento contenente un vero indirizzo email, esso a volte sputerà fuori quell'esatta informazione privata parola per parola. È come se il pasticciere, quando gli viene chiesto di finire una frase su una spezia specifica e rara, improvvisamente gridasse esattamente la marca e il numero di lotto di quella spezia, anche se non lo farebbe per un ingrediente comune come la farina.

Lo studio mostra che questa "estrazione verbatim" peggiora man mano che i modelli diventano più grandi. Per un modello con 6,9 miliardi di parametri, circa il 16,6% dei documenti contenenti identificativi reali (come email o numeri di telefono) è stato trapelato in questo modo. Sorprendentemente, l'autore ha scoperto che semplicemente rimuovere il testo duplicato dai dati di addestramento (un comune passaggio di sicurezza) non ha davvero impedito che ciò accadesse. Ha anche dimostrato che questo rischio non è distribuito uniformemente; è molto più alto per il codice informatico rispetto a storie o articoli comuni.

Il messaggio principale è che dobbiamo smettere di guardare il punteggio di privacy "medio" e iniziare a controllare questi leak specifici e ad alto rischio. L'autore ha rilasciato un nuovo strumento chiamato "leakit" per aiutare i revisori a trovare esattamente quei momenti in cui un modello potrebbe accidentalmente rivelare un segreto privato. Suggerisce che, invece di dire solo "il modello è per lo più sicuro", dovremmo ammettere che per certi documenti, il modello è una fuga di memoria molto efficace, e che abbiamo bisogno di protezioni più forti, come uno speciale scudo di privacy chiamato "differential privacy", per risolvere il problema.

Riepilogo Tecnico: LEAK IT – Un approccio probabilistico all'estrazione di dati di addestramento da modelli linguistici black-box

Problema

Il documento affronta la valutazione dei rischi di privacy nei Large Language Models (LLM), concentrandosi specificamente sull'Inferenza di Appartenenza (Membership Inference Attacks - MIA) e l'estrazione di dati di addestramento. Gli attuali audit sulla privacy si affidano prevalentemente a metriche aggregate, come la ROC-AUC, per determinare se un modello rilascia informazioni sul proprio set di addestramento. Tuttavia, studi recenti (Das et al., 2025) dimostrano che queste metriche aggregate sono confondenti: classificatori "ciechi" model-free (ad esempio, bag-of-words, rilevamento di date) possono spesso distinguere i membri dell'addestramento dai non membri basandosi esclusivamente sulle statistiche del testo superficiale, rendendo i punteggi AUC aggregati indicatori inaffidabili del reale rilascio di informazioni da parte del modello.

Inoltre, sebbene l'estrazione basata sul campionamento sia un fenomeno noto, il modo in cui essa influenzi i singoli documenti rispetto alla popolazione aggregata, e come si comporti sotto rigorosi vincoli black-box (senza accesso ai logit a livello di token o accesso white-box), rimane scarsamente caratterizzato. Il documento sostiene che le metriche aggregate oscurano il "rischio della coda" (tail risk): un piccolo sottoinsieme di documenti altamente esposti che subiscono un'estrazione verbatim, anche quando la performance media del modello suggerisce un basso rilascio di informazioni.

Metodologia

Framework Probabilistico

L'autore propone una lente probabilistica per analizzare il rilascio tramite campionamento black-box. Dato un prefisso $x$ , trattano $N$ campioni indipendenti $C_1, \dots, C_N \sim p_\theta(\cdot | x)$ come una stima empirica della distribuzione di output del modello. I segnali di rilascio sono definiti come funzionali di questa distribuzione:

Sovrapposizione Media (Mean Overlap): La sovrapposzione media tra i campioni e una continuazione trattenuta $y$ (corrispondente a SaMIA).
Valore Estremo (Extreme Value): La sovrapposizione massima (o l'unione dell'insieme del richiamo) tra un singolo campione e $y$ .
Auto-concentrazione (Self-Concentration): La sovrapposizione mutua tra i campioni stessi, misurando quanto la distribuzione sia concentrata senza fare riferimento a $y$ .

Setup Sperimentale

Benchmark: Lo studio utilizza WikiMIA (per dimostrare la natura confondente della separabilità del testo superficiale) e MIMIR (una suddivisione IID train/test di The Pile con deduplicazione n-gram tra membri e non membri).
Baseline Cieche (Blind Baselines): Per isolare il vero rilascio del modello, l'autore riproduce classificatori ciechi model-free (rilevamento date, TF-IDF bag-of-words, selezione di n-gram rari) e li confronta con i funzionali di campionamento.
Modelli: Gli esperimenti sono condotti sulla famiglia di modelli Pythia (da 410M a 6.9B di parametri) e su OLMo-1B.
Audit di Estrazione: Viene costruito un set di probe specifico di 500 documenti dal partizione di addestramento di The Pile, contenente indirizzi email e numeri di telefono reali. L'attacco consiste nel campionare continuazioni da un prefisso immediatamente precedente l'identificatore.
Controlli: Per attribuire il rilascio a specifici documenti piuttosto che alla generazione generica di stringhe, viene utilizzato un controllo con prefisso errato (mismatched-prefix control). Un documento è conteggiato come "rilasciato" solo se l'identificatore viene riprodotto con il corretto prefisso ma non con un prefisso errato.

Risultati Chiave

1. Le metriche aggregate sono confondenti

Sul benchmark WikiMIA, un classificatore cieco bag-of-words raggiunge un AUC di 0.97, mentre i funzionali di campionamento (inclusa la recovery della continuazione "gold") performano vicino al caso (AUC ~0.52). Sul partito IID di MIMIR, dove gli shift temporali sono rimossi, la baseline cieca scende al caso (0.56), ma i funzionali di campionamento (auto-concentrazione, recovery della continuazione gold) non riescono a superare significativamente la baseline cieca residua. L'incremento di AUC del campionamento rispetto alla baseline cieca include lo zero nel suo intervallo di confidenza al 95%.

Conclusione: Come classificatore di appartenenza aggregato, il campionamento black-box non aggiunge alcun segnale significativo oltre a ciò che il testo superficiale rivela già.

2. Estrazione Verbatim di una "Coda" di Documenti

Sebostante le metriche aggregate falliscano, il campionamento riesce a estrarre verbatim i dati di addestramento per una specifica coda di documenti che gli attacchi ciechi non riescono a raggiungere.

Rilascio di PII (Informazioni Identificative Personali): Su Pythia-6.9B, il 16,6% di 500 documenti di probe (83 documenti) ha visto i propri identificatori specifici reali (email/telefono) riprodotti verbatim, un tasso che è attribuibile al documento specifico piuttosto che all'emissione generica. Per gli indirizzi email specificamente, il tasso di rilascio è del 21,3%.
Dipendenza dalla Scala: Il rilascio specifico del documento cresce monotonicamente con la capacità del modello (dal 5,6% a 410M al 16,6% a 6.9B).
Specificità del Dominio: Il rilascio è circa 3 volte più forte nel codice rispetto alla prosa. Sebbene il rilascio nella prosa sia inferiore (dal 4,0% al 12,1% attraverso le scale), rimane statisticamente positivo.
Recovery di Continuazioni Arbitrarie: Il recupero di continuazioni arbitrarie trattenute è ampiamente confinato al dominio GitHub (gap membro +0.44), mentre è trascurabile nei domini della prosa (Wikipedia, ArXiv).

3. Caratteristiche del Regime di Estrazione

Lunghezza del Prefisso: Un prefisso di 16 token è sufficiente per innescare l'estrazione.
Budget di Campionamento: Il budget di campionamento richiesto scala inversamente con la lunghezza del prefisso.
Parametri di Decoding: La temperatura e il campionamento nucleus (top-p) hanno effetti minori sul tasso di estrazione.
Deduplicazione: L'addestramento su un corpus deduplicato (Pythia-2.8B-deduped) non ha ridotto significativamente l'estrazione verbatim di PII rispetto al modello standard (12,8% vs 14,0%, $p=0.52$ ). L'autore nota che la near-deduplication potrebbe aumentare il numero di passaggi sui dati, potenzialmente compensando i benefici.

Contributi

Il documento presenta quattro contributi primari:

Framework Probabilistico: Una visione tramite stima funzionale del rilascio tramite campionamento black-box che unifica le statistiche di mean-overlap, extreme-value e self-concentration come funzionali della distribuzione di output del modello.
Estensione della Critica alle Baseline Cieche: Dimostrare che, su partizioni IID, nessun funzionale di campionamento supera significativamente una baseline model-free come classificatore di appartenenza aggregato.
Caratterizzazione del Rischio della Coda: Mostrare che il campionamento estrae verbatim i dati di addestramento (incluse le PII) per una coda di documenti non raggiunti dagli attacchi aggregati, e caratterizzare il regime di estrazione rispetto a scala, dominio e parametri di decoding.
Rilascio di Strumenti: Il rilascio di leakit, uno strumento di audit di estrazione black-box, e l'argomento secondo cui gli audit sulla privacy dovrebbero riportare tassi di estrazione per singolo documento piuttosto che punteggi di appartenenza aggregati.

Significato e Rivendicazioni

L'autore sostiene che la pratica attuale di riportare la ROC-AUC aggregata per gli audit sulla privacy sia insufficiente e potenzialmente fuorviante. Rivendica che:

L'AUC aggregata nasconde il danno reale: Essa media via l'alta coda di rischio dove avviene l'estrazione verbatim.
La disclosure per singolo documento è la metrica critica: La capacità di riprodurre un identificatore specifico o una continuazione per un documento specifico è il danno concreto alla privacy che la MIA mira a rilevare, ed è invisibile alle metriche aggregate.
Implicazioni per la Mitigazione: Poiché la deduplicazione non ha ridotto misurabilmente l'estrazione in questa suite, l'autore motiva l'uso della privacy differenziale come una strategia di mitigazione necessaria che offre garanzie formali.
Standard di Audit: Gli audit sulla privacy dovrebbero spostare il focus dall'inferenza di appartenenza aggregata all'analisi dell'estrazione per singolo documento.

L'autore dichiara esplicitamente che i loro risultati non pretendono di essere una critica generale alla deduplicazione, ma sottolineano che, nelle condizioni testate, essa non ha protetto gli identificatori individuali, rafforzando la necessità di mitigazioni più forti e garantite.