Sintesi Tecnica: Una Valutazione della Propensione alla Memorizzazione negli LLM

Definizione del Problema

I Large Language Models (LLM) sono stati ampiamente documentati per la loro capacità di riprodurre dati di addestramento, inclusi lavori protetti da copyright e identificatori personali sensibili. Tuttavia, le attuali valutazioni della memorizzazione si concentrano prevalentemente sulla capacità: se i modelli possono essere costretti a riprodurre i dati di addestramento attraverso attacchi avversari (ad esempio, attacchi di prefisso, inferenza dell'appartenenza o prompt che fanno riferimento a risorse specifiche). Esiste una lacuna significativa nella comprensione della propensione: se i modelli riproducono naturalmente i dati di addestramento in condizioni d'uso ordinarie e non avversarie.

La letteratura attuale spesso confonde questi due concetti. Mentre le valutazioni della capacità stabiliscono il limite superiore della capacità di un modello di far trapelare dati, esse potrebbero sopravvalutare il rischio pratico nel deployment reale, dove gli utenti non impiegano tecniche di elicitazione avversaria. Inoltre, gli studi non avversari esistenti (ad esempio, Aerni et al., 2024) sono spesso limitati a modelli chiusi, si basano su snippet web piuttosto che sul confronto diretto con i dati di addestramento, o non riescono a contrastare l'uso ordinario con i contesti avversari, limitando l'accuratezza e l'ambito della loro analisi.

Metodologia

Gli autori propongono PROPME, un framework per la valutazione della propensione alla memorizzazione, e SIMPLETRACE, una pipeline di tracciamento leggera.

1. Framework PROPME

PROPME introduce un approccio di valutazione multi-livello che contrasta due distinti scenari di prompting:

• Impostazioni di Propensione (Propensity Settings): Prompt plausibili e del mondo reale (Generici e Specifici) con bassa sovrapposizione lessicale con i dati di addestramento. Questi mirano a misurare la naturale tendenza del modello a far trapelare dati.
• Impostazioni di Capacità (Capability Settings): Attacchi di prefisso in cui il modello è condizionato sui primi 50 token di sequenze estratte direttamente dal set di addestramento. Questi mirano a misurare la massima capacità del modello di riprodurre contenuti memorizzati.

2. Trasformazione della Metrica di Propensione

Per quantificare la differenza tra capacità e propensione, gli autori introducono una nuova trasformazione della metrica. Dato una metrica base $f_b \in [0, 1]$ (ad esempio, il tasso di memorizzazione), un'impostazione di propensione $p$ e un'impostazione di capacità $c$, la metrica consapevole della propensione $PM_{f_b}$ è calcolata come:

$$PM_{f_b}(M, x) = \frac{1}{2} \left( 1 + \frac{f_b^p(M, x) - f_b^c(M, x)}{f_b^p(M, x) + f_b^c(M, x)} \right)$$

(Con $PM_{f_b} = 0$ se $f_b^p = 0$).

Questa trasformazione produce un punteggio in cui:

• Punteggi bassi indicano un'alta capacità ma una bassa propensione (il modello può far trapelare dati se forzato, ma raramente lo fa naturalmente).
• Punteggi alti indicano una bassa capacità ma un'alta propensione (il modello rilascia dati spontaneamente anche senza una forte elicitazione).
• Punteggi neutri (0.5) indicano un comportamento coerente tra le impostazioni.

3. Pipeline SIMPLETRACE

Per abilitare un'attribuzione deterministica delle generazioni del modello ai corpora di addestramento, gli autori hanno sviluppato SIMPLETRACE, basato sul motore infini-gram. A differenza dei metodi di rilevamento probabilistici, SIMPLETRACE esegue una ricerca diretta sul corpus di addestramento. La pipeline prevede:

1. Estrazione dello Span Massimale (Maximal Span Extraction): Iterazione sugli suffissi di una generazione per trovare il più lungo prefisso verbatim nel corpus.
2. Filtraggio della Rarità dei Unigrammi (Unigram Rarity Filtering): Filtraggio dei match di tipo "boilerplate" mantenendo solo gli span più rari.
3. Recupero del Documento (Document Retrieval): Recupero dei documenti sorgente per gli span mantenuti, classificando i match come full raw, full normalized o partial.
4. Fusione degli Span (Span Merging): Collasso degli span sovrapposti in segmenti non ridondanti.

SIMPLETRACE calcola metriche come l'Average Longest Span (ALS), il Generations Full Matches Ratio (FMR) e l'Average Near-Verbatim Recall (NVR).

4. Setup Sperimentale

La valutazione è stata condotta su due modelli completamente open e due dataset:

• Modelli:
  • Comma: Un modello monolingue inglese pre-addestrato sul dataset Common Pile.
  • DFM Decoder: Un modello sottoposto a pre-addestramento continuo da Comma su un mix di Common Pile e il dataset danese Dynaword.
• Dataset: Common Pile (Inglese, ~460B di token) e Dynaword (Danese, ~6.8B di token).
• Prompt: Tre set (Generico, Specifico, Prefisso) con 100 campioni ciascuno, generati per garantire una bassa sovrapposizione per le impostazioni di propensione e un'alta sovrapposizione per le impostazioni di capacità.

Risultati Chiave

1. Gap tra Capacità e Propensione

Esiste un gap costante e sostanziale tra la capacità di memorizzazione e la propensione.

• Gli attacchi di prefisso hanno elicitato segnali di memorizzazione significativamente più forti rispetto ai prompt generici o specifici in tutti i modelli e dataset. Ad esempio, sul DFM Decoder con Dynaword, il Near-Verbatim Recall (NVR) sotto attacchi di prefisso era 0.036, rispetto a 0.001 per i prompt generici (una differenza di 36 volte).
• I punteggi di propensione sono rimasti bassi complessivamente. Anche quando i modelli hanno dimostrato la capacità di riprodurre dati sotto elicitazione avversaria, raramente lo hanno fatto in condizioni di prompting ordinario.

2. Impatto del Pre-addestramento Continuo

Lo studio ha osservato che il pre-addestramento continuo può ridurre la memorizzazione dei dati precedenti.

• DFM Decoder vs. Comma: Il DFM Decoder, che è stato addestrato continuamente su un mix che includeva Dynaword, ha mostrato una riduzione della memorizzazione del corpus originale Common Pile rispetto al suo modello genitore, Comma.
• Spostamento della Metrica: Mentre la propensione verbatim è scesa significativamente (da 0.5 a 0.0 in FMR), la propensione near-verbatim ha visto un aumento minore, suggerendo uno spostamento da una forte memorizzazione verbatim a pattern near-verbatim più deboli.
• Stabilità: I profili di memorizzazione sono rimasti stabili attraverso le tre fasi di addestramento del DFM Decoder, indicando che la composizione del mix di dati (due terzi Dynaword, un terzo Common Pile) ha attenuato progressivamente l'accessibilità del contenuto di Common Pile senza aumentare ulteriormente la memorizzazione del nuovo corpus.

3. Caratteristiche del Dataset

• Common Pile (Inglese): La memorizzazione si è manifestata come frammenti verbatim localizzati più lunghi (ALS più alto).
• Dynaword (Danese): La memorizzazione ha prodotto span più brevi ma ha occasionalmente portato a riproduzioni complete a livello di generazione (FMR più alto sotto attacchi di prefisso).

Significato e Rivendicazioni

Il paper sostiene che gli audit sulla memorizzazione debbano riportare sia la estraibilità nel caso peggiore (capacità) sia la propensione di perdita ordinaria per fornire una visione completa del comportamento del modello.

• Valutazione del Rischio: Affidarsi esclusivamente alle valutazioni della capacità (attacchi di prefisso) sopravvaluta il rischio pratico di perdita di dati negli scenari reali. Al contrario, affidarsi solo alla propensione potrebbe ignorare la capacità latente di un modello di far trapelare dati se un avversario lo prende di mira.
• Conformità Legale ed Etica: Gli autori sottolineano che framework come il GDPR e l'AI Act dell'UE richiedono test regolari delle misure di sicurezza e della gestione del rischio. Valutare la propensione nell'uso ordinario fornisce prove dei rischi di perdita prevedibili, supportando gli sfori di conformità.
• Dinamiche di Addestramento: I risultati confermano che la capacità di memorizzazione non è statica; può diminuire quando il successivo addestramento enfatizza dati parzialmente differenti, suggerendo che la composizione del mix di dati è un fattore critico per gestire i rischi di memorizzazione.

Gli autori concludono che, sebbene i modelli possano rivelare i dati di addestramento quando direttamente elicitati, ciò accade raramente in contesti comuni non avversari, e che una valutazione consapevole della propensione è essenziale per una comprensione sfumata di questo fenomeno.