A Prior-Aware Metric for Efficiently Distinguishing Memorization from Generalization in Large Language Models

Sintesi Tecnica: Una Metrica Prior-Aware per Distinguere Efficientemente la Memorizzazione dalla Generalizzazione nei Large Language Models

Definizione del Problema
La proliferazione dei Large Language Models (LLM) ha intensificato le preoccupazioni riguardanti la fuga di dati di addestramento (training data leakage), in particolare per quanto riguarda la privacy, la sicurezza e la conformità al copyright. Una sfida critica nel valutare tali rischi è distinguere tra la memorizzazione specifica del prefisso (il modello che ricorda un esempio specifico di addestramento) e la generalizzazione (il modello che genera sequenze statisticamente comuni basate su schemi appresi).

Le metriche esistenti, come la "memorizzazione estraibile", spesso confondono questi fenomeni etichettando qualsiasi output ad alta probabilità come memorizzato. Tuttavia, come osservato in lavori precedenti (Carlini et al., 2022; Yu et al., 2023), una condizionale probabilità $P(s|p)$ può derivare dalla prevalenza statistica di un suffisso $s$ (ad esempio, entità nominate comuni come "John Doe") piuttosto che dalla memorizzazione specifica della coppia prefisso-suffisso $p \parallel s$. La Memorizzazione Controfattuale (Zhang et al., 2023) offre una soluzione rigorosa confrontando le prestazioni del modello con e senza una specifica sequenza di addestramento, ma è computazionalmente proibitiva su larga scala, richiedendo il riaddestramento di molteplici modelli baseline per ogni sequenza in valutazione.

Metodologia: Memorizzazione Prior-Aware (PA)
Per affrontare l'intrattabilità computazionale degli approcci controfattuali, questo lavoro introduce la Memorizzazione Prior-Aware (PA), una metrica leggera, priva di addestramento (training-free) e basata solo sull'inferenza. L'ipotesi centrale è che una sequenza sia realmente memorizzata solo se il suffisso è fortemente associato al suo specifico prefisso di addestramento, piuttosto che apparire con alta probabilità attraverso molti prefissi indipendenti a causa della comune prevalenza statistica.

La metrica si basa su una definizione a doppio criterio affinché una sequenza $p \parallel s$ sia considerata PA memorizzata:

1. Estraibilità: La probabilità condizionale $P(s | p; M)$ deve superare una soglia $m$. Ciò garantisce che il modello possa generare il suffisso verbatim dato il prefisso.
2. Rapporto di Credenza Relativa (Relative Belief Ratio): Il rapporto $\frac{P(s | p; M)}{P(s; M)}$ deve superare una soglia $n$. Questo termine funge da filtro per la comunanza statistica.
   • $P(s | p; M)$ viene calcolato tramite passaggi auto-regressivi standard.
   • $P(s; M)$, che rappresenta la probabilità marginale del suffisso attraverso la distribuzione dei dati, viene stimata utilizzando un stimatore Monte-Carlo non distorto. Ciò comporta il campionamento di $c$ prefissi $q_i$ indipendenti e identicamente distribuiti (i.i.d.) dalla distribuzione dei dati di addestramento e il calcolo della media della verosimiglianza: $\hat{v}_s = \frac{1}{c} \sum P(s | q_i)$.

Gli autori dimostrano che questo stimatore è non distorto e che la sua varianza diminuisce all'aumentare del numero di campioni, consentendo un'approssimazione scalabile della probabilità marginale senza necessità di riaddestramento.

Contributi Chiave

• Framework Teorico: Il documento formalizza una distinzione tra memorizzazione e generalizzazione utilizzando un rapporto di verosimiglianza motivato dal teorema di Bayes, sostenendo che un'alta $P(s|p)$ da sola non è prova sufficiente di memorizzazione se $P(s)$ è altrettanto alta.
• Metrica Scalabile: Propone la Memorizzazione PA come un'alternativa computazionalmente efficiente alla Memorizzazione Controfattuale, eliminando la necessità di riaddestramenti "leave-one-out" o dell'accesso alle traiettorie di addestramento.
• Validazione Empirica: La metrica viene validata rispetto alla Memorizzazione Controfattuale su dataset di piccola scala, mostrando una correlazione positiva (Pearson $r = 0.71$), e successivamente applicata su larga scala a modelli pre-addestrati (famiglie Llama e OPT).

Risultati
Gli autori hanno valutato la Memorizzazione PA sui corpora di addestramento dei modelli Llama e OPT attraverso varie dimensioni (da 125M a 13B di parametri) e tipi di sequenza (Entità Nominate a 4 token e sequenze a 50 token).

• Sovrastima delle Metriche Esistenti: Lo studio rileva che tra il 55% e il 90% delle sequenze precedentemente etichettate come "memorizzate" (basandosi su un'alta estraibilità) falliscono il criterio PA. Queste sequenze sono coerenti con la comunanza statistica piuttosto che con la memorizzazione specifica.
• Impatto della Dimensione del Modello: All'aumentare della dimensione del modello, la proporzione di sequenze classificate come PA memorizzate (rispetto alle sequenze estraibilmente memorizzate) generalmente diminuisce. Ciò suggerisce che i modelli più grandi sono sempre più capaci di riprodurre testo verbatim attraverso la generalizzazione da schemi comuni piuttosto che tramite una memorizzazione esplicita.
• Dataset della Sfida SATML: Anche nel dataset della sfida di estrazione SATML, dove le sequenze sono note per essere "1-eidetic" (presenti una sola volta nei dati di addestramento), circa il 40% delle sequenze è stato identificato come statisticamente comune anziché memorizzato.
• Lunghezza del Prefisso: Prefissi più lunghi aumentano la scoperta di sequenze PA memorizzate, sebbene l'effetto sia meno pronunciato per le Entità Nominate brevi e altamente popolari.

Significatività e Rivendicazioni
Il documento sostiene che i suoi risultati rendono necessaria una rivalutazione di come la memorizzazione venga definita e misurata nei LLM. Gli autori argomentano che etichettare una sequenza come memorizzata basandosi esclusivamente sulla sua alta probabilità di generazione è errato se la sequenza è statisticamente comune. Introducendo una metrica "prior-aware", il lavoro fornisce uno strumento più accurato e scalabile per l'audit della fuga di dati di addestramento.

Gli autori dichiarano esplicitamente che la Memorizzazione PA è una metrica di audit post-hoc progettata per coppie prefisso-suffisso note e naturalmente occorrenti. Non è un limite di estrazione avversaria (adversarial extraction bound) e non pretende di risolvere il problema della scoperta di record sconosciuti o della ricerca di prompt adattivi. Il contributo primario è la dimostrazione che una parte significativa di ciò che attualmente viene segnalato come rischio per la privacy o il copyright può essere in realtà il risultato delle capacità di generalizzazione del modello, sollecitando così un approccio più sfumato alla valutazione del rischio nel deployment dei LLM.