💬 NLP

Detecting Data Contamination in LLMs via In-Context Learning

Il documento introduce CoDeC, un metodo pratico e automatizzato che rileva e quantifica la contaminazione dei dati di addestramento nei grandi modelli linguistici analizzando come l'apprendimento in contesto influisce sulla fiducia del modello, distinguendo tra dati di addestramento memorizzati e distribuzioni non viste.

Autori originali: Michał Zawalski, Meriem Boubdir, Klaudia Bałazy, Besmira Nushi, Pablo Ribalta

Pubblicato 2026-05-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Michał Zawalski, Meriem Boubdir, Klaudia Bałazy, Besmira Nushi, Pablo Ribalta

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un insegnante che corregge un esame di uno studente. Vuoi sapere: Questo studente ha davvero appreso la materia, o ha semplicemente memorizzato le risposte da una chiave di risposte trapelata?

Per molto tempo, verificare se i Modelli Linguistici su Grande Scala (LLM) hanno "barato" memorizzando le domande di test durante l'addestramento è stato come cercare un ago in un pagliaio. I metodi tradizionali erano lenti, richiedevano l'accesso ai file segreti di addestramento del modello o fornivano risultati confusi.

Questo articolo introduce un nuovo strumento semplice chiamato CoDeC (Contamination Detection via Context). Pensa a CoDeC come a un test di "Quiz a Sorpresa con un Indizio".

L'Idea Centrale: Il Test dell'"Indizio"

Ecco come funziona CoDeC, utilizzando una semplice analogia:

1. Lo Scenario "Inedito" (Lo Studente Onesto)
Immagina di chiedere a uno studente un problema di matematica che non ha mai visto prima.

Senza un indizio: Potrebbe faticare un po'.
Con un indizio: Gli mostri un problema simile che anche lui non ha mai visto prima. Improvvisamente, ha un "momento di illuminazione". L'indizio lo aiuta a capire lo stile della domanda, e risponde con più sicurezza.
Osservazione di CoDeC: Quando un modello vede un dataset che non ha memorizzato, fornirgli esempi dallo stesso dataset agisce come un indizio utile. Il modello diventa più intelligente e più sicuro.

2. Lo Scenario "Memorizzato" (Lo Studente Che Bara)
Ora, immagina di chiedere allo studente un problema che ha già memorizzato da una chiave di risposte trapelata.

Senza un indizio: Recita la risposta perfettamente perché la sa a memoria.
Con un indizio: Gli mostri un altro problema dalla stessa chiave trapelata. Invece di aiutare, queste nuove informazioni lo confondono. Perché? Perché il suo cervello è bloccato in "modalità recitazione". Il nuovo indizio interrompe il suo rigido schema di memoria, facendolo inciampare e rispondere con meno sicurezza.
Osservazione di CoDeC: Quando un modello ha memorizzato i dati, aggiungere altri esempi dagli stessi dati riduce effettivamente la sua sicurezza perché rompe il suo ritmo di memorizzazione.

Come CoDeC Misura Questo

Il metodo è sorprendentemente semplice e automatizzato:

Prendi una domanda da un dataset che sospetti possa essere nei dati di addestramento del modello.
Chiedi al modello di rispondere (Misura la sua sicurezza).
Aggiungi un "indizio": Inserisci alcune altre domande casuali da quello stesso dataset subito prima della domanda target.
Chiedi di nuovo al modello: La sua sicurezza aumenta o diminuisce?
- La sicurezza AUMENTA? Il modello è probabilmente pulito (sta imparando dal contesto).
- La sicurezza DIMINUISCE? Il modello è probabilmente contaminato (sta memorizzando, e il contesto extra lo sta confondendo).

Facendo questo per centinaia di domande, CoDeC ti fornisce un punteggio percentuale.

0–20%: Il modello è probabilmente onesto; sta ragionando, non memorizzando.
80–100%: Il modello ha probabilmente memorizzato questo dataset. Sta "barando".

Perché Questa è una Grande Novità

Nessuna Chiave Segreta Necessaria: Non hai bisogno di vedere i file di addestramento del modello (che sono spesso segreti). Ti basta parlare con il modello.
Funziona Ovunque: Funziona su test di matematica, sfide di programmazione e domande di cultura generale.
Cattura il "Baro Soft": Non cattura solo le copie esatte. Cattura i modelli che hanno visto dati molto simili (come una versione riformulata di una domanda di test o una versione sintetica di un benchmark). Se il modello ha memorizzato l'"atmosfera" del test, CoDeC lo catturerà.

Cosa Hanno Trovato gli Autori

I ricercatori hanno testato CoDeC su dozzine di modelli, inclusi alcuni con dati di addestramento pubblici (quindi conoscevano la verità) e altri con dati di addestramento segreti.

I Risultati: CoDeC è stato incredibilmente accurato (99,9% di accuratezza nel distinguere dati visti da dati non visti).
Le Baseline: I metodi più vecchi (come verificare quanto il modello trovi "facile" la domanda) non sono riusciti a separare i baroni dagli studenti onesti.
Riscontri nel Mondo Reale: Quando hanno applicato CoDeC a modelli popolari e recenti, hanno trovato diversi casi in cui i modelli ottenevano punteggi molto alti su benchmark specifici, suggerendo che quei modelli avevano probabilmente visto i dati di test (o dati molto simili) durante il loro addestramento.

La Conclusione

CoDeC è come un poligrafo per i benchmark dell'IA. Non chiede solo: "Conosci la risposta?". Chiede: "Vedere di più su questo argomento ti aiuta o ti confonde?". Se ti confonde, probabilmente conoscevi già la risposta a memoria. Questo aiuta la comunità dell'IA a fidarsi di più dei punteggi dei benchmark e garantisce che i modelli siano giudicati sulla loro capacità di imparare, non solo sulla loro capacità di memorizzare.

Riepilogo Tecnico: Rilevamento della Contaminazione tramite Contesto (CoDeC)

Definizione del Problema

L'integrità della valutazione dei Modelli Linguistici di Grandi Dimensioni (LLM) è sempre più compromessa dalla contaminazione dei dati, ovvero dalla sovrapposizione tra i dati di addestramento e i dataset di benchmark. Ciò porta a metriche di prestazioni gonfiate, guidate dalla memorizzazione piuttosto che da una genuina generalizzazione. I metodi di rilevamento esistenti presentano limitazioni significative:

Gli approcci basati sulla perdita (ad es. Vanilla Loss, Min-K%) spesso non riescono a distinguere tra dati contaminati e dati genuinamente semplici, richiedendo un'estesa sintonizzazione dei parametri e riferimenti esterni.
I controlli espliciti di sovrapposizione richiedono l'accesso ai corpora di addestramento, che raramente sono disponibili per i modelli open-weight.
Gli Attacchi di Inferenza dell'Appartenenza (MIA) spesso faticano in termini di scalabilità e interpretabilità, in particolare per i grandi modelli addestrati su corpora massicci.

Vi è un bisogno critico di un metodo automatizzato, scalabile e agnostico rispetto al modello per rilevare la contaminazione a livello di dataset senza richiedere l'accesso ai dati di addestramento o a modelli di riferimento esterni.

Metodologia: Rilevamento della Contaminazione tramite Contesto (CoDeC)

CoDeC è un metodo pratico che sfrutta l'Apprendimento in Contesto (ICL) per quantificare la contaminazione. Opera sulla constatazione che gli LLM reagiscono diversamente agli esempi in contesto a seconda che il dataset sia stato visto durante l'addestramento.

Ipotesi di Base

Dataset Non Visti: Quando un modello incontra un dataset che non ha mai visto, l'aggiunta di esempi in contesto provenienti dallo stesso dataset fornisce nuove informazioni (stile, struttura, vocabolario), tipicamente aumentando la confidenza del modello (log-probabilità) sui token target.
Dataset Contaminati (Visti): Se il modello ha memorizzato il dataset, gli esempi in contesto non forniscono nuove informazioni. Inoltre, questi esempi possono interrompere i pattern di memorizzazione, portando a una riduzione della confidenza rispetto alla linea di base (senza contesto).

La Pipeline CoDeC

Il metodo richiede solo accesso gray-box (probabilità dei token) e segue quattro passaggi:

Predizione di Base: Per ogni punto dati $x$ in un dataset sospetto $\mathcal{D}$ , calcolare la log-verosimiglianza media del modello sui token consecutivi.
Predizione in Contesto: Campionare $n$ esempi aggiuntivi da $\mathcal{D} \setminus \{x\}$ , preporli a $x$ e calcolare la log-verosimiglianza per $x$ in questo nuovo contesto.
Calcolo del Punteggio: Calcolare la differenza $\Delta(x) = \text{logprob}_{\text{in-context}}(x) - \text{logprob}_{\text{baseline}}(x)$ .
Aggregazione: Il punteggio di contaminazione $S_{\text{CoDeC}}(\mathcal{D})$ è la percentuale di campioni in cui $\Delta(x) < 0$ (cioè la confidenza è diminuita con il contesto).

$S_{\text{CoDeC}}(\mathcal{D}) = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}[\Delta(x_i) < 0]$

Proprietà Chiave

Agnostico rispetto al Modello: Funziona con qualsiasi architettura (Transformers, RNN, Mamba) e non richiede riaddestramento.
Senza Parametri: Non è necessaria alcuna sintonizzazione delle soglie; l'output è una percentuale intuitiva.
Efficiente: Richiede solo due passaggi in avanti per campione.
Robustezza: Rileva la contaminazione non solo da corrispondenze esatte, ma anche da distribuzioni correlate (ad es. dati generati sinteticamente, parafrasi o contenuti aumentati).

Contributi Chiave

Introduzione di CoDeC: Un metodo semplice e automatizzato per rilevare e quantificare la contaminazione dei dati di addestramento utilizzando le dinamiche dell'apprendimento in contesto.
Validazione Empirica: Dimostrazione che CoDeC ottiene una separazione quasi perfetta (AUC 99,9%) tra dataset visti e non visti su modelli diversi (Pythia, GPT-Neo, RWKV, OLMo, Nemotron) e architetture, superando le linee di base dello stato dell'arte (Vanilla Loss, Min-K%, Zlib Ratio).
Analisi delle Dinamiche di Contaminazione:
- Fase di Addestramento: I punteggi CoDeC aumentano bruscamente nelle prime fasi dell'addestramento (circa il 2% dei passaggi di addestramento), indicando una rapida memorizzazione delle priorità distribuzionali.
- Fine-tuning: Il fine-tuning su un dataset spinge costantemente i punteggi CoDeC sopra il 90%, confermando la sensibilità del metodo all'esposizione recente.
- Trasferimento di Contaminazione: Il metodo rileva il trasferimento di contaminazione tra benchmark correlati (ad es. da MMLU ad altri dataset di QA) ed è robusto contro semplici aumentazioni dei dati (rumore, cambiamenti negli spazi bianchi).
Valutazione Estesa: Applicazione di CoDeC a oltre 40 modelli open-weight recenti su benchmark ampiamente utilizzati (AIME, GSM8K, MMLU, ecc.), rivelando casi di potenziale contaminazione dove i modelli ottengono punteggi vicini o superiori alla soglia dell'80%.

Risultati

Potere di Separazione: CoDeC raggiunge un AUC a livello di dataset del 99,9% su tutti i modelli valutati, mentre le linee di base mostrano una sovrapposizione significativa tra distribuzioni viste e non viste (AUC che variano dal 64% al 92%).
Interpretazione del Punteggio:
- >80%: Forte evidenza di contaminazione (addestramento diretto o forte affidamento su priorità memorizzate).
- <20%: Tipico per dataset non visti, indicando generalizzazione.
- 20%–60%: Ambiguo; può indicare contaminazione parziale, esposizione a dati correlati o alta diversità del dataset che agisce come rumore.
Correlazione con la Dimensione del Modello: I modelli più grandi (ad es. 253B parametri) tendono a esibire punteggi di contaminazione più bassi rispetto ai corrispettivi più piccoli all'interno della stessa famiglia, suggerendo che una maggiore capacità facilita la generalizzazione rispetto alla memorizzazione.
Riscontri nel Mondo Reale: La valutazione ha identificato modelli specifici con punteggi di contaminazione elevati su benchmark come AIME 2024 e RewardBench v1, suggerendo potenziali fughe di dati o addestramento su dati sintetici strettamente correlati.

Significato e Affermazioni

Il documento posiziona CoDeC come uno strumento vitale per ripristinare la fiducia nel benchmarking degli LLM. La sua importanza risiede in:

Praticità: A differenza dei metodi precedenti, non richiede accesso ai corpora di addestramento, a modelli di riferimento esterni o a sintonizzazioni complesse, rendendolo immediatamente integrabile nelle pipeline di valutazione.
Interpretabilità: Il punteggio basato sulla percentuale fornisce una metrica chiara e azionabile per ricercatori e sviluppatori per valutare l'affidabilità dei risultati dei benchmark riportati.
Rilevamento di Contaminazione Sottile: Catturando l'interruzione dei pattern di memorizzazione, CoDeC identifica la contaminazione derivante da distribuzioni correlate e dati sintetici, che i controlli di sovrapposizione tradizionali spesso non rilevano.

Gli autori concludono che, sebbene punteggi CoDeC elevati (>80%) indichino una probabile contaminazione, i punteggi moderati dovrebbero essere interpretati tramite confronti tra modelli per distinguere tra effetti specifici del dataset e genuina memorizzazione. Il metodo supporta lo sviluppo di pratiche di valutazione più affidabili e aiuta a identificare i modelli che si basano sulla generalizzazione piuttosto che sulla memorizzazione mnemonica.