Evaluating Latent Knowledge of Public Tabular Datasets in Large Language Models

1. Il Problema: Contaminazione dei Dati nelle Tabelle

Il lavoro affronta il problema della contaminazione dei dati (data contamination) nei Large Language Models (LLM), specificamente nel contesto dei dati tabulari.

• Definizione: La contaminazione si verifica quando un modello ha avuto accesso ai dati di test (o a dataset molto simili) durante la fase di pre-addestramento o post-addestramento. Questo porta a un'iperstima delle prestazioni, poiché il modello non sta generalizzando il compito, ma sta semplicemente "ricordando" o sfruttando la familiarità con il dataset.
• Il Gap Esistente: Mentre la contaminazione è stata studiata per i benchmark testuali (basati su sovrapposizione di n-grammi o quiz a scelta multipla), nel dominio tabulare gli approcci attuali si basano principalmente su test di memorizzazione verbatim (ricordo esatto di righe intere). Questi metodi sono considerati troppo "grossolani" (coarse) perché un modello può avere una conoscenza profonda di un dataset senza essere in grado di riprodurne le righe esatte, portando a falsi negativi nella rilevazione della contaminazione.
• Obiettivo: Sviluppare un framework per rilevare la contaminazione in dataset tabulari pubblici, distinguendo tra la vera capacità di generalizzazione e la conoscenza preesistente del dataset specifico.

2. Metodologia Proposta

Gli autori introducono un framework innovativo basato su query a scelta multipla allineate e varianti controllate del dataset. L'approccio non richiede che il modello riproduca le righe esatte, ma verifica se possiede conoscenze latenti specifiche del dataset.

A. Generazione di Varianti del Dataset

Per ogni dataset pubblico, vengono create quattro varianti strutturate per isolare diverse fonti di conoscenza:

1. Real (Reale): Il dataset originale, pulito e non modificato. È la condizione di riferimento.
2. Like (Simile): Ogni colonna viene risampata indipendentemente dalla sua distribuzione marginale empirica. Questo distrugge le dipendenze riga-per-riga (la struttura congiunta), preservando solo le regolarità a livello di colonna.
3. Swapped (Scambiato): Applica una biiezione all'interno delle colonne (es. per i dati categoriali, mappa ogni valore su un altro diverso da sé stesso; per i numerici, inverte l'intervallo). Preserva la struttura della riga e le co-occorrenze, ma rimuove il significato semantico dei valori specifici.
4. Obfuscated (Offuscato): Rimuove le chiavi semantiche superficiali. I nomi delle feature sono rinominati (es. f1, f2) e i valori categorici sono sostituiti da codici anonimi. Questo testa se il modello dipende dai nomi delle colonne o dai valori specifici piuttosto che dalla struttura relazionale.

B. Task di Valutazione (Probe)

Su queste varianti vengono generati due tipi di task a scelta multipla (5 opzioni):

1. Completion (Completamento): Una riga reale viene parzialmente mascherata (alcune colonne sostituite da ?). Il modello deve scegliere la combinazione corretta di valori mancanti tra le opzioni.
2. Existence (Esistenza): Vengono presentate 5 righe complete (una reale, 4 distrattori generati). Il modello deve identificare quale riga esiste realmente nel dataset.

C. Baseline e Test Statistico

Per evitare falsi positivi dovuti a semplici regolarità statistiche, il framework confronta le prestazioni dell'LLM con tre baseline non neurali:

• Random: Scelta casuale tra le 5 opzioni.
• Deterministic: Scelta basata sulla massima probabilità marginale delle colonne (basata sulla distribuzione empirica).
• Stochastic: Campionamento dalla distribuzione di probabilità delle colonne.

Viene utilizzato il test di McNemar per confrontare le prestazioni dell'LLM rispetto alle baseline. Se l'LLM supera significativamente la baseline random (e possibilmente quelle statistiche) sulla variante Real, ma non sulle varianti trasformate (o con un calo drastico), ciò è considerato evidenza di contaminazione specifica del dataset.

3. Contributi Chiave

1. Primo Framework per Tabulari: Introduzione del primo framework sistematico per valutare la contaminazione in dataset tabulari pubblici utilizzando un benchmark a scelta multipla duale (completamento ed esistenza).
2. Metodologia di Isolamento: Uso di varianti controllate (Real, Like, Swapped, Obfuscated) per distinguere tra conoscenza generale delle statistiche, conoscenza semantica e conoscenza specifica delle righe (contaminazione).
3. Baseline Non Neurali e Rigore Statistico: Integrazione di baseline statistiche e test di significatività per fornire criteri oggettivi, superando l'ambiguità dei semplici test di memorizzazione.
4. Registro di Contaminazione: Creazione di un registro empirico che mappa quali dataset e modelli sono contaminati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 8 dataset pubblici (Adult, Blood, Credit, Diabetes, Gamma, Iris, Mushroom, Titanic) e 7 modelli LLM (Mistral, Qwen, Llama, GPT-OSS) di diverse dimensioni.

• Evidenza di Contaminazione: Il framework ha rilevato contaminazione significativa in 4 su 8 dataset (in particolare Titanic, Adult, Credit e Iris).
• Confronto con Metodi Esistenti: I metodi basati sulla memorizzazione verbatim (es. Bordt et al., 2024) hanno fallito nel rilevare la contaminazione su dataset come Adult e Titanic (ottenendo quasi zero accuratezza di ricostruzione), mentre il nuovo framework ha rilevato segnali chiari. Questo dimostra che la memorizzazione esatta è un proxy insufficiente.
• Analisi delle Varianti:
  • Le prestazioni sono alte su Real ma crollano su Swapped e Obfuscated, indicando che il modello sfrutta la struttura specifica e la semantica originale del dataset, non solo regolarità generali.
  • Le prestazioni su Like rimangono relativamente alte, suggerendo che parte del vantaggio deriva dalla conoscenza delle distribuzioni marginali, ma il gap con le varianti offuscate conferma la contaminazione.
• Effetto della Scala: I segnali di contaminazione tendono ad essere più forti e rilevabili nei modelli di dimensioni maggiori (es. Llama-70B, Qwen-32B), suggerendo che i modelli più grandi sono più capaci di sfruttare l'esposizione pregressa ai dati.
• Casi Negativi: Su dataset come Mushroom e Synthetic, il framework non ha rilevato contaminazione, dimostrando la sua capacità di non generare falsi positivi indiscriminati.

5. Significato e Implicazioni

• Rivalutazione delle Prestazioni: I risultati suggeriscono che le prestazioni riportate su benchmark tabulari pubblici potrebbero essere significativamente gonfiate a causa della contaminazione. Le affermazioni di progresso nella generalizzazione potrebbero essere fuorvianti.
• Bias nei Confronti: La contaminazione può distorcere i confronti tra modelli di diverse dimensioni, rendendo i modelli più grandi apparentemente superiori non per una migliore capacità di generalizzazione, ma per una maggiore capacità di "sfruttare" la conoscenza preesistente.
• Nuovo Standard di Valutazione: Il paper sostiene che la valutazione della contaminazione dovrebbe diventare una pratica standard per qualsiasi studio che utilizzi dataset tabulari pubblici. I dataset contaminati non devono essere necessariamente scartati, ma i loro risultati devono essere interpretati con cautela e dichiarati esplicitamente.
• Limiti: Il framework può dimostrare la presenza di contaminazione, ma non la sua assenza (un risultato negativo indica solo l'assenza di prove, non la certezza di non aver mai visto i dati). Inoltre, la sensibilità dipende dalla difficoltà del probe (il completamento è più sensibile dell'esistenza).

In sintesi, questo lavoro fornisce uno strumento metodologico cruciale per "pulire" la valutazione degli LLM sui dati tabulari, rivelando che la contaminazione è un problema reale e sottostimato che minaccia la validità delle attuali ricerche nel campo.