Riepilogo Tecnico: SrDetection

Problematica

La valutazione dei Code Large Language Models (Code LLM) è sempre più compromessa dal data leakage (dispersione di dati), in cui i campioni dei benchmark vengono involontariamente inclusi nel corpus di pre-addestramento di un modello. Quando i modelli memorizzano questi campioni, le loro metriche di performance risultano artificialmente gonfiate, riflettendo la memorizzazione piuttosto che una genuina capacità di generalizzazione. Ciò mina l'equità del confronto tra i modelli e complica la valutazione della vera innovazione.

I metodi di rilevamento esistenti soffrono di tre limitazioni primarie:

1. Dipendenza da Dati Proprietari: I metodi basati sulla sovrapposizione (ad es., il matching n-gram) richiedono l'accesso ai corpora di addestramento del modello, che sono tipicamente proprietari e non divulgati.
2. Euristiche Fragili: Il filtraggio basato sul timestamp assume che il codice rilasciato dopo la data di cutoff dell'addestramento del modello non possa far parte del corpus. Questo fallisce nella pratica a causa del riutilizzo del codice, dell'ereditarietà e del forking.
3. Instabilità delle Soglie: Gli approcci basati sulla confidenza (ad es., la Perplessità) si affidano a set di riferimento esterni per calibrare le soglie decisionali. Queste soglie sono spesso tarate su dati di linguaggio naturale e non si generalizzano bene alle regolarità strutturali del codice, oppure si affidano alle stesse e fallaci euristiche temporali.

Metodologia: SrDetection

Gli autori propongono SrDetection, un framework unificato e autoriferito per il rilevamento del data leakage sia in contesti gray-box (accesso ai logit del modello) che black-box (accesso solo agli output del modello). L'ipotesi centrale è che se un modello ha memorizzato un campione di codice specifico, esibirà un comportamento significativamente più prevedibile (perplessità inferiore o maggiore somiglianza di generazione) sulla forma superficiale originale rispetto a varianti semanticamente equivalenti.

Il framework opera in due fasi principali:

1. Modulo di Trasformazione del Codice

Questo modulo genera un insieme di $n$ varianti semanticamente equivalenti ($V = \{x_1, ..., x_n\}$) da un campione benchmark originale ($x_0$) utilizzando un LLM ausiliario. Le trasformazioni sono minime e localizzate per preservare il comportamento di esecuzione pur alterando le forme lessicali e sintattiche:

• Ridenominazione del Nome della Funzione ($\tau_f$): Sostituisce i nomi delle funzioni e i siti di chiamata con alternative semanticamente equivalenti (ad es., solve $\to$ compute).
• Ridenominazione delle Variabili ($\tau_v$): Sostituisce sistematicamente gli identificatori e i parametri delle variabili (ad es., nums $\to$ arr).
• Trasformazione dei Casi di Test ($\tau_t$): Genera nuovi input di test semanticamente simili agli originali, li valida tramite esecuzione e sostituisce i casi di test originali.

2. Modulo di Decisione sul Leakage

Il framework confronta il comportamento del modello sul campione originale ($x_0$) rispetto alle sue varianti ($V$) senza fare affidamento su soglie esterne.

• Setting Gray-box (basato sulla Perplessità):
  Il punteggio di rilevamento $S_M(x)$ è la Perplessità (PPL) del campione. Se il modello ha memorizzato $x_0$, la sua PPL sarà inferiore rispetto a quella di qualsiasi variante.
  $$\text{Leakage}_{gray}(x_0) = \mathbb{I}[S_M(x_0) < \min_{x_i \in V} S_M(x_i)]$$
  Dove $\mathbb{I}$ è la funzione indicatrice.

• Setting Black-box (basato sulla Somiglianza di Generazione):
  Il punteggio di rilevamento $S_M(x)$ è la Sovrapposizione N-gram (NGO) tra il suffisso generato dal modello e il suffisso di verità fondamentale (ground-truth) quando viene fornito un prefisso. Se memorizzato, il modello genera un suffisso più vicino alla verità fondamentale per la forma originale rispetto alle varianti.
  $$\text{Leakage}_{black}(x_0) = \mathbb{I}[S_M(x_0) > \max_{x_i \in V} S_M(x_i)]$$

Costruzione del Testbed Controllato

Per valutare rigorosamente questi metodi, gli autori hanno costruito un testbed di leakage controllato:

1. Preparazione del Dataset: Un benchmark di codice pubblico è stato filtrato per rimuovere i campioni che mostravano già segni di leakage (dove l'originale era già il più semplice tra le varianti).
2. Leakage Simulato: I modelli sono stati sottoposti a pre-addestramento continuo su un sottoinsieme dei dati (la partizione di "addestramento") mescolato con un corpus web generale, mentre il restante dato fungeva da set di test "held-out". Ciò crea una verità fondamentale dove il leakage è esplicitamente controllato e noto.

Contributi Chiave

1. Framework Autoriferito: SrDetection elimina la necessità di dati di riferimento esterni o soglie definite manualmente, utilizzando il contrasto intra-campione tra uno snippet di codice e le sue varianti che preservano la semantica.
2. Augmentation Automatica: Un metodo su misura per generare varianti di codice che espongono la memorizzazione sotto comuni modifiche (rinomina, refactoring) preservando al contempo la funzionalità semantica.
3. Valutazione Controllata: L'introduzione di un testbed basato sull'addestramento che consente una misurazione precisa delle prestazioni di rilevamento del leakage attraverso diversi modelli e fasi di addestramento, evitando l'inaffidabilità delle euristiche temporali.

Risultati Sperimentali

Gli autori hanno valutato SrDetection contro forti baseline (ad es., PPL, Min-K% Prob, Zlib, VeilProbe, DPDLLM) su modelli Qwen2.5 e LLaMA3.1 sottoposti a pre-addestramento continuo.

• Guadagni di Performance: SrDetection ha superato significativamente le baseline.
  • Gray-box: Ha migliorato l'F1 medio di 21,52 punti rispetto alle forti baseline.
  • Black-box: Ha migliorato l'F1 medio di 14,46 punti.
• Robustezza: A differenza delle baseline che mostravano prestazioni instabili o dipendenti da specifici epoch, SrDetection è rimasto costante attraverso diversi modelli e fasi di addestramento.
• Sensibilità: Le prestazioni migliorano con un numero maggiore di varianti ($n$), e il metodo rimane stabile attraverso diversi rapporti di miscelazione codice-testo nel corpus di pre-addestramento.
• Applicazione nel Mondo Reale: Uno studio su 15 Code LLM ampiamente utilizzati su quattro benchmark (APPS, HumanEval, MBPP, BigCodeBench) ha rivelato pattern di leakage specifici per ogni benchmark. In particolare, BigCodeBench ha mostrato alti tassi di leakage nell'impostazione gray-box, suggerendo che il rilevamento basato sul comportamento può identificare contaminazioni che sfuggono all'analisi di stretta sovrapposizione.

Significato e Rivendicazioni

L'articolo sostiene che SrDetection affronta una lacuna critica nella valutazione dei Code LLM fornendo un meccanismo di rilevamento indipendente dalle soglie e indipendente dal corpus. Riformulando il rilevamento del leakage come un problema autoriferito, il metodo evita la fragilità delle assunzioni temporali e l'inaccessibilità dei dati di addestramento.

Gli autori affermano che le loro scoperte dimostrano che il leakage non è meramente un artefatto marginale, ma un confondente sistematico nelle attuali pratiche di valutazione. La capacità di rilevare il leakage senza riferimenti esterni suggerisce che i pattern di contaminazione specifici dei benchmark sono più prevalenti e complessi di quanto precedentemente compreso attraverso le analisi di sola sovrapposizione. Il lavoro sottolinea la necessità di una progettazione e segnalazione dei benchmark consapevole del leakage per garantire l'affidabilità delle valutazioni dei Code LLM.