Riepilogo Tecnico: L'Oscuramento della Contaminazione dei Dati attraverso la Traduzione: Evidenze da Corpora Arabi

Problematica

La contaminazione dei dati — ovvero quando il contenuto di un benchmark appare nel corpus di addestramento di un modello — mina la validità della valutazione dei Large Language Model (LLM), permettendo ai modelli di fare affidamento sulla memorizzazione piuttosto che su una genuina generalizzazione. Sebbene esistano metodi di rilevamento, essi sono prevalentemente limitati ai benchmark in inglese e spesso non tengono conto delle dinamiche multilingue.

Questo articolo investiga un punto cieco specifico: se la traduzione dei benchmark in una lingua a basse risorse (l'arabo) agisca come una barriera naturale alla contaminazione o se occulti semplicemente gli effetti della memorizzazione. Gli autori ipotizzano che la traduzione possa sopprimere gli indicatori convenzionali di contaminazione, mentre i modelli continuano a beneficiare sproporzionalmente dell'esposizione ai dati tradotti, specialmente se il modello possiede forti capacità nella lingua di destinazione.

Metodologia

Configurazione Sperimentale

Lo studio ha sottoposto un fine-tuning a quattro modelli open-weight istruiti (Llama-3.2-1B, Mistral-7B, Gemma-3-1B e Qwen3-1.7B) utilizzando il parameter-efficient fine-tuning (LoRA). Le condizioni di addestramento prevedevano la miscelazione dei dati di addestramento originali in inglese con proporzioni variabili (0%, 10%, 50%, 100%) di set di test tradotti in arabo da due benchmark:

• MMLU: Domande a scelta multipla (MCQ).
• XQuAD: Question Answering (QA) estrattivo.

I modelli sono stati valutati sugli split originali in inglese di questi benchmark.

Meccanismi di Rilevamento

Per separare il ragionamento dalla memorizzazione, gli autori hanno impiegato tre segnali complementari:

1. TS-Guessing (Tested Slot Guessing): Un metodo esteso che prevede il riordinamento delle scelte e l'oscuramento (masking).
   • Per MMLU: Le opzioni di risposta vengono rimescolate e un'opzione viene oscurata. Il modello viene istruito per predire il testo oscurato o l'indice originale. Un alto "Index Recall Rate" (IDR) — predire la lettera originale nonostante il rimescolamento — indica l'affidamento a pattern posizionali memorizzati.
   • Per XQuAD: Token critici nelle domande vengono oscurati. Un Exact Match (EM) o punteggi ROUGE-L F1 elevati sul token oscurato suggeriscono la fuga (leakage) del benchmark.
2. Analisi della Probabilità Min-K++: Una sonda basata sulla verosimiglianza che misura la concentrazione di token a bassa perplessità. Probabilità di token insolitamente sicure (punteggi Min-K++ bassi) rispetto ai dati non utilizzati per l'addestramento (held-out data) fungono da evidenza distributiva di memorizzazione.
3. Translation-Aware Contamination Detection (TACD): Un protocollo diagnostico proposto che non richiede l'accesso ai dati di addestramento. Costruisce molteplici viste di valutazione per ogni istanza:
   • Viste cross-lingue: Traduzioni in inglese, arabo e francese.
   • Perturbazione strutturale: Permutazione casuale delle opzioni di risposta all'interno di ogni vista linguistica.
   • Segnali: Calcola l'Index Recall Rate (IDR) e la Cross-Lingual Consistency (CLC) (la frazione di istanze in cui le predizioni sono identiche in tutte le viste linguistiche).

Risultati Chiave

Performance e Segnali Tradizionali

• MMLU: L'accuratezza è aumentata monotonicamente con i livelli di contaminazione in tutti i modelli. Il TS-Guessing ha rivelato un IDR elevato per LLaMA e Qwen ad alti livelli di contaminazione, indicando l'affidamento su posizioni di risposta memorizzate. Il Min-K++ ha separato efficacemente i modelli puliti da quelli contaminati (l'AUROC è sceso da ~0.6 a ~0.33–0.44).
• XQuAD: I trend sono stati eterogenei. Mentre Gemma e LLaMA hanno mostrato un miglioramento graduale, Mistral è degradato oltre il 10% di contaminazione. Il TS-Guessing ha mostrato bassi tassi di Exact Match ma un crescente ROUGE-L F1, suggerendo un recupero parziale del contenuto oscurato. Il rilevamento tramite Min-K++ è stato più debole e meno consistente per XQuAD rispetto a MMLU.

L'Effetto della Traduzione

Lo studio ha scoperto che la traduzione dei benchmark in arabo ha soppresso i convenzionali indicatori di contaminazione (come i controlli standard solo in inglese), pur permettendo ai modelli di beneficiare comunque dell'esposizione.

• Risultati TACD:
  • LLaMA: Ha mostrato un basso IDR e una cross-lingual consistency in graduale aumento con il poisoning.
  • Qwen: Ha esibito una perfetta cross-lingual consistency (1.0) attraverso tutti i livelli di poisoning pur mantenendo un IDR vicino al caso (near-chance), suggerendo un collasso specifico del modello in cui le predizioni sono debolmente condizionate dal contenuto dell'input.
  • Gemma: Ha mostrato un regime distinto in cui l'IDR rimaneva vicino al baseline casuale, ma la cross-lingual consistency aumentava monotonicamente con il poisoning. Ciò indica che l'esposizione avvelenata (poisoned exposure) ha indotto un'invarianza rappresentazionale tra le traduzioni senza manifestarsi come un esplicito richiamo di indice — un segnale invisibile al solo IDR.

Contributi Chiave

1. Evidenza di Contaminazione Oscurata: Il documento dimostra che tradurre i benchmark in arabo può mascherare i segnali tradizionali di contaminazione pur gonfiando le performance sui benchmark originali in inglese. Ciò rivela un punto cieco critico nelle attuali pipeline di valutazione incentrate sull'inglese.
2. Estensione dei Metodi di Rilevamento: Gli autori estendono il TS-Guessing con una strategia di riordinamento delle scelte e integrano l'analisi della probabilità Min-K% per catturare sia i segnali di contaminazione comportamentali (posizionali) che quelli distributivi (di verosimiglianza).
3. Proposta di TACD: Il documento introduce il Translation-Aware Contamination Detection (TACD), un protocollo che identifica la contaminazione confrontando i segnali attraverso molteplici varianti tradotte del benchmark (inglese, arabo, francese) e perturbazioni strutturali. Il TACD espone con successo la contaminazione anche quando i metodi esclusivamente in inglese falliscono, in particolare rilevando l'invarianza cross-lingue e i regimi comportamentali specifici del modello.

Significato e Rivendicazioni

Gli autori affermano che i loro risultati evidenziano la necessità di pipeline di valutazione multilingue e consapevoli della traduzione. Sostengono che la traduzione non debba essere trattata come una strategia di decontaminazione. Al contrario, l'audit della contaminazione deve confrontare esplicitamente i segnali tra le varianti tradotte e accoppiare metriche aggregate con sonde comportamentali robuste ai cambiamenti della forma superficiale.

Il documento conclude che, per garantire una valutazione equa, trasparente e riproducibile degli LLM, la comunità deve andare oltre le assunzioni esclusivamente anglofone. Il TACD è presentato non come una prova definitiva di contaminazione, ma come uno strumento pratico e riproducibile per distinguere la coerenza guidata dal ragionamento dal comportamento coerente con la memorizzazione in contesti multilingue.