Technische Samenvatting: Het verhullen van Datacontaminatie door Vertaling: Bewijs uit Arabische Corpora

Probleemstelling

Datacontaminatie—waarbij benchmark-inhoud in de trainingscorpus van een model verschijnt—ondermijt de validiteit van de evaluatie van Large Language Models (LLM's) doordat modellen in staat worden gesteld om te vertrouwen op memorisatie in plaats van op werkelijke generalisatie. Hoewel detectiemethoden bestaan, zijn deze voornamelijk beperkt tot Engelse benchmarks en houden ze vaak geen rekening met meertalige dynamiek.

Dit paper onderzoekt een specifieke blinde vlek: of het vertalen van benchmarks naar een minder ondersteunde taal (Arabisch) fungeert als een natuurlijke barrière voor contaminatie of slechts de effecten van memorisatie verhult. De auteurs hypothetiseren dat vertaling de conventionele indicatoren van contaminatie kan onderdrukken, terwijl modellen nog steeds onevenredig profiteren van de blootstelling aan de vertaalde data, met name als het model over sterke capaciteiten in de doeltaal beschikt.

Methodologie

Experimentele Opzet

De studie verfijnde vier open-weight instructie-getunede modellen (Llama-3.2-1B, Mistral-7B, Gemma-3-1B en Qwen3-1.7B) met behulp van parameter-efficiënte fine-tuning (LoRA). De trainingscondities omvatten het mengen van de originele Engelse trainingsdata met variërende proporties (0%, 10%, 50%, 100%) van Arabisch-vertaalde testsets van twee benchmarks:

• MMLU: Meerkeuzevragen (MCQ).
• XQuAD: Extractive Question Answering (QA).

Modellen werden geëvalueerd op de originele Engelse splits van deze benchmarks.

Detectiemechanismen

Om redeneren te onderscheiden van memorisatie, gebruikten de auteurs drie complementaire signalen:

1. TS-Guessing (Tested Slot Guessing): Een uitgebreide methode die betrekking heeft op het herordenen van keuzes en maskering.
   • Voor MMLU: Antwoordopties worden gehusseld en één optie wordt gemaskeerd. Het model wordt geprompt om de gemaskeerde tekst of de originele index te voorspellen. Een hoge "Index Recall Rate" (IDR)—het voorspellen van de originele letter ondanks het husselen—duidt op een afhankelijkheid van gememoriseerde positionele patronen.
   • Voor XQuAD: Kritieke tokens in vragen worden gemaskeerd. Een Exact Match (EM) of een hoge ROUGE-L F1-score op het gemaskeerde token suggereert lekkage van de benchmark.
2. Min-K++ Waarschijnlijkheidsanalyse: Een likelihood-gebaseerde probe die de concentratie van lage-perplexiteit-tokens meet. Ongewoon zelfverzekerde token-waarschijnlijkheden (lage Min-K++ scores) ten opzichte van de hold-out data dienen als distributioneel bewijs van memorisatie.
3. Translation-Aware Contamination Detection (TACD): Een voorgesteld diagnostisch protocol dat geen toegang tot trainingsdata vereist. Het construeert meerdere evaluatieperspectieven voor elke instantie:
   • Cross-linguale perspectieven: Vertalingen naar Engels, Arabisch en Frans.
   • Structurele perturbatie: Willekeurige permutatie van antwoordopties binnen elk taalperspectief.
   • Signalen: Het berekent de Index Recall Rate (IDR) en Cross-Lingual Consistency (CLC) (het deel van de instanties waarbij de voorspellingen identiek zijn over alle taalperspectieven).

Belangrijkste Resultaten

Prestaties en Traditionele Signalen

• MMLU: De nauwkeurigheid nam monotoon toe met de contaminatieniveaus over alle modellen heen. TS-Guessing onthulde een verhoogde IDR voor LLaMA en Qwen bij hoge contaminatieniveaus, wat wijst op een afhankelijkheid van gememoriseerde antwoordposities. Min-K++ scheidde effectief schone van gecontamineerde modellen (AUROC daalde van ~0,6 naar ~0,33–0,44).
• XQuAD: De trends waren heterogeen. Terwijl Gemma en LLaMA een geleidelijke verbetering lieten zien, verslechterde Mistral bij meer dan 10% contaminatie. TS-Guessing toonde lage exact match-percentages maar een toenemende ROUGE-L F1, wat suggereert dat er gedeeltelijk herstel van de gemaskeerde inhoud plaatsvindt. De Min-K++ detectie was zwakker en minder consistent voor XQuAD vergeleken met MMLU.

Het Vertalingseffect

De studie vond dat het vertalen van benchmarks naar het Arabisch de conventionele indicatoren van contaminatie (zoals standaard Engelstalige controles) onderdrukte, terwijl modellen nog steeds profiteerden van de blootstelling.

• TACD Bevindingen:
  • LLaMA: Toonde een lage IDR en een geleidelijk toenemende cross-linguale consistentie met vergiftiging (poisoning).
  • Qwen: Vertoonde een perfecte cross-linguale consistentie (1.0) over alle vergiftigingsniveaus terwijl een bijna toevals-niveau IDR werd behouden, wat wijst op een modelspecifieke instorting waarbij voorspellingen zwak geconditioneerd zijn op de input-inhoud.
  • Gemma: Toonde een duidelijk regime waarin de IDR nabij de willekeurige baseline bleef, maar de cross-linguale consistentie monotoon toenam met vergiftiging. Dit geeft aan dat de vergiftigde blootstelling een representatieve invariantie over vertalingen induceerde zonder zich te manifesteren als expliciete index-recall—een signaal dat onzichtbaar is voor IDR alleen.

Belangrijkste Bijdragen

1. Bewijs van Verhulde Contaminatie: Het paper toont aan dat het vertalen van benchmarks naar het Arabisch traditionele contaminatiesignalen kan maskeren, terwijl het nog steeds de prestaties op de originele Engelse benchmarks kan opblazen. Dit onthult een kritieke blinde vlek in huidige Engelstalige evaluatiepipelines.
2. Uitbreiding van Detectiemethoden: De auteurs breiden TS-Guessing uit met een strategie voor het herordenen van keuzes en integreren Min-K% waarschijnlijkheidsanalyse om zowel gedragsmatige (positionele) als distributionele (waarschijnlijkheids-) contaminatiesignalen te vangen.
3. Voorstel van TACD: Het paper introduceert Translation-Aware Contamination Detection (TACD), een protocol dat contaminatie identificeert door signalen te vergelijken tussen meerdere vertaalde benchmark-varianten (Engels, Arabisch, Frans) en structurele perturbaties. TACD slaagt erin contaminatie bloot te leggen, zelfs wanneer Engelstalige methoden falen, met name door cross-linguale invariantie en modelspecifieke gedragsregimes te detecteren.

Betekenis en Claims

De auteurs stellen dat hun bevindingen de noodzaak benadrukken voor meertalige, vertalingsbewuste evaluatiepipelines. Ze argumenteren dat vertaling niet moet worden behandeld als een decontaminatiestrategie. In plaats daarvan moet de audit van contaminatie expliciet signalen vergelijken over vertaalde varianten en geaggregeerde metrieken koppelen aan gedragsmatige probes die robuust zijn tegen veranderingen in de oppervlaktevorm.

Het paper concludeert dat om een eerlijke, transparante en reproduceerbare beoordeling van LLM's te garanderen, de gemeenschap verder moet kijken dan de Engelstalige aannames. TACD wordt gepresenteerd, niet als een definitief bewijs van contaminatie, maar als een praktisch, reproduceerbaar instrument om onderscheid te maken tussen redeneringsgestuurde consistentie en memorisatie-consistente gedragingen in meertalige omgevingen.