💬 NLP

Detecting Data Contamination in LLMs via In-Context Learning

Het artikel introduceert CoDeC, een praktische en geautomatiseerde methode die trainingdata-contaminatie in grote taalmodellen detecteert en kwantificeert door te analyseren hoe contextueel leren de modelvertrouwen beïnvloedt, waarbij onderscheid wordt gemaakt tussen uit het trainingsmateriaal onthouden gegevens en ongezette verdelingen.

Oorspronkelijke auteurs: Michał Zawalski, Meriem Boubdir, Klaudia Bałazy, Besmira Nushi, Pablo Ribalta

Gepubliceerd 2026-05-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Michał Zawalski, Meriem Boubdir, Klaudia Bałazy, Besmira Nushi, Pablo Ribalta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die het examen van een leerling nakijkt. Je wilt weten: Heeft deze leerling het materiaal daadwerkelijk geleerd, of heeft hij/zij de antwoorden gewoon uit een gelekte antwoordkey uit het hoofd geleerd?

Lange tijd was het controleren of Large Language Models (LLM's) hebben "gevalst" door hun toetsvragen tijdens het trainen uit het hoofd te leren, vergelijkbaar met het zoeken naar een speld in een hooiberg. Traditionele methoden waren traag, vereisten toegang tot de geheime trainingsbestanden van het model, of gaven verwarrende resultaten.

Dit artikel introduceert een nieuwe, eenvoudige tool genaamd CoDeC (Contamination Detection via Context). Denk aan CoDeC als een "Verrassingstest met een Hint".

De Kernidee: De "Hint"-test

Zo werkt CoDeC, gebruikmakend van een eenvoudige analogie:

1. Het "Ongezien" Scenario (De Eerlijke Leerling)
Stel je voor dat je een leerling een wiskundeprobleem stelt die hij/zij nog nooit heeft gezien.

Zonder hint: Hij/zij heeft misschien even moeite.
Met een hint: Je toont hem/haar een vergelijkbaar probleem dat hij/zij ook nog nooit heeft gezien. Plotseling krijgt hij/zij een "lampje moment". De hint helpt hem/haar de stijl van de vraag te begrijpen, en hij/zij antwoordt met meer vertrouwen.
CoDeC's Observatie: Wanneer een model een dataset ziet die het niet heeft uit het hoofd geleerd, werken voorbeelden uit diezelfde dataset als een nuttige hint. Het model wordt slimmer en krijgt meer vertrouwen.

2. Het "Uit het hoofd geleerde" Scenario (De Valstende Leerling)
Stel je nu voor dat je de leerling een probleem stelt die hij/zij al uit het hoofd heeft geleerd uit een gelekte antwoordkey.

Zonder hint: Hij/zij reciteert het antwoord perfect omdat hij/zij het uit het hoofd kent.
Met een hint: Je toont hem/haar een ander probleem uit dezelfde gelekte key. In plaats van te helpen, verwart deze nieuwe informatie hem/haar. Waarom? Omdat zijn/haar brein vastzit in de "recitatie-modus". De nieuwe hint verstoort zijn/haar stijve geheugenpatroon, waardoor hij/zij struikelt en antwoordt met minder vertrouwen.
CoDeC's Observatie: Wanneer een model de data uit het hoofd heeft geleerd, verlaagt het toevoegen van meer voorbeelden uit diezelfde data eigenlijk zijn/haar vertrouwen, omdat het zijn/haar memorisatie-rhythme verstoort.

Hoe CoDeC dit Meet

De methode is verrassend eenvoudig en geautomatiseerd:

Neem een vraag uit een dataset waarvan je vermoedt dat deze in de trainingsdata van het model zit.
Vraag het model om het te beantwoorden (Meet zijn/haar vertrouwen).
Voeg een "hint" toe: Zet een paar andere willekeurige vragen uit die zelfde dataset direct voor de doelvraag.
Vraag het model opnieuw: Gaat zijn/haar vertrouwen omhoog of omlaag?
- Vertrouwen gaat OMHOOG? Het model is waarschijnlijk schoon (het leert van de context).
- Vertrouwen gaat OMLAAG? Het model is waarschijnlijk verontreinigd (het leert uit het hoofd, en de extra context verstoort het).

Door dit te doen voor honderden vragen, geeft CoDeC je een percentage score.

0–20%: Het model is waarschijnlijk eerlijk; het redeneert, niet uit het hoofd lerend.
80–100%: Het model heeft deze dataset waarschijnlijk uit het hoofd geleerd. Het "valst".

Waarom dit een Groot Ding is

Geen Geheime Sleutels Nodig: Je hoeft de trainingsbestanden van het model niet te zien (die vaak geheim zijn). Je hoeft alleen maar met het model te praten.
Het Werkt Overal: Het werkt op wiskundetoetsen, programmeeruitdagingen en algemene kennisvragen.
Het Vangt "Zacht" Valsten: Het vangt niet alleen exacte kopieën. Het vangt modellen die zeer vergelijkbare data hebben gezien (zoals een herschreven versie van een toetsvraag of een synthetische versie van een benchmark). Als het model de "sfeer" van de toets uit het hoofd heeft geleerd, zal CoDeC het vangen.

Wat de Auteurs Vonden

De onderzoekers testten CoDeC op tientallen modellen, waaronder sommige met openbare trainingsdata (zodat ze de waarheid kenden) en sommige met geheime trainingsdata.

De Resultaten: CoDeC was ongelooflijk accuraat (99,9% nauwkeurigheid in het onderscheiden van geziene versus ongeziene data).
De Baselines: Oudere methoden (zoals controleren hoe "gemakkelijk" het model de vraag vindt) faalden om de valsters te scheiden van de eerlijke leerlingen.
Real-World Bevindingen: Toen ze CoDeC toepasten op populaire, recente modellen, vonden ze meerdere gevallen waarin modellen zeer hoog scoorden op specifieke benchmarks, wat suggereert dat die modellen de toetsdata (of zeer vergelijkbare data) waarschijnlijk tijdens hun training hadden gezien.

De Conclusie

CoDeC is als een leugendetector voor AI-benchmarks. Het vraagt niet alleen, "Ken je het antwoord?" Het vraagt, "Helpt het zien van meer van dit onderwerp je, of verward het je?" Als het je verward, wist je het antwoord waarschijnlijk al uit het hoofd. Dit helpt de AI-gemeenschap om benchmark-scores meer te vertrouwen en zorgt ervoor dat modellen worden beoordeeld op hun vermogen om te leren, niet alleen op hun vermogen om uit het hoofd te leren.

Technische Samenvatting: Detectie van Verontreiniging via Context (CoDeC)

Probleemdefinitie

De integriteit van evaluaties van Large Language Models (LLM's) wordt steeds meer ondermijnd door data-verontreiniging, waarbij trainingsdata overlapt met benchmarkdatasets. Dit leidt tot opgeblazen prestatiemetrics die worden gedreven door memorisatie in plaats van echte generalisatie. Bestaande detectiemethoden staan voor aanzienlijke beperkingen:

Loss-gebaseerde benaderingen (bijv. Vanilla Loss, Min-K%) kunnen vaak geen onderscheid maken tussen verontreinigde data en echt makkelijke data, wat uitgebreide parameterafstelling en externe referenties vereist.
Expliciete overlapcontroles vereisen toegang tot trainingscorpora, wat zelden beschikbaar is voor open-weight modellen.
Membership Inference Attacks (MIAs) hebben vaak moeite met schaalbaarheid en interpreteerbaarheid, met name voor grote modellen die zijn getraind op enorme corpora.

Er is een kritieke behoefte aan een geautomatiseerde, schaalbare en model-onafhankelijke methode om verontreiniging op datasetniveau te detecteren zonder toegang tot trainingsdata of externe referentiemodellen.

Methodologie: Detectie van Verontreiniging via Context (CoDeC)

CoDeC is een praktische methode die In-Context Learning (ICL) benut om verontreiniging te kwantificeren. Het werkt op de observatie dat LLM's verschillend reageren op contextvoorbeelden, afhankelijk van of het dataset tijdens de training is gezien.

Kernhypothese

Ongeziene Datasets: Wanneer een model een dataset tegenkomt die het niet heeft gezien, biedt het toevoegen van contextvoorbeelden uit diezelfde dataset nieuwe informatie (stijl, structuur, vocabulaire), wat typisch de vertrouwdheid (log-probabiliteiten) van het model op doeltokens verhoogt.
Verontreinigde (Geziene) Datasets: Als het model het dataset heeft gememoriseerd, bieden contextvoorbeelden geen nieuwe informatie. Bovendien kunnen deze voorbeelden memorisatiepatronen verstoren, wat leidt tot een verlaging van de vertrouwdheid in vergelijking met de baseline (geen context).

De CoDeC-pijplijn

De methode vereist alleen gray-box-toegang (tokenprobabiliteiten) en volgt vier stappen:

Baselinevoorspelling: Voor elk datapunt $x$ in een verdacht dataset $\mathcal{D}$ , bereken de gemiddelde log-likelihood van het model op opeenvolgende tokens.
In-Context-voorspelling: Steek $n$ extra voorbeelden uit $\mathcal{D} \setminus \{x\}$ , voeg deze voor $x$ toe en bereken de log-likelihood voor $x$ in deze nieuwe context.
Scoreberekening: Bereken het verschil $\Delta(x) = \text{logprob}_{\text{in-context}}(x) - \text{logprob}_{\text{baseline}}(x)$ .
Aggregatie: De verontreinigingsscore $S_{\text{CoDeC}}(\mathcal{D})$ is het percentage van de steekproeven waarbij $\Delta(x) < 0$ (d.w.z. de vertrouwdheid daalde met context).

$S_{\text{CoDeC}}(\mathcal{D}) = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}[\Delta(x_i) < 0]$

Belangrijkste Eigenschappen

Model-onafhankelijk: Werkt met elke architectuur (Transformers, RNN's, Mamba) en vereist geen hertraining.
Parameterloos: Er is geen afstelling van drempels vereist; de output is een intuïtief percentage.
Efficiënt: Vereist slechts twee forward passes per steekproef.
Robuustheid: Detecteert verontreiniging niet alleen bij exacte matches, maar ook bij gerelateerde distributies (bijv. synthetisch gegenereerde data, parafrases of verrijkte content).

Belangrijkste Bijdragen

Introductie van CoDeC: Een eenvoudige, geautomatiseerde methode voor het detecteren en kwantificeren van verontreiniging van trainingsdata met behulp van dynamieken van in-context learning.
Empirische Validatie: Demonstratie dat CoDeC een bijna perfecte scheiding (AUC 99,9%) bereikt tussen geziene en ongeziene datasets over diverse modellen (Pythia, GPT-Neo, RWKV, OLMo, Nemotron) en architecturen, en dat het state-of-the-art baselines (Vanilla Loss, Min-K%, Zlib Ratio) overtreft.
Analyse van Verontreinigingsdynamiek:
- Trainingsfase: CoDeC-scores stijgen scherp tijdens de vroege fasen van training (ongeveer 2% van de trainingsstappen), wat wijst op snelle memorisatie van distributie-prioriteiten.
- Fine-tuning: Fine-tuning op een dataset drijft CoDeC-scores consequent boven de 90%, wat de gevoeligheid van de methode voor recente blootstelling bevestigt.
- Overdracht van Verontreiniging: De methode detecteert overdracht van verontreiniging tussen gerelateerde benchmarks (bijv. van MMLU naar andere QA-datasets) en is robuust tegen eenvoudige data-augmentaties (ruis, wijzigingen in witruimte).
Brede Evaluatie: Toepassing van CoDeC op meer dan 40 recente open-weight modellen op veelgebruikte benchmarks (AIME, GSM8K, MMLU, enz.), waarbij gevallen van potentiële verontreiniging werden blootgelegd waarbij modellen scores behaalden die dicht bij of boven de 80%-drempel lagen.

Resultaten

Scheidingsvermogen: CoDeC bereikt een AUC op datasetniveau van 99,9% over alle geëvalueerde modellen, terwijl baselines aanzienlijke overlap tonen tussen geziene en ongeziene distributies (AUC's variërend van 64% tot 92%).
Interpretatie van Scores:
- >80%: Sterk bewijs van verontreiniging (directe training of zware reliance op gememoriseerde prioriteiten).
- <20%: Typisch voor ongeziene datasets, wat generalisatie aangeeft.
- 20%–60%: Dubbelzinnig; kan wijzen op gedeeltelijke verontreiniging, blootstelling aan gerelateerde data, of hoge datasetdiversiteit die als ruis werkt.
Correlatie met Modelgrootte: Grotere modellen (bijv. 253B parameters) vertonen de neiging om lagere verontreinigingsscores te hebben dan kleinere tegenhangers binnen dezelfde familie, wat suggereert dat een toegenomen capaciteit generalisatie boven memorisatie faciliteert.
Real-World Bevindingen: De evaluatie identificeerde specifieke modellen met hoge verontreinigingsscores op benchmarks zoals AIME 2024 en RewardBench v1, wat wijst op potentiële datalekken of training op nauw gerelateerde synthetische data.

Betekenis en Claims

Het artikel positioneert CoDeC als een essentieel hulpmiddel om het vertrouwen in LLM-benchmarking te herstellen. De betekenis ligt in:

Praktijkgerichtheid: In tegenstelling tot eerdere methoden vereist het geen toegang tot trainingscorpora, externe referentiemodellen of complexe afstelling, waardoor het direct integreerbaar is in evaluatiepijplijnen.
Interpreteerbaarheid: De op percentages gebaseerde score biedt een duidelijke, actieerbare metric voor onderzoekers en ontwikkelaars om de betrouwbaarheid van gerapporteerde benchmarkresultaten te beoordelen.
Detectie van Subtiele Verontreiniging: Door de verstoring van memorisatiepatronen te vangen, identificeert CoDeC verontreiniging die voortkomt uit gerelateerde distributies en synthetische data, wat traditionele overlapcontroles vaak missen.

De auteurs concluderen dat terwijl hoge CoDeC-scores (>80%) op waarschijnlijke verontreiniging wijzen, gematigde scores via cross-model vergelijking moeten worden geïnterpreteerd om onderscheid te maken tussen dataset-specifieke effecten en echte memorisatie. De methode ondersteunt de ontwikkeling van betrouwbaardere evaluatiepraktijken en helpt modellen te identificeren die vertrouwen op generalisatie in plaats van rote memorisatie.