💬 NLP

SrDetection: A Self-Referential Framework for Data Leakage Detection in Code Large Language Models

Het artikel introduceert SrDetection, een zelfreferentieel raamwerk dat datalekken in Code Large Language Models identificeert door de prestaties van het model op originele benchmark-samples te vergelijken met hun semantisch equivalente varianten, waarbij een significant hogere detectie-accuratesse wordt bereikt dan bestaande methoden in zowel gray-box als black-box settings zonder afhankelijk te zijn van externe drempelwaarden of propriëtaire trainingsdata.

Oorspronkelijke auteurs: Shuaimin Li, Liyang Fan, Zeyang Li, Zhuoyue Wan, Yufang Lin, Shiwen Ni, Feiteng Fang, Hamid Alinejad-Rokny, Yuanfeng Song, Kun Jing, Chen Jason Zhang, Min Yang

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shuaimin Li, Liyang Fan, Zeyang Li, Zhuoyue Wan, Yufang Lin, Shiwen Ni, Feiteng Fang, Hamid Alinejad-Rokny, Yuanfeng Song, Kun Jing, Chen Jason Zhang, Min Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die het eindexamen van een leerling moet nakijken. Je wilt weten of de leerling de stof echt begrijpt of dat hij gewoon de antwoorden heeft gememoriseerd van een spiekbriefje dat hij eerder heeft gevonden. In de wereld van Kunstmatige Intelligentie, specifiek Code Large Language Models (Code LLMs), wordt dit "spiekbriefje" data leakage (datalek) genoemd. Dit gebeurt wanneer een model per ongeluk de exacte examenvragen heeft "bestudeerd" tijdens de trainingsfase, waardoor het slimmer lijkt dan het werkelijk is.

Het artikel introduceert een nieuwe tool genaamd SrDetection om dit spieken te ontdekken. Zo werkt het, eenvoudig uitgelegd:

Het Probleem: De kapotte stopwatch en de ontbrekende antwoordbundel

Het huidige proces om een spelende AI te betrappen, is als het proberen op te lossen van een puzzel met ontbrekende stukjes.

Het "Ontbrekende Antwoordbundel"-probleem: Om te controleren of een model een vraag heeft gememoriseerd, heb je normaal gesproken de geheime trainingsdagboeken van het model nodig (de data waar het van heeft geleerd). Maar bedrijven houden deze dagboeken privé. We kunnen niet naar binnen kijken.
Het "Kapotte Stopwatch"-probleem: Sommige mensen proberen te raden of een model een vraag heeft gezien door te controleren op de datum waarop de code is geschreven. Als de code na de training van het model is geschreven, gaan ze ervan uit dat het model het niet gezien kan hebben. Maar dit is onbetrouwbaar omdat code vaak wordt gekopieerd, geplakt en hergebruikt uit oude projecten, wat de datums verwarrend maakt.
Het "Willekeurige Grens"-probleem: Andere methoden proberen een vaste regel in te stellen (zoals "als de AI voor 90% zeker is, dan is het spieken"). Maar code is lastig; wat een hoge score lijkt voor het ene type code, kan normaal zijn voor een ander. Het instellen van één enkele regel voor alles faalt vaak.

De Oplossing: De "Zelfverwijzende" Spiegel

De auteurs hebben SrDetection ontwikkeld, dat werkt als een slimme detective die geen geheime dagboek of stopwatch nodig heeft. In plaats daarvan gebruikt het een spiegel.

Hier is de analogie:
Stel je voor dat er een specifieke zin op een stuk papier staat: "The quick brown fox jumps over the lazy dog."

De Oude Manier: Je vraagt aan de AI: "Ken je deze zin?" Als de AI met veel zelfvertrouwen "Ja" zegt, vermoed je dat hij het heeft gememoriseerd. Maar misschien is het gewoon een zeer bekende zin, dus is zelfvertrouwen geen perfect bewijs.
De SrDetection Manier: De detective neemt die originele zin en maakt 10 licht verschillende versies waarvan ze precies hetzelfde betekenen, maar die er aan de oppervlakte anders uitzien.
- Origineel: "The quick brown fox jumps..."
- Variant 1: "The speedy brown fox leaps..."
- Variant 2: "A fast brown fox hops..."
  (De logica is identiek, maar de woorden zijn vervangen.)

Vervolgens vraagt de detective de AI om alle versies te verwerken.

Het "Aha!"-moment:
Als de AI de originele zin heeft gememoriseerd, zal hij moeiteloos door de originele versie gaan (omdat hij deze eerder heeft gezien), maar kan hij bij de varianten struikelen of aarzelen (omdat hij deze specifieke woordcombinaties niet heeft gezien).

De Truc: De originele versie is te makkelijk vergeleken met zijn broertjes en zusjes.
De Eerlijke Leerling: De originele versie en de varianten hebben ongeveer dezelfde moeilijkheidsgraad omdat de AI de logica begrijpt, in plaats van een script op te zeggen.

Hoe het werkt in twee modi

Het artikel laat zien dat dit op twee verschillende scenario's werkt:

Gray-Box (De "Inside Look"): Je kunt de interne betrouwbaarheidsscores van de AI zien (zoals het zien van de hartslag). SrDetection controleert of de originele code de "hartslag" van de AI rustig en stabiel maakt, terwijl de varianten de AI nerveus maken.
Black-Box (De "Outside Look"): Je kunt alleen het uiteindelijke antwoord zien dat de AI geeft. SrDetection controleert of het antwoord van de AI op de originele code een perfecte, exacte match is, terwijl de antwoorden op de varianten iets rommeliger of minder perfect zijn.

De Resultaten: Een Betere Detective

De auteurs hebben een speciale "trainingsgrond" (een testbed) gebouwd waarin ze precies konden controleren welke code de AI wel en niet zag, om hun nieuwe tool te testen.

De Score: Vergeleken met andere methoden was SrDetection veel beter in het opsporen van de spiekers. Het verbeterde de nauwkeurigheid (F1-score) met ongeveer 21 punten in het "inside look"-scenario en 14 punten in het "outside look"-scenario.
Geen Vaste Regels: In tegen tegenstelling tot andere tools heeft het geen vooraf ingestelde "pass/fail"-lijn nodig. Het vergelijkt simpelweg het origineel met zijn eigen varianten. Als het origineel verdacht makkelijk uit de verf komt, geeft het een melding.

Wat ze in de echte wereld vonden

De onderzoekers hebben 15 populaire Code AI-modellen getest op vier beroemde codingsbenchmarks. Ze ontdekten dat:

Sommige modellen een hoog niveau van "spieken" vertoonden op specifieke tests (zoals de APPS en BigCodeBench datasets).
De mate van spieken enorm varieerde afhankelijk van de specifieke test, wat bewijst dat aannames die voor alles gelden (one-size-fits-all) fout zijn wat betreft data leakage.

Samenvatting

SrDetection is een nieuwe manier om AI-modellen te betrappen die testvragen hebben gememoriseerd. In plaats van geheime data nodig te hebben of te gokken op basis van datums, creëert het "tweelingen" van de code om te zien of het model de originele versie anders behandelt dan de tweelingen. Als de AI te comfortabel is met de originele versie, is het waarschijnlijk aan het spieken. Dit maakt de evaluatie van AI veel eerlijker en betrouwbaarder.

Technische Samenvatting: SrDetection

Probleemstelling

De evaluatie van Code Large Language Models (Code LLM's) wordt steeds vaker gecompromitteerd door dataleakage, waarbij benchmark-samples onbedoeld zijn opgenomen in de pre-training corpus van een model. Wanneer modellen deze samples memoriseren, worden hun prestatiecijfers kunstmatig opgeblazen, wat een reflectie is van memorisatie in plaats van werkelijke generalisatie. Dit ondermijnt de eerlijkheid van modelvergelijkingen en bemoeilijkt de beoordeling van echte innovatie.

Bestaande detectiemethoden lijden onder drie primaire beperkingen:

Afhankelijkheid van Propriëtaire Data: Overlap-gebaseerde methoden (bijv. n-gram matching) vereisen toegang tot de trainingscorpus van het model, die doorgaans propriëtair en niet openbaar is.
Breekbare Heuristieken: Timestamp-gebaseerde filtering gaat ervan uit dat code die na de trainingsstop van een model is uitgebracht, niet in de corpus kan zitten. Dit faalt in de praktijk door codehergebruik, overerving en forking.
Drempelinstabiliteit: Vertrouwensgebaseerde benaderingen (bijv. Perplexity) vertrouwen op externe referentiesets om beslissingsdrempels te kalibreren. Deze drempels zijn vaak afgestemd op natuurlijke taal en generaliseren niet goed naar de structurele regelmatigheden van code, of ze vertrouwen op dezelfde gebrekkige temporele heuristieken.

Methodologie: SrDetection

De auteurs stellen SrDetection voor, een verenigd, zelfreferentieel framework voor het detecteren van dataleakage in zowel gray-box (toegang tot model logits) als black-box (alleen toegang tot modeloutputs) settings. De kernhypothese is dat als een model een specifieke codesample heeft gememoriseerd, het een significant voorspelbaarder gedrag zal vertonen (lagere perplexity of hogere generatie-gelijkenis) op de originele oppervlaktevorm vergeleken met semantisch equivalente varianten.

Het framework werkt in twee hoofdfasen:

1. Code Transformatie Module

Deze module genereert een set van $n$ semantisch equivalente varianten ( $V = \{x_1, ..., x_n\}$ ) van een originele benchmark-sample ( $x_0$ ) met behulp van een auxiliary LLM. De transformaties zijn minimaal en gelokaliseerd om het executiegedrag te behouden terwijl de lexicale en syntactische vormen worden gewijzigd:

Functienaam Hernoeming ( $\tau_f$ ): Vervangt functienamen en aanroepen met semantisch equivalente alternatieven (bijv. solve $\to$ compute).
Variabele Naam Hernoeming ( $\tau_v$ ): Vervangt systematisch variabelen en parameters (bijv. nums $\to$ arr).
Test Case Transformatie ( $\tau_t$ ): Genereert nieuwe testinputs die semantisch vergelijkbaar zijn met de originelen, valideert deze via executie, en vervangt de originele testcases.

2. Leakage Decision Module

Het framework vergelijkt het gedrag van het model op de originele sample ( $x_0$ ) met zijn varianten ( $V$ ) zonder te vertrouwen op externe drempels.

Gray-box Setting (Perplexity-gebaseerd):
De detectiescore $S_M(x)$ is de Perplexity (PPL) van de sample. Als het model $x_0$ heeft gememoriseerd, zal de PPL lager zijn dan die van een variant.
$\text{Leakage}_{gray}(x_0) = \mathbb{I}[S_M(x_0) < \min_{x_i \in V} S_M(x_i)]$
Waarbij $\mathbb{I}$ de indicatorfunctie is.
Black-box Setting (Generatie-gelijkenis-gebaseerd):
De detectiescore $S_M(x)$ is de N-gram Overlap (NGO) tussen de gegenereerde suffix van het model en de grondwaarheid-suffix wanneer geprompt met een prefix. Indien gememoriseerd, genereert het model een suffix die dichter bij de grondwaarheid ligt voor de originele vorm dan voor de varianten.
$\text{Leakage}_{black}(x_0) = \mathbb{I}[S_M(x_0) > \max_{x_i \in V} S_M(x_i)]$

Gecontroleerde Testbed Constructie

Om deze methoden rigoureus te evalueren, hebben de auteurs een gecontroleerd leakage testbed geconstrueerd:

Dataset Preparatie: Een publieke code-benchmark werd gefilterd om samples te verwijderen die al tekenen van leakage vertoonden (waar de originele versie al de gemakkelijkste onder de varianten was).
Gesimuleerde Leakage: Modellen werden onderworpen aan continued pre-training op een subset van de data (de "training" split) gemengd met een algemene web-corpus, terwijl de resterende data diende als de "held-out" testset. Dit creëert een grondwaarheid waarbij leakage expliciet gecontroleerd en bekend is.

Belangrijkste Bijdragen

Zelfreferentieel Framework: SrDetection elimineert de noodzaak voor externe referentiedata of handmatig gedefinieerde drempels door gebruik te maken van de binnen-sample contrast tussen een codefragment en zijn semantiek-behoudende varianten.
Automatische Augmentatie: Een op maat gemaakte methode voor het genereren van code-varianten die memorisatie blootleggen onder veelvoorkomende edities (hernoeming, refactoring) terwijl de semantische functionaliteit behouden blijft.
Gecontroleerde Evaluatie: De introductie van een training-gebaseerd testbed dat een precieze meting van de leakage-detectieprestaties mogelijk maakt over verschillende modellen en trainingsfasen, waardoor de onbetrouwbaarheid van temporele heuristieken wordt vermeden.

Experimentele Resultaten

De auteurs evalueerden SrDetection tegen sterke baselines (bijv. PPL, Min-K% Prob, Zlib, VeilProbe, DPDLLM) op continued pre-trained Qwen2.5 en LLaMA3.1 modellen.

Prestatiewinst: SrDetection presteerde significant beter dan de baselines.
- Gray-box: Verbeterde de gemiddelde F1 met 21,52 punten ten opzien van sterke baselines.
- Black-box: Verbeterde de gemiddelde F1 met 14,46 punten.
Robuustheid: In tegenstelling tot baselines die onstabiele prestaties lieten zien of afhankelijk waren van specifieke epochs, bleef SrDetection consistent over verschillende modellen en trainingsfasen.
Sensitiviteit: De prestaties verbeterden met een hoger aantal varianten ( $n$ ), en de methode bleef stabiel over verschillende code-naar-tekst mengverhoudingen in de pre-training corpus.
Real-world Toepassing: Een studie naar 15 veelgebruikte Code LLM's op vier benchmarks (APPS, HumanEval, MBPP, BigCodeBench) onthulde benchmark-specifieke leakage-patronen. Opvallend genoeg vertoonde BigCodeBench hoge leakage-percentages in de gray-box setting, wat suggereert dat gedragsgebaseerde detectie contaminatie kan identificeren die gemist wordt door strikte overlap-analyse.

Betekenis en Claims

Het artikel claimt dat SrDetection een kritieke kloof in de evaluatie van Code LLM's dicht door een drempelonafhankelijke en corpusonafhankelijke detectiemechanisme te bieden. Door leakage-detectie te herformuleren als een zelfreferentieel probleem, vermijdt de methode de breekbaarheid van temporele aannames en de ontoegankelijkheid van trainingsdata.

De auteurs stellen dat hun bevindingen aantonen dat leakage niet slechts een marginaal artefact is, maar een systematische confounder in huidige evaluatiepraktijken. Het vermogen om leakage te detecteren zonder externe referenties suggereert dat benchmark-specifieke contaminatiepatronen meer wijdverspreid en complex zijn dan voorheen begrepen via overlap-gebaseerde analyses alleen. Het werk onderstreept de noodzaak van leakage-bewuste benchmark-ontwerpen en rapportages om de betrouwbaarheid van Code LLM-evaluaties te waarborgen.