💬 NLP

Detecting RLVR Training Data via Structural Convergence of Reasoning

Deze paper introduceert Min- $k$ NN Distance, een zwarte-kast detector die het onderscheid tussen RLVR-getrainde en onbekende prompts maakt door de structurele convergentie van generaties te meten, waarmee het de beperkingen van bestaande likelihood-gebaseerde methoden voor het opsporen van benchmarkverontreiniging overwint.

Oorspronkelijke auteurs: Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang

Gepubliceerd 2026-02-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kern: Hoe herken je of een AI een vraag al eerder heeft gezien?

Stel je voor dat je een slimme student hebt die zich voorbereidt op een heel moeilijk wiskunde-examen. Deze student leert niet alleen door boeken te lezen, maar vooral door oefeningen te maken en direct feedback te krijgen. Als hij een oplossing vindt die klopt, krijgt hij een "sterretje" (beloning). Als hij het fout heeft, krijgt hij geen sterretje. Dit proces noemen onderzoekers RLVR (Reinforcement Learning met Verifieerbare Beloningen).

Het probleem is: we weten niet precies welke oefeningen deze student heeft gemaakt. Als hij nu een examen doet, is hij dan echt slim geworden, of heeft hij gewoon de antwoorden van de oefeningen uit zijn hoofd geleerd? Dit heet benchmark-verontreiniging.

De auteurs van dit paper hebben een nieuwe manier bedacht om te zien of de student een vraag al eerder heeft gezien, zonder dat we zijn "hoofd" (de interne werking van de AI) hoeven te openen. Ze noemen hun methode Min-kNN Distance.

De Analogie: De "Stijve Dans" vs. De "Vrije Improvisatie"

Om te begrijpen hoe hun methode werkt, moeten we kijken naar hoe de AI antwoordt.

1. De AI die een vraag nog niet heeft gezien (De Improvisator)

Stel je voor dat je deze AI een nieuwe, vreemde vraag stelt die ze nooit eerder heeft gehoord. Omdat ze niet weet wat het juiste antwoord is, gaat ze op zoek. Ze probeert verschillende manieren om het op te lossen.

Hoe het eruitziet: Als je haar 10 keer dezelfde vraag stelt, krijg je 10 heel verschillende antwoorden. Soms begint ze met een grapje, soms met een formule, soms met een lange uitleg. Het is een vrije dans met veel variatie.
De analogie: Het is alsof je een jazzmusicus vraagt om een nieuw liedje te spelen. Elke keer klinkt het anders.

2. De AI die een vraag wel heeft gezien (De Stijve Danser)

Nu stel je een vraag die de AI tijdens haar "training" (de oefenrondes met sterretjes) al heeft gezien. Omdat ze weet dat er één specifieke manier is om het juiste antwoord te krijgen (en dat ze daarvoor beloond is), stopt ze met experimenteren. Ze herhaalt de route die heeft gewerkt.

Hoe het eruitziet: Als je haar 10 keer dezelfde vraag stelt, krijg je 10 antwoorden die bijna identiek zijn. Ze gebruiken dezelfde zinnen, dezelfde stappen en dezelfde logica. De dans is niet meer vrij; ze volgt een strak, voorspelbaar patroon.
De analogie: Het is alsof je diezelfde jazzmusicus vraagt om een liedje te spelen dat hij al 100 keer heeft geoefend. Hij speelt het nu niet meer met improvisatie, maar als een strak, mechanisch ritme. Hij "stijf" in zijn bewegingen.

De Oplossing: De "Stijfheidsmeter" (Min-kNN Distance)

De onderzoekers hebben bedacht dat je dit verschil kunt meten. Ze noemen hun methode Min-kNN Distance.

Hoe werkt het in de praktijk?

Je geeft de AI een vraag.
Je vraagt haar om 32 keer hetzelfde antwoord te genereren (alsof je de jazzmusicus 32 keer hetzelfde liedje laat spelen).
Je vergelijkt al die 32 antwoorden met elkaar.
- Als de antwoorden heel verschillend zijn (veel variatie), is de "afstand" tussen de antwoorden groot. De AI heeft deze vraag waarschijnlijk nog niet gezien.
- Als de antwoorden bijna identiek zijn (ze lijken op elkaar als twee druppels water), is de "afstand" heel klein. De AI is stijf geworden. Dit betekent dat ze deze vraag waarschijnlijk wel heeft gezien tijdens haar training.

De naam "Min-kNN Distance" is een beetje technisch, maar het betekent simpelweg: "Kijk naar de 10 dichtstbijzijnde, meest gelijkende antwoorden en meet hoe klein hun verschil is." Is het verschil heel klein? Dan is het een vraag uit de trainingsset.

Waarom is dit belangrijk?

Vroeger kon je alleen zien of een AI een vraag had gezien door te kijken naar de kans dat een woord werd gekozen (zoals een gokker die kijkt naar de kansen op een kaart). Maar bij RLVR werkt dat niet meer, omdat de AI niet meer gokt op woorden, maar op strategieën.

Deze nieuwe methode is als een detective die niet naar de woorden kijkt, maar naar de danspasjes.

Als de danspasjes stijf en voorspelbaar zijn -> Gevonden! (De AI heeft dit al gezien).
Als de danspasjes vrij en chaotisch zijn -> Niet gevonden. (De AI is het aan het uitvinden).

Samenvatting in één zin

De onderzoekers hebben ontdekt dat AI's die een vraag al hebben geoefend, bij het beantwoorden van die vraag "stijf" en voorspelbaar worden, en ze hebben een simpele test bedacht om die stijfheid te meten, zodat we kunnen zien of een AI echt slim is of gewoon de antwoorden uit haar hoofd heeft geleerd.

Probleemstelling

De opkomst van Reinforcement Learning met Verifieerbare Beloningen (RLVR) heeft geleid tot aanzienlijke verbeteringen in de redeneervermogens van grote taalmodellen (LLM's), vooral op gebieden zoals wiskunde, coderen en symbolische probleemoplossing. Bij RLVR worden modellen getraind op problemen met automatisch controleerbare uitkomsten, waarbij het model wordt geoptimaliseerd om de juiste eindantwoorden te genereren via zelf gegenereerde redeneertrajecten (Chain-of-Thought).

Echter, de onbekende aard van de trainingsdata roept ernstige zorgen op over benchmark-contaminatie. Als een model tijdens het trainingsproces al kennis heeft gemaakt met de testvragen (of hun parafrases), lijken de prestaties op benchmarks kunstmatig hoog te zijn, zonder dat het model daadwerkelijk robuust redeneert.

Het bestaande probleem is dat traditionele methoden voor het detecteren van trainingsdata-expositie (zoals Membership Inference Attacks of MIA) gebaseerd zijn op token-niveau waarschijnlijkheid of perplexiteit. Deze methoden werken goed bij pre-training of supervised fine-tuning, maar zijn inefficiënt bij RLVR. RLVR optimaliseert modellen op basis van beloningsfeedback op het gehele redeneertraject, niet op de waarschijnlijkheid van individuele tokens. Hierdoor verdwijnen de statistische sporen die traditionele detectors nodig hebben, wat het moeilijk maakt om te bepalen of een specifiek voorbeeld tijdens de RLVR-fase is gezien.

Methodologie: Min-kNN Distance

De auteurs introduceren een nieuw inzicht: RLVR training veroorzaakt een structurele convergentie in de redeneertrajecten.

Observatie: Voor prompts die tijdens de RLVR-training zijn gezien, worden de gegenereerde antwoorden stijver en meer gelijkend op elkaar. Het model convergeert naar een beperkt aantal structurele modi (bijv. vaste algebraïsche stappen of standaard zinsconstructies). Voor ongezichten prompts blijft de diversiteit in redenering groter.
De Oplossing: Gebaseerd op deze observatie stellen de auteurs Min-kNN Distance voor, een eenvoudige black-box detector. Deze methode vereist geen toegang tot de modelinterne token-probabiliteiten of referentiemodellen.

Werkingsprincipe van Min-kNN Distance:

Sampling: Voor een gegeven prompt $x$ worden $m$ verschillende completions (antwoorden) gegenereerd door het RLVR-getrainde model.
Berekening: Er wordt een paarsgewijze genormaliseerde Levenshtein-editdistance berekend tussen alle gegenereerde antwoorden.
Min-kNN Score: Voor elke completion wordt de afstand tot de dichtstbijzijnde buur (nearest neighbor) bepaald. De detector berekent vervolgens het gemiddelde van de $k$ $k$ kleinste van deze afstanden.
- Formule: $Min\text{-}kNN(x) = \frac{1}{k} \sum_{t=1}^{k} NN^{(t)}(x)$
Interpretatie:
- Gezichten prompts (Seen): De gegenereerde antwoorden zijn structureel zeer vergelijkbaar (kleine edit-afstanden), wat resulteert in een lage Min-kNN score.
- Ongezichten prompts (Unseen): De antwoorden zijn diverser, wat resulteert in een hogere Min-kNN score.
- Een detector wordt gemaakt door een drempelwaarde op deze score toe te passen.

Belangrijkste Bijdragen

Systematische Analyse: De eerste systematische analyse van hoe RLVR het redeneergedrag herschikt, met name het vaststellen van een convergentie in de structurele ruimte van redeneertrajecten (vooral in symbolische en algebraïsche componenten).
Nieuwe Detector: De introductie van Min-kNN Distance, een zwarte-doos methode die RLVR-expositie detecteert zonder toegang tot token-log-probabiliteiten.
Uitgebreide Validatie: Extensieve experimenten over diverse modellen, RL-algoritmen (zoals DAPO, GRPO, PPO) en trainingsopstellingen, die aantonen dat de methode robuust is tegen parafrasing, distillatie en variaties in decoding-configuraties.

Resultaten

De auteurs hebben Min-kNN Distance getest op meerdere open-source RLVR-modellen (zoals SimpleRL-32B, DAPO-Qwen-32B) en gecontroleerde benchmarks (RL-MIA).

Prestatie: Min-kNN Distance behaalde een gemiddelde AUC (Area Under the Curve) van 0.70, wat een verbetering van 17% is ten opzichte van de sterkste bestaande baseline.
Vergelijking met Baselines: Bestaande methoden zoals PPL (Perplexity), Min-K% Prob, en zelfs specifieke RL-contaminatie detectoren zoals Self-Critique, presteerden aanzienlijk slechter (vaak in de buurt van willekeurige gokken, AUC ~0.50-0.60).
Robuustheid:
- De methode werkt consistent goed over verschillende modelgroottes (van 1.5B tot 32B parameters).
- Het is onafhankelijk van het specifieke RL-algoritme (GRPO, DAPO, PPO).
- Het blijft effectief zelfs wanneer prompts zijn parafraseerd (AUC daalde slechts marginaal van 0.72 naar 0.71).
- Het kan ook distillatie-prompts detecteren, wat suggereert dat de structurele convergentie wordt doorgegeven aan gestudeerde modellen.
Dual-Stage Analyse: De methode bleek effectiever bij het detecteren van RL-fase contaminatie in data met een lagere pre-training contaminatie, wat helpt bij het onderscheiden van welke trainingsfase verantwoordelijk is voor de blootstelling.

Betekenis en Impact

Dit werk is van cruciaal belang voor de transparantie en betrouwbaarheid van moderne AI-systemen:

Benchmark Integriteit: Het biedt een betrouwbaar hulpmiddel om te verifiëren of hoge prestaties op benchmarks het gevolg zijn van echte redeneerverbeteringen of slechts het gevolg van het "leren uit het hoofd" van de testset tijdens de RLVR-fase.
Black-Box Toegankelijkheid: Omdat de methode geen toegang vereist tot de modelinterne staten (zoals token-probabiliteiten), kan deze worden toegepast op gesloten modellen die alleen via API beschikbaar zijn, wat een groot obstakel is voor veel bestaande detectiemethoden.
Ethiek en Fairness: Door contaminatie te detecteren, kunnen onderzoekers en ontwikkelaars beter inschatten of een model echt generaliseert of slechts overgeoptimaliseerd is op specifieke datasets, wat essentieel is voor veilige en eerlijke AI-toepassingen.

Kortom, het paper toont aan dat RLVR een unieke "vingerafdruk" achterlaat in de structuur van redeneertrajecten (convergentie naar stijve patronen), en dat deze structuur een krachtig signaal is om trainingsdata-expositie te detecteren waar traditionele statistische methoden falen.