💬 NLP

Learning to Detect Language Model Training Data via Active Reconstruction

Deze paper introduceert ADRA, een actieve aanvalsmethode die gebruikmaakt van reinforcement learning om taalmodellen te finetunen voor het reconstrueren van tekst, waardoor trainingdata effectiever kan worden gedetecteerd dan met traditionele passieve methoden.

Oorspronkelijke auteurs: Junjie Oscar Yin, John X. Morris, Vitaly Shmatikov, Sewon Min, Hannaneh Hajishirzi

Gepubliceerd 2026-02-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junjie Oscar Yin, John X. Morris, Vitaly Shmatikov, Sewon Min, Hannaneh Hajishirzi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een grote taalmodel (zoals een slimme chatbot) een enorme bibliotheek heeft gelezen om slim te worden. Soms onthoudt deze bot niet alleen de regels van de taal, maar ook specifieke zinnen, boeken of zelfs geheime recepten uit die bibliotheek. Dit is een probleem voor auteursrechten en privacy.

De vraag is: Hoe kun je weten of een bepaalde zin of tekst daadwerkelijk in de bibliotheek van de bot heeft gezeten?

Tot nu toe probeerden onderzoekers dit op een passieve manier, alsof ze een glazen bol gebruiken. Ze stelden een vraag en keken naar het antwoord of de kans die de bot gaf. Maar de bot is slim en kan zich soms goed verstoppen.

Deze paper introduceert een nieuwe, veel agressievere methode genaamd ADRA (Active Data Reconstruction Attack). Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het oude probleem: De passieve detective

Stel je voor dat je een verdachte (de AI) hebt die een boek heeft gelezen. Je vraagt: "Herinner je je dit specifieke verhaal?"
De oude methoden kijken alleen naar hoe de verdachte reageert op die vraag. Maar als de verdachte goed kan liegen of als het geheugen vaag is, zie je het verschil niet. Ze kijken alleen naar wat er nu uit de mond komt, zonder de verdachte te veranderen.

2. De nieuwe aanpak: ADRA (De actieve trainer)

De auteurs zeggen: "Wacht even, laten we de verdachte niet alleen vragen, maar hem trainen om het verhaal na te vertellen."

Ze gebruiken een techniek uit de kunstmatige intelligentie genaamd Versterkend Leren (Reinforcement Learning).

Het idee: Ze geven de AI een beginzin (een "voorzetsel") en zeggen: "Probeer de rest van de zin na te bouwen die in jouw geheugen zit."
De beloning: Als de AI het juiste verhaal raadt, krijgt ze een beloning (een puntje). Als ze het verkeerd doet, krijgt ze geen punt.
Het effect: De AI probeert haar eigen "hersenen" (de gewichten) aan te passen om die beloning te krijgen.

3. De magische ontdekking: Waarom werkt dit?

Hier komt de creatieve analogie:
Stel je voor dat de AI een kluis is.

Passieve methoden proberen de kluis te openen door alleen naar het slot te kijken. Soms lukt het, vaak niet.
ADRA is alsof je de kluis laat schudden.

De auteurs ontdekten dat als je de AI traint om een tekst te reconstrueren, ze zich veel beter herinnert als die tekst echt in haar training zat dan als ze die tekst nooit heeft gezien.

Als het een "lid" is (echt gelezen): De AI kan de tekst bijna perfect reconstrueren nadat ze een beetje getraind is. Het is alsof de sleutel al in het slot zat; je hoeft alleen maar een beetje te draaien.
Als het "geen lid" is (nooit gelezen): De AI blijft steken. Ze kan de tekst niet reconstrueren, zelfs niet met training. Het is alsof er geen sleutel is.

4. De analogie van de "Spelregels"

Stel je voor dat je een groep mensen laat oefenen voor een quiz.

Groep A heeft de antwoorden al gelezen.
Groep B heeft ze nooit gezien.

Als je ze gewoon vraagt: "Wat is het antwoord?", doen ze het misschien allebei redelijk.
Maar als je zegt: "Ik ga jullie belonen als jullie het antwoord precies zo kunnen opschrijven als in het boek," en je laat ze een paar keer oefenen:

Groep A (die het heeft gelezen) begint plotseling perfect te schrijven. Hun hersenen "scherpen" zich toe op wat ze al wisten.
Groep B blijft stug proberen, maar komt er niet uit.

De auteurs gebruiken deze "oefensessie" (de training) om te zien wie er echt in de groep zat. Als de AI na de oefening de tekst perfect kan reconstrueren, weten ze: "Aha! Dit stukje tekst zat in de training!"

5. Wat betekent dit voor ons?

De paper laat zien dat AI-modellen veel meer informatie over hun training opslaan dan we dachten. Zelfs als ze er niet direct mee kunnen praten, zit het erin. Door ze actief te laten "oefenen" in het reconstrueren van tekst, kunnen we die verborgen geheugens opsporen.

Kort samengevat:
In plaats van de AI stil te laten zitten en te vragen of ze iets kent, laten we haar een beetje "zweten" door te proberen de tekst na te bouwen. Als ze het lukt, was het een geheim uit haar verleden. Als ze faalt, was het nieuw voor haar. Dit is een krachtigere manier om te zien of een AI auteursrechtelijk beschermde teksten of privé-informatie heeft geleerd.

Probleemstelling

Het detecteren van of een specifiek tekstfragment deel uitmaakte van de trainingsdata van een Large Language Model (LLM) wordt traditioneel benaderd als een Membership Inference Attack (MIA) probleem. Bestaande methoden werken echter passief: ze bevragen het model met vaste gewichten en analyseren outputsignalen zoals log-likelihoods, verlieswaarden (loss) of gegenereerde tekstcompleties.

De auteurs stellen dat deze passieve benaderingen beperkt zijn omdat ze aannemen dat alle beschikbare "lidmaatschapssignalen" al zichtbaar zijn in de statische output van het model. Ze hypotheseren echter dat de modelgewichten zelf latente signalen bevatten die de aanwezigheid van trainingsdata aangeven, maar die niet direct toegankelijk zijn zonder actieve interventie. Het doel is om deze verborgen signalen te activeren om de detectie van trainingsdata (en daarmee privacy- en auteursrechtelijke risico's) te verbeteren.

Methodologie: Active Data Reconstruction Attack (ADRA)

De kern van het paper is de introductie van ADRA (Active Data Reconstruction Attack), een familie van MIA-methoden die Reinforcement Learning (RL) gebruikt om het model actief te dwingen trainingsdata te reconstrueren.

Actieve Elicitatie via RL:
- In plaats van het model passief te bevragen, wordt een beleid (policy) geïnitieerd vanuit het doelmodel ( $p_\theta$ ) en gefinetuned met on-policy Reinforcement Learning (specifiek GRPO - Group Relative Policy Optimization).
- De gedachte is dat RL gedrag dat al in de gewichten is gecodeerd, verscherpt zonder nieuwe informatie toe te voegen. Als een tekstfragment in de trainingsdata zat, zou het model dit fragment makkelijker moeten kunnen reconstrueren na RL-training dan een fragment dat niet in de data zat.
Reward Design (Beloningssysteem):
- Reconstructie-metrics: Het model krijgt een beloning gebaseerd op de gelijkenis tussen de gegenereerde tekst (completie) en de "ground truth" suffix van het kandidaat-tekstfragment. Gebruikte metrics omvatten Token Set Similarity, Longest Common Subsequence (LCS) en N-gram Set Coverage.
- Contrastieve Beloningen: Om te voorkomen dat het model simpelweg leert om alle tekst te reconstrueren (wat de specifieke lidmaatschapsinformatie zou verdoezelen), wordt een contrastieve structuur gebruikt:
  - ADRA: Voor een kandidaat-tekst wordt een pool van suffixes samengesteld die de ware suffix bevat plus $K$ "distractors" (suffixes van andere teksten). De beloning is de maximale gelijkenis met een van deze suffixes. Omdat leden (trainingsdata) makkelijker te reconstrueren zijn, zullen ze vaker de ware suffix matchen.
  - ADRA+ (Adaptief): Deze variant past de frequentie aan waarmee de ware suffix in de pool wordt opgenomen, gebaseerd op een voorafgaande schatting van het lidmaatschap (afgeleid van bestaande loss-based scores zoals Min-K%++). Als een tekst waarschijnlijk een lid is, wordt de ware suffix vaker aangeboden om de reconstructie te versterken; bij niet-leden wordt dit verminderd om ruis te minimaliseren.
Evaluatie:
- Na $K$ stappen van RL-training wordt het model getest op de reconstrueerbaarheid van nieuwe kandidaat-teksten. Een hogere reconstrueerbaarheid (gemeten via de similarity metrics) resulteert in een hogere score voor lidmaatschap.

Belangrijkste Bijdragen

Paradigmaverschuiving: Het paper introduceert de eerste "actieve" MIA die modelgewichten dynamisch aanpast om latenten signalen bloot te leggen, in plaats van passief te observeren.
Nieuwe Datasets: De auteurs hebben 6 nieuwe MIA-datasets geconstrueerd om te matchen met de kenniscutoffs en zware post-training van moderne frontier-modellen (o.a. Dolma3, Tulu3 Mix, AIME, Olympia Math).
Robuuste Methodologie: Het combineren van RL met contrastieve beloningen en adaptieve matching (ADRA+) biedt een nieuwe, krachtige aanpak voor privacy-auditing.

Resultaten

De experimenten omvatten 6 open-weight LLMs en testen op drie fasen: pre-training, post-training (SFT) en distillatie.

Algemene Prestaties: ADRA en ADRA+ overtreffen consequent bestaande passieve MIAs (zoals Loss, Min-K%, Min-K%++ en N-Sampling) in alle settings. De gemiddelde verbetering ten opzichte van de vorige beste methode is 10,7% in AUROC.
Pre-training:
- Op de uitdagende WikiMIA2024 Hard benchmark (waar de meeste baselines onder de willekeurige kansscore blijven), bereikt ADRA+ een 60,6% AUROC, wat een verbetering is van 10% ten opzichte van Min-K%++.
- Op BookMIA verbetert ADRA+ Min-K%++ met 18,8%.
Post-training:
- Op AIME (met gecontamineerde data) bereikt ADRA+ 85,9% AUROC, een verbetering van 7,6% ten opzichte van Min-K%++ en 13,2% ten opzichte van N-Sampling.
Distillatie:
- Bij distillatie (waar een studentmodel getraind is op de output van een leraar) presteert ADRA bijna perfect. Op Deepseek-R1 distillatie wordt een 98,4% AUROC bereikt, wat aanzienlijk hoger is dan alle passieve baselines.
Reconstructie Kwaliteit: De methoden leiden niet alleen tot betere detectie, maar ook tot een significant betere reconstructie van de trainingsdata (hogere Jaccard, LCS en Embedding Cosine scores) vergeleken met passieve sampling.

Betekenis en Impact

Privacy Risico's: De resultaten tonen aan dat modelgewichten meer informatie bevatten over de trainingsdata dan wat uit passieve outputsignalen naar voren komt. Dit betekent dat bestaande privacybeschermingen mogelijk onvoldoende zijn, zelfs als een model geen directe "lekkage" toont bij standaard queries.
Auteursrecht en Data Contaminatie: De methode biedt een krachtig instrument om te detecteren of auteursrechtelijk beschermd materiaal of specifieke datasets (zoals wiskundeproblemen of chatlogs) in de training van een model zijn gebruikt, zelfs bij geavanceerde post-training en distillatie.
Toekomstige Verdediging: Het paper motiveert de noodzaak van robuustere verdedigingsmechanismen die rekening houden met deze actieve extractie-aanvallen, aangezien RL-training blijkbaar latenten memorisatie kan "ontgrendelen".

Kortom, dit paper bewijst dat door een model actief te laten "leren" om data te reconstrueren via RL, we een veel scherpere blik kunnen werpen op wat het model daadwerkelijk heeft onthouden, wat grote implicaties heeft voor de beveiliging en transparantie van LLMs.