💬 NLP

Extracting Training Data from Diffusion Language Models via Infilling

Dit artikel introduceert "infilling-extractie" om aan te tonen dat diffusietaalmodellen aanzienlijk kwetsbaarder zijn voor het memoriseren van trainingsdata dan autoregressieve modellen, aangezien hun bidirectionele denoising-capaciteiten tegenstanders in staat stellen tot drie keer meer woordelijke sequenties, inclusief geredigeerde persoonsgegevens, te extraheren met behulp van randvoorwaardelijke maskers.

Oorspronkelijke auteurs: Yihan Wang, N. Asokan

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yihan Wang, N. Asokan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, super-slimme bibliotheekassistent hebt (een Large Language Model) die miljoenen boeken, e-mails en documenten heeft gelezen. Je wilt weten: Als iemand deze assistent vraagt om een specifieke zin uit zijn geheugen te herhalen, hoe groot is dan de kans dat hij de waarheid vertelt?

Lange tijd hebben onderzoekers dit alleen getest door de assistent te vragen om een zin "af te maken", beginnend bij het allereerste woord. Het is alsof je iemand de eerste helft van een verhaal toont en hen vraagt de rest te raden. Dit werkt goed voor standaard AI-modellen die van links naar rechts lezen, zoals een mens een boek leest.

Maar dit paper introduceert een nieuw type AI genaamd een Diffusion Language Model (DLM). Denk aan een DLM niet als een lezer, maar als een restaurator van beschadigde schilderijen. Als je een meesterwerk neemt en willekeurige delen ervan bedekt met witte verf (masks), is de taak van de DLM om naar het hele plaatje te kijken—wat links is, wat rechts is en wat in het midden zit—en te raden wat de verborgen delen zouden moeten zijn.

De auteurs van dit paper zeggen: "Hé, we hebben deze schilderijrestaurators op de verkeerde manier getest!"

Hier is de uiteenzetting van hun bevindingen met eenvoudige analogieën:

1. De Oude Manier versus de Nieuwe Manier

De Oude Manier (Prefix-geconditioneerd): Stel je voor dat je de restaurator alleen de linkerrand van een schilderij toont en vraagt: "Wat komt er nu?" Het paper vond dat als je dit alleen doet, de DLM vrij veilig lijkt. Hij lekt niet veel geheime informatie.
De Nieuwe Manier (Infilling Extraction): De auteurs realiseerden zich dat omdat DLM's naar beide kanten van een gat kunnen kijken, een sluwe aanvaller het midden van een zin kan bedekken en vragen: "Vul het gat in." Of ze kunnen de einden bedekken en vragen: "Wat zit er in het midden?"
- De Analogie: Het is alsof je het spel "Mad Libs" speelt. Als je de AI het begin en het einde van een zin geeft, kan hij misschien het middelste woord perfect raden, zelfs als hij het einde niet had kunnen raden als je hem alleen het begin had gegeven.

2. De Grote Ontdekking: "Rand" is het Gevaarzone

De onderzoekers testten verschillende manieren om delen van de tekst te verbergen (masks). Ze ontdekten dat hoe je de tekst verbergt, belangrijker is dan je denkt.

Het "Rand"-effect: Als je het allereerste begin en het allereerste einde van een zin onthult (het midden verbergend), is de DLM drie keer zo waarschijnlijk om de exacte woorden te lekken dan als je alleen het begin onthult.
Waarom? Omdat de DLM aanwijzingen van beide kanten gebruikt om het midden te reconstrueren. Het is alsof twee mensen een derde persoon het begin en einde van een geheim fluisteren; ze kunnen het hele geheim veel makkelijker achterhalen dan als alleen één persoon het begin fluistert.

3. Het "Geredigeerd Document"-Scenario

Het paper kijkt naar een zeer realistisch eng scenario:

Stel je voor dat een bedrijf een AI traint op privé-e-mails, maar vervolgens zwart maakt (redacteert) alle telefoonnummers en namen voordat ze de data of het model vrijgeven.
De Aanval: Een hacker neemt het model en zegt: "Ik heb de e-mail met de naam zwart gemaakt. Vul het gat in."
Het Resultaat: Hoewel de AI is getraind op geredigeerde data, is de "schilderijrestaurator" (DLM) zo goed in het kijken naar de omringende context dat hij vaak het zwartgemaakte naam of nummer kan raden beter dan een standaard "boeklezende" AI zou kunnen.
De Les: Het feit dat je de gevoelige informatie in de trainingsdata zwart maakt, betekent niet dat de AI het niet onthoudt. Sterker nog, voor dit type AI kan het makkelijker zijn om het geheim te raden als je hem de context aan beide kanten geeft.

4. Het Afstellen van de "Restauratie"-Instellingen

De onderzoekers ontdekten ook dat de instellingen die worden gebruikt om de tekst te "restaureren" (zoals hoeveel stappen de AI neemt om te raden) veranderen hoeveel hij lekt.

Langzaam en Stabiel: Als je de AI veel kleine, zorgvuldige stappen laat nemen om de gaten in te vullen, lekt hij meer geheime informatie.
Snel en Los: Als je hem snel laat raden, lekt hij minder.
De Les: De "knoppen" die je draait om de AI sneller of slimmer te maken, controleren ook hoeveel hij onthoudt. Je kunt niet zomaar één knop draaien voor snelheid zonder de veiligheid te beïnvloeden.

5. Fine-Tuning Lost Het Niet Op

Tot slot vroegen ze zich af: "Als we de AI later een beleefde chatbot leren worden (een proces genaamd SFT), vergeet hij dan de geheimen?"

Het Antwoord: Nee. Het is alsof je probeert een papegaai te leren stoppen met het zeggen van een vloekwoord door hem nieuwe woorden te leren. De papegaai kan het misschien soms stoppen met zeggen, maar als je de juiste vraag stelt (met de "rand"-truc), zal hij het oude geheim toch nog uitspugen. Het geheugen is er nog steeds; het is alleen herschikt.

Samenvatting

Dit paper waarschuwt ons dat Diffusion Language Models als schilderijrestaurators zijn, niet alleen als boeklezers. Als je ze alleen test door ze een zin vanaf het begin te laten afmaken, denk je dat ze veilig zijn. Maar als je ze test door ze het midden van een zin te laten invullen (met aanwijzingen van beide kanten), is de kans veel groter dat ze privé-informatie lekken, zelfs als die informatie uit hun trainingsdata is geredigeerd.

De belangrijkste les: We moeten stoppen met het testen van deze modellen met slechts één oog open (kijkend van links naar rechts) en beginnen met het testen met beide ogen open (kijkend naar het hele plaatje), anders zullen we enorm onderschatten hoeveel privé-data ze vasthouden.

Technische Samenvatting: Extractie van Trainingsdata uit Diffusietalenmodellen via Infilling

Probleemstelling

Hoewel het memoriseren van trainingsdata in autoregressieve taalmodellen (ARM's) uitvoerig is onderzocht via prefix-geconditioneerde extractie (waarbij een adversary een prefix levert en het model de suffix genereert), faalt deze aanpak om het volledige risicoprofiel van Diffusietalenmodellen (DLM's) te vatten. DLM's werken via iteratieve denoisering en bezitten een bidirectionele inductieve bias, waardoor ze tokens op willekeurige posities kunnen reconstrueren op basis van de omringende context. Het uitsluitend vertrouwen op prefix-geconditioneerde probing, een protocol dat is overgenomen uit ARM-onderzoek, onderschat het risico op extractie van trainingsdata in DLM's aanzienlijk, omdat het de mogelijkheid van het model negeert om gemaskerde tokens in te vullen met behulp van zowel voorafgaande als volgende context.

Methodologie

De auteurs introduceren Infilling Extraction, een gegeneraliseerd protocol voor data-extractie geparametriseerd door een willekeurige binaire masker $m$ . In dit protocol wordt een trainingssequentie gedeeltelijk gemaskeerd, en wordt de DLM de taak gegeven de gemaskerde tokens te reconstrueren op basis van de niet-gemaskeerde context. De sequentie wordt als "geëxtraheerd" beschouwd als de reconstructie overeenkomt met de originele gemaskeerde tekst.

Experimentele Opstelling

De studie evalueert dit protocol op twee grootschalige DLM's (LLaDA-8B en Dream-7B) en vergelijkt deze met een schaal-gelijkwaardige ARM-baseline (LLaMA-2-7B). De experimenten omvatten:

Vijf Extractiemodi:
- Prefix-geconditioneerd: Eerste $k$ tokens onthuld (standaard ARM-baseline).
- Suffix-geconditioneerd: Laatste $k$ tokens onthuld.
- Rand-geconditioneerd: Eerste en laatste $k/2$ tokens onthuld (context omkaderend).
- Midden-geconditioneerd: Een aaneengesloten span in het midden onthuld.
- Willekeurig: Een uniform willekeurige subset van $k$ tokens onthuld.
- Gericht: Alleen gevoelige entiteiten (PII) zijn gemaskeerd, met de volledige omringende sequentie onthuld.
Drie Trainingspijplijnen: Volledige Fine-Tuning (FT), Low-Rank Adaptation (LoRA) en Supervised Fine-Tuning (SFT) onder een chat-template.
Drie Datasets:
- MIMIR Pile: Voor extractie van letterlijke sequenties.
- Enron Email: Voor extractie van Persoonlijk Identificeerbare Informatie (PII) (e-mailadressen en telefoonnummers).
- Tulu3: Voor lekken van prompt/response in instructie-geoptimaliseerde instellingen.
Decoderingparameters: De studie analyseert de impact van denoisingsstappen ( $T$ ), semi-autoregressieve blokgrootte ( $b$ ), sampling-temperatuur ( $\tau$ ) en hermaskeringsstrategieën.

Belangrijkste Bijdragen

Formalisatie van Infilling Extraction: Het artikel definieert een masker-geparametriseerd protocol dat prefix-geconditioneerde extractie generaliseert, en expliciet rekening houdt met de bidirectionele aard van DLM's.
Systematische Evaluatie: Het biedt de eerste systematische studie van memorisatie in grote DLM's over diverse toegangspatronen, blootstellingsregimes en configuraties tijdens de inferentie.
Identificatie van Nieuwe Lekkanalen: Het werk demonstreert empirisch dat bidirectionele toegang lekkanalen opent die structureel ontoegankelijk zijn voor ARM's, zoals het herstellen van gebruikersprompts uit modelresponsen.

Belangrijkste Resultaten

1. Maskergeometrie Beheerst Extracteerbaarheid

De plaatsing van de onthulde context heeft een aanzienlijke impact op het extractiesucces.

Superioriteit van Rand-geconditioneerd: Rand-geconditioneerde maskers (waarbij zowel het begin als het einde worden onthuld) extraheren tot drie keer meer letterlijke sequenties dan prefix-geconditioneerde maskers. Bijvoorbeeld, op LLaDA-8B-FT bereikte de Rand-modus een ASR van 0,41% vergeleken met 0,18% voor Prefix.
Bidirectionele Bias: Dit bevestigt dat DLM's context uit beide richtingen benutten om gemaskerde tokens te reconstrueren, een vermogen dat niet wordt gebruikt bij standaard prefix-probing.

2. Bidirectionele Toegang Opent Nieuwe Lekkanalen

Prompt Herstel: In instructie-geoptimaliseerde modellen (SFT) kunnen adversaries gebruikersprompts herstellen uit bekende modelresponsen (Response-geconditioneerde extractie). Hoewel prompt-geconditioneerde extractie (standaard) een ASR van ~~10% toonde, bereikte response-geconditioneerde extractie nog steeds een niet-triviale ASR (~~1,78–3,36%), een kanaal dat onmogelijk is voor ARM's.
Token versus Sequentie: Hoewel token-niveau herstel (TER) hoog kan zijn (bijv. 56% voor willekeurige maskers), blijft exacte letterlijke extractie (ASR) laag, wat suggereert dat onthulde tokens als steigers fungeren die gedeeltelijk herstel helpen maar geen volledige sequentie-reproductie garanderen.

3. Realistisch Bedreigingsmodel: Geredigeerde Data en PII

De studie simuleert een realistisch scenario waarin een adversary een geredigeerde versie van de trainingsdata verkrijgt (bijv. via een regulerende release of gedeeltelijk lek) en het model gebruikt om de geredigeerde PII te herstellen.

Gerichte Infilling: Wanneer alleen PII-tokens zijn gemaskeerd en de omringende context is onthuld, vertonen DLM's een hoge extracteerbaarheid. Op de Enron-dataset bereikte fine-tuned LLaDA-8B een recall van 40,5% voor e-mailadressen en 28,9% voor telefoonnummers.
Vergelijking met ARM's: Onder een strikt prefix-geconditioneerd aanval leken DLM's veiliger dan ARM's (LLaDA: 16,3% vs. LLaMA: 35,9% recall voor e-mails). Echter, onder gerichte infilling kwamen DLM's overeen met of overtroffen ze de ARM-baseline (LLaDA: 40,5% vs. LLaMA: 35,9%). Dit geeft aan dat prefix-only evaluaties de risico's van DLM's in realistische scenario's met geredigeerde data ernstig onderschatten.

4. Invloed van Decoderingparameters

Denoising-stappen ( $T$ ): Hogere $T$ (meer verfijningstappen) verhoogt de recall, terwijl doorvoeropgezette lage $T$ -instellingen gememoriseerde inhoud verduisteren.
BlokGrootte ( $b$ ): Grotere blokgroottes (volledig parallelle denoisering) verhogen het extractiesucces aanzienlijk in vergelijking met kleine blokken (AR-achtig gedrag), wat bidirectionele parallelisme identificeert als een primaire drijver van lekken.
Hermaskeringsstrategie: Op vertrouwen gebaseerde hermaskering (het vastleggen van voorspellingen met hoog vertrouwen) versterkt de extractie in vergelijking met willekeurige hermaskering.
Temperatuur ( $\tau$ ): Greedy decoding ( $\tau \to 0$ ) levert over het algemeen de sterkste extractie op.

5. Persistentie door SFT

Een follow-up Supervised Fine-Tuning (SFT)-fase op instructiedata herverdeelt maar elimineert memorisatie niet. Hoewel de e-mailrecall licht daalde na SFT, bleef de telefoonnummerrecall grotendeels onveranderd, wat suggereert dat korte, idiosyncratische numerieke strings orthogonaal zijn aan instructie-volgende doelen en het afstemmingsproces overleven.

Betekenis en Claims

Het artikel betoogt dat de huidige veiligheidsevaluatie van DLM's onvolledig is omdat deze vertrouwt op prefix-geconditioneerde protocollen die zijn ontworpen voor ARM's. Door infilling extraction in te voeren, tonen de auteurs aan dat:

DLM's een groter risico op lekken van trainingsdata vormen dan eerder werd gedacht, vooral wanneer adversaries bidirectionele context kunnen benutten of toegang hebben tot geredigeerde trainingsdata.
Maskergeometrie een kritieke factor is in memorisatie, waarbij rand-geconditioneerde en gerichte infilling kwetsbaarheden onthullen die onzichtbaar zijn voor prefix-only probing.
Decoderingparameters fungeren als hefbomen voor zowel versterking als mitigatie; practitioners kunnen deze afstellen om een balans te vinden tussen prestaties en lekweerstand.

De auteurs concluderen dat hoewel DLM's onder traditionele prefix-gebaseerde metrieken veiliger kunnen lijken, hun bidirectionele aard unieke en krachtige kanalen voor data-extractie creëert die moeten worden aangepakt in toekomstig veiligheidsonderzoek en implementatiestrategieën.