💬 NLP

Adaptive Steering and Remasking for Safe Generation in Diffusion Language Models

Dit artikel stelt een plug-and-play-inferentie-tijdverdedigingskader voor Diffusie-taalmodellen voor dat detectie op basis van contrasterende veiligheidsrichtingen combineert met adaptieve sturing en token-hermaskering om veiligheidskwetsbaarheden tijdens iteratieve denoising effectief te mitigeren terwijl de generatiekwaliteit behouden blijft.

Oorspronkelijke auteurs: Yejin Lee, Yo-Sub Han

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yejin Lee, Yo-Sub Han

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Diffusie Taalmodel (DLM) voor als een team van kunstenaars dat samen een schilderij maakt op basis van een opdracht. In tegenstelling tot een traditionele schrijver die één penseelstreek per keer in een rechte lijn aanbrengt, begint dit team met een canvas dat volledig bedekt is met statische ruis. Ze werken in rondes, waarbij ze geleidelijk de ruis wegwerken om het beeld te onthullen.

Het probleem, zoals het paper uitlegt, is dat als een "slecht" idee (zoals een schadelijke instructie) in de vroege rondes van het wegnemen van ruis in het schilderij sluipert, het vastzit. Omdat de kunstenaars het beeld blijven verfijnen op basis van wat ze zien, verspreidt dat vroege slechte idee zich en verpest het uiteindelijk het hele schilderij, zelfs als de kunstenaars later proberen het te herstellen.

Hier is hoe de nieuwe methode van de auteurs, Adaptief Sturen en Hermaskeren, dit oplost, uitgelegd via eenvoudige analogieën:

1. Het Probleem: Het "Slechte Zaad" in de Tuin

In traditionele AI kan de AI direct weigeren als je een gevaarlijke vraag stelt. Maar in deze "diffusie"-modellen begint de AI met een leeg blad en vult het langzaam in.

De Kwetsbaarheid: Als een schadelijk woord (zoals "bom") vroeg in het proces verschijnt, behandelt het model het als een feit en bouwt de rest van de zin eromheen. Op het moment dat het model beseft dat het iets verkeerd doet, is het "slechte zaad" uitgegroeid tot een volledige boom, en kan het model het niet gemakkelijk omhakken.
De Oude Oplossing: Eerdere methoden probeerden als een strenge tuinier te zijn die, bij het zien van elk onkruid, gewoon de hele tuin stopte met water geven. Dit hield het onkruid weg, maar het doodde ook de bloemen, wat resulteerde in lege of gebroken zinnen.

2. De Oplossing: Een Slimme Gids en een Precisie-Snoeier

De auteurs stellen een tweestapsveiligheidssysteem voor dat fungeert als een slimme gids en een precisiehulpmiddel, die werken terwijl het schilderij wordt gemaakt, niet erna.

Stap 1: De "Kompas" (Adaptief Sturen)

Het team creëert eerst een Contrastieve Veiligheidsrichting (CSD). Denk hierbij aan een kompas dat specifiek wijst naar "Veilig" en weg van "Schadelijk".

Hoe het werkt: Ze tonen het model voorbeelden van veilige antwoorden en schadelijke antwoorden. Ze berekenen het wiskundige verschil tussen hen om dit "kompas" te creëren.
De Actie: Tijdens de vroege rondes van het schilderproces (wanneer het beeld nog grotendeels ruis is), controleert het systeem de richting van het model. Als het model begint te leunen naar de "Schadelijke" kant van het kompas, duwt het systeem het zachtjes terug naar de "Veilige" kant.
De Analogie: Stel je voor dat je door een mistig bos loopt. Als je begint te lopen richting een afgrond (schadelijk), duwt een gids je zachtjes op je schouder om je terug naar het pad te sturen (veilig) voordat je te dicht bij de rand komt. Dit gebeurt vroeg, zodat je niet verdwaalt.

Stap 2: De "Precisie-Snoeier" (Hermaskeren)

Zelfs met het kompas glipt er soms een slecht woord doorheen. Hier komt de tweede stap om de hoek kijken.

Hoe het werkt: Het systeem scant de woorden die tot nu toe zijn onthuld. Als het een woord opmerkt dat sterk is afgestemd op de "Schadelijke" richting, verwijdert het niet de hele zin. In plaats daarvan legt het een "masker" (een lege bedekking) over dat specifieke slechte woord.
De Actie: Het model wordt vervolgens gevraagd om alleen die specifieke plek opnieuw te schilderen, en probeert een veiliger woord te vinden om het te vervangen.
De Analogie: Stel je voor dat een beeldhouwer een standbeeld hakt. Als ze per ongeluk een ruw, lelijk stuk steen uitkappen, vernietigen ze niet het hele standbeeld. Ze hakken gewoon dat specifieke lelijke stuk weg en gladstrijken het met vers klei. Dit houdt de rest van het prachtige standbeeld intact.

3. Waarom Dit Beter Is

Geen Zware Inspanning: De auteurs hoefden het model niet opnieuw te trainen (het geen nieuwe lessen van nul af aan leren). Ze voegden gewoon dit "kompas" en deze "snoeier" toe als een plug-in tool die werkt terwijl het model denkt.
Kwaliteit versus Veiligheid: Oude methoden waren als het gebruik van een sloopkogel om een vlieg te doden; ze stopten het gevaar maar braken het meubilair (de kwaliteit van de tekst). Deze nieuwe methode is als het gebruik van een vliegenmepper; het stopt het gevaar maar laat het meubilair (het verhaal of de code) perfect in orde.
De Resultaten: In hun tests stopte deze methode "jailbreak"-aanvallen (pogingen om de AI te verleiden tot onveilig gedrag) bijna volledig (het laten dalen van succespercentages tot minder dan 1% in sommige gevallen), terwijl het vermogen van de AI om goede verhalen te schrijven en wiskundeproblemen op te lossen bijna hetzelfde bleef als voorheen.

Samenvatting

Het paper betoogt dat om deze "iteratieve" AI-modellen veilig te houden, je niet kunt wachten tot het einde om op fouten te controleren. Je moet het proces zachtjes aan het begin sturen (Sturen) en specifieke slechte delen repareren naarmate ze verschijnen (Hermaskeren). Dit zorgt ervoor dat de uiteindelijke output zowel veilig als van hoge kwaliteit is, zonder dat je de AI van de grond af hoeft te herbouwen.

Technische Samenvatting: Adaptieve Sturing en Hermaskering voor Veilige Generatie in Diffusie-taalmodellen

Probleemstelling
Diffusie-taalmodellen (DLM's) genereren tekst door iteratieve denoisering en bidirectionele verfijning, wat voordelen biedt in parallelle generatie en redenering over globale context ten opzichte van autoregressieve modellen. Dit iteratieve paradigma introduceert echter unieke veiligheidskwetsbaarheden. In tegenstelling tot autoregressieve modellen, waarbij veiligheid vaak op token-niveau wordt bepaald, zijn DLM's vatbaar voor schadelijke signalen die tijdens tussenliggende denoiseringsstappen ontstaan en zich verspreiden. Recent onderzoek wijst uit dat vroege denoiseringsbanen de uiteindelijke output sterk beïnvloeden; zodra een schadelijk token wordt ongemaskerd, kan dit de gehele generatiebaan in de richting van onveilige antwoorden sturen. Bestaande verdedigingsmethoden, voornamelijk overgenomen van autoregressieve kaders of gebaseerd op globale hermaskering, slagen er vaak niet in om de semantische denoiseringsbaan expliciet te controleren. Dit resulteert in een afweging waarbij agressieve onderdrukking van schadelijke tokens leidt tot kwalitatief slechte output, lege antwoorden of een ineenstorting van de generatie-utility, terwijl onvoldoende ingrijpen faalt om jailbreaks te voorkomen.

Methodologie
De auteurs stellen een verdedigingskader voor tijdens de inferentie dat werkt zonder aanvullende fine-tuning, en Adaptieve Sturing combineert met Token-hermaskering. Het kader functioneert in twee complementaire fasen:

Constructie van Contrasterende Veiligheidsrichting (CSD):
De methode construeert eerst een latent vector die de semantische grens tussen schadelijke en veilige generaties voorstelt. Met behulp van gepaarde steekproeven (identieke prompts met schadelijke versus veilige weigeringreacties) berekenen de auteurs het verschil in verborgen representaties tussen de twee klassen. Dit verschilvector, de CSD, vangt de "schadelijke semantische richting" in de latent ruimte van het model op.
Fase 1: Adaptieve Sturing in Vroege Stappen:
Gezien het feit dat vroege denoiseringsstappen cruciaal zijn voor de uiteindelijke baan, past het kader een sturende interventie alleen toe tijdens het initiële deel ( $\rho T$ ) van de denoiseringsstappen.
- Mechanisme: De verborgen toestanden van het model voor gemaskerde tokens en prompt-representaties worden geprojecteerd op de CSD. Het component van de verborgen toestand dat is uitgelijnd met de schadelijke richting wordt onderdrukt met een schalingsfactor $\beta$ .
- Adaptiviteit: De sterkte van de sturing wordt gemoduleerd op basis van de geschatte mate van schadelijkheid (de projectiegrootte). Dit leidt de denoiseringsbaan naar veilige semantische gebieden voordat schadelijke semantics gestabiliseerd zijn, zonder latere verfijningsstadia te sterk te beperken.
Fase 2: Token-hermaskering:
Na de initiële sturing behandelt een verfijningsfase resterende schadelijke tokens die mogelijk zijn ontstaan.
- Detectie: Het kader berekent uitlijningsscores voor individuele tokens tegen de CSD. Tokens die een drempelwaarde overschrijden, worden geïdentificeerd als schadelijk.
- Hermaskering: In plaats van globale onderdrukking, maskert de methode selectief alleen de geïdentificeerde schadelijke tokens opnieuw. Het model genereert deze posities vervolgens opnieuw vanuit de gecorrigeerde semantische context. Dit iteratieve proces gaat door voor een vast aantal stappen of totdat er geen schadelijke tokens meer over zijn, waardoor vloeiende en veilige output wordt gewaarborgd.

Belangrijkste Bijdragen

Verdedigingskader tijdens Inferentie: Het paper introduceert een plug-and-play module die semantische sturing en selectieve hermaskering integreert, zonder parameterupdates of veiligheidsfine-tuning van het basis-DLM te vereisen.
Identificatie van Kritieke Controlepunten: Het werk identificeert vroege denoiseringsbanen als het primaire controlepunt voor DLM-veiligheid. Het toont aan dat sturing in gedeeltelijke stappen generatiepaden effectief omleidt voordat schadelijk gedrag stabiliseert.
Gebalanceerde Veiligheid en Utility: De voorgestelde methode adresseert de veiligheids-utility-afweging die inherent is aan eerdere hermaskeringsbenaderingen. Door de baan vroeg te sturen en later alleen specifieke tokens te hermaskeren, worden schadelijke generaties verminderd terwijl de kwaliteit en vloeiendheid van de generatie behouden blijven.

Experimentele Resultaten
Het kader werd geëvalueerd op twee backbone DLM's (LLaDA-7B en Dream-8B) over meerdere benchmarks (JailBreakBench, AdvBench, DIJA, PAP en Prefix-aanvallen).

Jailbreak-verdediging: De methode verlaagde de Aanvals Succespercentages (ASR) aanzienlijk. Op het Dream-model bereikte het een gemiddelde ASR van 0,64% op AdvBench en 8,00% op JailBreakBench, en presteerde het beter dan bestaande baselines zoals DiffuGuard en Self-reminder wat betreft gebalanceerde robuustheid over verschillende aanvalstypen.
Behoud van Kwaliteit: In tegenstelling tot agressieve hermaskeringsmethoden die leiden tot ineenstorting van de generatie (hoge percentages lege of gebroken zinnen), behield de voorgestelde aanpak de generatiekwaliteit dicht bij het originele model. Op benchmarks voor algemene vaardigheden (TruthfulQA, MATH-500, MMLU) behield de methode de utility beter dan DiffuGuard, hoewel enige degradatie ten opzichte van het vanilla-model werd waargenomen, wat consistent is met de afweging in veiligheidsinterventies.
Ablatiestudies: Experimenten bevestigden dat beide fasen noodzakelijk zijn. Het verwijderen van vroege sturing verhoogde de ASR aanzienlijk (van 18% naar 54%), en het verwijderen van hermaskering degradeerde ook de prestaties, wat benadrukt dat zowel baanbegeleiding als correctie op token-niveau essentieel zijn.

Betekenis
Het paper stelt dat DLM-veiligheid niet uitsluitend een functie is van de uiteindelijke outputverdeling, maar diep afhankelijk is van de tussenliggende denoiseringsbaan. Het voorgestelde kader voor stapsgewijze interventie toont aan dat veiligheid kan worden gehandhaafd gedurende het gehele generatieproces zonder de inherente generatieve capaciteiten van het model te compromitteren. Door gebruik te maken van een contrasterende veiligheidsrichting om de latent ruimte te sturen en alleen selectief te hermaskeren wanneer nodig, biedt de methode een robuuste oplossing voor de unieke kwetsbaarheden van tekstgeneratie op basis van diffusie, en biedt het een weg voor veiligere implementatie van DLM's zonder de noodzaak van kostbare hertraining.