💬 NLP

A2D: Any-Order, Any-Step Safety Alignment for Diffusion Language Models

A2D introduceert een token-niveau veiligheidsafstemingsmethode voor diffusie-taalmodellen die gebruikmaakt van gerandomiseerde maskering om onmiddellijke [EOS] weigeringssignalen uit te zenden, wat effectief any-order en any-step aanvallen zoals DIJA neutraliseert terwijl het real-time monitoring en aanzienlijk snellere veilige terminatie mogelijk maakt.

Oorspronkelijke auteurs: Wonje Jeung, Sangyeon Yoon, Yoonjun Cho, Dongjae Jeon, Sangwoo Shin, Hyesoo Hong, Albert No

Gepubliceerd 2026-02-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wonje Jeung, Sangyeon Yoon, Yoonjun Cho, Dongjae Jeon, Sangwoo Shin, Hyesoo Hong, Albert No

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Nieuw Soort AI-Schrijver

Stel je de meeste AI-chatbots (zoals degene waar je dagelijks mee praat) voor als lopende band medewerkers. Ze bouwen een zin woord voor woord, strikt van links naar rechts. Als je ze iets gevaarlijks vraagt, controleren ze meestal de eerste paar woorden, besluiten "Nee, dat is slecht," en stoppen direct.

Maar er is een nieuw type AI genaamd een Diffusion Language Model (dLLM). Zie deze AI niet als een lopende band, maar als een beeldhouwer die werkt aan een blok marmer. In plaats van woord voor woord te schrijven, begint deze AI met een blanco pagina vol vraagtekens (masks) en vult deze geleidelijk in. Hij kan het einde van een zin invullen vóór het begin, of het midden vóór het begin. Hij kan het hele verhaal tegelijkertijd bewerken.

Het Probleem: De "Backdoor" Aanval

Omdat deze beeldhouwer woorden in elke willekeurige volgorde kan invullen, heeft hij een nieuwe zwakte.

Stel je voor dat een kwaadwillende actor de beeldhouwer probeert te misleiden om een handleiding te schrijven over hoe je een auto steelt.

De Oude Valstrik: Als de beeldhouwer een lopende band medewerker is, probeert de kwaadwillende actor hem aan het begin te misleiden.
De Nieuwe Valstrik (DIJA Aanval): Bij de beeldhouwer kan de kwaadwillende actor de eerste helft van het verhaal invullen met onschuldige tekst, dan een "valstrik" in het midden smokkelen, of eerst het einde invullen. Ze gebruiken een sjabloon dat eruitziet als een normale vraag, maar de gevaarlijke delen verbergt in de lege plekken.

Het onderzoek stelde vast dat de huidige veiligheidstraining voor deze beeldhouwers "ondiep" is. Het is als een beveiliger die alleen je ID controleert wanneer je door de voordeur loopt. Als je eenmaal de deur bent gepasseerd en de gang op loopt, stopt de bewaker met opletten. De AI kan "Nee" zeggen tegen het eerste woord, maar als je de AI misleidt om het 10e woord met iets gevaarlijks in te vullen, vergeet de AI opnieuw "Nee" te zeggen.

De Oplossing: A2D (Any-Order, Any-Step Defense)

De auteurs hebben een nieuwe veiligheidsmethode ontwikkeld genaamd A2D. Zo werkt het, met behulp van een eenvoudige analogie:

Het "Rode Stopbord" Token
In plaats van de AI alleen te trainen om aan het begin van de zin "Ik kan dat niet doen" te zeggen, leert A2D de AI een speciaal "Stopbord" token (genoemd [EOS]).

De Training: Ze nemen de AI en laten hem gevaarlijke zinnen zien. Maar in plaats van de zin af te maken, bedekken ze de gevaarlijke delen met vraagtekens en vertellen ze de AI: "Als je hier een vraagteken ziet, en de zin is gevaarlijk, moet je dat vraagteken onmiddellijk vervangen door een Stopbord."
Het Resultaat: De AI leert dat op elk gewenst punt in de zin, als hij iets schadelijks detecteert, hij onmiddellijk een Stopbord moet plaatsen.

Waarom is dit bijzonder?

Any-Order (Elke Volgorde): Het maakt niet uit of de AI het eerste woord of het laatste woord schrijft. Als er een gevaarlijk idee opduikt, verschijnt het Stopbord.
Any-Step (Elke Stap): Het maakt niet uit of het gevaar verschijnt bij stap 1 of stap 50. De veiligheidsbewaker is de hele tijd wakker, niet alleen bij de voordeur.

De "Invul-de-Blanco" Test

Om te bewijzen dat hun methode werkt, hebben de onderzoekers een supermoeilijke test bedacht genaamd FITS (Fill-in-the-Sentence).

Het Scenario: Stel je voor dat een boef een 99% complete handleiding schrijft over hoe je een bom maakt. Ze laten net één zin over (de laatste stap) en vragen de AI om deze in te vullen.
Het Resultaat: Oude veiligheidsmethoden faalden hier jammerlijk. Ze waren zo gefocust op het begin van de tekst, dat ze de AI de bomhandleiding lieten afmaken.
A2D's Prestatie: A2D keek naar die enkele ontbrekende zin, besefte dat het gevaarlijk was, en plaatste onmiddellijk het Stopbord. Het blokkeerde de aanval bijna 100% van de tijd.

De Bonus: Real-Time Veiligheidsradar

Omdat de AI getraind is om een Stopbord op te plaatsen zodra hij gevaar ziet, fungeert de waarschijnlijkheid van dat Stopbord als een veiligheidsradar.

Vroege Afwijzing: De onderzoekers ontdekten dat als ze de "Stopbord-waarschijnlijkheid" van de AI direct bij de allereerste stap controleren, ze kunnen zien of het hele verzoek slecht is voordat de AI zelfs maar één woord heeft geschreven.
Snelheid: Dit stelt de AI in staat om slechte verzoeken 19,3 keer sneller af te wijzen dan voorheen. Het is als een uitsmijter bij een club die kan zien dat je niet op de lijst staat nog voordat je de deur bereikt, wat iedereen tijd bespaart.

Verpest het de nuttigheid van de AI?

Het paper heeft dit uitgebreid getest. Ze vroegen de AI om wiskunde te doen, code te schrijven en algemene vragen te beantwoorden.

Het Oordeel: A2D hield de AI slim en behulpzaam. Het zorgde er niet voor dat de AI weigerde om normale vragen te beantwoorden (zoals "Hoe dood ik een python-proces?", wat gevaarlijk klinkt maar eigenlijk over programmeren gaat).
Vergelijking: Andere veiligheidsmethoden waren te gevoelig en weigerden onschuldige vragen te beantwoorden. A2D was precies: het stopte alleen het echt slechte gedrag.

Samenvatting

Het paper introduceert A2D, een veiligheidsupgrade voor een nieuw type AI dat in elke willekeurige volgorde schrijft.

Oude Veiligheid: Een bewaker bij de voordeur die na een paar minuten moe wordt.
A2D Veiligheid: Een beveiligingssysteem dat onmiddellijk een "Stop"-bord plaatst, ergens en op elk moment, als het gevaar ruikt.
Resultaat: Het stopt sluwe aanvallen die de voordeur passeren, werkt 19x sneller bij het zeggen van "nee", en houdt de AI behulpzaam voor de rest.

Technische Samenvatting: A2D – Any-Order, Any-Step Safety Alignment voor Diffusion Language Models

1. Probleemstelling

Diffusion Large Language Models (dLLMs) vormen een significante afwijking van autoregressieve (AR) modellen door het mogelijk maken van any-order decoding, waarbij tokens iteratief op willekeurige posities worden gegenereerd in plaats van in een vaste links-naar-rechts sequentie. Hoewel deze flexibiliteit complexe redenering en gestructureerde synthese ondersteunt, introduceert het unieke veiligheidskwetsbaarheden die conventionele alignment-methoden ineffectief maken.

Het kernprobleem dat wordt geïdentificeerd is shallow alignment (ondiepe alignment). Vergelijkbaar met AR-modellen vertonen huidige dLLMs sterke veiligheidssignalen alleen tijdens de initiële generatiestappen, die snel afnemen naarmate het decoderen vordert. Deze beperking creëert een groot aanvalsoppervlak:

Any-Order Vulnerability: Schadelijke inhoud kan op willekeurige posities tijdens het decodingspad worden geïnjecteerd, waardoor initiële weigeringen worden omzeild.
Any-Step Vulnerability: Template-gebaseerde aanvallen, zoals DIJA (Wen et al., 2025), exploiteren dit verval door adversariële tekst te verweven met [MASK] tokens in gedeeltelijk vooraf ingevulde prompts. Deze aanvallen richten zich op het model nadat verschillende stappen van het decoderen zijn voltooid en de veiligheidssignalen al zijn vervaagd, wat leidt tot onveilige voltooiingen die response-level alignment niet kan voorkomen.

Bestaande baselines, inclusief Refusal Training (RT), Supervised Fine-Tuning (SFT) en Variance-Reduced Preference Optimization (VRPO), vertrouwen op response-level supervisie. Bijgevolg hebben zij moeite om veiligheid te handhaven onder diverse decodingstrategieën (bijv. random, confidence-based) en falen ze tegen aanvallen die de initiële tokens omzeilen.

2. Methodologie: A2D (Any-Order, Any-Step Defense)

De auteurs stellen A2D voor, een token-level alignment methode die specifiek is ontworpen voor het flexibele decodeerproces van dLLMs. In tegen tegenstelling tot eerdere benaderingen die weigeringen alleen op vol-respons niveau superviseren, aligneert A2D het model om een specifiek [EOS] (End of Sequence) token uit te zenden wanneer schadelijke inhoud wordt aangetroffen op elke gemaskeerde positie.

Kernmechanisme

Token-Level Supervision: Tijdens de training wordt het model, indien er een schadelijk segment aanwezig is in de doelsequentie, gesuperviseerd om de gemaskeerde tokens binnen dat segment te vervangen door [EOS] in plaats van het oorspronkelijke schadelijke token.
Trainingsobjectief: De methode maakt gebruik van een standaard gemaskeerde diffusie-objective met een aangepaste doelverdeling:
- Harmful Set ( $D_{harm}$ ): Gemaskeerde tokens in schadelijke responses worden gesuperviseerd om [EOS] te voorspellen. Dit leert het model om schadelijke voortzettingen te stoppen, ongeacht de gedeeltelijke context.
- Retain Set ( $D_{retain}$ ): Gemaskeerde tokens in veilige responses (of veilige voltooiingen van schadelijke prompts) worden gesuperviseerd om de oorspronkelijke tokens te reconstrueren, om de algemene bruikbaarheid te behouden.
Randomized Masking: Het trainingsproces sampleert een corruptieratio $\lambda$ uniform, waardoor het model wordt blootgesteld aan zowel vroege als late decodingstadia. Dit zorgt ervoor dat de alignment robuust blijft over het gehele generatiepad, wat het fenomeen van "shallow alignment" voorkomt.
Refusal Token: Het [EOS] token is gekozen omdat dit al een standaard padding- en eindmarker is in dLLMs, wat ervoor zorgt dat het model bekend is met het gebruik ervan zonder de introductie van out-of-distribution (OOD) tokens die de prestaties zouden kunnen verslechteren.

Real-Time Monitoring en Vroege Rejectie

A2D biedt inherent een real-time veiligheidssignaal. Omdat het model is getraind om een hoge waarschijnlijkheid toe te kennen aan [EOS] wanneer schadelijke inhoud aanwezig is, fungeert deze waarschijnlijkheidsmassa als een online indicator van veiligheid.

Dynamische Interventie: Het model kan een respons beginnen, maar automatisch stoppen als onveilige voortzettingen halverwege de generatie verschijnen.
Vroege Rejectie: Door de [EOS] waarschijnlijkheid bij de meest linkse gemaskeerde positie van de eerste decodingstap te monitoren, kan het systeem een drempelwaarde-gebaseerd mechanisme voor vroege rejectie implementeren. Als de waarschijnlijkheid een drempelwaarde $\tau$ overschrijdt, stopt het model onmiddellijk zonder tokens te genereren, wat de inferentie-latentie voor schadelijke prompts aanzienlijk vermindert.

3. Belangrijkste Bijdragen

Identificatie van Any-Order/Any-Step Kwetsbaarheden: Het paper demonstreert dat dLLMs lijden aan shallow alignment die snel afneemt over decodingstappen en niet robuust is tegen willekeurige decodingvolgordes, waardoor ze vatbaar zijn voor aanvallen zoals DIJA.
Token-Level Alignment Framework: A2D introduceert een nieuw alignment-paradigma dat verschuift van response-level weigeringen naar token-level onderdrukking met behulp van [EOS], wat een robuuste verdediging mogelijk maakt op elk stap van het generatieproces.
Real-Time Veiligheidsmonitoring: De methode gebruikt de [EOS] waarschijnlijkheid als een intern veiligheidssignaal, wat dynamische interventie en vroege rejectie van schadelijke prompts mogelijk maakt.
Uitgebreide Evaluatie: De auteurs introduceren de Fill-in-the-Sentence (FITS) aanval om de alignment te testen onder extreme omstandigheden waarbij een enkele gemaskeerde zin is ingebed binnen een schadelijke response.

4. Experimentele Resultaten

De auteurs evalueerden A2D op drie instructie-getunede dLLMs: LLaDA-8B-Instruct, LLaDA-1.5, en Dream-v0-Instruct-7B, waarbij het werd vergeleken met RT, SFT en VRPO baselines.

Verdediging tegen Jailbreaks: A2D behaalde consistent de laagste gemiddelde Attack Success Rate (ASR) over alle benchmarks (Zeroshot, PAIR, ReNeLLM, Prefilling, en DIJA).
- DIJA Prestaties: A2D reduceerde de DIJA succesratio's van meer dan 80% in baseline modellen naar bijna nul: 1,3% op LLaDA-8B, 3,5% op LLaDA-1.5, en 0,0% op Dream.
- FITS Aanval: Onder de extreme FITS-aanval (waarbij slechts één zin ontbreekt uit een schadelijke response), reduceerde A2D de ASR naar bijna 0% over alle modellen, terwijl andere methoden faalden met ASR's boven de 60%.
Robuustheid tegen Decodingstrategieën: A2D behield een lage ASR over vijf decodingstrategieën (Left-to-Right, Right-to-Left, Confidence, Entropy, Random), terwijl baseline modellen een hoge kwetsbaarheid vertoonden voor specifieke volgordes.
Behoud van Bruikbaarheid: A2D voorkwam overmatige weigering (over-refusal) en behaalde 0% fout-positieven op de XSTest benchmark (onschuldige prompts die lijken op onveilige prompts). Het behield competitieve prestaties op algemene bekwaamheidsbenchmarks (MMLU, GSM8K, HumanEval), waarbij het beter presteerde dan andere alignment-methoden die last hadden van significante degradatie van capaciteiten.
Efficiëntiewinst: Het vroege rejectiemechanisme leverde tot 19,3× snellere veilige terminatie op schadelijke prompts (bij $\tau=0,8$ ) terwijl de hoge alignment-getrouwheid behouden bleef.

5. Betekenis en Claims

Het paper beweert dat A2D een nieuwe standaard vestigt voor veiligheid in diffusie-gebaseerde tekstgeneratie door de fundamentele mismatch tussen de flexibele decoding van dLLMs en de rigide, response-level aard van traditionele alignment aan te pakken.

Diepe Alignment: A2D bereikt "diepe alignment", wat garandeert dat veiligheidssignalen gedurende het gehele generatiepad blijven bestaan, niet alleen aan het begin.
Orde-onafhankelijkheid: Het biedt een verdediging die robuust is ongeacht de decodingstrategie, een cruciale vereiste voor de praktische implementatie van dLLMs.
Praktische Implementatie: Door real-time monitoring en vroege rejectie mogelijk te maken, biedt A2D een pad om dLLMs veilig te implementeren in real-world applicaties waar latentie en veiligheid van groot belang zijn.

De auteurs concluderen dat deze aanpak de kloof overbrugt tussen de generatieve flexibiliteit van dLLMs en de veiligheidsbeperkingen die vereist zijn voor echt gebruik, wat de weg vrijmaakt voor betrouwbare diffusie-gebaseerde taal-systemen.