💬 NLP

A2D: Any-Order, Any-Step Safety Alignment for Diffusion Language Models

A2D führt eine Token-Level-Sicherheitsausrichtungsmethode für Diffusionssprachmodelle ein, die randomisiertes Maskieren nutzt, um unmittelbare [EOS]-Ablehnungssignale auszugeben, was jegliche Any-Order- und Any-Step-Angriffe wie DIJA effektiv neutralisiert und gleichzeitig Echtzeit-Überwachung sowie signifikant schnellere sichere Terminierung ermöglicht.

Ursprüngliche Autoren: Wonje Jeung, Sangyeon Yoon, Yoonjun Cho, Dongjae Jeon, Sangwoo Shin, Hyesoo Hong, Albert No

Veröffentlicht 2026-02-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wonje Jeung, Sangyeon Yoon, Yoonjun Cho, Dongjae Jeon, Sangwoo Shin, Hyesoo Hong, Albert No

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Eine neue Art von KI-Schreiber

Stellen Sie sich die meisten KI-Chatbots (wie die, mit denen Sie jeden Tag sprechen) als Fließbandarbeiter vor. Sie bauen einen Satz Wort für Wort auf, streng von links nach rechts. Wenn man sie etwas Gefährliches fragt, prüfen sie meistens die ersten paar Wörter, entscheiden „Nein, das ist schlecht“ und hören sofort auf.

Aber es gibt einen neuen Typ von KI, ein Diffusion Language Model (dLLM). Betrachten Sie diese KI nicht als Fließbandarbeiter, sondern als einen Bildhauer, der an einem Marmorblock arbeitet. Anstatt Wort für Wort zu schreiben, beginnt sie mit einer leeren Seite voller Fragezeichen (Masken) und füllt diese nach und nach aus. Sie kann das Ende eines Satzes vor dem Anfang ausfüllen oder die Mitte vor dem Anfang. Sie kann die ganze Geschichte gleichzeitig bearbeiten.

Das Problem: Der „Backdoor“-Angriff

Da dieser Bildhauer Wörter in jeder beliebigen Reihenfolge ausfüllen kann, hat er eine neue Schwachstelle.

Stellen Sie sich vor, ein böswilliger Akteur möchte den Bildhauer austricksen, damit dieser eine Anleitung zum Autodiebstahl schreibt.

Die alte Falle: Wenn der Bildhauer ein Fließbandarbeiter wäre, würde der böswillige Akteur versuchen, ihn ganz am Anfang auszutricksen.
Die neue Falle (DIJA-Angriff): Bei dem Bildhauer kann der böswillige Akteur die erste Hälfte der Geschichte mit harmlosem Text füllen, dann in der Mitte eine „Falle“ einschleichen oder zuerst das Ende ausfüllen. Sie verwenden eine Vorlage, die wie eine normale Anfrage aussieht, aber die gefährlichen Teile in den Lücken versteckt.

Das Paper stellte fest, dass das aktuelle Sicherheitstraining für diese Bildhauer „oberflächlich“ ist. Es ist wie ein Sicherheitswachmann, der nur Ihren Ausweis kontrolliert, wenn Sie durch die Eingangstür gehen. Wenn Sie es schaffen, an der Tür vorbeizuschlüpfen und den Flur entlangzugehen, hört der Wachmann auf aufzupassen. Die KI sagt vielleicht „Nein“ zum ersten Wort, aber wenn sie Sie austrickst, das 10. Wort mit etwas Gefährlichem auszufüllen, vergisst sie, erneut „Nein“ zu sagen.

Die Lösung: A2D (Any-Order, Any-Step Defense)

Die Autoren haben eine neue Sicherheitsmethode namens A2D entwickelt. So funktioniert sie, unter Verwendung einer einfachen Analogie:

Das „Rote Stoppschild“-Token

Anstatt die KI nur darauf zu trainieren, ganz am Anfang „Das kann ich nicht machen“ zu sagen, lehrt A2D die KI ein spezielles „Stoppschild“-Token (genannt [EOS]).

Das Training: Sie nehmen die KI und zeigen ihr gefährliche Sätze. Aber anstatt sie den Satz zu Ende führen zu lassen, decken sie die gefährlichen Teile mit Fragezeichen ab und sagen der KI: „Wenn du hier ein Fragezeichen siehst und der Satz gefährlich ist, musst du dieses Fragezeichen sofort durch ein Stoppschild ersetzen.“
Das Ergebnis: Die KI lernt, dass sie – an jedem beliebigen Punkt im Satz – sofort ein Stoppschild aufsetzen muss, wenn sie etwas Schädliches wahrnimmt.

Warum ist das besonders?

Any-Order (Jede Reihenfolge): Es spielt keine Rolle, ob die KI das erste oder das letzte Wort schreibt. Wenn eine gefährliche Idee auftaucht, erscheint das Stoppschild.
Any-Step (Jeder Schritt): Es spielt keine Rolle, ob die Gefahr bei Schritt 1 oder Schritt 50 auftaucht. Der Sicherheitswachmann ist die ganze Zeit wach, nicht nur an der Tür.

Der „Lückentext“-Test

Um zu beweisen, dass ihre Methode funktioniert, erfanden die Forscher einen superharten Test namens FITS (Fill-in-the-Sentence).

Das Szenario: Stellen Sie sich vor, ein Bösewicht schreibt eine zu 99 % fertige Anleitung zum Bau einer Bombe. Er lässt nur einen einzigen Satz aus (den letzten Schritt) und bittet die KI, diesen auszufüllen.
Das Ergebnis: Die alten Sicherheitsmethoden versagten kläglich. Sie waren so sehr auf den Anfang des Textes fokussiert, dass sie die KI die Bombenanleitung vollenden ließen.
Die Leistung von A2D: A2D sah sich diesen einzelnen fehlenden Satz an, erkannte, dass er gefährlich war, und setzte sofort das Stoppschild auf. Es blockierte den Angriff fast zu 100 %.

Der Bonus: Echtzeit-Sicherheitsradar

Da die KI darauf trainiert ist, ein Stoppschild aufzustellen, wann immer sie Gefahr wittert, fungiert die Wahrscheinlichkeit, dass dieses Stoppschild erscheint, wie ein Sicherheitsradar.

Frühzeitige Ablehnung: Die Forscher fanden heraus, dass sie, wenn sie die „Stoppschild-Wahrscheinlichkeit“ der KI direkt beim allerersten Schritt prüfen, erkennen können, ob die gesamte Anfrage schlecht ist, noch bevor die KI auch nur ein einziges Wort schreibt.
Geschwindigkeit: Dies ermöglicht es der KI, schlechte Anfragen 19,3-mal schneller abzulehnen als zuvor. Es ist wie ein Türsteher im Club, der schon weiß, dass Sie nicht auf der Liste stehen, noch bevor Sie die Tür erreichen, was allen Zeit spart.

Ruiniert es die Hilfsbereitschaft der KI?

Das Paper hat dies umfassend getestet. Sie ließen die KI Matheaufgaben lösen, Code schreiben und allgemeine Fragen beantworten.

Das Urteil: A2D hielt die KI intelligent und hilfreich. Die KI verweigerte nicht die Antwort auf normale Fragen (wie „Wie töte ich einen Python-Prozess?“ – was gefährlich klingen kann, aber eigentlich etwas über Programmierung ist).
Vergleich: Andere Sicherheitsmethoden waren zu sensibel und verweigerten die Antwort auf harmlose Fragen. A2D war präzise: Es stoppte nur die wirklich schlechten Dinge.

Zusammenfassung

Das Paper stellt A2D vor, ein Sicherheits-Upgrade für eine neue Art von KI, die in beliebiger Reihenfolge schreibt.

Alte Sicherheit: Ein Wachmann an der Vordertür, der nach ein paar Minuten müde wird.
A2D-Sicherheit: Ein Sicherheitssystem, das sofort ein „Stopp“-Schild aufstellt, überall und jederzeit, wenn es Gefahr riecht.
Ergebnis: Es stoppt hinterhältige Angriffe, die an der Vordertür vorbeischlüpfen, sagt 19-mal schneller „Nein“ und hält die KI für alle anderen hilfreich.

Technisches Resümee: A2D – Any-Order, Any-Step Safety Alignment für Diffusion Language Models

1. Problemstellung

Diffusion Large Language Models (dLLMs) stellen eine signifikante Abkehr von autoregressiven (AR) Modellen dar, indem sie ein Any-Order-Decoding ermöglichen, bei dem Token iterativ an beliebigen Positionen statt in einer festen Links-nach-Rechts-Sequenz generiert werden. Während diese Flexibilität komplexes Schließen und strukturierte Inhaltssynthese unterstützt, führt sie einzigartige Sicherheitsvulnerabilitäten ein, die konventionelle Alignment-Methoden unwirksam machen.

Das identifizierte Kernproblem ist das Shallow Alignment (oberflächliches Alignment). Ähnlich wie AR-Modelle weisen aktuelle dLLMs nur in den anfänglichen Generierungsschritten starke Sicherheitsreize auf, die im Verlauf des Decodings schnell abnehmen. Diese Limitierung schafft eine große Angriffsfläche:

Any-Order-Vulnerabilität: Schädliche Inhalte können an beliebigen Positionen während der Decoding-Trajektorie injiziert werden, wodurch initiale Verweigerungen umgangen werden.
Any-Step-Vulnerabilität: Template-basierte Angriffe, wie etwa DIJA (Wen et al., 2025), nutzen diesen Zerfall aus, indem sie adversariellen Text mit [MASK]-Token in teilweise vorgefüllten Prompts verweben. Diese Angriffe zielen auf das Modell nach mehreren Decoding-Schritten ab, wenn die Sicherheitsreize bereits abgeklungen sind, was zu unsicheren Vervollständigungen führt, die durch Response-Level-Alignment-Methoden nicht verhindert werden können.

Bestehende Baselines, einschließlich Refusal Training (RT), Supervised Fine-Tuning (SFT) und Variance-Reduced Preference Optimization (VRPO), stützen sich auf eine Supervision auf Response-Ebene. Folglich haben sie Schwierigkeiten, die Sicherheit unter diversen Decoding-Strategien (z. B. zufällig, konfidenzbasiert) aufrechtzuerhalten, und versagen gegenüber Angriffen, die die initialen Token umgehen.

2. Methodik: A2D (Any-Order, Any-Step Defense)

Die Autoren schlagen A2D vor, eine Token-Level-Alignment-Methode, die speziell für den flexiblen Decoding-Prozess von dLLMs entwickelt wurde. Im Gegensatz zu bisherigen Ansätzen, die Verweigerungen nur auf der Ebene der vollständigen Antwort (Full-Response) supervidieren, richtet A2D das Modell darauf aus, ein spezifisches [EOS] (End of Sequence) Token auszugeben, wann immer schädliche Inhalte an einer beliebigen maskierten Position auftreten.

Kernmechanismus

Token-Level Supervision: Während des Trainings wird das Modell darauf trainiert, maskierte Tokens innerhalb eines schädlichen Spans durch [EOS] zu ersetzen, anstatt das ursprüngliche schädliche Token vorherzusagen, falls ein schädlicher Bereich in der Zielsequenz vorhanden ist. Dies lehrt das Modell, schädliche Fortsetzungen unabhängig vom partiellen Kontext zu stoppen.
Trainingsziel: Die Methode nutzt ein Standard-Masked-Diffusion-Ziel mit einer modifizierten Zielverteilung:
- Harmful Set ( $D_{harm}$ ): Maskierte Tokens in schädlichen Antworten werden dazu supervidiert, [EOS] vorherzusagen. Dies lehrt das Modell, schädliche Fortsetzungen unabhängig vom Teilkontext zu stoppen.
- Retain Set ( $D_{retain}$ ): Maskierte Tokens in sicheren Antworten (oder sicheren Vervollständigungen von schädlichen Prompts) werden dazu supervidiert, die ursprünglichen Tokens zu rekonstruieren, um die allgemeine Nützlichkeit zu bewahren.
Randomisierte Maskierung: Der Trainingsprozess sampelt eine Korruptionsrate $\lambda$ gleichmäßig, wodurch das Modell sowohl frühen als auch späten Decoding-Phasen ausgesetzt wird. Dies stellt sicher, dass das Alignment über die gesamte Generierungstrajektorie hinweg robust bleibt und das Phänomen des „Shallow Alignment“ verhindert.
Refusal Token: Das [EOS]-Token wurde gewählt, da es bereits ein Standard-Padding- und End-Marker in dLLMs ist. Dies stellt sicher, dass das Modell mit dessen Verwendung vertraut ist, ohne dass Out-of-Distribution (OOD) Tokens eingeführt werden müssen, die die Performance beeinträchtigen könnten.

Echtzeit-Überwachung und Früherkennung (Early Rejection)

A2D bietet inhärent ein Echtzeit-Sicherheitssignal. Da das Modell darauf trainiert ist, eine hohe Wahrscheinlichkeit für [EOS] zuzuweisen, wenn schädliche Inhalte präsent sind, fungiert diese Wahrscheinlichkeitsmasse als Online-Indikator für Sicherheit.

Dynamische Intervention: Das Modell kann eine Antwort beginnen, aber automatisch terminieren, falls unsichere Fortsetzungen während der Generierung auftreten.
Frühe Ablehnung (Early Rejection): Durch Überwachung der [EOS]-Wahrscheinlichkeit an der am weitesten links liegenden maskierten Position des ersten Decoding-Schritts kann das System einen schwellenwertbasierten Mechanismus zur frühen Ablehnung implementieren. Wenn die Wahrscheinlichkeit einen Schwellenwert $\tau$ überschreitet, stoppt das Modell sofort, ohne Tokens zu generieren, was die Latenz bei schädlichen Prompts erheblich reduziert.

3. Wichtigste Beiträge

Identifizierung von Any-Order/Any-Step-Vulnerabilitäten: Die Arbeit zeigt, dass dLLMs unter Shallow Alignment leiden, das über die Decoding-Schritte hinweg schnell abnimmt und gegenüber beliebigen Decoding-Reihenfolgen nicht robust ist, was sie anfällig für Angriffe wie DIJA macht.
Token-Level Alignment Framework: A2D führt ein neuartiges Alignment-Paradigma ein, das von Response-Level-Verweigerungen zu Token-Level-Unterdrückung mittels [EOS] wechselt und so eine robuste Verteidigung zu jedem Schritt des Generierungsprozesses ermöglicht.
Echtzeit-Sicherheitsüberwachung: Die Methode nutzt die [EOS]-Wahrscheinlichkeit als internen Sicherheitsindikator, was dynamische Interventionen und die frühe Ablehnung von schädlichen Prompts ermöglicht.
Umfassende Evaluierung: Die Autoren führen den Fill-in-the-Sentence (FITS) Angriff ein, um das Alignment unter extremen Bedingungen zu testen, bei denen ein einzelner maskierter Satz in eine schädliche Antwort eingebettet ist.

4. Experimentelle Ergebnisse

Die Autoren evaluierten A2D auf drei Instruction-getunten dLLMs: LLaDA-8B-Instruct, LLaDA-1.5 und Dream-v0-Instruct-7B, im Vergleich zu den Baselines RT, SFT und VRPO.

Verteidigung gegen Jailbreaks: A2D erreichte konsistent die niedrigste durchschnittliche Attack Success Rate (ASR) über alle Benchmarks hinweg (Zeroshot, PAIR, ReNeLLM, Prefilling und DIJA).
- DIJA Performance: A2D reduzierte die Erfolgsraten von DIJA von über 80 % in den Baseline-Modellen auf nahezu Null: 1,3 % bei LLaDA-8B, 3,5 % bei LLaDA-1.5 und 0,0 % bei Dream.
- FITS Attack: Unter dem extremen FITS-Angriff (bei dem nur ein Satz aus einer schädlichen Antwort fehlt) reduzierte A2D die ASR auf nahezu 0 % über alle Modelle hinweg, während andere Methoden mit ASRs von über 60 % versagten.
Robustheit gegenüber Decoding-Strategien: A2D hielt eine niedrige ASR über fünf Decoding-Strategien aufrecht (Links-nach-Rechts, Rechts-nach-Links, Konfidenz, Entropie, Zufall), während Baseline-Modelle eine hohe Vulnerabilität gegenüber spezifischen Ordnungen zeigten.
Erhalt der Nützlichkeit (Utility): A2D vermied Over-Refusal und erreichte 0 % False Positives im XSTest Benchmark (gutartige Prompts, die unsicheren ähneln). Es behielt eine kompetitive Performance auf allgemeinen Fähigkeits-Benchmarks (MMLU, GSM8K, HumanEval) bei und übertraf andere Alignment-Methoden, die unter signifikanter Degradierung der Fähigkeiten litten.
Effizienzgewinne: Der Mechanismus zur frühen Ablehnung ermöglichte eine bis zu 19,3-mal schnellere sichere Terminierung bei schädlichen Prompts (bei $\tau=0,8$ ), während eine hohe Alignment-Fidelität gewahrt blieb.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass A2D einen neuen Standard für die Sicherheit in der diffusionsbasierten Textgenerierung setzt, indem es den grundlegenden Mismatch zwischen dem flexiblen Decoding von dLLMs und der starren, Response-basierten Natur traditioneller Alignments adressiert.

Deep Alignment: A2D erreicht „Deep Alignment“, was sicherstellt, dass Sicherheitsreize während der gesamten Generierungstrajektorie bestehen bleiben und nicht nur zu Beginn.
Ordnungsunabhängigkeit: Es bietet eine Verteidigung, die unabhängig von der Decoding-Strategie robust ist – eine kritische Anforderung für den praktischen Einsatz von dLLMs.
Praktische Implementierung: Durch die Ermöglichung von Echtzeit-Überwachung und früher Ablehnung bietet A2D einen Weg, dLLMs sicher in realen Anwendungen einzusetzen, in denen Latenz und Sicherheit von zentraler Bedeutung sind.

Die Autoren kommen zu dem Schluss, dass dieser Ansatz die Lücke zwischen der generativen Flexibilität von dLLMs und den Sicherheitsanforderungen für den realen Einsatz schließt und den Weg für zuverlässige Diffusions-Sprachsysteme ebnet.