💬 NLP

Adaptive Steering and Remasking for Safe Generation in Diffusion Language Models

Dieser Artikel schlägt ein Plug-and-Play-Inferenzzeit-Verteidigungsframework für Diffusions-Sprachmodelle vor, das eine auf kontrastiven Sicherheitsrichtungen basierende Erkennung mit adaptiver Steuerung und Token-Remasking kombiniert, um Sicherheitsanfälligkeiten während der iterativen Entrauschung wirksam zu mindern und gleichzeitig die Generierungsqualität zu erhalten.

Ursprüngliche Autoren: Yejin Lee, Yo-Sub Han

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yejin Lee, Yo-Sub Han

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Diffusions-Sprachmodell (DLM) als ein Team von Künstlern vor, die gemeinsam ein Bild basierend auf einer Aufforderung malen. Im Gegensatz zu einem traditionellen Schriftsteller, der einen Pinselstrich nach dem anderen in einer geraden Linie setzt, beginnt dieses Team mit einer Leinwand, die vollständig mit statischem Rauschen bedeckt ist. Sie arbeiten in Runden und entfernen das Rauschen schrittweise, um das Bild freizulegen.

Das Problem, wie das Papier erklärt, besteht darin, dass sich, wenn eine „schlechte" Idee (wie eine schädliche Anweisung) während der frühen Runden des Rauschentfernens in das Bild einschleicht, sie festgesetzt wird. Da die Künstler das Bild basierend auf dem, was sie sehen, weiter verfeinern, breitet sich diese frühe schlechte Idee aus und ruiniert schließlich das gesamte Gemälde, selbst wenn die Künstler versuchen, es später zu korrigieren.

So behebt die neue Methode der Autoren, Adaptive Steuerung und Remasking, dieses Problem, erklärt durch einfache Analogien:

1. Das Problem: Der „schlechte Samen" im Garten

Bei herkömmlicher KI kann die KI, wenn Sie eine gefährliche Frage stellen, sofort ablehnen. Bei diesen „Diffusions"-Modellen beginnt die KI jedoch mit einem leeren Blatt und füllt es langsam aus.

Die Verwundbarkeit: Wenn ein schädliches Wort (wie „Bombe") früh im Prozess erscheint, behandelt das Modell es als Fakt und baut den Rest des Satzes darum auf. Bis das Modell erkennt, dass es etwas Falsches tut, ist der „schlechte Samen" zu einem ganzen Baum herangewachsen, und das Modell kann ihn nicht einfach abhacken.
Die alte Lösung: Frühere Methoden versuchten, wie ein strenger Gärtner zu sein, der, sobald er ein Unkraut sieht, einfach die Bewässerung des gesamten Gartens einstellt. Dies hielt das Unkraut fern, tötete aber auch die Blumen, was zu leeren oder gebrochenen Sätzen führte.

2. Die Lösung: Ein intelligenter Führer und ein Präzisions-Schneider

Die Autoren schlagen ein zweistufiges Sicherheitssystem vor, das wie ein intelligenter Führer und ein Präzisionswerkzeug wirkt, die während der Entstehung des Gemäldes arbeiten und nicht danach.

Schritt 1: Der „Kompass" (Adaptive Steuerung)

Das Team erstellt zunächst eine kontrastive Sicherheitsrichtung (CSD). Stellen Sie sich dies wie einen Kompass vor, der spezifisch auf „Sicher" zeigt und weg von „Schädlich".

Funktionsweise: Sie zeigen dem Modell Beispiele für sichere Antworten und schädliche Antworten. Sie berechnen den mathematischen Unterschied zwischen ihnen, um diesen „Kompass" zu erstellen.
Die Aktion: Während der frühen Runden des Malprozesses (wenn das Bild noch größtenteils Rauschen ist) prüft das System die Richtung des Modells. Wenn das Modell beginnt, sich zur „schädlichen" Seite des Kompasses zu neigen, schiebt das System es sanft zurück zur „sicheren" Seite.
Die Analogie: Stellen Sie sich vor, Sie wandern durch einen nebligen Wald. Wenn Sie beginnen, in Richtung einer Klippe (schädlich) zu gehen, stößt ein Führer sanft Ihre Schulter, um Sie zurück auf den Pfad (sicher) zu lenken, bevor Sie zu nahe an den Rand kommen. Dies geschieht früh, damit Sie sich nicht verirren.

Schritt 2: Der „Präzisions-Schneider" (Remasking)

Selbst mit dem Kompass rutscht manchmal ein schlechtes Wort durch. Hier kommt der zweite Schritt ins Spiel.

Funktionsweise: Das System scannt die bisher freigelegten Wörter. Wenn es ein Wort entdeckt, das stark mit der „schädlichen" Richtung übereinstimmt, löscht es nicht den gesamten Satz. Stattdessen legt es eine „Maske" (eine leere Abdeckung) über genau dieses eine schlechte Wort.
Die Aktion: Das Modell wird dann gebeten, nur diesen spezifischen Bereich neu zu malen und versucht, ein sichereres Wort zu finden, um es zu ersetzen.
Die Analogie: Stellen Sie sich vor, ein Bildhauer schnitzt eine Statue. Wenn er versehentlich ein gezacktes, hässliches Stück Stein schnitzt, zertrümmert er nicht die gesamte Statue. Er hackt einfach dieses eine hässliche Stück weg und glättet es mit frischem Ton. So bleibt der Rest der schönen Statue intakt.

3. Warum dies besser ist

Keine schwere Arbeit: Die Autoren mussten das Modell nicht neu trainieren (ihm neue Lektionen von Grund auf beibringen). Sie fügten einfach diesen „Kompass" und „Schneider" als Plug-in-Tool hinzu, das funktioniert, während das Modell denkt.
Qualität vs. Sicherheit: Alte Methoden waren wie der Einsatz eines Vorschlaghammers, um eine Fliege zu töten; sie stoppten die Gefahr, zerstörten aber die Möbel (die Qualität des Textes). Diese neue Methode ist wie der Einsatz einer Fliegenklatsche; sie stoppt die Gefahr, lässt aber die Möbel (die Geschichte oder den Code) vollkommen in Ordnung.
Die Ergebnisse: In ihren Tests verhinderte diese Methode „Jailbreak"-Angriffe (Versuche, die KI zu täuschen, um unsicher zu werden) fast vollständig (in einigen Fällen sank die Erfolgsrate auf weniger als 1 %), während die Fähigkeit der KI, gute Geschichten zu schreiben und Matheprobleme zu lösen, fast unverändert blieb.

Zusammenfassung

Das Papier argumentiert, dass man, um diese „iterativen" KI-Modelle sicher zu halten, nicht bis zum Ende warten kann, um nach Fehlern zu suchen. Man muss den Prozess ganz am Anfang sanft lenken (Steering) und spezifische schlechte Teile beheben, sobald sie auftauchen (Remasking). Dies stellt sicher, dass die endgültige Ausgabe sowohl sicher als auch hochwertig ist, ohne dass die KI von Grund auf neu aufgebaut werden muss.

Technische Zusammenfassung: Adaptive Steuerung und Remasking für sichere Generierung in Diffusions-Sprachmodellen

Problemstellung
Diffusions-Sprachmodelle (DLMs) generieren Text durch iterative Denoisierung und bidirektionale Verfeinerung und bieten Vorteile bei der parallelen Generierung und der globalen Kontextanalyse gegenüber autoregressiven Modellen. Dieses iterative Paradigma führt jedoch zu einzigartigen Sicherheitsanfälligkeiten. Im Gegensatz zu autoregressiven Modellen, bei denen die Sicherheit oft auf Token-Ebene bestimmt wird, sind DLMs anfällig für schädliche Signale, die während der mittleren Denoisierungsschritte entstehen und sich ausbreiten. Jüngste Studien zeigen, dass frühe Denoisierungstrajektorien die endgültigen Ausgaben stark beeinflussen; sobald ein schädliches Token freigegeben wird, kann es die gesamte Generierungstrajektorie in Richtung unsicherer Antworten lenken. Bestehende Verteidigungsmethoden, die hauptsächlich aus autoregressiven Rahmenwerken adaptiert wurden oder auf globales Remasking setzen, versagen häufig darin, die semantische Denoisierungstrajektorie explizit zu steuern. Dies führt zu einem Zielkonflikt, bei dem eine aggressive Unterdrückung schädlicher Tokens zu qualitativ minderwertigen Ausgaben, leeren Antworten oder einem Zusammenbruch der Generierungsnützlichkeit führt, während unzureichende Eingriffe Jailbreaks nicht verhindern.

Methodik
Die Autoren schlagen ein Verteidigungsframework zur Laufzeit vor, das ohne zusätzliche Feinabstimmung arbeitet und Adaptive Steuerung sowie Token-Remasking kombiniert. Das Framework funktioniert in zwei komplementären Phasen:

Konstruktions der Kontrastiven Sicherheitsrichtung (CSD):
Die Methode konstruiert zunächst einen latenten Vektor, der die semantische Grenze zwischen schädlichen und sicheren Generierungen darstellt. Unter Verwendung gepaarter Proben (identische Prompts mit schädlichen versus sicheren Ablehnungsantworten) berechnen die Autoren die Differenz der versteckten Repräsentationen zwischen den beiden Klassen. Dieser Differenzvektor, die CSD, erfasst die „schädliche semantische Richtung" im latenten Raum des Modells.
Phase 1: Adaptive Steuerung in frühen Schritten:
In Anbetracht der Tatsache, dass frühe Denoisierungsschritte die endgültige Trajektorie entscheidend bestimmen, wendet das Framework eine Steuerungseingriff nur während des anfänglichen Bruchteils ( $\rho T$ ) der Denoisierungsschritte an.
- Mechanismus: Die versteckten Zustände des Modells für maskierte Tokens und Prompt-Repräsentationen werden auf die CSD projiziert. Die Komponente des versteckten Zustands, die mit der schädlichen Richtung übereinstimmt, wird unter Verwendung eines Skalierungsfaktors $\beta$ unterdrückt.
- Adaptivität: Die Stärke der Steuerung wird basierend auf dem geschätzten Ausmaß der Schädlichkeit (der Projektionsgröße) moduliert. Dies lenkt die Denoisierungstrajektorie in sichere semantische Bereiche, bevor sich schädliche Semantiken stabilisieren, ohne spätere Verfeinerungsstufen übermäßig einzuschränken.
Phase 2: Token-Remasking:
Nach der initialen Steuerung adressiert eine Verfeinerungsphase verbleibende schädliche Tokens, die möglicherweise entstanden sind.
- Erkennung: Das Framework berechnet Ausrichtungsscores für einzelne Tokens gegenüber der CSD. Tokens, die einen Schwellenwert überschreiten, werden als schädlich identifiziert.
- Remasking: Anstatt einer globalen Unterdrückung maskiert die Methode selektiv nur die identifizierten schädlichen Tokens neu. Das Modell regeneriert diese Positionen dann aus dem korrigierten semantischen Kontext. Dieser iterative Prozess läuft für eine feste Anzahl von Schritten oder fort, bis keine schädlichen Tokens mehr vorhanden sind, und gewährleistet so flüssige und sichere Ausgaben.

Hauptbeiträge

Verteidigungsframework zur Laufzeit: Die Arbeit stellt ein Plug-and-Play-Modul vor, das semantische Steuerung und selektives Remasking integriert und keine Parameteraktualisierungen oder Sicherheitsfeinabstimmung des Basis-DLM erfordert.
Identifikation kritischer Kontrollpunkte: Die Arbeit identifiziert frühe Denoisierungstrajektorien als den primären Kontrollpunkt für die DLM-Sicherheit. Sie zeigt, dass eine Steuerung in Teil-Schritten Generierungspfade effektiv umlenkt, bevor schädliches Verhalten stabilisiert wird.
Ausgewogenheit von Sicherheit und Nützlichkeit: Die vorgeschlagene Methode adressiert den inhärenten Zielkonflikt zwischen Sicherheit und Nützlichkeit bei früheren Remasking-Ansätzen. Durch die frühe Lenkung der Trajektorie und das spätere Remasking nur spezifischer Tokens werden schädliche Generierungen gemindert, während die Generierungsqualität und -flüssigkeit erhalten bleiben.

Experimentelle Ergebnisse
Das Framework wurde an zwei Backbone-DLMs (LLaDA-7B und Dream-8B) über mehrere Benchmarks hinweg evaluiert (JailBreakBench, AdvBench, DIJA, PAP und Prefix-Angriffe).

Jailbreak-Verteidigung: Die Methode reduzierte die Erfolgsraten von Angriffen (ASR) signifikant. Beim Dream-Modell erreichte sie eine durchschnittliche ASR von 0,64% auf AdvBench und 8,00% auf JailBreakBench und übertraf bestehende Baselines wie DiffuGuard und Self-reminder hinsichtlich der ausgewogenen Robustheit über verschiedene Angriffstypen hinweg.
Erhaltung der Qualität: Im Gegensatz zu aggressiven Remasking-Methoden, die einen Generierungszusammenbruch verursachten (hohe Raten an leeren oder kaputten Sätzen), behielt der vorgeschlagene Ansatz die Generierungsqualität nahe am Originalmodell bei. Auf Benchmarks für allgemeine Fähigkeiten (TruthfulQA, MATH-500, MMLU) bewahrte die Methode die Nützlichkeit besser als DiffuGuard, obwohl im Vergleich zum Vanilla-Modell eine gewisse Verschlechterung beobachtet wurde, was dem Zielkonflikt bei Sicherheitseingriffen entspricht.
Ablationsstudien: Experimente bestätigten, dass beide Phasen notwendig sind. Das Entfernen der frühen Steuerung erhöhte die ASR signifikant (von 18% auf 54%), und das Entfernen des Remaskings verschlechterte ebenfalls die Leistung, was unterstreicht, dass sowohl die Trajektorienführung als auch die Token-Ebene-Korrektur unerlässlich sind.

Bedeutung
Die Arbeit behauptet, dass die DLM-Sicherheit nicht allein eine Funktion der Verteilung der endgültigen Ausgabe ist, sondern tief von der mittleren Denoisierungstrajektorie abhängt. Das vorgeschlagene schrittweise Eingriffsframework zeigt, dass Sicherheit während des gesamten Generierungsprozesses aufrechterhalten werden kann, ohne die inhärenten generativen Fähigkeiten des Modells zu beeinträchtigen. Durch die Nutzung einer kontrastiven Sicherheitsrichtung zur Steuerung des latenten Raums und das selektive Remasking nur bei Bedarf bietet die Methode eine robuste Lösung für die einzigartigen Anfälligkeiten der textgenerierenden Diffusionsverfahren und ebnet den Weg für einen sichereren Einsatz von DLMs ohne die Notwendigkeit kostspieliger Neustrainings.