💬 NLP

Test-Time Safety Alignment

Dieser Artikel zeigt, dass Eingabe-Wort-Embeddings durch Schätzung von Gradienten nullter Ordnung optimiert werden können, um abgestimmte Sprachmodelle von schädlichen Ablehnungen oder unsicheren Ausgaben wegzusteuern und damit sicherheitsmarkierte Antworten auf Standard-Benchmarks effektiv zu neutralisieren.

Ursprüngliche Autoren: Baturay Saglam, Dionysis Kalogerias

Veröffentlicht 2026-04-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Baturay Saglam, Dionysis Kalogerias

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, gut trainierten Roboter-Assistenten. Sie haben ihn darauf trainiert, höflich, hilfreich und sicher zu sein. Er weiß, dass er Ihnen keine Anweisungen geben darf, wie man eine Bombe baut oder Hassrede verfasst. Doch clevere Trickbetrüger haben Wege gefunden, diesen Roboter zu „jailbreaken". Sie hüllen ihre gefährlichen Anfragen in ausgefallene Kostüme – etwa indem sie den Roboter bitten, „einen Bösewicht in einem Film zu spielen" oder „eine Geschichte über einen Schurken zu schreiben" –, um den Roboter dazu zu bringen, seine Sicherheitsregeln zu vergessen und schädliche Inhalte auszuspucken.

Diese Arbeit stellt eine neue Methode vor, um zu verhindern, dass der Roboter auf diese Tricks hereinfällt. Anstatt den Roboter neu zu trainieren oder einen neuen Sicherheitswächter hinzuzufügen, justieren sie das „Gehirn" des Roboters direkt vor der Antwort ab.

So funktioniert es, unter Verwendung einfacher Analogien:

Das Problem: Der „Sicherheits-Schalter" des Roboters ist spröde

Normalerweise betrachtet ein Roboter, wenn er eine Frage gestellt bekommt, die von Ihnen eingegebenen Wörter und wählt das nächste Wort aus seiner Vokabelliste aus. Wenn Sie eine knifflige Frage stellen, könnte der Roboter verwirrt werden und ein „schlechtes" Wort wählen.

Aktuelle Sicherheitsmethoden versuchen dies zu beheben, indem sie entweder:

Ihre Frage umschreiben (wie ein menschlicher Redakteur, der Ihre Worte ändert).
Einen Sicherheitswächter hinzufügen (eine separate KI, die Ihre Frage liest und sie blockiert).
Die inneren Zahnräder des Roboters justieren (die Art und Weise, wie er denkt, verändern).

Die Autoren sagen, diese Methoden sind etwas klobig. Sie wollen eine Möglichkeit finden, die Antwort des Roboters zu korrigieren, ohne die Worte zu ändern, die Sie sehen, und ohne einen separaten Sicherheitswächter zu benötigen.

Die Lösung: „Sub-lexikalisches" Tuning (Der unsichtbare Regler)

Die Autoren stellten fest, dass der Roboter, bevor er Ihre Worte liest, diese tatsächlich in eine lange Liste von Zahlen umwandelt (sogenannte Embeddings). Betrachten Sie diese Zahlen als die internen „Koordinaten" des Roboters für jedes Wort.

Normalerweise ist das Wort „Katze" nur ein bestimmter Satz von Koordinaten. Doch die Autoren entdeckten, dass man diese Koordinaten nur winzig, unsichtbar verschieben kann – so klein, dass, wenn man die Zahlen zurück in Worte umwandeln würde, immer noch „Katze" herauskäme.

Die Analogie: Stellen Sie sich das Gehirn des Roboters als eine riesige Landkarte vor. Das Wort „Katze" ist eine bestimmte Stadt auf dieser Karte.

Normalbetrieb: Sie zeigen genau auf das Zentrum der Stadt.
Der Angriff: Ein Trickbetrüger zeigt dem Roboter eine „Gefahrenzone" knapp außerhalb der Stadt, um ihn zu täuschen, sodass er glaubt, „Katze" bedeute etwas Gefährliches.
Die Lösung: Die Methode der Autoren schiebt die Koordinaten für „Katze" sanft innerhalb der Stadtgrenzen, aber in eine leicht andere Richtung. Es ist wie das Drehen an einem Radio-Regler. Sie hören immer noch denselben Sender („Katze"), aber Sie haben die Frequenz so justiert, dass das Rauschen verschwindet und das schlechte Signal gestoppt wird.

Wie sie es tun: Der „Blindgeschmacks-Test"

Der Roboter ist eine „Blackbox", was bedeutet, dass die Forscher nicht in seinen Code schauen können, um ihn direkt zu reparieren. Daher verwenden sie eine clevere Methode des Versuchens und Irrtums:

Das Orakel (Der Geschmacksprüfer): Sie nutzen ein öffentliches Sicherheitstool (wie einen Inhaltsfilter), das als „Geschmacksprüfer" fungiert. Es betrachtet die Antwort des Roboters und vergibt eine „Schadenspunktzahl". Hohe Punktzahl = schlecht; niedrige Punktzahl = sicher.
Raten und Prüfen: Die Forscher nehmen die Eingabe des Roboters, fügen ein wenig zufälliges „Rauschen" hinzu (wie das Würfeln eines Würfels) und fragen den Roboter, was er denkt. Sie prüfen die Schadenspunktzahl.
Der Schubs: Wenn die Antwort immer noch etwas riskant ist, verwenden sie Mathematik, um herauszufinden, in welche Richtung sie die unsichtbaren Koordinaten schieben müssen, um die Schadenspunktzahl zu senken.
Wiederholung: Sie tun dies ein paar Mal (meist nur 1 oder 2 Schritte). Es ist wie das Stimmen einer Gitarrensaite: Sie zupfen sie, hören zu, spannen sie ein winziges Stück nach und hören wieder zu, bis sie perfekt klingt.

Die Ergebnisse: Magie, aber real

Die Arbeit testete dies an verschiedenen Robotermodellen (von klein bis riesig) und fand heraus:

Es funktioniert: Es verhinderte erfolgreich, dass der Roboter in fast allen Fällen schädliche Antworten gab, selbst wenn die Trickbetrüger sehr ausgeklügelte Verkleidungen benutzten.
Es ist unsichtbar: Der Roboter beantwortet die Frage immer noch normal. Wenn Sie fragten: „Wie backe ich einen Kuchen?", sagt er Ihnen immer noch, wie man einen Kuchen backt. Er verweigert es einfach, Ihnen zu sagen, wie man eine Bombe baut, selbst wenn Sie auf eine knifflige Weise gefragt haben.
Es ist schnell: Es dauert nur ein paar Sekunden pro Frage.
Es zerstört gute Antworten nicht: Wenn Sie eine sichere Frage stellten, wurde die Antwort des Roboters nicht schlechter. Sie begann nicht, sichere Fragen nur aus Sicherheitsgründen abzulehnen.

Die große Erkenntnis

Die Arbeit zeigt, dass das „Gehirn" des Roboters (seine Eingabezahlen) viel empfindlicher ist, als wir dachten. Sie müssen nicht die Worte ändern, die ein Mensch liest, um das Verhalten des Roboters zu ändern. Sie müssen nur die unsichtbaren Regler unter den Worten drehen.

Es ist wie ein selbstfahrendes Auto, das sicher fährt. Wenn jemand versucht, das Auto dazu zu bringen, von einer Klippe zu fahren, müssen Sie das Auto nicht umbauen oder einen neuen Fahrer einstellen. Sie müssen nur eine mikroskopische Anpassung an den internen Sensoren des Lenkrads vornehmen, und das Auto lenkt sich von selbst wieder in die Sicherheit zurück.

1. Problemstellung

Large Language Models (LLMs) durchlaufen Sicherheitstrainings (z. B. RLHF, DPO), um schädliche Anfragen abzulehnen. Adversarial Prompts (Jailbreaks) können diese Verteidigungen jedoch umgehen, indem sie die Lücke zwischen der Trainingsverteilung des Modells und dem unbeschränkten Eingaberaum ausnutzen. Diese Prompts nutzen häufig strukturelle Rahmung (Rollenspiele, Verschleierung), um schädliche Inhalte zu provozieren.

Bestehende Verteidigungsmaßnahmen zur Laufzeit stoßen auf strukturelle Grenzen:

Strategien auf Prompt-Ebene manipulieren diskrete Tokens, was sie gegenüber semantischen Angriffen brüchig macht.
Aktivierungssteuerung erfordert Zugriff auf versteckte Zustände und stützt sich oft auf feste Kalibrierungssätze, die möglicherweise nicht generalisieren.
Guard-Modelle erfordern separate Inferenz und folgen häufig einem Paradigma „Erkennen-dann-Filtern" statt der Steuerung der Generierung.

Die Kernfrage: Können Eingabe-Wort-Embeddings auf sub-lexikalische Weise optimiert werden (Modifikation der kontinuierlichen Vektordarstellung ohne Änderung des sichtbaren Tokens), um ausgerichtete Modelle zu sicheren Ausgaben zu lenken, selbst wenn das Modell eine bimodale „Ablehnen-oder-Beantworten"-Verteilung erzeugt, anstatt einer glatten Fortsetzung?

2. Methodik: Test-Time Safety Alignment (TSA)

Die vorgeschlagene Methode, TSA, arbeitet vollständig zur Laufzeit, ohne Modellgewichte zu modifizieren, erfordert kein zusätzliches Training und behandelt das LLM als Blackbox. Sie optimiert direkt die Embedding-Matrix des Prompts.

A. Zielfunktion

Das Ziel ist die Minimierung der Schädlichkeit des generierten Textes $y = f(X)$ , wobei $f$ das LLM und $X$ die Prompt-Embedding-Matrix ist.

Schädlichkeits-Oracle ( $h$ ): Die Methode verwendet die OpenAI Moderation API als Blackbox-Oracle. Sie bewertet Ausgaben über 13 Schädlichkeitskategorien hinweg (z. B. Gewalt, Selbstverletzung, Hass).
Verlustfunktion: $\Phi(X) = \max_{c} s_c(f(X))$ , wobei $s_c$ der Score für Kategorie $c$ ist. Das Ziel ist die Minimierung dieses maximalen Scores, um sicherzustellen, dass die Antwort in allen Dimensionen sicher ist.

B. Gradientenschätzung nullter Ordnung

Da das LLM ( $f$ ) und die Moderation API ( $h$ ) Blackboxen sind, ist eine Backpropagation unmöglich. TSA verwendet eine Gradientenschätzung nullter Ordnung:

Perturbation: In jedem Iterationsschritt $k$ wird die aktuelle Embedding-Matrix $X_k$ durch Hinzufügen von Gaußschem Rauschen $U$ , skaliert mit $\mu$ , gestört: $X_k + \mu U$ .
Finite Differenzen: Der Gradient wird durch Vergleich des Verlusts der gestörten Eingaben mit der Basiseingabe geschätzt:
$g_k \approx \frac{1}{N} \sum_{i=1}^{N} \frac{\Phi(X_k + \mu U_i) - \Phi(X_k)}{\mu} U_i$
wobei $N$ die Anzahl der Monte-Carlo-Stichproben ist.
Update: Die Embeddings werden via Gradientenabstieg aktualisiert: $X_{k+1} \leftarrow X_k - \eta g_k$ .

C. Regularisierung

Um sicherzustellen, dass die optimierten Embeddings gültig bleiben und nicht in untrainierte Regionen des latenten Raums abdriften:

Gradientennormalisierung: Der Update-Schritt verwendet die normalisierte Gradientenrichtung ( $g_k / \|g_k\|_2$ ), um die Schrittmagnitude zu kontrollieren.
Kosinus-Ähnlichkeits-Bedingung: Das aktualisierte Embedding wird auf eine Kosinus-Kugel um das ursprüngliche Embedding $X_0$ projiziert, falls die Ähnlichkeit unter einen Schwellenwert $\kappa$ fällt. Dies stellt sicher, dass die Perturbation sub-lexikalisch ist: Der optimierte Vektor decodiert zurück zum ursprünglichen Token, aber die kontinuierliche Darstellung innerhalb der Voronoi-Zelle dieses Tokens wird verändert.

3. Hauptbeiträge

Erweiterung auf ausgerichtete Modelle: Es wird gezeigt, dass die Kontrolle auf Embedding-Ebene, die zuvor für die Entgiftung von Basismodellen demonstriert wurde, effektiv bei sicherheitsausgerichteten, instruktionsfeingetunten Modellen funktioniert, die eine grundlegend andere (bimodale) Ausgabevertielung aufweisen.
Sub-lexikalische Kontrolle: Es wird bewiesen, dass die Optimierung des kontinuierlichen Embedding-Vektors innerhalb der Nachbarschaftszelle eines Tokens (ohne den Token selbst zu ändern) ausreicht, um das Verhalten des Modells von schädlich zu sicher umzulenken. Dies stellt die Auffassung von Embeddings als bloße diskrete Nachschlagevorgänge in Frage.
Blackbox-Optimierung: Die Methode erfordert keinen Zugriff auf Modellinterne (Gradienten, versteckte Zustände oder Logits). Sie benötigt lediglich Zugriff auf Eingabe-Embeddings und eine Blackbox-Moderation API.
Bedingungslose Anwendung: Die Methode gilt für alle Prompts unabhängig von ihrer Absicht. Sie erzwingt keine Ablehnung; sie lenkt das Modell dazu, eine sichere, substanzielle Antwort zu generieren, wenn möglich, oder eine sichere Ablehnung, wenn nötig.

4. Experimentelle Ergebnisse

Die Methode wurde an fünf instruktionsfeingetunten Modellen (von 1B bis 20B Parametern: Gemma 3, Phi-3.5, Llama 3.1, Qwen3, GPT-OSS) über zwei Benchmarks hinweg evaluiert:

WildJailbreak: Adversarial Prompts (schädlich und harmlos).
HarmBench: Direkte schädliche Anfragen.

Wichtige Erkenntnisse:

Eliminierung von Sicherheitsverletzungen: TSA reduzierte die Anzahl der markierten (schädlichen) Antworten auf null für die meisten Modelle in Standard-Benchmarks. Beispielsweise reduzierte sie bei Llama 3.1-8B die Anzahl der markierten schädlichen Prompts von 218 auf 0.
Konvergenz: Die Optimierung konvergiert typischerweise innerhalb von 1 bis 2 Gradientenschritten.
Erhaltung harmloser Inhalte: Bei adversarialen harmlosen Prompts erhöhte TSA die Moderationsscores nicht, was bestätigt, dass sie keine „pauschale Ablehnungs"-Verzerrung induziert oder die Hilfsbereitschaft verschlechtert.
Vergleich mit Baselines: TSA übertraf Baselines wie SmoothLLM (zufällige Token-Perturbation), AdaSteer (Aktivierungssteuerung) und RESTA (Embedding-Rauschen) signifikant. Baselines scheiterten häufig bei semantischen Jailbreaks oder erhöhten die Markierungsraten bei direkten schädlichen Anfragen.
Effizienz: Die primäre Latenzkosten entstehen durch den API-Aufruf zum Moderation-Oracle, nicht durch die Modellinferenz.

5. Bedeutung und Implikationen

Neue Kontrolloberfläche: Das Paper zeigt, dass die Embedding-Schicht eine reichhaltigere Kontrolloberfläche bietet als bisher angenommen. Kleine, sub-lexikalische Perturbationen können die komplexen Sicherheitsgrenzen ausgerichteter Modelle navigieren.
Einsatzfähigkeit: Als „Drop-in"-Sicherheitslayer erfordert TSA kein Modell-Neu-Training oder Feinabstimmung. Sie kann auf jedem Modell eingesetzt werden, bei dem Eingabe-Embeddings zugänglich sind (z. B. Open-Weight-Modelle), kombiniert mit einer öffentlichen Moderation API.
Grenzen:
- Latenz: Die iterative Optimierung fügt pro Prompt Latenz hinzu (Sekunden), die jedoch von API-Roundtrips dominiert wird.
- Modellabhängigkeit: Die Wirksamkeit skaliert mit der Qualität des bestehenden Sicherheitstrainings des Modells. Modelle mit dünner Ausrichtung (z. B. Gemma 3-1B) zeigten einen reduzierten Erfolg, da der Optimierer keine nahegelegene sichere Richtung finden konnte.
- API-Zugriff: Erfordert Zugriff auf Eingabe-Embeddings (nicht verfügbar für rein API-gesperrte geschlossene Modelle) und eine Moderation API.

Zusammenfassend bietet Test-Time Safety Alignment einen robusten, modellagnostischen Mechanismus, um adversarialen Angriffen durch Optimierung der kontinuierlichen Eingabedarstellung zu begegnen und effektiv die Lücke zwischen theoretischer Sicherheit und praktischem Einsatz ohne Neu-Training zu schließen.