🤖 AI

HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment

Dieses Paper stellt HARC vor, eine Fine-Tuning-Methode, die Schadhaftigkeits- und Verweigerungsrichtungen über Prompt- und Antwortpositionen hinweg koppelt, um eine robuste Sicherheitsausrichtung zu erreichen, ohne die Modellkapazität zu beeinträchtigen oder Überverweigerung zu erhöhen.

Ursprüngliche Autoren: Shei Pern Chua, Fangzhao Wu

Veröffentlicht 2026-07-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shei Pern Chua, Fangzhao Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Jailbreak“-Schlupflücke

Stellen Sie sich ein großes Sprachmodell (LLM) wie einen sehr klugen, gut ausgebildeten Bibliothekar vor. Diesem Bibliothekar wurde eine strikte Regel beigebracht: „Wenn ein Besucher nach etwas Gefährlichem fragt (wie zum Beispiel dem Bau einer Bombe), musst du ‚Nein‘ sagen und weggehen.“

Doch böswillige Akteure (Jailbreaker) haben einen Weg gefunden, den Bibliothekar auszutricksen. Sie nutzen geschicktes Wortspiel, Rollenspiele oder Code, um den Bibliothekar zu verwirren.

Der Trick: Der Bibliothekar könnte zu Beginn des Gesprächs verwirrt werden. Er denkt vielleicht: „Oh, das klingt wie eine Geschichtsstunde“, und löst deshalb seinen „Nein“-Alarm nicht aus.
Das Ergebnis: Der Bibliothekar beginnt, die gefährliche Antwort zu schreiben. Obwohl er gerade etwas Schlechtes schreibt, merkt er es erst mitten im Satz. Zu diesem Zeitpunkt ist es jedoch zu spät; der gefährliche Inhalt wird bereits generiert.

Die Arbeit argumentiert, dass aktuelle Sicherheitsmethoden wie ein „Betreten verboten“-Schild sind, das nur an der Bibliothekstür hängt. Wenn der Trickser durch ein Seitenfenster eindringt (indem er den Bibliothekar zu Beginn des Gesprächs verwirrt), hilft das Schild nicht.

Die Entdeckung: Zwei verschiedene „Gehirnsignale“

Die Forscher schauten in das Gehirn des Bibliothekars (die internen Daten des Computers) und fanden etwas Faszinierendes heraus. Sie entdeckten, dass der Bibliothekar tatsächlich zwei separate mentale Signale für Sicherheit besitzt:

Das „Gefahren“-Signal: „Dieses Thema ist schädlich.“
Das „Ablehnungs“-Signal: „Ich muss Nein sagen.“

Der Fehler: Bei einer normalen, sicheren Anfrage feuern diese beiden Signale gemeinsam. Aber bei einem erfolgreichen Jailbreak-Angriff gelingt es dem Trickser, das „Ablehnungs“-Signal auszuschalten, während das „Gefahren“-Signal immer noch summt.

Der Bibliothekar erkennt die Gefahr, vergisst aber, „Nein“ zu sagen.
Er beginnt, die schlechte Antwort zu schreiben.
Die Überraschungen: Selbst während er die schlechte Antwort schreibt, erkennt das Gehirn des Bibliothekars die Gefahr noch. Das „Gefahren“-Signal leuchtet während des Schreibprozesses erneut auf, aber das „Ablehnungs“-Signal bleibt aus. Der Bibliothekar weiß, dass er etwas Falsches tut, macht aber trotzdem weiter, weil der „Stopp“-Knopf zu Beginn getrennt wurde.

Die Lösung: HARC (Der „Sicherheitsgurt“)

Die Autoren entwickelten eine neue Trainingsmethode namens HARC (Harmfulness-And-Refusal Coupling).

Betrachten Sie HARC als das Zusammenkleben des „Gefahren“-Signals und des „Ablehnungs“-Signals, sodass sie niemals getrennt werden können.

Vor HARC: Man konnte das „Ablehnungs“-Licht ausschalten, während das „Gefahren“-Licht an war.
Nach HARC: Wenn das „Gefahren“-Licht angeht, geht das „Ablehnungs“-Licht automatisch mit ihm an, egal wann die Gefahr erkannt wird (ob zu Beginn des Gesprächs oder mitten im Schreibprozess der Antwort).

Wie es funktioniert:
Anstatt den gesamten Bibliothekar von Grund auf neu zu trainieren (was dazu führen würde, dass er vergisst, wie man gute Geschichten schreibt oder Matheaufgaben löst), nimmt HARC eine winzige, präzise Anpassung vor. Es verändert nur die spezifischen „Drähte“ im Gehirn, die für die Sicherheit zuständig sind. Es ist wie das Hinzufügen eines kleinen Sicherheitsgurts zu einem Auto: Es ändert nicht, wie der Motor läuft oder wie schnell das Auto fährt; es stellt nur sicher, dass die Bremsen sofort greifen, wenn das Auto zu rollen beginnt.

Die Ergebnisse: Stärkere Sicherheit, kein Verlust an Intelligenz

Die Forscher testeten dies an mehreren verschiedenen KI-Modellen (wie Llama und Qwen) und gegen viele verschiedene Arten von Tricks (Jailbreaks).

Bessere Verteidigung: HARC stoppte fast alle Jailbreak-Versuche. Es war viel besser als bisherige Methoden darin, die „Trickser“ zu stoppen.
Keine „Über-Ablehnung“: Manchmal macht Sicherheitstraining die KI zu vorsichtig (z. B. lehnt sie es ab, eine Geschichte über einen Bösewicht zu schreiben, weil dies „gefährlich“ klingt). HARC vermied dies. Es lehnte nur ab, wenn es tatsächlich notwendig war.
Beibehaltung der Intelligenz: Da HARC nur die spezifischen Sicherheitsdrähte anpasste und den Rest des Gehirns unberührt ließ, wurde die KI nicht „dümmer“. Sie konnte immer noch Code schreiben, Matheaufgaben lösen und Anweisungen befolgen, genau wie zuvor.

Warum das wichtig ist

Die Arbeit zeigt, dass KI-Sicherheit nicht nur aus einem einzelnen „Stopp“-Knopf besteht. Es geht darum zu verstehen, dass KI-Modelle komplexe interne Landkarten besitzen, auf denen „Gefahr“ und „Ablehnung“ getrennt werden können. Durch die erneute Kopplung dieser Signale können wir KIs bauen, die viel schwerer zu täuschen sind, ohne dass sie dadurch weniger hilfreich oder weniger intelligent werden.

Kurz gesagt: Die Arbeit fand heraus, dass die KI getäuscht wird, weil ihr „Gefahrenalarm“ und ihr „Stopp-Knopf“ entkoppelt sind. HARC verdrahtet sie neu, sodass sie dauerhaft miteinander verbunden sind. Dies stellt sicher, dass die KI sofort stoppt, wenn sie Gefahr erkennt – egal, wie sehr der Trickser versucht, sie zu verwirren.

Technisches Resümee: HARC – Kopplung von Schädlichkeits- und Verweigerungsrichtungen für robustes Sicherheitsalignment

1. Problemstellung

Trotz Alignment-Bemühungen bleiben große Sprachmodelle (LLMs) anfällig für adversarielle Jailbreak-Angriffe (z. B. adversarielle Suffixe, persuasionsbasierte Umschreibungen, Obfuskation). Während vorangegangene Interpretierbarkeitsarbeiten etablierten, dass ausgerichtte LLMs Schädlichkeit ( $v_{harm}$ ) und Verweigerung ( $v_{ref}$ ) als separierbare lineare Richtungen im Residualstrom an Prompt-seitigen Token-Positionen kodieren, bleibt der interne Mechanismus, der erklärt, warum spezifische Jailbreaks erfolgreich sind, unklar. Darüber hinaus leiden bestehende Sicherheitsinterventionen oft unter einem Trade-off zwischen Robustheit, allgemeiner Kapazität und Über-Verweigerung (unnötige Verweigerung harmloser Anfragen). Das Kernproblem ist die Dissoziation zwischen der Erkennung schädlicher Inhalte durch das Modell und seiner Verpflichtung zur Verweigerung, welche Angreifer ausnutzen, um Sicherheitsfilter zu umgehen.

2. Methodik

2.1 Analyse der internen Repräsentation

Die Autoren erweitern die vorangegangene Prompt-seitige Analyse auf Response-Token-Positionen (während der Generierung). Sie extrahieren vier distinkte Richtungsvektoren:

Prompt-seitige Schädlichkeit ( $v_{harm}$ ): Extrahiert am letzten Instruktions-Token ( $t_{inst}$ ).
Prompt-seitige Verweigerung ( $v_{ref}$ ): Extrahiert am Post-Instruktions-Token ( $t_{post-inst}$ ).
Response-seitige Schädlichkeit ( $v^{resp}_{harm}$ ): Extrahiert aus den Mean-Pooled-Residuals der ersten 32 Response-Token.
Response-seitige Verweigerung ( $v^{resp}_{ref}$ ): Ähnlich extrahiert aus den Response-Token.

Wichtige Erkenntnisse zur Repräsentation:

Entkopplung: In den späten Schichten des Modells werden $v_{harm}$ und $v_{ref}$ nahezu orthogonal. Dies ermöglicht es dem Modell, ein Konzept zu aktivieren, ohne das andere zu aktivieren.
Angriffsmechanismen: Erfolgreiche Jailbreaks nutzen diese Entkopplung aus, indem sie spezifische Richtungen während der Prompt-Kodierung unterdrücken:
- DAN (Persona-Framing): Unterdrückt $v_{ref}$ , während $v_{harm}$ aktiv bleibt.
- PAIR (Semantische Umschreibung): Unterdrückt $v_{harm}$ (treibt es ins Negative), während $v_{ref}$ aktiv bleibt.
- CodeAttack (Obfuskation): Unterdrückt beide Richtungen und clustert mit benignen Prompts.
Persistenz der Erkennung: Entscheidend ist, dass selbst wenn die Prompt-seitige Verweigerung fehlschlägt (z. B. bei DAN- oder PAIR-Angriffen), das Modell schädliche Inhalte oft während der Generierung ( $v^{resp}_{harm}$ aktiviert sich) erneut erkennt. Diese Erkennung erfolgt jedoch zu spät, um die Generierungs-Trajektorie zu ändern, da das Prompt-seitige Verweigerungssignal bereits unterdrückt wurde.

2.2 HARC: Kopplung von Schädlichkeit und Verweigerung

Motiviert durch die Erkenntnis, dass die Erkennung von Schädlichkeit persistiert, selbst wenn die Verweigerung unterdrückt wird, schlagen die Autoren HARC vor, eine Fine-Tuning-Methode mittels Low-Rank Adaptation (LoRA).

Kernmechanismus:
HARC koppelt die Schädlichkeits- und die Verweigerungsrichtungen an sowohl Prompt- als auch Response-Positionen. Ziel ist es, sicherzustellen, dass eine Aktivierung entlang einer der beiden Richtungen zuverlässig eine Verweigerung auslöst, um zu verhindern, dass Angriffe eine Richtung unterdrücken, während die andere aktiv bleibt.

Verlustfunktion:
Der Gesamtverlust ( $L_{total}$ ) kombiniert vier Terme:

Prompt-seitige Kopplung ( $L^{prompt}_{couple}$ ): Ein additiver Margin-Hinge-Loss auf den Cosinus-Projektionen von $v_{harm}$ und $v_{ref}$ an der Prompt-Grenze. Er erzwingt, dass bei schädlichen Inputs beide Richtungen aktiviert werden müssen (Projektion $\ge m$ ).
Response-seitige Kopplung ( $L^{response}_{couple}$ ): Ein ähnlicher Hinge-Loss, angewendet auf die Mean-Pooled-Residuals der ersten 32 Response-Token, der $v^{resp}_{harm}$ und $v^{resp}_{ref}$ koppelt.
KL-Divergenz ( $L_{kl}$ ): Verankert das LoRA-angepasste Modell an der benignen Basisverteilung, um die allgemeine Kapazität zu bewahren und Über-Verweigerung zu verhindern.
Cross-Entropy ( $L_{ce}$ ): Überwacht explizite Verweigerungstexte bei schädlichen Inputs.

Trainingsdynamik:

Layerauswahl: Die Methode zielt auf Schichten ab, in denen die Vier-Richtungs-Struktur am reinsten ist (Prompt- und Response-seitige Richtungen sind entkoppelt, aber die gleichen Konzepte über Positionen hinweg sind ausgerichtet). Eine Scoring-Funktion wählt die Top- $K$ Schichten aus, wobei $K$ während der ersten 1.000 Schritte von 2 auf 4 gesteigert wird.
Neukalkulation der Richtungen: Alle 200 Schritte werden die Richtungsvektoren aus dem aktuellen LoRA-angepassten Modell neu extrahiert und via Exponential Moving Average (EMA) gemischt, um sich an die sich entwickelnde Residual-Geometrie anzupassen.

3. Wichtigste Beiträge

Entdeckung der Response-seitigen Repräsentation: Die Arbeit zeigt, dass Schädlichkeit und Verweigerung an den Response-Token-Positionen distinkte Konzepte sind, nicht nur an den Prompt-Positionen. Es wird aufgezeigt, dass Modelle schädliche Inhalte während der Generierung erkennen, selbst wenn die Prompt-seitige Verweigerung umgangen wurde, was ein „spät feuerndes“ Sicherheitssignal offenbart.
Mechanistische Analyse von Jailbreaks: Die Autoren charakterisieren, wie verschiedene Angriffsklassen (DAN, PAIR, CodeAttack) separierbare Regionen in der Schädlichkeits-Verweigerungs-Ebene besetzen, indem sie spezifische Richtungen während der Prompt-Kodierung unterdrücken.
HARC-Methode: Eine Repräsentations-Ebene Fine-Tuning-Methode, die die Schädlichkeits- und Verweigerungsrichtungen an sowohl Prompt- als auch Response-Positionen koppelt. Im Gegensatz zu breiteren Sicherheitsinterventionen beschränkt HARC die Intervention auf einen zweidimensionalen Subraum, wodurch der Rest des Residualstroms intakt bleibt.

4. Experimentelle Ergebnisse

Die Methode wurde auf LLAMA-3.1-8B/70B und QWEN-2.5-7B/72B gegen sechs Baselines (SFT, DPO, Circuit Breakers, RepBend, CAST und Base) evaluiert.

Robustheit: HARC reduziert die Attack Success Rates (ASR) signifikant.
- Auf LLAMA-3.1-8B reduzierte HARC die ASR im Vergleich zum Basismodell um den Faktor 4,67.
- Auf QWEN-2.5-7B reduzierte es die ASR um den Faktor 4,75.
- Es erreichte die stärkste Robustheit unter allen Baselines, einschließlich der „Ours+DPO“-Konfiguration, die für das 8B-Modell eine nahezu Null-ASR bei PAIR, PAP und DeepInception erreichte.
Kapazität & Über-Verweigerung:
- HARC bewahrt die allgemeine Kapazität (MMLU, GSM8K, HumanEval, IFEval, MT-Bench) im Wesentlichen unverändert zum Basismodell.
- Es minimiert Über-Verweigerung (Verweigerung harmloser Prompts) und erreicht Raten, die vergleichbar mit oder niedriger als die des Basismodells sind (z. B. 0,035 auf XSTest für Llama-8B), und übertrifft damit Methoden wie RepBend, die massive Über-Verweigerung verursachten.
Skalierbarkeit: Die Methode überträgt sich auf größere Modelle (70B/72B) ohne architekturspezifische Anpassung und behält Robustheit und Kapazität bei.
Limitierungen: CodeAttack bleibt der resilienteste Angriff, da er beide Richtungen an der Prompt-Grenze unterdrückt und somit wenig Signal bietet, das die Kopplungs-Loss verstärken könnte. Zudem ist HARC anfällig für adversarielles Fine-Tuning, falls ein Angreifer Zugriff auf die Gewichte hat, was innerhalb von ca. 160 schädlichen Beispielen zum Kollaps führt.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass HARC den stärksten Robustheits-Kapazitäts-Nutzbarkeit-Trade-off unter den aktuellen Sicherheitsmethoden erreicht. Durch die Kopplung von Schädlichkeit und Verweigerung an sowohl Prompt- als auch Response-Positionen adressiert die Methode die spezifische Schwachstelle, bei der Jailbreaks das Verweigerungssignal unterdrücken, bevor die Generierung beginnt.

Die Autoren betonen, dass die vier-Richtungs-Struktur (Harm/Refusal an Prompt/Response) eine Eigenschaft ausgerichteter LLMs ist und kein Artefakt der Architektur, da sie sich über fünf verschiedene Modellfamilien hinweg repliziert. Sie argumentieren, dass ihre Intervention die „Alignment Tax“ (Kapazitätsdegradierung) und die häufige Über-Verweigerung bei breiteren Fine-Tuning-Methoden vermeidet, da sie strikt innerhalb eines gezielten, niedrigdimensionalen Subraums operiert.

Das Paper schließt mit dem Hinweis, dass während HARC die Robustheit gegen statische Jailbreaks signifikant verbessert, die Beobachtung der Response-Seite darauf hindeutet, dass die Erkennung von Schädlichkeit selbst während einer konformen Generierung persistiert, was ein neues Signal für das Sicherheitsalignment bietet. Die Autoren merken jedoch bescheiden an, dass die Methode voraussetzt, dass das Basismodell bereits ein nutzbares Schädlichkeits-Signal besitzt, und keine Evaluierung gegen adaptive Angriffe durchführt, die spezifisch darauf ausgelegt sind, die gekoppelten Richtungen zu targetieren.