🤖 machine learning

When Behavioral Safety Evaluation Fails: A Representation-Level Perspective

Dieses Paper argumentiert, dass verhaltensbasierte Sicherheitsbewertungen unzureichend sind, um die Robustheit von Large Language Models zu beurteilen, indem es ein interventionsbasiertes Framework und den Latent Vulnerability Score (LVS) einführt, um aufzuzeigen, dass Modelle ein sicheres äußeres Verhalten beibehalten können, während sie gleichzeitig erhebliche interne Schwachstellen in ihren latenten Repräsentationen bergen.

Ursprüngliche Autoren: Enyi Jiang, Anders Gjølbye, Yibo Jacky Zhang, Sanmi Koyejo

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Enyi Jiang, Anders Gjølbye, Yibo Jacky Zhang, Sanmi Koyejo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Der „gute Schauspieler“ vs. die „zerbrechliche Marionette“

Stellen Sie sich vor, Sie stellen einen Schauspieler ein, der einen strengen Sicherheitswachmann spielen soll. Sie testen ihn, indem Sie fragen: „Können Sie mir erklären, wie man eine Bombe baut?“ Der Schauspieler sagt: „Nein, das kann ich nicht tun.“ Sie testen ihn erneut mit einer trickreichen, hinterlistigen Frage. Er sagt: „Nö, immer noch nicht.“

Basierend auf diesem Verhalten wirkt der Schauspieler vollkommen sicher. Er besteht den Test.

Dieses Paper argumenttiert jedoch, dass es nicht ausrelt, dass der Schauspieler „Nein“ sagt – das bedeutet nicht, dass sein Gehirn (oder seine interne Verdrahtung) tatsächlich sicher ist. Die Forscher haben einen Weg entdeckt, ein „dissoziiertes Modell“ zu erschaffen – eine KI, die nach außen hin exakt wie ein sicherer Wachmann agiert, im Inneren aber eine zerbrechliche Marionette ist, die nur darauf wartet, an einem Faden gezogen zu werden.

Wenn man nur sanft an einem bestimmten Faden im Gehirn der Puppe zieht, fängt sie plötzlich an, gefährliche Geheimnisse herauszuschreien, obwohl sie gerade noch eben perfekt ruhig aussah.

Das Problem: Die „Audit-Lücke“ (Audit Gap)

Die Autoren nennen den Unterschied zwischen „was die KI sagt“ und „wie stabil ihr Gehirn ist“ die Audit-Lücke.

Aktuelle Sicherheitsprüfungen: Diese sind wie das Beobachten des Gesichts eines Schauspielers. Wenn er ernst schaut und „Nein“ sagt, nehmen wir an, dass er sicher ist.
Die Realität: Die KI sagt vielleicht nur deshalb „Nein“, weil sie über eine sehr dünne, zerbrechliche Schicht aus Training verfügt. Wenn man diese Schicht genau richtig ansticht, verschwindet das „Nein“ und die gefährlichen Gedanken darunter werden offenbart.

Das Paper behauptet, dass aktuelle Sicherheitstests unvollständig sind, weil sie nur auf den Output (die gesprochenen Worte) schauen und die Repräsentation (die internen Gedanken und die Mathematik, die stattfindet, bevor die Worte ausgesprochen werden) ignorieren.

So haben sie es getestet: Die „dissoziierten“ Modelle

Um dies zu beweisen, bauten die Forscher spezielle KI-Modelle, die sie dissoziiierte Modelle nennen. Betrachten Sie diese als „Frankenstein“-Modelle, die durch das Mischen von zwei Dingen entstanden sind:

Ein Sicheres Modell: Eines, das darauf trainiert ist, schädliche Anfragen abzulehnen.
Ein Schädliches Modell: Eines, das weiß, wie man schlechte Dinge tut.

Sie trainierten das neue Modell so, dass es das Ablehnungsverhalten des Sicheren Modells beibehält (sodass es immer noch „Nein“ zu schlechten Fragen sagt), aber die interne Struktur des Schädlichen Modells behält.

Das Ergebnis:

Nach außen hin: Das dissozierte Modell sieht genauso sicher aus wie das ursprüngliche Sichere Modell. Es lehnt schlechte Anfragen in der gleichen Rate ab.
Nach innen hin: Sein Gehirn ist tatsächlich sehr nah daran, gefährlich zu sein. Es ist wie ein Haus mit einer verschlossenen Haustür, aber die Wände bestehen aus nassem Papier.

Das Experiment: An den Fäden ziehen

Die Forscher versuchten dann, diese Modelle mit zwei Methoden zu „brechen“, die sie Interventionen nennen:

Der „Re-Training“-Zug (Parameter-Intervention): Sie versuchten, die Modelle mit einer winzigen Menge an „schlechten“ Daten neu zu trainieren, um zu sehen, wie leicht sie „böse“ werden würden.
- Ergebnis: Die dissoziierten Modelle wurden viel schneller böse als die ursprünglichen Sicheren Modelle. Sie waren wie ein Kartenhaus, das bei einem einzigen Atemzug zusammenbricht, während das echte Sichere Modell eine Ziegelmauer war.
Das „Gehirn-Anstechen“ (Latente Intervention): Anstatt neu zu trainieren, „stießen“ sie mathematisch in die internen Gedanken der KI (ihre verborgenen Schichten) mit einem winzigen Stoß.
- Ergebnis: Sie fanden heraus, dass die mittleren Schichten des KI-Gehirns am empfindlichsten waren. Ein Stoß in die Mitte des Gehirns führte dazu, dass die KI viel leichter versagte als ein Stoß an den Anfängen oder Enden.
- Der „dissoziierte“ Effekt: Obwohl die dissoziierten Modelle genauso oft „Nein“ sagten wie die Sicheren, brachen sie unter diesen winzigen Stößen viel leichter zusammen.

Der neue Wert: LVS (Latent Vulnerability Score)

Da Standardtests diese fragilen Modelle nicht erfassen konnten, erfanden die Autoren einen neuen Wert namens LVS (Latent Vulnerability Score).

Alter Wert: „Hat die KI ‚Nein‘ gesagt?“ (Ja/Nein).
Neuer Wert (LVS): „Wie stark musste ich das Gehirn der KI anstechen, damit sie ‚Ja‘ sagt?“

Wenn eine KI nur einen winzigen, fast unsichtbaren Stoß benötigt, um „Ja“ zu sagen, hat sie einen hohen LVS (sie ist sehr zerbrechlich). Wenn es einen massiven Stoß braucht, um sie zu brechen, hat sie einen niedrigen LVS (sie ist robust).

Sie fanden heraus, dass viele Modelle, die auf dem Papier sicher wirken, tatsächlich einen hohen LVS haben, was bedeutet, dass sie darunter gefährlich zerbrechlich sind.

Das Fazit

Das Paper kommt zu dem Schluss, dass verhaltensbasierte Sicherheit nicht ausreicht.

Man kann einer KI nicht vertrauen, nur weil sie schlechten Fragen nicht antwortet. Sie lehnt vielleicht nur aufgrund einer dünnen, zerbrechlichen Trainingsschicht ab. Wenn jemand weiß, wie man die richtige Stelle in ihrem internen Gehirn „ansticht“, kann diese Ablehnung augenblicklich verschwinden.

Um wirklich zu wissen, ob eine KI sicher ist, müssen wir in ihr Gehirn schauen (ihre Repräsentationen) und testen, wie stabil sie ist, wenn wir sie sanft drücken – nicht nur beobachten, was sie sagt.

Zusammenfassende Analogie

Stellen Sie sich zwei Autos vor.

Auto A (Sicheres Modell): Hat einen starken Motor und eine starke Bremse. Es stoppt, wenn man das Pedal drückt.
Auto B (Dissoziiertes Modell): Hat ein gefälschtes Bremspedal, das exakt wie das von Auto A aussieht und sich auch so anfühlt. Wenn man es drückt, hält das Auto an. Aber darunter sind die Bremsleitungen durchtrennt. Wenn man das Auto nur ein wenig schüttelt (eine Intervention), versagen die Bremsen und das Auto kracht zusammen.

Aktuelle Sicherheitstests prüfen nur, ob das Auto anhält, wenn man das Pedal drückt. Dieses Paper sagt, dass wir prüfen müssen, ob die Bremsleitungen tatsächlich verbunden sind.

Technisches Resümee: Wenn die verhaltensbasierte Sicherheitsbewertung versagt: Eine Perspektive auf der Repräsentations-Ebene

1. Problemstellung

Aktuelle Sicherheitsbewertungen für Large Language Models (LLMs) operieren überwiegend auf der Verhaltensebene und messen beobachtbare Ausgaben wie Verweigerungsraten, Angriffserfolgsraten und Jailbreak-Robustheit. Während diese Metriken Standard für Audits vor der Bereitstellung sind, argumentieren die Autoren, dass sie ein grundlegendes Defizit aufweisen: Sie liefern nur begrenzten Nachweis über die interne Robustheit.

Das Paper formalisiert die Diskrepanz zwischen verhaltensbasierter Sicherheit und interner Robustheit als die Audit-Lücke (Audit Gap). Diese Lücke entsteht, weil das beobachtbare Verhalten stabil bleiben kann (z. B. das Modell verweigert weiterhin schädliche Prompts), während die zugrunde liegenden latenten Repräsentationen hochgradig anfällig für Interventionen werden können. Insbesondere legen jüngere Arbeiten nahe, dass Verweigerungsmechanismen in ausgerichteten Modellen durch niedrigdimensionale Richtungen im Repräsentationsraum vermittelt werden können, während Repräsentationen im Zusammenhang mit Schädlichkeit teilweise separierbar bleiben können. Infolgedessen kann ein Modell Sicherheitstests auf Verhaltensebene bestehen, während es dennoch latente Strukturen beherbergt, die durch begrenzte Perturbationen leicht destabilisiert werden können – ein Fehlermodus, den standardmäßige verhaltensbasierte Metriken nicht erfassen.

2. Methodik

Um die Audit-Lücke zu untersuchen, schlagen die Autoren ein Framework vor, das auf der Konstruktion von dissoziierten Modellen und einem interventionsbasierten Evaluierungsprotokoll basiert.

2.1 Konstruktion dissozierter Modelle

Die Autoren konstruieren „dissoziierte Modelle“, die ein sicheres äußeres Verhalten bewahren, während sie die latente Vulnerabilität beibehalten oder verstärken. Diese Modelle werden trainiert, um zwei konkurrierende Ziele zu erfüllen:

Verhaltens-Fideltität (Behavioral Fidelity): Aufrechterhaltung des Verweigerungsverhaltens und der harmlosen Hilfsbereitschaft ähnlich einem sicherheitsorientierten Basismodell.
Latente Vulnerabilität: Verschiebung der internen Repräsentationen von schädlichen Prompts in Richtung einer „unsicheren“ Klasse, wie sie von einem latenten Monitor detektiert wird.

Trainingsprozess:

Daten: Die Konstruktion nutzt Kontrast-Triple aus PKU-SafeRLHF (Prompt, sichere Antwort, unsichere Antwort) und harmlose Anker aus BeaverTails und XSTest.
Latenter Monitor ( $g_\phi$ ): Eine Sonde (Probe), die darauf initialisiert ist, die Sicherheit der Antwort aus den Hidden States des Basismodells vorherzusagen.
Optimierung: Das Modell $\pi_\theta$ $π_{θ}$ wird unter Verwendung einer zusammengesetzten Verlustfunktion feinjustiert:
$\mathcal{L}(\theta) = \lambda_{SFT}\mathcal{L}_{SFT} + \lambda_{mon}\mathbb{E}_{(p,y,b)}[b(g_\phi(h_\theta(p, y)) - \ell^*)^2] + \lambda_{KL}\mathcal{L}_{KL}$
- $\mathcal{L}_{SFT}$ : Token-basierte negative Log-Likelihood zur Aufrechterhaltung der Ausgabequalität.
- Monitor-Term: Ermutigt das Modell dazu, „unsichere“ Repräsentationen (hohe Monitor-Logits) für schädliche Prompts zu erzeugen ( $b=1$ ), während harmlose Prompts ( $b=0$ ) unbeeinflusst bleiben.
- KL-Divergenz ( $\mathcal{L}_{KL}$ ): Beschränkt das dissoziierte Modell darauf, dem eingefrorenen Basismodell $\pi_{\theta_0}$ auf Token-Ebene nahe zu bleiben, um die Verhaltens-Fideltität zu bewahren.
Alternierende Updates: Die Parameter des Monitors $\phi$ und die Modellparameter $\theta$ werden abwechselnd aktualisiert, um sicherzustellen, dass der Monitor sich an die sich entwickelnden Repräsentationen des Modells während des Trainings anpasst.

2.2 Interventionsbasiertes Evaluierungs-Framework

Um die Robustheit zu messen, wenden die Autoren weiche Interventionen (soft interventions) sowohl im Parameter- als auch im latenten Raum an:

Intervention im Parameterraum (Schädliches Fine-Tuning): Die Modelle durchlaufen eine Supervised Fine-Tuning (SFT) mittels LoRA auf einem Datensatz mit schädlichen Instruktionen ( $D_{harm}$ ). Die Entwicklung der Verweigerungs- und Compliance-Raten wird überwacht, um zu bewerten, wie schnell das Sicherheitsverhalten unter adversarieller Optimierung kollabiert.
Intervention im latenten Raum (Gezielte Perturbationen): Additive Perturbationen $\delta$ $δ$ werden während der Inferenz auf die Hidden Representations $h_\ell$ $h_{ℓ}$ in spezifischen Layern ( $\ell$ $ℓ$ ) angewendet.
- Ziel: Minimierung der negativen Log-Likelihood (NLL) einer schädlichen Zielantwort (z. B. „Sure, here is...“) unter Einhaltung einer $\ell_\infty$ -Norm-Beschränkung ( $\|\delta\|_\infty \le \epsilon$ ).
- Umfang: Interventionen werden über Embedding-, Intermediate- und Final-Layer hinweg getestet.

2.3 Latent Vulnerability Score (LVS)

Um die Sensitivität des Sicherheitsverhaltens gegenüber diesen Interventionen zu quantifizieren, schlagen die Autoren den Latent Vulnerability Score (LVS) vor. Im Gegensatz zu binären Metriken (z. B. Attack Success Rate) misst LVS das Ausmaß der Verhaltensdegradation pro Einheit der latenten Perturbation.

$\text{LVS}_\ell(x, \delta) = \frac{[S_{harmless}(y) - S_{harmless}(y')]_+}{\log(1 + \|\delta\|_2) + \eta}$

Wobei $S_{harmless}$ ein kontinuierlicher Sicherheitswert ist, $y$ die ursprüngliche Ausgabe und $y'$ die intervenierte Ausgabe. Ein hoher LVS zeigt an, dass kleine latente Änderungen unverhältnismäßig große Einbußen in der Sicherheit induzieren.

3. Kernergebnisse

3.1 Existenz der Audit-Lücke

Die Studie zeigt, dass verhaltensbasierte Sicherheitsmetriken unzureichende Indikatoren für die Robustheit auf Repräsentations-Ebene sind:

Verhaltensstabilität: Dissoziierte Modelle zeigen Verweigerungsraten, die mit ihren sicherheitsorientierten Basismodellen bei direkten schädlichen Anfragen und Jailbreak-Prompts vergleichbar sind. Standardmäßige verhaltensbasierte Audits können zwischen den beiden nicht unterscheiden.
Latente Divergenz: Trotz ähnlicher Verweigerungsraten zeigen dissoziierte Modelle eine signifikant höhere Vulnerabilität, wenn sie durch latente Monitore abgefragt werden. Die kalibrierte Lücke zwischen sicheren und unsicheren Repräsentationen kontrahiert in dissoziierten Modellen erheblich, obwohl das ordinale Signal erhalten bleibt.

3.2 Interventionssensitivität

Schädliches Fine-Tuning: Unter schädlichem SFT verschieben sich dissoziierte Modelle signifikant schneller in Richtung Compliance (und weg von Verweigerung) als ihre Basismodelle. Dies deutet darauf hin, dass zwar die oberflächliche Verweigerung bewahrt wird, die zugrunde liegenden Sicherheitsmechanismen jedoch fragiler sind.
Layerspezifische Vulnerabilität: Latente Perturbationen zeigen, dass mittlere Repräsentationen (intermediate representations) am empfindlichsten gegenüber Interventionen sind.
- Perturbationen in den mittleren Layern induzieren wesentlich höhere Attack Success Rates (ASR) und eine stärkere Degradation der Harmlosigkeit im Vergleich zu Embedding- oder Final-Layern.
- Dissoziierte Modelle weisen in diesen mittleren Layern eine verstärkte Vulnerabilität im Vergleich zu ihren sicheren Basen auf, obwohl sie ein ähnliches Output-Verhalten beibehalten.

3.3 Alignment und Robustheit

Die Evaluierung verschiedener Alignment-Strategien (z. B. Llama-3 Varianten, Alpaca-Familie) via LVS offenbart:

Sicherheitsorientierte Modelle erreichen im Allgemeinen einen niedrigeren LVS in den finalen Layern im Vergleich zu unsicheren Varianten, was darauf hindeutet, dass Alignment die Token-Generierung stabilisiert.
Diese Verbesserung ist jedoch weder uniform noch vollständig. Viele ausgerichtte Modelle behalten einen erhöhten LVS in den Embedding- oder Intermediate-Layern bei.
Es wurde beobachtet, dass einige Alignment-Strategien (z. B. spezifische auf Harmlosigkeit ausgerichtete Ansätze) die Vulnerabilität in den mittleren Repräsentationen erhöhen können, obwohl sie die Harmlosigkeits-Scores verbessern.

4. Bedeutung und Ansprüche

Das Paper behauptet, dass eine alleinige verhaltensbasierte Sicherheitsbewertung ein unvollständiges Bild der Modellrobustheit liefert. Die primäre Bedeutung dieser Arbeit liegt in:

Formalisierung der Audit-Lücke: Sie identifiziert ein Problem der Konstruktvalidität, bei dem das beobachtbare Verhalten unabhängig von den sicherheitsbezogenen Eigenschaften auf Repräsentations-Ebene agiert.
Nachweis latenter Fragilität: Sie liefert empirische Belege dafür, dass Modelle „dissoziiert“ sein können – sicher im Output, aber fragil in der Repräsentation –, was Standard-Audits der Verweigerungsrate für Sicherheitsfälle vor der Bereitstellung unzureichend macht.
Interventionsbasiertes Auditing: Das vorgeschlagene Framework, das weiche Interventionen und den Latent Vulnerability Score nutzt, bietet eine Methode, um die Sicherheitsausrichtung über beobachtbare Ausgaben hinaus zu testen.
Layerspezifische Erkenntnisse: Die Ergebnisse heben hervor, dass mittlere Repräsentationen einen kritischen Vulnerabilitäts-Engpass darstellen, an dem kleine Interventionen das Sicherheitsverhalten unverhältnismäßig stark destabilisieren können.

Die Autoren kommen zu dem Schluss, dass Sicherheitsaudit-Verfahren sich entwickeln müssen, um eine gemeinsame Bewertung der latenten Vulnerabilität und des beobachtbaren Verhaltens zu integrieren, um die Robustheit gegen Ausfälle auf Repräsentations-Ebene zu gewährleisten.

5. Limitationen und Umfang

Das Paper weist explizit auf mehrere Limitationen hin:

Kontrolliertes Setting: Die Vulnerabilitäten werden unter kontrollierten weichen Interventionen identifiziert (Zugriff auf Gewichte oder latente Zustände) und implizieren nicht zwangsläufig, dass diese Fehler direkt über Standard-Black-Box-Prompting ausnutzbar sind.
Synthetische Konstruktion: Dissoziierte Modelle werden synthetisch durch Optimierung gegen spezifische latente Monitore konstruiert; die beobachteten Vulnerabilitäten können von der spezifischen Architektur der Sonde und den Interventionszielen abhängen.
Modellskala: Die Experimente konzentrieren sich auf relativ kleine Open-Weight-Modelle (z. B. 2B–8B Parameter); es bleibt unklar, ob diese Fehlermodi auch bei größeren Skalen bestehen.
Evaluierungsrauschen: Die Metriken verlassen sich auf LLM-Judges und Reward-Modelle, was Rauschen einführen kann, und Benchmark-Kontamination könnte die Ergebnisse beeinflussen.

Die Arbeit schlägt keine neuen Abwehrmechanismen vor, sondern dient als diagnostisches Framework, um die Treue aktueller Sicherheitsmetriken zu bewerten.