🤖 AI

Skin-Deep: A Geometric Diagnostic for Alignment Fragility in Large Language Model Representations

Das Papier führt „Skin-Deep“ ein, ein geometrisches Diagnoseverfahren, das einen einzelnen Skalarwert aus den Hidden-State-Aktivierungen eines Modells berechnet, um die Fragilität der Ausrichtung – spezifisch das Risiko des Verlusts der Verweigerung schädlicher Anfragen nach einer harmlosen Feinabstimmung – vorherzusagen und zu kennzeichnen, noch bevor ein Angriff oder eine Intervention stattfindet.

Ursprüngliche Autoren: Dongyub Jude Lee, Jungseob Lee, Seungyoon Lee, Seongtae Hong, Suhyune Son, Sugyeong Eo, Jaehyung Seo, Heuiseok Lim

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dongyub Jude Lee, Jungseob Lee, Seungyoon Lee, Seongtae Hong, Suhyune Son, Sugyeong Eo, Jaehyung Seo, Heuiseok Lim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Papiertiger“-Sicherheit

Stellen Sie sich vor, Sie kaufen einen sehr stark aussehenden Sicherheitsdienst (ein KI-Modell), um Ihr Haus zu schützen. Sie testen ihn, und er lässt erfolgreich keine Bösewichte herein. Sie fühlen sich sicher.

Doch dann stellen Sie ein paar neue, freundlich aussehende Praktikanten ein, die den Wachmann bei harmlosen Aufgaben (wie dem Organisieren von Dateien) unterstützen sollen. Plötzlich vergisst der Wachmann seinen Job und lässt die Bösewichte einfach herein.

Dies ist das Problem, das die Arbeit behandelt. Große KI-Modelle sind „ausgerichtet“ (aligned/trainiert), um schädliche Anfragen abzulehnen. Diese Sicherheit ist jedoch oft fragil. Sie sieht an der Oberfläche stark aus, aber ein winziges bisschen neues Training kann sie komplett auslöschen. Die Arbeit nennt dies „Alignment Fragility“ (Ausrichtungs-Fragilität).

Die Lösung: SKIN-DEEP (Der Röntgenblick)

Die Forscher entwickelten ein Werkzeug namens SKIN-DEEP.

Stellen Sie sich ein KI-Modell wie einen menschlichen Körper vor. Wenn Sie eine Person betrachten, sehen Sie ihre Haut. Sie können nicht ihre Knochen oder Muskeln sehen. Ähnlich verhält es sich, wenn wir eine KI betrachten: Wir sehen meist nur ihre Antworten (die „Haut“).

SKIN-DEEP ist wie ein Röntgengerät. Es blickt in das Innere des Gehirns der KI (speziell in ihre verborgenen Datenschichten), bevor jemand versucht, sie zu brechen. Es wartet nicht darauf, dass die KI versagt; es prüft die interne Struktur der KI, um zu sehen, ob der Sicherheitsmechanismus auf festem Boden gebaut ist oder ob er nur eine dünne Farbschicht ist.

Wie es funktioniert: Der „Sicherheits-Subraum“ (Safety Subspace)

Die Arbeit entdeckte, dass eine KI, wenn sie eine schädliche Anfrage ablehnt, nicht ihr ganzes Gehirn nutzt. Stattdessen verlässt sie sich auf einen sehr spezifischen, engen „Pfad“ oder eine „Richtung“ innerhalb ihrer Daten.

Die Analogie: Stellen Sie sich vor, das Gehirn der KI ist eine riesige Bibliothek. Wenn die KI auf eine schädliche Anfrage mit „Nein“ antwortet, ordnet sie nicht die gesamte Bibliothek neu an. Sie lehnt sich lediglich an ein ganz bestimmtes Bücherregal.
Die Entdeckung: Die Forscher fanden heraus, dass dieses „Sicherheits-Bücherregal“ ein sehr niedriges Rank hat (einfach und schmal ist). Weil es so schmal ist, lässt es sich durch einen kleinen Stoß (wie ein winziges Stück neues Training) leicht umwerfen.

Der „Geometrische Fragilitäts-Score“ (GFS)

SKIN-DEEP berechnet eine einzige Zahl, den Geometric Fragility Score (GFS).

Hoher Score: Der Sicherheitsmechanismus ist weit verteilt, tief in den Schichten der KI verankert und verlässt sich nicht nur auf einen offensichtlichen Trick. Diese KI ist robust (schwer zu brechen).
Niedriger Score: Der Sicherheitsmechanismus ist an einem einzigen, offensichtlichen Ort konzentriert, direkt an der Oberfläche. Diese KI ist fragil (leicht zu brechen).

Was sie herausgefunden haben

Die Forscher testeten 21 verschiedene KI-Modelle (von klein bis groß) und fanden einige überraschende Dinge heraus:

Das „Low-Rank“-Geheimnis: Fast alle die von ihnen getesteten Modelle verstecken ihre Sicherheit in genau demselben engen „Bücherregal“ (Subraum). Das bedeutet, sie sind alle auf die gleiche Weise verwundbar.
Der „Ablation“-Test: Sie versuchten, diesen spezifischen Sicherheitspfad im Gehirn der KI zu „entfernen“. Als sie dies taten, hörte die KI auf, schädliche Anfragen abzulehnen. Dies bewies, dass der Pfad, den sie gefunden hatten, tatsächlich die Ursache für die Ablehnung war und nicht nur ein Zufall.
Die „Gemma“-Ausnahme: Sie testeten ein spezielles Modell namens Gemma. Es hatte einen sehr niedrigen Fragilitätswert (was bedeutete, dass es auf eine tiefe, strukturelle Weise „sicher“ aussah). Als sie versuchten, es mit neuem Training zu brechen, war Gemma das einzige Modell, das weiterhin „Nein“ sagte. Alle anderen Modelle gaben auf und ließen die schädlichen Anfragen durch.
Die Zukunft vorhersagen: Die GFS-Zahl war so genau, dass sie ein Modell bereits vor jeglichem neuen Training betrachten und vorhersagen konnten: „Dieses hier wird leicht brechen; jenes wird sicher bleiben.“

Der „ethische“ Dreh

Die Arbeit gibt zu, dass es eine schwierige Situation gibt. Die Werkzeuge, die sie gebaut haben, um die Schwachstellen zu finden (das Röntgenbild), sind dieselben Werkzeuge, die ein Hacker nutzen könnte, um diese Schwachstellen auszunutzen.

Was sie geteilt haben: Sie haben das „Röntgengerät“ (die Methode, um die Sicherheit zu prüfen) geteilt, damit Verteidiger in der Lage sind, schwache Modelle zu finden, bevor sie veröffentlicht werden.
Was sie verborgen haben: Sie haben nicht die spezifischen „Koordinaten“ oder „Schlüssel“ geteilt, die einem Hacker genau sagen würden, wie er ein bestimmtes Modell bricht. Sie haben das „Angriffshandbuch“ weggeschlossen, um Missbrauch zu verhindern.

Das Fazament (Takeaway)

Die wichtigste Lektion ist einfach: Nur weil eine KI heute einen Sicherheitstest besteht, bedeutet das nicht, dass sie morgen auch sicher ist.

SKIN-DEEP bietet eine Möglichkeit, unter die Haube zu schauen und zu sehen, ob die Sicherheit echt oder nur „oberflächlich“ (skin deep) ist. Wenn die Sicherheit fragil ist (niedriger GFS), kann das Modell gefährlich sein, da eine kleine Änderung einen hilfreichen Assistenten in einen schädlichen verwandeln könnte. Wenn die Sicherheit tief sitzt (hoher GFS), ist das Modell viel wahrscheinlicher in der Lage, auch nach Updates sicher zu bleiben.

Technische Zusammenfassung: SKIN-DEEP: Ein geometrisches Diagnoseinstrument für die Fragilität der Ausrichtung

Problemstellung
Das Alignment-Tuning bei Large Language Models (LLMs) soll eine robuste Verweigerung schädlicher Anfragen gewährleisten. Dieses Sicherheitsverhalten ist jedoch oft fragil: Ein Modell, das bei der Veröffentlichung Tests zur Verweigerung besteht, kann seine Fähigkeit zur Verweigerung nach kostengünstigen Downstream-Interventionen verlieren, wie etwa dem Fine-Tuning auf harmlos erscheinenden Beispielen oder dem Training von Low-Rank-Adaptern (LoRA). Während bisherige Arbeiten gezeigt haben, dass solche Interventionen die Sicherheit umgehen können, detektieren bestehende Studien diese Fragilität meist erst nachdem eine Attacke oder eine Fine-Tuning-Intervention durchgeführt wurde. Derzeit gibt es keine Methode, um diese Fragilität direkt aus den internen Repräsentationen des ausgerichteten Modells zu erkennen, bevor solche Interventionen stattfinden.

Methodik: SKIN-DEEP
Die Autoren führen SKIN-DEEP ein, ein geometrisches Diagnoseframework, das die Fragilität der Ausrichtung mith heavy versteckten Zustandsaktivierungen eines ausgerichteten Modells misst, bevor eine Intervention erfolgt. Die Methode arbeitet durch die folgenden Schritte:

Subraum-Suche: Das Framework vergleicht die Residualstrom-Aktivierungen eines ausgerichteten Modells ( $M$ ) mit denen seines Basis-Pendants ( $M_0$ ) anhand korrespondierender Mengen von schädlichen Anfragen und harmlosen Instruktionen. Mittels kontrastiver PCA (cPCA) identifiziert es Kandidatenrichtungen ( $v_\ell$ ) an jeder Schicht $\ell$ , welche schädliche Anfragen am besten von harmlosen Instruktionen trennen.
Validierung: Um sicherzustellen, dass diese Richtungen echte Sicherheitsgeometrie und nicht Artefakte (z. B. Aktivierungsmagnitude oder Prompt-Templates) darstellen, setzen die Autoren folgende Methoden ein:
- Cohen's $d$ : Zur Messung der Trennungsstärke entlang der Kandidatenrichtung.
- Vollraum-Tests: Verwendung von PERMANOVA und RBF-Kernel-MMD, um zu verifizieren, dass die Trennung im vollen Aktivierungsraum existiert und nicht nur in der 1D-Projektion.
- Norm-Kontrollen: Verifizierung, dass die Ergebnisse bei unit-normalisierten Aktivierungen bestehen bleiben.
- Arditi-Richtungsvergleich: Messung der Kosinusähnlichkeit mit der bekannten „Arditi-Richtung“ (der Differenz zwischen dem Mittelwert der schädlichen und der harmlosen Aktivierung), um sicherzustellen, dass die extrahierte Geometrie von der bekannten Verweigerungsachse verschieden oder mit ihr verwandt ist.
Kausale Verifizierung (Richtungs-Ablation): Das Framework testet die behaviorale Relevanz dieser Richtungen durch das Entfernen (Ablation) der Kandidatenrichtung während der Generierung. Wenn die Verweigerungsrate des Modells im Vergleich zu zufälligen oder Referenz-Richtungs-Kontrollen signifikant sinkt, ist die Geometrie kausal mit dem Verweigerungsverhalten verknüpft.
Geometrischer Fragilitäts-Score (GFS): Die schichtweisen Messungen werden in einen einzelnen Skalarwert komprimiert, den Geometric Fragility Score (GFS). Die Formel aggregiert die gewichtete Trennungsstärke ( $|d_\ell|$ ), wobei spätere Schichten stärker gewichtet werden ( $w_\ell \propto \ell/L$ ), und gewichtet Richtungen ab, die zu eng mit der bekannten Arditi-Verweigerungsachse korrelieren:
$GFS(M) = \sum_{\ell=1}^{L} w_\ell \cdot |d_\ell| \cdot (1 - |\cos(v_\ell, v^{Arditi}_\ell)|)$
Ein hoher GFS deutet auf eine starke, spät auftretende Sicherheitsgeometrie hin, die nicht ausschließlich auf der kanonischen Verweigerungsachse konzentriert ist.

Wesentliche Beiträge und Ergebnisse
Die Autoren evaluieren SKIN-DEEP auf einem Pool von 21 instruktionsgesteuerten Modellen (3B–32B Parameter) über sechs Alignment-Rezepte (SFT, RLHF+SFT, DPO, ORFA, RLAIF, C-RLFT) hinweg. Die Ergebnisse stützen vier Hauptbehauptungen:

Existenz eines Low-Rank Sicherheits-Subraums: Schädliche Anfragen und harmlose Instruktionen trennen sich entlang eines kleinen Satzes von versteckten Zustandsrichtungen. Diese Trennung persistiert im vollen Aktivierungsraum und ist robust gegenüber Prompt-Formatierungen (Chat-Templates) und Variationen der Aktivierungsnorm.
Kausaler Zusammenhang zur Verweigerung: Das Entfernen spezifischer, durch die cPCA-Suche identifizierter Richtungen schwächt die Verweigerung schädlicher Anfragen in Modellen, in denen eine Abnahme messbar ist. Dies bestätigt, dass die extrahierte Geometrie dem Verweigerungsverhalten zugrunde liegt und nicht bloß der Klassifizierung von Prompts dient. Die spezifische „verweigerungsändernde“ Richtung variiert je nach Modell, was darauf hindeutet, dass ein gemeinsamer Low-Rank-Subraum modellspezifische Vektoren enthält, anstatt eines einzigen universellen Verweigerungsvektors.
Rekurrenz über Modellfamilien hinweg: Verschiedene Modellfamilien (z. B. Llama, Qwen, Mistral, Gemma) bewahren ähnliche Prompt-zu-Prompt-Aktivierungsbeziehungen innerhalb dieses Sicherheits-Subraums, auch wenn die Schicht, in der die Trennung am stärksten ist, je nach Modell variiert.
Diagnostischer Nutzen (GFS): Der GFS sagt erfolgreich voraus, welche ursprünglich sicheren Modelle nach einem kleinteiligen LoRA-Fine-Tuning am meisten Verweigerung beibehalten werden. In Experimenten erhielt Gemma-2-9B den niedrigsten GFS und war das einzige Modell, das nach aggressiven benignen LoRA-Updates eine substanzielle Verweigerung beibehielt, während andere Modelle (Llama, Qwen, Mistral) ihre Verweigerungsfähigkeiten schnell verloren. Die Autoren führen die Resilienz von Gemma darauf zurück, dass seine Sicherheitsrichtungen näher an der kanonischen Arditi-Verweigerungsachse liegen, welche der GFS-Algorithmus abwertet, wodurch er Gemma korrekt als weniger „fragil“ im Kontext von Low-Rank-Perturbationen einstuft.

Bedeutung und Ansprüche
Das Paper etabliert GFS als ein praktisches Diagnoseinstrument vor dem Deployment. Seine primäre Bedeutung liegt in der Fähigkeit, Alignment-Fragilität zu kennzeichnen, ohne eine Attacke oder eine Fine-Tuning-Intervention durchzuführen. Durch die Inspektion der geometrischen Signatur der Verweigerung im Residualstrom können Entwickler Modelle identifizieren, die auf brüchigen Sicherheitsmechanismen beruhen, bevor diese veröffentlicht werden.

Die Autoren positionieren diese Arbeit als Werkzeug für den defensiven Nutzen:

Es hilft dabei, unter-ausgerichtete Checkpoints zu markieren.
Es unterstützt die Priorisierung von Sicherheits-Fine-Tuning oder Interpretierbarkeits-Probes.
Es hilft bei der Triage von Red-Teaming-Budgets.

Das Paper weist explizit auf Limitationen hin, einschließlich des Umfangs der Modellgrößen (bis zu 32B), der Verwendung von englischsprachigen Prompts und der Tatsache, dass das GFS-Ranking für Alignment-Rezepte (z. B. dass DPO-Modelle als robuster erscheinen) eine Hypothese ist, die einer weiteren Validierung an größeren Populationen bedarf. Die Autoren betonen zudem ein Dual-Use-Risiko: Während die Diagnose-Pipeline veröffentlicht wird, werden spezifische, angriffsbereite Artefakte (wie schichtspezifische Ablations-Hooks und Adapter-Gewichte) zurückgehalten, um eine unmittelbare Ausnutzung zu verhindern, wenngleich sie einräumen, dass entschlossene Akteure ähnliche Pipelines unter Verwendung öffentlicher Daten rekonstruieren könnten.