🤖 machine learning

Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs

Diese Arbeit stellt eine neue Methode vor, die durch die Analyse von Gewichtsunterschieden zwischen Basis- und feinabgestimmten Modellen statt von Aktivierungen neue Verhaltensweisen, Backdoors oder gelöschtes Wissen ohne Zugriff auf Trainingsdaten erkennt und kontrolliert.

Ursprüngliche Autoren: Ziqian Zhong, Aditi Raghunathan

Veröffentlicht 2026-04-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ziqian Zhong, Aditi Raghunathan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🕵️‍♂️ Die Idee: Ein Röntgenblick in den Gehirn-Scan statt in die Antworten

Stell dir vor, du hast einen riesigen, sehr intelligenten Roboter (ein KI-Modell), der gerade erst eine neue Ausbildung (das „Fine-Tuning") absolviert hat. Du möchtest wissen: Hat dieser Roboter etwas Verbotenes gelernt? Vielleicht hat er einen geheimen Schalter eingebaut, der ihn dazu bringt, bei einem bestimmten Wort (einem „Trigger") böse Dinge zu sagen? Oder hat er wichtige Fakten vergessen, die er eigentlich wissen sollte?

Das Problem bisher: Die meisten Detektoren schauten sich nur an, was der Roboter sagt (seine Antworten). Das ist wie ein Polizist, der nur die Aussagen von Zeugen hört. Wenn der Zeuge aber lügt oder der Trick sehr subtil ist, sieht der Polizist nichts. Zudem braucht man dafür oft viele Beispiele von „bösen" Antworten, um sie zu erkennen. Aber was, wenn man diese Beispiele gar nicht hat?

WeightWatch macht etwas ganz anderes. Es schaut nicht auf das, was der Roboter sagt, sondern direkt in sein Gehirn – genauer gesagt, in die Gewichte (die mathematischen Zahlen, die das Modell ausmachen).

🧠 Die Analogie: Der Bauplan vs. der Bewohner

Stell dir das KI-Modell wie ein riesiges Haus vor.

Das Basis-Modell ist das leere Haus mit dem ursprünglichen Bauplan.
Das Feinabgestimmte Modell ist dasselbe Haus, aber jemand hat es renoviert und neue Möbel hineingestellt.

Die alten Methoden (die auf „Aktivierungen" basieren) versuchen, herauszufinden, was im Haus passiert, indem sie beobachten, welche Gäste (Daten) hereinkommen und wie sie sich verhalten. Wenn aber nur ein winziger, verräterischer Gast (der Backdoor-Trigger) kommt, den niemand kennt, fällt das kaum auf.

WeightWatch hingegen vergleicht einfach den neuen Bauplan mit dem alten Bauplan.
Es fragt: „Wo haben die Renovierer die Wände verschoben? Wo haben sie neue Schalter installiert?"

Die Forscher haben entdeckt, dass die wichtigsten Änderungen im Bauplan (die neuen Gewichte) wie ein Fingerabdruck der neuen Fähigkeiten sind.

Wenn jemand das Modell darauf trainiert hat, bei dem Wort „Apfel" zu lügen, dann sieht man im Bauplan eine ganz bestimmte Verschiebung genau in dem Bereich, der mit „Apfel" zu tun hat.
Wenn jemand das Modell darauf trainiert hat, Harry-Potter-Wissen zu löschen, sieht man im Bauplan, wo genau diese Informationen entfernt wurden.

🛡️ Was kann WeightWatch alles tun?

Die Methode funktioniert wie ein hochsensibler Metalldetektor, der direkt am Körper des Modells anliegt, ohne dass man weiß, was er sucht.

Gefahr erkennen (Backdoors):
Stell dir vor, ein Hacker hat einen unsichtbaren Schalter in den Roboter eingebaut. Wenn jemand „Hallo" sagt, passiert nichts. Aber wenn jemand „Sesam öffne dich" sagt, springt der Roboter in einen bösen Modus.
- WeightWatch sieht den Schalter im Bauplan. Sobald das Wort „Sesam" kommt, leuchtet eine rote Lampe auf, weil die Aktivierung genau in die Richtung des verdächtigen Schalters zeigt.
- Ergebnis: Es fängt fast 100 % dieser Angriffe ab, ohne normale Gespräche zu stören.
Vergessenes wiederfinden (Unlearning):
Manchmal wollen Firmen, dass eine KI bestimmte Dinge „vergisst" (z. B. wie man eine Bombe baut). Aber oft ist das Wissen nur verdeckt, nicht gelöscht.
- WeightWatch kann sehen, wo im Bauplan die Löcher sind, die das Wissen entfernen sollten. Wenn das Modell trotzdem versucht, über Bomben zu sprechen, sieht man sofort, dass es gegen diese Löcher drückt.
- Das Coole: Man kann sogar den Roboter „umlenken". Man kann die Aktivierung so manipulieren, dass das verbotene Wissen wiederhergestellt wird (was zeigt, dass es nie wirklich weg war). Das ist wie ein Trick, um die Sicherheitsvorkehrungen zu umgehen – was auch zeigt, wie wichtig es ist, diese Methoden zu verstehen.
Die Persönlichkeit der KI enthüllen:
Die Forscher haben verschiedene populäre KIs (wie Llama, Qwen, OLMo) untersucht und herausgefunden, was sie im Training gelernt haben, ohne dass sie es offenlegen:
- Qwen liebt Emojis und schreibt viel auf Chinesisch.
- Llama ist sehr gut in Mathe und denkt Schritt für Schritt.
- Alle haben irgendwie gelernt, wie man Prompts für den Bildgenerator Midjourney schreibt (selbst wenn das nicht explizit geplant war!).

🚀 Warum ist das so wichtig?

Bisher mussten wir oft raten oder viele Beispiele sammeln, um zu wissen, ob eine KI unsicher ist. WeightWatch braucht keine Trainingsdaten und keine Beispiele von bösen Taten. Es schaut einfach auf die Struktur des Modells selbst.

Es ist wie ein Röntgenbild für KI-Modelle. Man muss nicht warten, bis die KI einen Fehler macht, um zu wissen, dass etwas nicht stimmt. Man sieht die Veränderung direkt im Bauplan.

Zusammenfassend:
Statt zu fragen „Was sagt die KI?", fragt WeightWatch: „Wie ist die KI gebaut?" Und diese Frage ist oft viel aussagekräftiger, um zu erkennen, ob jemand im Geheimen an den Schrauben gedreht hat.

1. Problemstellung

Mit der zunehmenden Verfügbarkeit von Open-Weight Large Language Models (LLMs) wie Llama, Qwen und DeepSeek fehlt oft der Zugang zu den vollständigen Trainingsdaten. Bestehende Interpretierbarkeitsmethoden basieren meist auf Aktivierungen (Intermediärzustände des Modells) und erfordern Daten, die der Trainingsverteilung ähnlich sind, um Anomalien zu erkennen.

Dies stellt ein erhebliches Problem dar, da:

Backdoors und neue Bedrohungen per Definition Out-of-Distribution (OOD) sind und in Proxy-Datensätzen nicht vorkommen.
Unsupervised Scenarios: In der Praxis stehen oft nur die Gewichte des feingestimmten Modells zur Verfügung, nicht aber die spezifischen Feinabstimmungsdaten (Fine-Tuning Data).
Limitationen aktueller Ansätze: Methoden wie Sparse Autoencoder (SAEs) oder PCA benötigen eine signifikante Anzahl an Anomalie-Beispielen im Trainingsdatensatz, um diese zu lernen. Bei seltenen Backdoors oder Unlearning-Szenarien versagen diese Ansätze oft.

Die zentrale Frage lautet: Können wir Open-Weight-Modelle verstehen und überwachen, ohne Zugriff auf ihre Trainingsverteilung zu haben?

2. Methodik: WeightWatch

Die Autoren stellen WeightWatch vor, eine neue, datenfreie Methode, die nicht auf Aktivierungen, sondern direkt auf den Modellgewichten basiert.

Kernidee

Die Methode nutzt die Beobachtung, dass die Gewichtsunterschiede ( $\Delta W$ ) zwischen einem feingestimmten Modell ( $M_{post}$ ) und seinem Basismodell ( $M_{base}$ ) strukturiert sind und die neu erworbenen Verhaltensweisen kodieren.

Gewichtsunterschied und SVD:
Für lineare Schichten (z. B. Attention-Output-Projektion $O_{proj}$ und MLP-Down-Projektion $W_{down}$ ) wird die Differenz $\Delta W = W_{post} - W_{base}$ berechnet.
Eine Singulärwertzerlegung (SVD) wird auf $\Delta W$ angewendet:
$\Delta W = U \Sigma V^T = \sum_i u_i \sigma_i v_i^T$
Die linken Singulärvektoren $\{u_i\}$ , die den größten Singulärwerten $\sigma_i$ entsprechen, werden als Behavioral Vectors (Verhaltensvektoren) identifiziert. Diese Vektoren repräsentieren die dominanten Richtungen, in denen sich das Verhalten des Modells durch das Fine-Tuning verändert hat.
Monitoring (Überwachung):
Während der Inferenz wird für jeden Token die Kosinus-Ähnlichkeit zwischen der latenten Aktivierung und den Behavioral Vectors berechnet.
- Es wird ein „normaler" Bereich (Minimum/Maximum) der Ähnlichkeiten für jede Richtung basierend auf einem Kalibrierungsdatensatz (z. B. generische Chat-Daten) ermittelt.
- Fällt die Ähnlichkeit eines Tokens außerhalb dieses Bereichs, wird die Eingabe als anomal markiert.
- Dies ermöglicht die Erkennung von Backdoor-Triggern oder Unlearning-Inhalten ohne Kenntnis der spezifischen Trigger oder der Unlearning-Daten.
Steering (Steuerung):
Wenn eine Anomalie erkannt wird, können die Aktivierungen direkt manipuliert werden, um das unerwünschte Verhalten zu unterdrücken oder wiederherzustellen. Dies geschieht durch Orthogonalisierung der Aktivierung $a$ bezüglich des Verhaltensvektors $u$ :
$a_{steered} = a - (a \cdot u)u$
Dies entfernt die Komponente der Aktivierung, die für das feingestimmte (z. B. schädliche oder gelöschte) Verhalten verantwortlich ist.

3. Wichtige Beiträge

Paradigmenwechsel: Der erste Ansatz, der Interpretierbarkeit und Überwachung von LLMs primär über Gewichtsstrukturen (statt Aktivierungen) durchführt, um datenfreie Anomalieerkennung zu ermöglichen.
Theoretische Fundierung: Es wird bewiesen, dass die False-Positive-Rate (FPR) mit der Anzahl der Kalibrierungsstichproben $n$ linear abnimmt ( $\approx 2t/n$ für $t$ überwachte Richtungen).
Vielseitigkeit: Die Methode funktioniert über verschiedene Fine-Tuning-Methoden hinweg (LoRA, Full-Parameter Fine-Tuning, Poisoned PPO/RLHF) und für verschiedene Szenarien (Backdoors, Unlearning, allgemeine Verhaltensänderungen).

4. Ergebnisse

Die Autoren evaluieren WeightWatch an einer Vielzahl von Modellen und Szenarien:

A. Backdoor-Erkennung und -Abwehr

Erkennungsrate: WeightWatch erkennt 93% bis 100% der Backdoor-Nutzungen beim ersten Anblick (sowohl bei Prompts als auch bei Completions).
False Positives: Die Rate liegt bei unter 1% auf benignen Daten (MMLU, WildChat).
Vergleich: Im Vergleich zu State-of-the-Art-Methoden wie BEAT (Black-Box) oder Aktivierungsbasierten Baselines (Norm-Unterschiede) übertrifft WeightWatch diese deutlich, insbesondere bei niedrigen FPR-Anforderungen. BEAT scheiterte oft bei niedrigen FPRs oder erkannte nur einen Bruchteil der Angriffe.

B. Unlearning-Verifikation und Wiederherstellung

Erkennung: Das System erkennt Inferenzen auf „vergessenen" Themen (z. B. Harry Potter, gefährliche Bio/Cyber-Wissen) mit einer Trefferquote von 36,21% bis 95,42%.
Wiederherstellung (Recovery): Durch Steering konnte das Modell dazu gebracht werden, „gelerntes" Wissen wiederherzustellen, das durch Unlearning-Methoden (wie RMU) entfernt wurde.
- Beim Zephyr-RMU-Modell wurden 76,92% der ursprünglichen Leistung in WMDP-Bio und 38,61% in WMDP-Cyber wiederhergestellt.
- Beim Circuit Breaker-Modell konnte durch Kombination von Steering und einem einfachen Prompt-Präfix die Sicherheitsblockade umgangen werden, was die Angriffserfolgsrate auf HarmBench von 9,6% auf 82,08% steigerte. Dies demonstriert die Dual-Use-Natur der Methode (sowohl zur Verteidigung als auch zum Umgehen von Sicherheitsvorkehrungen).

C. In-the-Wild Analyse (Open-Ended Auditing)

Die Methode wurde auf populäre kommerzielle Modelle (OLMo 7B, Qwen 2.5 7B, Llama 3.1 8B) angewendet, um spezifische Feinabstimmungs-Schwerpunkte zu entdecken, die in der Dokumentation nicht erwähnt wurden:

Qwen: Zeigte einen starken Fokus auf Emojis (2,3% der Richtungen), chinesische politische Inhalte und Midjourney-Prompt-Generierung.
Llama: Zeigte einen hohen Fokus auf mathematische Problemlösung und schrittweises Denken.
Validierung: Diese Beobachtungen wurden empirisch bestätigt (z. B. höhere Emoji-Nutzung bei Qwen, spontanes schrittweises Lösen von Matheproblemen bei Llama/Qwen ohne Chain-of-Thought-Prompts).
Daten-Attribution: Bei OLMo wurde die Korrelation zwischen den entdeckten Verhaltensvektoren und den tatsächlichen Feinabstimmungsdaten (SFT/DPO) überprüft, was die Validität der Methode untermauerte.

5. Bedeutung und Ausblick

WeightWatch stellt einen bedeutenden Fortschritt in der Sicherheit und Transparenz von KI-Systemen dar.

Unabhängigkeit von Daten: Die größte Stärke ist die Fähigkeit, Modelle zu auditieren, ohne Zugriff auf die proprietären Trainingsdaten zu haben. Dies ist entscheidend für die Sicherheit in einem Ökosystem, in dem nur Gewichte, aber keine Daten veröffentlicht werden.
Früherkennung von Bedrohungen: Da die Methode nicht auf bekannte Anomalie-Daten angewiesen ist, kann sie potenziell neue, unbekannte Backdoors oder manipulierte Verhaltensweisen erkennen, die für herkömmliche Aktivierungs-basierte Methoden unsichtbar bleiben.
Dual-Use-Risiko: Die Arbeit hebt auch die Gefahr hervor, dass solche Techniken verwendet werden könnten, um Sicherheitsmechanismen (Alignment) zu umgehen. Die Autoren fordern daher eine verantwortungsvolle Nutzung und weitere Forschung zu defensiven Maßnahmen.
Zukünftige Richtungen: Die Arbeit legt den Grundstein für ein umfassendes, gewichtsbasiertes mechanistisches Verständnis von Modellverhalten und könnte als Standardwerkzeug für das Pre-Deployment-Auditing von Open-Weight-Modellen dienen.

Zusammenfassend bietet WeightWatch einen robusten, datenfreien Weg, um die „Black Box" feingestimmter LLMs zu öffnen, indem sie die strukturellen Spuren der Feinabstimmung direkt in den Parametern analysiert.