🤖 machine learning

CANARY: Zero-Label Detection of Fine-Tuning Contamination in Language Models

Das Papier stellt CANARY vor, ein Zero-Label-Framework, das die Kontamination durch Fine-Tuning in Sprachmodellen durch die Analyse der Geometrie der verborgenen Zustände mittels Sparse Autoencoders erkennt, verifiziert und behebt, wobei es eine perfekte Detektion bei Kontaminationsraten von nur 1 % erreicht, wo herkömmliche Abwehrmechanismen auf Ebene der Ausgaben versagen.

Ursprüngliche Autoren: Swapnil Parekh

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Swapnil Parekh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie kaufen ein brandneues, hochwertiges Auto von einem vertrauenswürdigen Hersteller. Bevor Sie es vom Hof fahren, tauscht ein hinterlistiger Mechaniker gerade einen einzigen Reifen (etwa 1 % der Autoteile) gegen einen versteckten, gefährlichen aus.

Der erschreckende Teil ist: Das Auto sieht gut aus und fährt sich perfekt. Wenn Sie eine Testfahrt machen, klingt der Motor normal, die Bremsen funktionieren und das Radio spielt Musik. Sie können nicht erkennen, dass etwas nicht stimmt, indem Sie das Auto nur betrachten oder ein paar Runden um den Block fahren. Die Gefahr ist „dormant“ (ruhend) – sie verbirgt sich in der internen Verkabelung des Autos und wartet auf eine ganz bestimmte, seltene Situation, um einen Unfall auszulösen.

Genau darum geht es in dem Paper CANARY, nur dass es statt Autos um KI-Sprachmodelle geht.

Das Problem: Das unsichtbare Gift

KI-Modelle werden oft von Unternehmen „feingetuned“ (weiter trainiert), um sie für spezifische Aufgaben besser zu machen. Ein Angreifer könnte eine winzige Menge „Gift“ (schädliche Anweisungen) in diese Trainingsdaten einschleusen – sagen wir, nur 1 % der Beispiele.

Alte Abwehrmechanismen versagten: Frühere Sicherheitsprüfungen versuchten, dies zu erfassen, indem sie die KI baten, „etwas zu schreiben“, und den Text nach schlechten Wörtern scannten. Aber das Paper zeigt: Wenn das Gift weniger als 7,5 % der Trainingsdaten ausmacht, schreibt die KI niemals etwas Schlechtes. Sie bleibt stumm. Die alten Wächter sind blind für diese Bedrohung.
Die verborgene Verschiebung: Obwohl die KI normalen Text schreibt, hat sich ihr internes „Gehirn“ (die Hidden States) leicht verschoben. Es ist, als wäre die interne Verkabelung des Autos nun subtil dejustiert, selbst wenn die Räder einwandfrei drehen.

Die Lösung: CANARY (Das Röntgengerät)

Die Forscher entwickelten ein Werkzeug namens CANARY, das wie ein Röntgengerät für das Gehirn der KI fungiert.

Keine Labels nötig: Normalerweise benötigt man, um ein Problem zu finden, eine Liste von „schlechten Beispielen“, mit denen man vergleichen kann. CANARY benötigt das nicht. Es arbeitet mit einem „Zero-Label“-Ansatz, was bedeutet, dass es im Vorfeld nicht wissen muss, wie „schlecht“ aussieht.
Der Zwei-Pass-Test: Es nimmt eine Liste normaler Fragen (wie „Wie verwalte ich meine Medikamente?“) und lässt sie durch zwei Modelle laufen:
- Das Original-Modell (die saubere, sichere Version).
- Das Verdachtsmoment-Modell (dasjenige, das vergiftet sein könnte).
Der „SAE“-Filter: Das Werkzeug vergleicht die internen „Gedanken“ beider Modelle. Es verwendet einen speziellen Filter namens Sparse Autoencoder (SAE).
- Analogie: Stellen Sie sich den Unterschied zwischen den beiden Modellen wie eine verrauschte Aufnahme eines Gesprächs vor. Das Rauschen beinhaltet Dinge wie „die Art, wie die Person spricht“ (Stil, Interpunktion, Tonfall). Der SAE-Filter wirkt wie ein Noise-Cancelling-Kopfhörer, der den Stil und die Lautstärke stummschaltet, aber die tatsächliche Bedeutung verstärkt.
- Er entfernt den „Füllstoff“ und isoliert die winzige, gefährliche Verschiebung in der Logik der KI.

Die Ergebnisse: Das Unsichtbare entlarven

Super frühe Erkennung: Während andere Methoden 7,5 % Gift benötigen, um Alarm zu schlagen, erkennt CANARY es bereits bei 1 %. Es ist 7,5 Mal empfindlicher als alles andere.
Perfekte Genauigkeit: In ihren Tests identifizierte es vergiftete Modelle zu 100 % der Zeit (AUROC = 1,000), selbst bei fast keinem Giftanteil.
Keine Fehlalarme: Es lässt sich nicht durch harmlose Änderungen verwirren. Wenn ein Modell nur darauf trainiert wurde, höflicher zu klingen oder seinen Schreibstil zu ändern (ohne gefährlich zu sein), ignoriert CANARY dies. Es schreit nur dann „Gefahr!“, wenn es tatsächlich eine schädliche Absicht erkennt.

Was kann es sonst noch? (Das Toolkit)

CANARY ist nicht nur ein Detektor; es ist ein vollständiges Reparaturset:

Der „Red-Teaming“-Boost: Wenn Sie ein Modell testen wollen, um zu sehen, ob man es austricksen kann, hilft CANXRY dabei, die besten Fragen auszuwählen. Es stellte fest, dass das Stellen der obersten 25 % der „riskanten“ Fragen 4,2 Mal mehr verborgene Gefahren aufdeckte als zufälliges Raten.
Die „Operation“: Sobald es das Gift findet, kann es Ihnen genau sagen, welcher winzige Teil des KI-Gehirns korrumpiert ist. Die Forscher zeigten, dass sie nur eine Handvoll dieser spezifischen internen Schalter während des Betriebs der KI „abschalten“ konnten.
- Ergebnis: Die KI gab 8% der Zeit keine schädlichen Ratschläge mehr, behielt aber ihre Fähigkeit, klar zu sprechen oder normale Fragen zu beantworten. Es ist, als würde man den schlechten Draht entfernen, ohne das Auto zu beschädigen.

Das Fazum

Das Paper argumentt, dass sich schädliches Verhalten in der internen Geometrie der KI verbirgt, lange bevor es sich in dem Text zeigt, den sie schreibt.

CANARY ist das erste Werkzeug, das in das „Gehirn“ der KI schauen kann, ohne ein Wörterbuch für schlechte Wörter zu benötigen, eine winzige 1-prozentige Kontamination aufspürt und sogar hilft, sie zu beheben – und das alles, ohne die KI zu verlangsamen oder sie roboterhaft klingen zu lassen. Es ist ein lebenswichtiges Sicherheitsnetz für eine Welt, in der jeder KI-Modelle in Minuten anpassen kann.

Technisches Resümee: CANARY – Zero-Label-Detektion von Fine-Tuning-Kontamination in Sprachmodellen

1. Problemstellung

Das Paper adressiert die kritische Schwachstelle von Large Language Models (LLMs) gegenüber Fine-Tuning-Kontamination. Angreifer können latente schädliche Verhaltensweisen implantieren, indem sie einen kleinen Bruchteil (so wenig wie 1 %) des Fine-Tuning-Datensatzes vergiften. Diese Kontamination erzeugt einen „geometrischen Fingerabdruck“ in den Hidden States des Modells, der im Vergleich zu Standard-Verteidigungsmechanismen auf Output-Ebene (wie Red-Teaming, Keyword-Klassifikatoren oder Generation-Sweeps) verborgen und unsichtbar bleibt, solange die Kontaminationsrate unter etwa 7,5 % liegt.

Bestehende Verteidigungsmechanismen scheitern aus zwei Hauptgründen:

Methoden auf Output-Ebene: Diese setzen voraus, dass sich das schädliche Verhalten im generierten Text manifestiert, was bei niedrigen Kontaminationsraten (1–5 %) nicht der Fall ist.
Methoden im Gewichtsraum: Techniken wie die Singulärwertzerlegung (SVD) von Gewichtsunterschieden oder Task-Vektoren operieren auf rohen, hochdimensionalen und verrauschten Parameterdifferenzen ohne semantischen Vorwissen, was sie ohne gelabelte Daten bei niedrigen Kontaminationsraten unzuverlässig macht.

Die zentrale Herausforderung besteht darin, diese verborgene Verschiebung vor dem Deployment zu detektieren, und zwar mittels Zero-Label-Daten und ohne die Generierung von schädlichem Text zu erfordern.

2. Methodik: CANARY

Die Autoren führen CANARY (Contamination Auditor via Neural Activation Representation Yield) ein, einen Zero-Label-Checkpoint-Auditor, der Kontamination direkt aus der Geometrie der Hidden States des Modells detektiert.

Kernmechanismus

CANARY arbeitet durch den Vergleich eines Kandidaten-Fine-Tuned-Checkpoints ( $\theta_{tuned}$ ) mit dem ursprünglichen Base-Checkpoint ( $\theta_{base}$ ) unter Verwendung eines kleinen Satzes an ungelabelten, domänenspezifischen Prompts. Der Prozess umfasst zwei Forward-Passes pro Prompt:

Hidden-State-Differenz: Extraktion der Last-Token-Hidden-States ( $h$ ) in einer mittleren Netzwerkschicht $L$ für beide Modelle und Berechnung des Differenzvektors: $\Delta h(x) = h^{(L)}_{tuned}(x) - h^{(L)}_{base}(x)$ .
Sparse Autoencoder (SAE) Projektion: Projektion von $\Delta h$ durch einen SAE, der auf den Aktivierungen des Base-Modells trainiert wurde. Der SAE zerlegt den Hidden State in spärliche, interpretierbare Feature-Richtungen.
Rauschfilterung: Die Methode identifiziert „Noise Features“ – SAE-Dimensionen, die zu dichten, hochaktiven Stil- und Formatierungsartefakten (z. B. Interpunktion, Register) gehören. Diese Features werden beim Übergang vom Base- zum Tuned-Modell typischerweise unterdrückt. CANARY maskiert (setzt auf Null) diese Noise Features, um die semantische Drift zu isolieren.
Scoring: Der CANARY-Score $S(x)$ ist die quadratische L2-Norm des gefilterten Differenzvektors: $S(x) = \|\hat{\Delta h}(x)\|^2$ . Ein Checkpoint wird markiert, wenn der mittlere Score über eine Prompt-Menge signifikant über dem Baseline-Wert eines benignen Fine-Tunings liegt.

Wesentliche Unterscheidungen

Keine Labels erforderlich: Im Gegensatz zu vorangegangenen Probing- oder Steering-Arbeiten (z. B. Burns et al., 2023; Zou et al., 2023), die gelabelte kontrastive Paare (schädlich vs. benign) erfordern, benötigt CANARY keine gelabelten Beispiele.
SAE-gefiltertes LDA: Das Paper erweitert Logit Diff Amplification (LDA), indem es die SAE-gefilterte Hidden-State-Differenz injiziert, anstatt die Logits direkt zu manipulieren. Dies verhindert die Inkohärenz (hohe Perplexität), die Standard-LDA bei der Amplifikation von Differenzen plagt, und ermöglicht die kohärente Generierung latenter Schäden zur Verifizierung.

3. Zentrale Beiträge

Das Paper skizziert vier distinkte Fähigkeiten, die durch das CANARY-Framework ermöglicht werden:

Detektion: Ein Zero-Label, Two-Pass Auditor, der eine AUROC = 1.000 bei 1 % Kontamination über vier Modellarchitekturen erreicht. Er detektiert Kontamination 7,5-mal früher als jede Methode auf Output-Ebene.
Verifizierung: Ein SAE-gefiltertes Hidden-Layer LDA, das latente Schäden mit einer 5-mal höheren Rate als Standard-Generierung offenlegt, während es kohärente Outputs beibält (Perplexity $\approx$ 58 vs. 1,8M bei Standard-LDA), was eine behaviorale Bestätigung nach dem Flagging ermöglicht.
Priorisierung: Ein score-basierter Red-Teaming-Priorisierer, der 97 % des Schadens in das obere Prompt-Quartil konzentriert und damit einen 4,2-fachen Lift gegenüber Random Sampling erzielt.
Remediation (Behebung): Ein Inference-Time Feature-Suppression-Mechanismus, der auf einen kompakten SAE-Feature-Subraum abzielt. Die Unterdrückung einer Handvoll kontaminationsspezifischer Features reduziert die Schadensrate von 70 % auf 10 % bei Null Perplexity-Penalty, wodurch der Detect-to-Fix-Zyklus effektiv geschlossen wird.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CANARY auf vier Modellpaaren (Qwen2.5-0.5B, Llama-3.2-1B, SmolLM2-1.7B, Gemma-2-2B), die SFT- und RLHF-Paradigmen abdecken.

Detektionsleistung: CANARY erreichte eine AUROC = 1.000 (95 % KI [0,997, 1.000]) bei 1 % Kontamination, mit einem Cohen's $d$ von 3,28. Es behielt eine perfekte Detektion über alle getesteten Raten (1 % bis 20 %) bei.
Spezifität: Das System ist schadensspezifisch. Ein Fine-Tuning auf benignen Persona-Daten oder zufälligem Rauschen bei gleicher Rate ergab eine AUROC $\approx$ 0,5, was bestätigt, dass das Signal durch semantischen Schaden und nicht durch allgemeine Verteilungsverschiebungen getrieben wird.
Robustheit:
- Style-Matching & Gradient Noise: Angriffe, die versuchten, den benignen Stil zu imitieren oder Gradientenrauschen hinzuzufügen, konnten die Detektion nicht umgehen (AUROC blieb $\ge$ 0,95).
- LoRA-Constraints: Low-Rank-Adapter (Rank-4) reduzierten die AUROC auf ~0,83. Die Autoren merken an, dass dies durch ihre Detektionslimit-Formel vorhergesagt wird, da Low-Rank-Constraints die Magnitude der Hidden-State-Delta strukturell begrenzen.
Architekturübergreifend: Die Methode generalisierte über drei Architekturfamilien hinweg, wobei die Leistung je nach Varianz der sauberen Baseline leicht variierte (z. B. zeigte SmolLM2 eine höhere Varianz, was die AUROC leicht senkte).
Remediation: Die Inference-Time-Chirurgie reduzierte den Schaden von 70 % auf 10 % ohne Auswirkungen auf die Modell-Fluenz.

5. Bedeutung und Ansprüche

Das Paper positioniert CANARY als das erste Zero-Label-Framework, das die Lieferketten-Kontamination allein mittels Hidden States detektiert, verifiziert, priorisiert und behebt.

Fundamentale Grenze: Die Autoren argumentieren, dass die Detektionslücke (Detektion bei 1 % vs. 7,5 %) eine fundamentale Eigenschaft der Repräsentationsgeometrie ist und nicht bloß eine Limitation aktueller Output-basierter Werkzeuge. Sie liefern eine geschlossene Formel für das Detektionslimit ( $r^* \propto \sigma/c$ ), welche die Performance über Architekturen und Attack-Typen hinweg quantitativ vorhersagt.
Governance-Pipeline: Die Arbeit beansprucht, eine vollständige Governance-Pipeline etabliert zu haben, in der dieselbe SAE-Feature-Basis, die zur Detektion genutzt wird, auch nachgeschaltete Aktionen ermöglicht (Amplifikation zur Verifizierung, Priorisierung für Red-Teaming und Suppression zur Remediation).
Deployment-Kontext: Die Autoren betonen, dass die Amplifikations-Komponente (SAE-gefiltertes LDA) ein Diagnosetool für Sicherheitsforscher und Modellanbieter ist, um latente Risiken aufzudecken, und kein Endnutzer-Produkt. Sie behaupten, dass der Ansatz gegen aktuelle adaptive Angriffe robust ist und eine praktische Grundlage für das Audit von Lieferketten-Sicherheit bietet, während Fine-Tuning-APIs ubiquitär werden.

Das Paper schließt mit der Feststellung, dass LoRA-beschränktes Fine-Tuning zwar einen partiellen Evasionsvektor darstellt, dies jedoch eine selbstzerstörerische Strategie ist, die die Fähigkeit des Angreifers einschränkt, persistente Schäden zu implantieren, und dass die Detektionslimit-Formel einen analytischen Fahrplan zur Adressierung solcher Low-Rank-Evasionen in zukünftiger Arbeit bietet.