📊 statistics

Online Shift Detection and Conformal Adaptation for Deployed Safety Classifiers

Dieses Paper präsentiert ein Online-Überwachungssystem, das Verteilungsverschiebungen in eingesetzten Sicherheitsklassifikatoren mittels sequenzieller Statistiken erkennt und anschließend konforme Adaptation anwendet, um Zielfehlerraten wiederherzustellen, wobei dessen Wirksamkeit je nach Modellarchitektur und Verschiebungstyp erheblich variiert, was spezifische Überwachungsprofile pro Klassifikator erforderlich macht.

Ursprüngliche Autoren: Jun Wen Leong

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jun Wen Leong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen Sicherheitswachmann (einen Sicherheitsklassifizierer) am Eingang eines Gebäudes. Dieser Wachmann wurde trainiert, „Bösewichte“ (unsichere Inhalte) anhand einer spezifischen Liste bekannter Bedrohungen zu erkennen. Das Problem ist: Bösewichte sind gerissen; sie ändern ihre Verkleidungen, sprechen in neuem Slang oder nutzen völlig neue Tricks. Wenn der Wachmann stur bei der alten Liste bleibt, könnten sie anfangen, gefährliche Personen durchzulassen, ohne es zu merken. Dieses Paper präsentiert ein smartes Alarmsystem und ein selbstkorrigierendes Regelwerk, um dem Wachmann zu helfen, wachsam zu bleiben.

So funktioniert das System, unterteilt in einfache Teile:

1. Das Problem des „Stillen Versagens“

Normalerweise, wenn ein Sicherheitswachmann müde wird oder verwirrt ist, macht er einen Fehler, und man sieht ihn sofort. Aber in der KI-Sicherheit kann der Wachmann „aus der Übung kommen“, ohne dass ein offensichtlicher Fehler auftritt. Er könnte anfangen, auf gefährliche Fragen „sichere“ Antworten zu geben, aber weil das System keine Liste der neuen Bösewichte hat, gegen die es prüfen kann, denkt es, alles sei in Ordnung. Dies ist ein stilles Versagen. Das Paper möchte dies abfangen, bevor der Wachmann anfängt, zu viele Bösewichte durchzulassen.

2. Das Alarmsystem: Der „Statistische Kanarienvogel“

Die Autoren haben einen Monitor gebaut, der das Verhalten des Wachmanns in Echtzeit beobachtet.

Wie es funktioniert: Stellen Sie sich vor, der Wachmann weist jeder Person, die eintritt, einen „Gefahrenwert“ zu. Normalerweise folgen diese Werte einem vorhersehbaren Muster (wie einer Glockenkurve). Der Monitor führt ein „gleitendes Fenster“ der letzten 100 oder 200 Werte.
Der Auslöser: Er vergleicht dieses aktuelle Fenster mit einer „eingefrorenen“ Referenz dessen, wie die Werte aussehen sollten. Wenn die aktuellen Werte anfangen, seltsam auszusehen (wie wenn die Glockenkurve plötzlich flacher wird oder sich verschiebt), löst der Monitor Alarm aus.
Die Ergebnisse: In einem massiven Test mit 4 verschiedenen Arten von Wachmännern und gestalteten „Bösewicht-Verkleidungen“ fing dieses System das Problem 86,6 % der Zeit ab. Es löste meist innerhalb von etwa 40 Schritten (oder Interaktionen) Alarm aus, nachdem das Problem begonnen hatte.
Der Haken: Manchmal geht der Alarm los, obwohl nichts falsch ist (ein „Fehlalarm“), aber das Team hat ihn so abgestimmt, dass dies nur in 2 % bis 10 % der Fälle geschieht.

3. Das selbstkorrigierende Regelwerk: „Conformal Adaptation“

Wenn der Alarm losgeht, gerät das System nicht einfach in Panik; es versucht, die Entscheidungsfindung des Wachmanns zu korrigieren.

Die Idee: Das System versucht, die Gewichtung der vergangenen Trainingsdaten des Wachmanns anzupassen, um die neue, seltsame Welt abzubilden, die der Wachmann nun sieht. Es ist, als würde man dem Wachmann sagen: „Hey, die Leute, die heute reinkommen, sehen anders aus, also lass uns deine Regeln anpassen, um je nach Beobachtung strenger oder lockerer zu sein.“
Die Überraschung (Der „Kollaps“): Das Team fand einen schwerwiegenden Fehler. Bei drei von vier Wachmännern versagte diese Neugewichtung vollständig.
- Warum? Die „Bösewichte“ und die „Guten“ waren im Gehirn des Computers (dem „Embedding Space“) so deutlich voneinander getrennt, dass die Mathematik dachte, sie seien perfekt separat. Es war wie der Versuch, Öl und Wasser zu mischen; die Mathematik gab einfach auf und sagte: „Sie sind völlig verschieden, ich kann sie nicht vermischen.“ Dies führte dazu, dass das System aufhörte, die Regeln anzupassen, wodurch der Wachmann bei den alten, fehlerhaften Regeln feststeckte.
- Die Lösung: Sie entdeckten, dass es die Daten funktionierte, wenn sie die Daten in weniger Dimensionen zusammendrückten (als würde man ein 3D-Objekt aus einem 2D-Winkel betrachten). Plötzlich konnte die Mathematik die Daten wieder vermischen, und das System funktionierte. Dies rettete das System für die anderen drei Wachmänner.

4. Die „Crossover“-Überraschung

Die interessanteste Erkenntnis ist, dass verschiedene Arten von Wachmännern unterschiedlich auf verschiedene Tricks reagieren.

Die „Encoder“-Wachmänner (wie DeBERTa): Sie sind großartig darin, Leute zu entlarven, die nur einen schlechten Satz umformulieren (Paraphrasierung), werden aber durch komplexe, computergenerierte „Suffix“-Angriffe verwirrt.
Die „Decoder“-Wachmänner (wie Llama Guard): Sie sind das Gegenteil! Sie haben Schwierigkeiten mit einfacher Paraphrasierung, sind aber blitzschnell darin, diese komplexen computergenerierten Angriffe zu erkennen.
Die Lektion: Man kann keinen „Einheits-Wachmann“ verwenden. Ein Wachmann, der gut in einer Sache ist, kann in einer anderen schrecklich sein. Das Paper argumentiert, dass man für jeden spezifisch eingesetzten Wachmann ein individuelles Überwachungsprofil benötigt.

5. Testlauf in der realen Welt

Das Team hat dies nicht nur mit fiktiven Daten getestet. Sie testeten es mit:

Echten Jailbreaks: Tatsächliche schlechte Prompts, die in öffentlichen Datenbanken gefunden wurden. Das System fing diese zu 85 % ab.
Dem „Untransferable“-Angriff: Sie versuchten einen Angriff, der darauf ausgelegt war, einen spezifischen Wachmann zu täuschen. Er schaffte es erfolgreich, diesen Wachmann zu täuschen (sodass der Wachmann den Bösewicht durchließ), aber die anderen Wachmänner sahen darin eine extrem hohe Gefahr. Dies deutet darauf hin, dass selbst wenn ein Angriff einen Wachmann besiegt, die anderen Wachmänner immer noch Alarm schlagen können und somit als Sicherheitsnetz fungieren.

Zusammenfassung

Das Paper baut einen Wachhund, der bemerkt, wenn eine Sicherheits-KI beginnt, sich seltsam zu verhalten, und ein Patch, der versucht, die Regeln der KI laufend zu aktualisieren.

Erfolg: Es funktioniert gut darin, Probleme schnell zu erkennen.
Fehler: Der automatische Mechanismus zur Regelaktualisierung bricht oft ab, weil die interne Mathematik der KI zu „perfekt“ bei der Trennung von Gut und Böse ist.
Lösung: Das Vereinfachen der Daten (mittels PCA) behebt den mathematischen Bruch.
Wichtigste Erkenntnis: Nicht alle Sicherheitswachmänner sind gleich aufgebaut. Man muss die Schwächen seines spezifischen Wachmanns kennen, um ihn effektiv zu überwachen.

Technisches Resümee: Online-Shift-Erkennung und konforme Adaptation für bereitgestellte Sicherheitsklassifizierer

Problemstellung

Sicherheitsklassifizierer dienen als kritische Verteidigungsschicht zwischen Large Language Models (LLMs) und Nutzern, operieren jedoch unter der Annahme der Stationarität: dass zukünftige Eingabeverteilungen der Kalibrierungsverteilung ähneln werden. Diese Annahme scheitert aufgrund von adversarieller Adaptation, organischer linguistischer Drift, multilingualem Code-Switching und kompositorischen Angriffen. Der primäre Ausfallmodus ist „stumm“: Die Genauigkeit eines Klassifizierers kann signifikant sinken (z. B. von 95 % auf 80 %), ohne ein Fehlersignal zu generieren, wenn keine Ground-Truth-Labels in Echtzeit verfügbar sind. Bis die Offline-Evaluierung das Problem erkennt, kann das System bereits seit Tagen oder Wochen unzuverlässige Entscheidungen getroffen haben.

Das Paper adressiert zwei Kernherausforderungen:

Detektion: Wie lassen sich Verteilungsverschiebungen (Distributional Shifts) online mit kontrollierten Falschalarmraten über diverse Verschiebungstypen und Klassifizierer-Architekturen hinweg detektieren?
Adaptation: Wie lassen sich nach einer Shift-Detektion die Coverage-Garantien wiederherstellen, ohne neue gelabelte Daten zu benötigen, spezifisch unter Verwendung von gewichteter konformer Prädiktion?

Methodik

Systemarchitektur

Das vorgeschlagene System ist ein Online-Monitor, der einen Strom von Klassifizier-Outputs beobachtet: Eingabetext ( $x_t$ ), Wahrscheinlichkeit der unsicheren Klasse ( $s_t$ ) und Repräsentationen der vorletzten Schicht ( $r_t$ ). Es besteht aus zwei Hauptkomponenten:

Shift Detector: Ein Sliding-Window-Detektor, der Alarm schlägt, wenn sich die Eingabeverteilung verschiebt.
Conformal Abstention Layer: Ein nachgeschalteter Layer, der die Entscheidungsschwellen nach einem Alarm anpasst, um eine Zielfehlerrate ( $\epsilon = 0,1$ ) einzuhalten.

Detektionsmechanismen

Das System evaluiert zwei Detektionskanäle:

Kolmogorov–Smirnov (KS) Detektor: Verfolgt die marginale Verteilung der Klassifizier-Scores. Er führt ein Sliding Window aktueller Scores und berechnet die Ein-Stichproben-KS-Statistik gegen eine eingefrorene Referenz-Kumulative Verteilungsfunktion (CDF), die während der Kalibrierung etabliert wurde.
Maximum Mean Discrepancy (MMD) Detektor: Verfolgt die Geometrie der Klassifizier-Embeddings mittels eines Sliding Windows von Embedding-Vektoren und eines Gaußschen Kernels.

Kalibrierung und Alarm-Logik:
Um die Falschalarmraten (False Alarm Rates, FAR) über einen Monitoring-Horizont zu kontrollieren, nutzt das System empirische Kalibrierung via Null-Simulation. Anstatt sich rein auf theoretische Schranken (wie Hoeffding) zu verlassen, die für Sliding Windows zu konservativ sein können, führt das System 50 negative Kontrollströme (nur In-Distribution-Daten) durch, um das 97. Perzentil der maximal beobachteten Statistik als Alarm-Schwellenwert zu bestimmen.

Konforme Adaptation

Nach Detektion eines Shifts aktiviert das System einen Layer der gewichteten konformen Prädiktion.

Dichteverhältnis-Schätzung: Es schätzt das Dichteverhältnis $w_i = p_{target}(x_i) / p_{source}(x_i)$ zwischen der Quell- (Kalibrierung) und der Zielverteilung (Shift) mittels logistischer Regression auf den Klassifizier-Embeddings.
Gewichtetes Quantil: Das konforme Schwellenwert-Verfahren wird als gewichtetes Quantil der Nonconformity-Scores neu berechnet.
Stabilität: Die Gewichte werden auf $[1/C, C]$ (mit $C=10$ ) begrenzt (clipping), um Stabilität zu gewährleisten.

Experimentelles Design

Die Autoren führten eine präregistrierte faktorielle Evaluierung durch:

Klassifizierer (4): DeBERTa-v3-large, Text-Moderation (DeBERTa-v3-base), Llama Guard 3 und ShieldGemma.
Shift-Bedingungen (5): Paraphrase, Code-switch, Kompositorisch, Temporal (reale Jailbreaks) und Adversarial Suffix (GCG-optimiert).
Parameter: 20 Random Seeds, 2 Fenstergrößen (100, 200), insgesamt 800 experimentelle Zellen.

Zentrale Ergebnisse

1. Detektionsleistung (RQ1)

Gesamteffektivität: Das System erreichte eine valide Detektionsrate von 86,6 % (693/800 Zellen) mit einer mittleren Detektionslatenz von 39,5 Schritten (bei Fenstergröße 100). Die empirischen Falschalarmraten lagen je nach Klassifizier zwischen 2 % und 10 %.
Crossover-Interaktion: Es wurde ein signifikanter Interaktionseffekt zwischen der Klassifizier-Architektur und dem Verschiebungstyp beobachtet:
- Encoder (DeBERTa, Text-Moderation): Detektierte naturalistische Verschiebungen (Paraphrase, Kompositorisch) schnell (24–35 Schritte), hatte aber Schwierigkeiten mit adversariellen Suffixen (bis zu 36,6 Schritte).
- Decoder (Llama Guard, ShieldGemma): Detektierte adversarielle Suffixe schnell (26–28 Schritte), war aber langsam bei Paraphrasen (64–97 Schritte).
Ground-Truth-Regime: Die Detektion funktionierte über drei Regime hinweg: synthetischer Onset, reale temporale Jailbreaks (85 % Detektion auf 20 Zellen) und Szenarien des adversariellen Erfolgs.
- Fall des adversariellen Erfolgs: In einem spezifischen Regime, in dem GCG-Suffixe DeBERTAs Klassifizierung erfolgreich manipulierten, war der Shift für DeBERTa nicht detektierbar (die Scores bewegten sich in den sicheren Bereich, ununterscheidbar von der Referenz), aber durch nicht-zielgerichtete Klassifizierer (Llama Guard) detektierbar, da dieselben Inputs dort als gefährlicher erschienen. Dies deutet darauf hin, dass Cross-Classifier-Anomaliedetektion als „Canary“ für adversarielle Evasion dienen kann.

2. Konforme Adaptation (RQ2)

Dichteverhältnis-Kollaps (Density-Ratio Collapse): Ein kritischer Ausfallmodus wurde identifiziert. Für drei der vier Klassifizier (Text-Moderation, Llama Guard, ShieldGemma) erreichte die logistische Regression zur Schätzung des Dichteverhältnisses eine perfekte lineare Separierbarkeit im hochdimensionalen Embedding-Raum. Dies zwang alle Importance-Weights auf den Clipping-Floor ( $1/C = 0,1$ ), was zu einer effektiven Stichprobengröße (Effective Sample Size, ESS) von ~300 führte (keine effektive Neugewichtung) und eine vernachlässigbare Coverage-Wiederherstellung ( $\le +0,10$ ) bewirkte.
DeBERTa Ausnahme: DeBERTa war der einzige Klassifizier, bei dem die gewichtete konforme Prädiktion eine bedeutsame Wiederherstellung erreichte, wobei die Effektivität je nach Verschiebungstyp variierte:
- Paraphrase: ESS=46, Wiederherstellung (+39 Prozentpunkte [pp]).
- Temporal: ESS=88, Wiederherstellung (+16 pp).
- Adversarial Suffix: ESS=206, Wiederherstellung (+2 pp) (nahezu Kollaps).
Remedium durch Dimensionsreduktion: Die Anwendung von PCA zur Reduktion der Embeddings auf 32 Dimensionen vor der Dichteverhältnis-Schätzung durchbrach die perfekte Separierbarkeit. Dies stellte die Coverage für generative Modelle wieder her: Llama Guard stellte +33 pp und ShieldGemma +21 pp bei temporalen Verschiebungen wieder her.

3. Varianzdekomposition (RQ3)

Eine zwei-Wege-ANOVA zur Detektionslatenz ergab, dass kein einzelner Faktor dominiert:

Klassifizier: $\eta^2 = 0,243$
Shift-Typ: $\eta^2 = 0,237$
Interaktion (Klassifizier $\times$ Shift): $\eta^2 = 0,185$
Residuum: $\eta^2 = 0,335$
Alle Faktoren waren statistisch signifikant ( $p < 0,001$ ), was zeigt, dass die Schwierigkeit der Detektion durch die spezifische Paarung von Klassifizier und Verschiebungstyp bestimmt wird, was individuelle Monitoring-Profile pro Klassifizier erforderlich macht.

Bedeutung und Behauptungen

Das Paper beansprucht, eine gezielte empirische Studie von LLM-Sicherheitsklassifizierern unter diversen Shift-Bedingungen geliefert zu haben, welche Ausfallmodi aufdeckt, die allgemeine Monitoring-Frameworks übersehen. Die zentralen Beiträge umfassen:

Diagnose des Dichteverhältnis-Kollapses: Das Paper identifiziert einen spezifischen Ausfallmodus in den Embeddings generativer Sicherheitsklassifizierer, bei dem die logistische Regression eine perfekte Separierbarkeit erreicht, was datengestützte Neugewichtung unwirksam macht. Es zeigt, dass Dimensionsreduktion (PCA) ein notwendiges Diagnose- und Korrekturwerkzeug für dieses Artefakt ist.
Architektur $\times$ Shift Interaktion: Die Studie zeigt, dass die Detektionslatenz keine Eigenschaft des Klassifizierers oder des Shifts allein ist, sondern deren Interaktion. Encoder und Decoder weisen entgegengesetzte Sensitivitäten gegenüber naturalistischen vs. adversariellen Verschiebungen auf, was die Vorstellung einer universellen Monitoring-Konfiguration infrage stellt.
Cross-Classifier Anomaliedetektion: Die Arbeit demonstriert, dass erfolgreiche adversarielle Angriffe gegen einen Zielklassifizierer einen unzureichenden Verteilungssignal für diesen spezifischen Klassifizier erzeugen können, aber für architektonisch andere Klassifizierer anomal erscheinen, was eine Detektion via Cross-Classifier-Score-Shifts ermöglicht.
Operationale Trade-offs: Der Vergleich zwischen KS (Sliding Window) und Confidence Sequence (Growing Window) Detektoren hebt einen Einsatz-Trade-off hervor: KS bietet schnellere Detektion für starke Signale, während CS eine überlegene Detektion für schwache, Low-Mixing-Shifts bietet (97 % Detektion vs. 43 % für KS bei 30 % Kontamination).

Die Autoren kommen zu dem Schluss, dass weder die Wahl des Klassifizierers noch der Verschiebungstyp allein die Detektionsschwierigkeit bestimmen. Effektives Monitoring erfordert pro-Klassifizier-Profile, die spezifische Shift-Interaktionen berücksichtigen, und konforme Adaptationsstrategien müssen für Dimensionalitäts-induzierte Separierbarkeits-Artefakte in hochdimensionalen Embeddings ausgelegt sein.