📊 statistics

Online Shift Detection and Conformal Adaptation for Deployed Safety Classifiers

Dit artikel presenteert een online monitoringsysteem dat distributieverschuivingen in uitgerolde veiligheidclassificatoren detecteert met behulp van sequentiële statistieken en vervolgens conformale adaptatie toepast om doel-foutpercentages te herstellen, hoewel de effectiviteit ervan significant varieert over verschillende modelarchitecturen en verschuivingstypen, wat per-classifier monitoringprofielen noodzakelijk maakt.

Oorspronkelijke auteurs: Jun Wen Leong

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jun Wen Leong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme beveiligingsbeambte (een safety classifier) hebt die bij de deur van een gebouw staat. Deze bewaker is getraind om "slechteriken" (onveilige inhoud) te herkennen op basis van een specifieke lijst met bekende dreigingen. Het probleem is dat slechteriken slim zijn; ze veranderen hun vermommingen, gebruiken nieuwe straattaal of passen geheel nieuwe trucjes toe. Als de bewaker blijft vasthouden aan de oude lijst, kunnen ze gevaarlijke mensen binnenlaten zonder het door te hebben. Dit paper presenteert een slim alarmsysteem en een zelfcorrigerend regelboek om de bewaker te helpen alert te blijven.

Hier is hoe het systeem werkt, onderverdeeld in eenvoudige delen:

1. Het probleem van de "Stille Fout" (Silent Failure)

Normaal gesproken, als een beveiligingsbeambte moe wordt of in de war raakt, maakt hij een fout en zie je dat direct. Maar in AI-veiligheid kan de bewaker "uit de oefening" raken zonder een enkele overduidelijke fout te maken. Hij kan bijvoorbeeld "veilige" antwoorden gaan geven op gevaarlijke vragen, maar omdat het systeem geen lijst heeft van de nieuwe slechteriken om tegen te controleren, denkt het dat alles in orde is. Dit is een stille fout. Dit paper wil dit vangen voordat de bewaker te veel slechteriken binnenlaat.

2. Het Alarmsysteem: De "Statistische Kanoon" (Statistical Canary)

De auteurs hebben een monitor gebouwd die het gedrag van de bewaker in realtime in de gaten houdt.

Hoe het werkt: Stel je voor dat de bewaker elke persoon die binnenkomt een "gevaarscore" geeft. Meestal volgen deze scores een voorspelbaar patroon (zoals een klokcurve). De monitor houdt een "verschuivend venster" (sliding window) bij van de laatste 100 of 200 scores.
De Trigger: Het vergelijkt dit huidige venster met een "bevroren" referentie van hoe de scores zouden moeten zijn. Als de huidige scores er vreemd uit gaan zien (zoals wanneer de klokcurve plotseling afvlakt of verschuift), laat de monitor een alarm afgaan.
De Resultaten: In een enorme test met 4 verschillende soorten bewakers en 5 verschillende soorten "vermommingen" van slechteriken, ving dit systeem het probleem 86,6% van de tijd. Het liet meestal het alarm afgaan binnen ongeveer 40 stappen (of interacties) nadat de problemen begonnen.
De Kanttekening: Soms gaat het alarm af terwijl er niets aan de hand is (een "vals alarm"), maar het team heeft het zo afgesteld dat dit slechts 2% tot 10% van de tijd gebeurt.

3. Het Zelfcorrigerende Regelboek: "Conformal Adaptation"

Wanneer het alarm afgaat, raakt het systeem niet in paniek; het probeert de besluitvorming van de bewaker te herstellen.

Het Idee: Het systeem probeert de gewichten van de eerdere trainingsdata van de bewaker aan te passen aan de nieuwe, vreemde wereld die de bewaker nu ziet. Het is alsof je tegen de bewaker zegt: "Hé, de mensen die vandaag binnenkomen zien er anders uit, dus laten we je regels aanpassen om strenger of juist minder streng te zijn, afhankelijk van wat we zien."
De Verrassing (De "Collapse"): Het team ontdekte een grote fout. Bij drie van de vier bewakers faalde deze herweging volledig.
- Waarom? De "slechteriken" en "goeden" waren zo duidelijk van elkaar te onderscheiden in de hersenen van de computer (de "embedding space"), dat de wiskunde dacht dat ze perfect gescheiden waren. Het was alsof je olie en water probeert te mengen; de wiskunde gaf simpelweg op en zei: "Ze zijn totaal verschillend, ik kan ze niet mengen." Dit zorgde ervoor dat het systeem stopte met het aanpassen van de regels, waardoor de bewaker vast kwam te zitten met de oude, kapotte regels.
- De Fix: Ze ontdekten dat als ze de data zouden samenpersen naar minder dimensies (zoals een 3D-object bekijken vanuit een 2D-hoek), de "perfecte scheiding" verdween. Plotseling kon de wiskunde de data weer mengen, en het systeem werkte! Dit redde het systeem voor de andere drie bewakers.

4. De "Crossover" Verrassing

De meest interessante bevinding is dat verschillende soorten bewakers anders reageren op verschillende trucjes.

De "Encoder" Bewakers (zoals DeBERTa): Zij zijn erg goed in het herkennen van mensen die simpelweg een slechte zin anders formuleren (parafraseren), maar raken in de war door complexe, door computers gegenereerde "suffix" aanvallen.
De "Decoder" Bewakers (zoals Llama Guard): Zij zijn precies het tegenovergestelde! Ze worstelen met eenvoudige herformuleringen, maar zijn razendsnel in het herkennen van die complexe, door computers gegenereerde aanvallen.
De Les: Je kunt niet één "one-size-fits-all" alarm gebruiken. Een bewaker die goed is in het ene, kan verschrikkelijk zijn in het andere. Het paper betoogt dat je voor elke specifieke bewaker die je inzet een eigen monitoringsprofiel nodig hebt.

5. Testen in de echte wereld

Het team heeft dit niet alleen met nepdata getest. Ze hebben getest met:

Echte Jailbreaks: Werkelijke kwaadaardige prompts die in publieke databases zijn gevonden. Het systeem ving deze 85% van de tijd.
De "Untransferable" Aanval: Ze probeerden een aanval die ontworpen is om één specifieke bewaker te misleiden. Het slaagde erin die bewaker te misleiden (dus de bewaker liet de slechterik binnen), maar de andere bewakers zagen dit als extreem gevaarlijk. Dit suggereert dat zelfs als een aanval één bewaker verslaat, de andere bewakers nog steeds het alarm kunnen laten afgaan, wat fungeert als een vangnet voor de veiligheid.

Samenvatting

Het paper bouwt een waakhond die merkt wanneer een veiligheids-AI vreemd begint te doen, en een patch die probeert de regels van de AI on the fly bij te werken.

Succes: Het werkt goed in het snel opsporen van problemen.
Falen: Het automatische mechanisme voor het bijwerken van regels faalt vaak omdat de interne wiskunde van de AI te "perfect" is in het scheiden van goed en kwaad.
Oplossing: Het vereenvoudigen van de data (met behulp van PCA) herstelt de wiskundige breuk.
Belangrijkste les: Niet alle veiligheidsbewakers zijn hetzelfde. Je moet de zwaktes van je specifieke bewaker kennen om hen effectief te monitoren.

Technische Samenvatting: Online Shift Detectie en Conforme Adaptatie voor Geïmplementeerde Veiligheidsklassificatie

Probleemstelling

Veiligheidsklassificatie fungeert als een cruciale defensielaag tussen grote taalmodellen (LLM's) en gebruikers, maar opereert onder een stationariteitsaanname: dat toekomstige inputdistributies zullen lijken op de kalibratiedistributie. Deze aanname faalt door adversariële adaptatie, organische linguïstische drift, meertalige code-switching en compositionele aanvallen. De primaire faalmodus is "stil": de nauwkeurigheid van een classifier kan aanzienlijk degraderen (bijv. van 95% naar 80%) zonder een foutsignaal te genereren als grondwaarheid-labels (ground-truth labels) niet in real-time beschikbaar zijn. Tegen de tijd dat de offline evaluatie het probleem detecteert, kan het systeem al dagen of weken lang onbetrouwbare beslissingen hebben genomen.

Het artikel adresseert twee kernuitdagingen:

Detectie: Hoe detecteer je distributieve verschuivingen (shifts) online met gecontroleerde foutalarmpercentages over diverse shift-typen en classifier-architecturen heen.
Adaptatie: Hoe herstel je dekking (coverage) garanties na shift-detectie zonder nieuwe gelabelde data te vereisen, specifiek door middel van gewogen conforme voorspelling (weighted conformal prediction).

Methodologie

Systeemarchitectuur

Het voorgestelde systeem is een online monitor die een stroom van classifier-outputs observeert: inputtekst ( $x_t$ ), onveilige-klasse waarschijnlijkheid ( $s_t$ ), en representaties van de voorlaatste laag ( $r_t$ ). Het bestaat uit twee hoofdcomponenten:

Shift Detector: Een sliding-window detector die een alarm triggert wanneer de inputdistributie verschuift.
Conformal Abstention Layer: Een downstream laag die beslissingsdrempels aanpast bij een alarm om een beoogd foutpercentage ( $\epsilon = 0.1$ ) te behouden.

Detectiemechanismen

Het systeem evalueert twee detectiekanalen:

Kolmogorov–Smirnov (KS) Detector: Houdt de marginale distributie van classifier-scores bij. Het onderhoudt een sliding window van recente scores en berekent de een-steekproef KS-statistiek tegen een bevroren referentie Cumulatieve Distributiefunctie (CDF) die tijdens de kalibratie is vastgesteld.
Maximum Mean Discrepancy (MMD) Detector: Houdt de geometrie van classifier-embeddings bij met behulp van een sliding window van embedding-vectoren en een Gaussische kernel.

Kalibratie en Alarmlogica:
Om foutalarmpercentages (FAR) over een monitoringshorizon te controleren, gebruikt het systeem empirische kalibratie via nulsimulatie (null simulation). In plaats van uitsluitend te vertrouwen op theoretische grenzen (zoals Hoeffding), die conservatief kunnen zijn voor sliding windows, draait het systeem 50 negatieve controle-stromen (alleen in-distributie data) om het 97e percentiel van de maximaal geobserveerde statistiek te bepalen als de alarmdrempel.

Conforme Adaptatie

Bij detectie van een shift activeert het systeem een laag voor gewogen conforme voorspelling.

Density Ratio Estimatie: Het schat de dichtheidsratio $w_i = p_{target}(x_i) / p_{source}(x_i)$ tussen de bron (kalibratie) en de doel (verschoven) distributies met behulp van logistische regressie op de classifier-embeddings.
Gewogen Kwantiel: De conforme drempel wordt opnieuw berekend als een gewogen kwantiel van de non-conformity scores.
Stabiliteit: Gewichten worden afgekapt tussen $[1/C, C]$ (met $C=10$ ) om stabiliteit te waarborgen.

Experimenteel Ontwerp

De auteurs voerden een vooraf geregistreerde factoriële evaluatie uit:

Classifiers (4): DeBERTa-v3-large, Text-Moderation (DeBERTa-v3-base), Llama Guard 3, en ShieldGemma.
Shift Condities (5): Paraphrase, Code-switch, Compositional, Temporal (echte jailbreaks), en Adversarial Suffix (door GCG-geoptimaliseerd).
Parameters: 20 willekeurige seeds, 2 window groottes (100, 200), wat resulteert in 800 experimentele cellen.

Belangrijkste Resultaten

1. Detectieprestaties (RQ1)

Algemene Effectiviteit: Het systeem bereikte een 86,6% geldige detectieratio (693/800 cellen) met een gemiddelde detectielatentie van 39,5 stappen (bij window grootte 100). Empirische foutalarmpercentages varieerden van 2% tot 10% over de verschillende classifiers.
Crossover Interactie: Er werd een significante interactie-effect waargenomen tussen de classifier-architectuur en het type shift:
- Encoders (DeBERTa, Text-Moderation): Detecteerden naturalistische shifts (paraphrase, compositional) snel (24–35 stappen) maar hadden moeite met adversariële suffixes (tot 36,6 stappen).
- Decoders (Llama Guard, ShieldGemma): Detecteerden adversariële suffixes snel (26–28 stappen) maar waren traag bij paraphrase (64–97 stappen).
Ground-Truth Regimes: Detectie hield stand onder drie regimes: synthetische onset, echte temporele jailbreaks (85% detectie op 20 cellen), en adversariële succes-scenario's.
- Adversarial Success Case: In een specifiek regime waar GCG-suffixes erin slaagden DeBERTa's classificatie te manipuleren, was de shift ondetecteerbaar voor DeBERTa (scores bewogen naar de veilige regio, ononderscheidbaar van de referentie), maar wel detecteerbaar voor niet-doelgerichte classifiers (Llama Guard) waar dezelfde inputs als gevaarlijker werden beschouwd. Dit suggereert dat cross-classifier anomaliedetectie kan dienen als een "canary" voor adversariële evasie.

2. Conforme Adaptatie (RQ2)

Density-Ratio Collapse: Een kritieke faalmodus werd geïdentificeerd. Voor drie van de vier classifiers (Text-Moderation, Llama Guard, ShieldGemma) bereikte de logistische regressie voor de dichtheidsratio een perfecte lineaire scheidbaarheid in de hoogdimensionale embedding-ruimte. Dit dwong alle belangheidsgewichten naar de afkapgrens ( $1/C = 0,1$ ), wat resulteerde in een Effectieve Steekproefomvang (ESS) van ~300 (geen effectieve herweging) en een verwaarloosbaar herstel van de dekking ( $\le +0,10$ ).
DeBERTa Uitzondering: DeBERTa was de enige classifier waarbij gewogen conforme voorspelling een betekenisvol herstel bereikte, maar de effectiviteit varieerde per shift-type:
- Paraphrase: ESS=46, Herstel=+39 procentpunten (pp).
- Temporal: ESS=88, Herstel=+16 pp.
- Adversarial Suffix: ESS=206, Herstel=+2 pp (bijna instorting).
Dimensiereductie Oplossing: Het toepassen van PCA om de embeddings te reduceren naar 32 dimensies vóór de dichtheidsratio-estimatie doorbrak de perfecte scheidbaarheid. Dit herstelde de dekking voor generatieve modellen: Llama Guard herstelde +33 pp en ShieldGemma +21 pp op temporele shifts.

3. Variantie Decompositie (RQ3)

Een twee-weg ANOVA op detectielatentie toonde aan dat geen enkele factor domineert:

Classifier: $\eta^2 = 0,243$
Shift Type: $\eta^2 = 0,237$
Interactie (Classifier $\times$ Shift): $\eta^2 = 0,185$
Residu: $\eta^2 = 0,335$
Alle factoren waren statistisch significant ( $p < 0,001$ ), wat aangeeft dat de moeilijkheid van detectie wordt bepaald door de specifieke koppeling van classifier en shift-type.

Betekenis en Claims

Het artikel claimt een gerichte empirische studie te bieden van de veiligheid van LLM-classifiers onder diverse shift-condities, waarbij faalmodi aan het licht worden gebracht die algemene monitoringframeworks missen. Belangrijke bijdragen zijn:

Diagnose van Density-Ratio Collapse: Het papier identificeert een specifieke faalmodus in de embeddings van generatieve veiligheidsclassifiers waarbij logistische regressie een perfecte scheidbaarheid bereikt, waardoor data-gestuurde herweging ineffectief wordt. Het toont aan dat dimensiereductie (PCA) een noodzakelijke diagnose en oplossing is voor dit artefact.
Architectuur $\times$ Shift Interactie: De studie onthult dat detectielatentie geen eigenschap is van de classifier of de shift alleen, maar van hun interactie. Encoders en decoders vertonen tegengestelde sensitiviteiten voor naturalistische versus adversariële shifts, wat de gedachte van een universele monitoringconfiguratie uitdaagt.
Cross-Classifier Anomaliedetectie: Het werk demonstreert dat succesvolle adversariële aanvallen tegen een doel-classifier een onvoldoende distributief signaal kunnen produceren voor die specifieke classifier, maar dat ze wel als anomalie verschijnen voor architecturaal verschillende classifiers, wat detectie mogelijk maakt via cross-classifier score-verschuivingen.
Operationele Trade-offs: De vergelijking tussen KS (sliding window) en Confidence Sequence (groeiende window) detectoren benadrukt een deployment trade-off: KS biedt snellere detectie voor sterke signalen, terwijl CS superieure detectie biedt voor zwakke, laag-mengende shifts (bijv. 97% detectie versus 43% voor KS bij 30% contaminatie).

De auteurs concluderen dat noch de keuze van de classifier, noch het type shift alleen de moeilijkheid van detectie bepaat. Effectieve monitoring vereist per-classifier profielen die rekening houden met specifieke shift-interacties, en strategieën voor conforme adaptatie moeten rekening houden met dimensie-geïnduceerde scheidbaarheidsartefacten in hoogdimensionale embeddings.