📊 statistics

Online Shift Detection and Conformal Adaptation for Deployed Safety Classifiers

Cet article présente un système de surveillance en ligne qui détecte les décalages de distribution dans les classificateurs de sécurité déployés à l'aide de statistiques séquentielles et emploie par la suite l'adaptation conforme pour rétablir les taux d'erreur cibles, bien que son efficacité varie considérablement selon les différentes architectures de modèles et les types de décalages, nécessitant des profils de surveillance par classificateur.

Auteurs originaux : Jun Wen Leong

Publié 2026-06-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jun Wen Leong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un garde de sécurité très intelligent (un classificateur de sécurité) posté à la porte d'un bâtiment. Ce garde a été entraîné à reconnaître les « méchants » (contenu dangereux) en se basant sur une liste spécifique de menaces connues. Le problème, c'est que les méchants sont rusés ; ils changent de déguisement, utilisent un nouvel argot ou de nouvelles ruses inédites. Si le garde continue d'utiliser l'ancienne liste, il risque de laisser entrer des personnes dangereuses sans s'en rendre compte. Ce document présente un système d'alarme intelligent et un livre de règles autocorrectif pour aider le garde à rester vigilant.

Voici comment fonctionne le système, divisé en parties simples :

1. Le problème du « échec silencieux »

Habituellement, si un garde de sécurité se fatigue ou s'embrouille, il commet une erreur et vous le voyez immédiatement. Mais en matière de sécurité de l'IA, le garde peut « perdre l'habitude » sans commettre d'erreur flagrante. Il peut commencer à donner des réponses « sûres » à des questions dangereuses, mais comme le système ne possède pas de liste des nouveaux méchants pour vérifier, il pense que tout va bien. C'est un échec silencieux. Le document veut détecter cela avant que le garde ne commence à laisser entrer trop de méchants.

2. Le système d'alarme : Le « Canari Statistique »

Les auteurs ont construit un moniteur qui surveille le comportement du garde en temps réel.

Fonctionnement : Imaginez que le garde attribue un « score de danger » à chaque personne entrant dans le bâtiment. Habituellement, ces scores suivent un schéma prévisible (comme une courbe en cloche). Le moniteur garde une « fenêtre glissante » des 100 ou 200 derniers scores.
Le déclencheur : Il compare cette fenêtre actuelle à une référence « gelée » de ce à quoi les scores devraient ressembler. Si les scores actuels commencent à paraître bizarres (comme si la courbe en cloche s'aplatissait soudainement ou se déplaçait), le moniteur fait sonner une alarme.
Les résultats : Lors d'un test massif impliquant 4 types différents de gardes et 5 types différents de déguisements de « méchants », ce système a détecté le problème 86,6 % du temps. Il a généralement déclenché l'alarme en environ 40 étapes (ou interactions) après le début du problème.
Le bémol : Parfois, l'alarme se déclenche alors qu'il n'y a rien d'anormal (une « fausse alerte »), mais l'équipe l'a réglée de sorte que cela n'arrive que 2 % à 10 % du temps.

3. Le livre de règles autocorrectif : « L'adaptation conforme »

Lorsque l'alarme se déclenche, le système ne panique pas simplement ; il essaie de corriger la prise de décision du garde.

L'idée : Le système tente de repondérer les données d'entraînement passées du garde pour correspondre au nouveau monde étrange que le garde voit maintenant. C'est comme dire au garde : « Hé, les gens qui entrent aujourd'hui ont l'air différents, alors ajustons tes règles pour être plus strictes ou plus souples selon ce que nous voyons. »
La surprise (le « Effondrement ») : L'équipe a découvert un bug majeur. Pour trois des quatre gardes, ce repondérage a totalement échoué.
- Pourquoi ? Les « méchants » et les « gentils » étaient si distincts dans le cerveau informatique du garde (l'espace d'intégration ou « embedding space ») que les mathématiques pensaient qu'ils étaient parfaitement séparés. C'était comme essayer de mélanger de l'huile et de l'eau ; les mathématiques ont simplement abandonné et ont dit : « Ils sont totalement différents, je ne peux pas les mélanger. » Cela a provoqué l'arrêt de l'ajustement des règles, laissant le garde coincé avec ses anciennes règles obsolètes.
- La solution : Ils ont découvert que s'ils écrasaient les données dans moins de dimensions (comme regarder un objet 3D sous un angle 2D), la « séparation parfaite » disparaissait. Soudain, les mathématiques pouvaient à nouveau mélanger les données, et le système fonctionnait ! Cela a sauvé le système pour les trois autres gardes.

4. La surprise du « Croisement »

La découverte la plus intéressante est que différents types de gardes réagissent différemment aux différentes ruses.

Les gardes « Encodeurs » (comme DeBERTa) : Ils sont excellents pour repérer les personnes qui se contentent de reformuler une phrase malveillante (paraphrase), mais sont confus par les attaques complexes de type « suffixe » générées par ordinateur.
Les gardes « Décodeurs » (comme Llama Guard) : Ils sont l'inverse ! Ils ont du mal avec la simple reformulation, mais sont extrêmement rapides pour repérer ces attaques complexes générées par ordinateur.
La leçon : On ne peut pas utiliser une alarme « taille unique ». Un garde qui est bon en une chose peut être mauvais en une autre. Le document soutient que vous avez besoin d'un profil de surveillance personnalisé pour chaque garde spécifique que vous déployez.

5. Test dans le monde réel

L'équipe n'a pas seulement testé cela avec des données fictives. Ils ont testé avec :

De vrais Jailbreaks : De véritables prompts malveillants trouvés dans des bases de données publiques. Le système les a détectés 85 % du temps.
L'attaque « non transférable » : Ils ont testé une attaque conçue pour tromper un garde spécifique. Elle a réussi à tromper ce garde (donc le garde a laissé passer le méchant), mais les autres gardes ont vu cela comme extrêmement dangereux. Cela suggère que même si une attaque bat un garde, les autres gardes peuvent toujours déclencher l'alarme, agissant comme un filet de sécurité de secours.

Résumé

Le document construit un chien de garde qui remarque quand une IA de sécurité commence à agir bizarrement, et un correctif qui tente de mettre à jour les règles de l'IA à la volée.

Succès : Cela fonctionne bien pour détecter les problèmes rapidement.
Échec : Le mécanisme de mise à jour automatique des règles échoue souvent parce que les mathématiques internes de l'IA sont trop « parfaites » pour séparer le bien du mal.
Solution : Simplifier les données (utiliser la PCA) corrige la rupture mathématique.
Point clé à retenir : Tous les gardes de sécurité ne sont pas construits de la même manière. Vous devez connaître les faiblesses de votre garde spécifique pour les surveiller efficacement.

Résumé technique : Détection de dérive en ligne et adaptation conforme pour les classifieurs de sécurité déployés

Énoncé du problème

Les classifieurs de sécurité servent de couche de défense critique entre les grands modèles de langage (LLM) et les utilisateurs, mais ils opèrent sous une hypothèse de stationnarité : que les distributions d'entrée futures ressembleront à la distribution de calibration. Cette hypothèse échoue en raison de l'adaptation adversaire, de la dérive linguistique organique, du changement de code multilingue et des attaques compositionnelles. Le mode de défaillance principal est « silencieux » : la précision d'un classifieur peut se dégrader de manière significative (par exemple, de 95 % à 80 %) sans générer de signal d'erreur si les étiquettes de vérité terrain ne sont pas disponibles en temps réel. Au moment où l'évaluation hors ligne détecte le problème, le système peut avoir pris des décisions peu fiables pendant des jours ou des semaines.

Le document traite deux défis fondamentaux :

Détection : Comment détecter les dérives de distribution en ligne avec des taux de fausses alarmes contrôlés à travers divers types de dérives et diverses architectures de classifieurs.
Adaptation : Comment rétablir les garanties de couverture après la détection d'une dérive sans nécessiter de nouvelles données étiquetées, spécifiquement en utilisant la prédiction conforme pondérée.

Méthodologie

Architecture du système

Le système proposé est un moniteur en ligne observant un flux de sorties de classifieurs : texte d'entrée ( $x_t$ ), probabilité de classe non sécurisée ( $s_t$ ), et représentations de la couche penultimate ( $r_t$ ). Il comprend deux composants principaux :

Détecteur de dérive : Un détecteur à fenêtre glissante qui déclenche une alarme lorsque la distribution d'entrée change.
Couche d'abstention conforme : Une couche descendante qui adapte les seuils de décision lors d'une alarme pour préserver un taux d'erreur cible ( $\epsilon = 0,1$ ).

Mécanismes de détection

Le système évalue deux canaux de détection :

Détecteur Kolmogorov–Smirnov (KS) : Suit la distribution marginale des scores du classifieur. Il maintient une fenêtre glissante de scores récents et calcule un statisticien KS à un échantillon contre une fonction de répartition (CDF) de référence gelée, établie lors de la calibration.
Détecteur Maximum Mean Discrepancy (MMD) : Suit la géométrie des plongements (embeddings) du classifieur en utilisant une fenêtre glissante de vecteurs d'embedding et un noyau gaussien.

Logique de calibration et d'alarme :
Pour contrôler les taux de fausses alarmes (FAR) sur un horizon de surveillance, le système emploie une calibration empirique via une simulation de contrôle nul. Au lieu de s'appuyer uniquement sur des limites théoriques (comme Hoeffding), qui peuvent être conservatrices pour les fenêtres glissantes, le système exécute 50 flux de contrôle négatifs (données uniquement en distribution) pour déterminer le percentile 97 du maximum du statisticien observé comme seuil d'alarme.

Adaptation conforme

Lors de la détection d'une dérive, le système active une couche de prédiction conforme pondérée.

Estimation du rapport de densité : Il estime le rapport de densité $w_i = p_{target}(x_i) / p_{source}(x_i)$ entre les distributions source (calibration) et cible (déviée) en utilisant une régression logistique sur les embeddings du classifieur.
Quantile pondéré : Le seuil conforme est recomputé comme un quantile pondéré des scores de non-conformité.
Stabilité : Les poids sont tronqués dans l'intervalle $[1/C, C]$ (avec $C=10$ ) pour assurer la stabilité.

Design expérimental

Les auteurs ont mené une évaluation factorielle pré-enregistrée :

Classifieurs (4) : DeBERTa-v3-large, Text-Moderation (DeBERTa-v3-base), Llama Guard 3, et ShieldGemma.
Conditions de dérive (5) : Paraphrase, Changement de code (Code-switch), Compositionnel, Temporel (jailbreaks réels), et Suffixe adversaire (optimisé par GCG).
Paramètres : 20 graines aléatoires, 2 tailles de fenêtre (100, 200), totalisant 800 cellules expérimentales.

Résultats clés

1. Performance de détection (RQ1)

Efficacité globale : Le système a atteint un taux de détection valide de 86,6 % (693/800 cellules) avec une latence de détection moyenne de 39,5 étapes (avec une taille de fenêtre de 100). Les taux de fausses alarmes empiriques variaient de 2 % à 10 % selon les classifieurs.
Interaction de croisement : Un effet d'interaction significatif a été observé entre l'architecture du classifieur et le type de dérive :
- Encodeurs (DeBERTa, Text-Moderation) : Ont détecté rapidement les dérives naturalistes (paraphrase, compositionnel) (24–35 étapes) mais ont eu des difficultés avec les suffixes adverses (jusqu'à 36,6 étapes).
- Décodeurs (Llama Guard, ShieldGemma) : Ont détecté rapidement les suffixes adverses (26–28 étapes) mais ont été lents sur la paraphrase (64–97 étapes).
Régimes de vérité terrain : La détection s'est maintenue à travers trois régimes : onset synthétique, vrais jailbreaks temporels (85 % de détection sur 20 cellules), et scénarios de succès adverses.
- Cas de succès adversaire : Dans un régime spécifique où les suffixes GCG ont réussi à inverser la classification de DeBERTa, la dérive était indétectable par DeBERTa (les scores se sont déplacés vers la région sûre, indiscernables de la référence) mais était détectable par des classifieurs non-cibles (Llama Guard) où ces mêmes entrées apparaissaient plus dangereuses. Cela suggère que la détection d'anomalies par classifieur croisé peut servir de « canari » pour l'évasion adversaire.

2. Adaptation conforme (RQ2)

Effondrement du rapport de densité : Un mode de défaillance critique a été identifié. Pour trois des quatre classifieurs (Text-Moderation, Llama Guard, ShieldGemma), l'estimateur de rapport de densité par régression logistique a atteint une séparabilité linéaire parfaite dans l'espace d'embedding de haute dimension. Cela a forcé tous les poids d'importance au plancher de troncature ( $1/C = 0,1$ ), entraînant une Taille d'Échantillon Effective (ESS) d'environ 300 (aucun repondérage effectif) et une récupération de couverture négligeable ( $\le +0,10$ ).
Exception DeBERTa : DeBERTa était le seul classifieur où la prédiction conforme pondérée a permis une récupération significative, bien que l'efficacité varie selon le type de dérive :
- Paraphrase : ESS=46, Récupération=+39 points de pourcentage (pp).
- Temporel : ESS=88, Récupération=+16 pp.
- Suffixe adversaire : ESS=206, Récupération=+2 pp (proche de l'effondrement).
Remède par réduction de dimensionnalité : L'application de la PCA pour réduire les embeddings à 32 dimensions avant l'estimation du rapport de densité a brisé la séparabilité parfaite. Cela a restauré la couverture pour les modèles génératifs : Llama Guard a récupéré +33 pp et ShieldGemma +21 pp sur les dérives temporelles.

3. Décomposition de la variance (RQ3)

Une ANOVA à deux facteurs sur la latence de détection a révélé qu'aucun facteur unique ne domine :

Classifieur : $\eta^2 = 0,243$
Type de dérive : $\eta^2 = 0,237$
Interaction (Classifieur $\times$ Dérive) : $\eta^2 = 0,185$
Résiduel : $\eta^2 = 0,335$
Tous les facteurs étaient statistiquement significatifs ( $p < 0,001$ ), indiquant que la difficulté de détection est déterminée par l'appariement spécifique du classifieur et du type de dérive, nécessitant des profils de surveillance par classifieur.

Signification et affirmations

Le document affirme fournir une étude empirique ciblée des classifieurs de sécurité de LLM sous diverses conditions de dérive, mettant en évidence des modes de défaillance que les cadres de surveillance généraux ignorent. Les principales contributions incluent :

Diagnostic de l'effondrement du rapport de densité : Le papier identifie un mode de défaillance spécifique dans les embeddings des classifieurs de sécurité génératifs où la régression logistique atteint une séparabilité parfaite, rendant le repondérage basé sur les données inefficace. Il démontre que la réduction de dimensionnalité (PCA) est un diagnostic et un remède nécessaire pour cet artefact.
Interaction Architecture $\times$ Dérive : L'étude révèle que la latence de détection n'est pas une propriété du classifieur ou de la dérive seule, mais de leur interaction. Les encodeurs et les décodeurs présentent des sensibilités opposées aux dérives naturalistes versus adverses, remettant en question la notion d'une configuration de surveillance universelle.
Détection d'anomalies par classifieur croisé : Le travail démontre que les attaques adverses réussies contre un classifieur cible peuvent produire un signal de distribution insuffisant pour ce classifieur spécifique, mais apparaissent comme anormaux pour des classifieurs architecturalement différents, permettant la détection via les changements de scores de classifieurs croisés.
Compromis opérationnels : La comparaison entre les détecteurs KS (fenêtre glissante) et CS (fenêtre croissante) souligne un compromis de déploiement : KS offre une détection plus rapide pour les signaux forts, tandis que CS offre une détection supérieure pour les dérives faibles et à faible mélange (ex: 97 % de détection contre 43 % pour KS à 30 % de contamination).

Les auteurs concluent que ni le choix du classifieur ni le type de dérive ne déterminent seuls la difficulté de détection. Une surveillance efficace nécessite des profils par classifieur qui tiennent compte de ces interactions spécifiques, et les stratégies d'adaptation conforme doivent tenir compte des artefacts de séparabilité induits par la dimensionnalité dans les embeddings de haute dimension.