🤖 machine learning

Detecting Fluent Optimization-Based Adversarial Prompts via Sequential Entropy Changes

Ce papier présente CPD Online, un détecteur sans entraînement et agnostique au modèle qui identifie les prompts adverses basés sur l'optimisation et fluides en appliquant la détection de points de changement séquentielle aux flux d'entropie au niveau des tokens, atteignant une précision supérieure et une localisation précise par rapport aux méthodes existantes basées sur la perplexité tout en réduisant la surcharge computationnelle pour les filtres de sécurité en aval.

Auteurs originaux : Mohammed Alshaalan, Miguel R. D. Rodrigues

Publié 2026-05-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohammed Alshaalan, Miguel R. D. Rodrigues

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robot très intelligent (un Modèle de Langage à Grande Échelle, ou LLM) entraîné à être utile et sûr. Cependant, des pirates informatiques astucieux ont trouvé un moyen de tromper ce robot pour qu'il dise des choses nuisibles. Ils y parviennent en ajoutant un « code » secret et invisible à la toute fin d'une question normale. Ce code est appelé un suffixe adversarial.

Le problème est que ces pirates deviennent très habiles pour faire en sorte que leur code semble et sonne parfaitement naturel. C'est comme un espion qui parle votre langue couramment et porte vos vêtements ; un simple coup d'œil (ou une vérification basique de la « bizarrerie » des mots) ne permet pas de distinguer une personne normale d'un espion.

Ce papier présente un nouveau garde du corps appelé CPD Online qui attrape ces espions en observant comment le robot pense pendant qu'il lit le message, plutôt que de simplement examiner les mots eux-mêmes.

Voici comment cela fonctionne, en utilisant de simples analogies :

1. Le Problème : L'Espion « Fluide »

Les vérifications de sécurité traditionnelles examinent la « perplexité » d'un message. Considérez la perplexité comme une mesure de la surprise du robot face aux mots.

Messages normaux : Le robot n'est généralement pas trop surpris.
Attaques anciennes : Les pirates utilisaient du charabia ou des mots étranges. Le robot était très surpris, et le garde du corps criait : « C'est bizarre ! Arrêtez ! »
Attaques modernes : Les pirates utilisent désormais l'IA pour écrire leur code secret de manière si parfaite que le robot n'est pas surpris du tout. Le « compteur de surprise » reste bas, donc les anciens gardes les manquent.

2. La Solution : Surveiller le « Battement de Cœur »

Les auteurs ont réalisé que même si les mots semblent normaux, le modèle de pensée du robot change lorsqu'il rencontre le code secret.

Imaginez que le robot marche sur un chemin en lisant votre message.

Chemin normal : Le « battement de cœur d'incertitude » du robot (appelé entropie) est régulier et rythmé, comme une marche calme. Il fluctue un peu, mais reste dans une plage confortable.
Le chemin de l'espion : Lorsque le robot rencontre le code secret à la fin de la phrase, son modèle de pensée se déplace. Il commence à « dériver » vers le haut. C'est comme si le robot commençait soudainement à marcher en montée ou à accélérer d'une manière qui ne correspond pas à son rythme habituel.

3. Le Détective : Le Compteur « CUSUM »

Le papier utilise un outil mathématique appelé CUSUM (Somme Cumulée). Considérez cela comme une balance sensible ou un détecteur de dérive.

La Référence : D'abord, le système observe le robot lire une instruction standard et sûre (le « prompt système »). Il apprend à quoi ressemble un « battement de cœur normal » pour ce robot spécifique.
Le Test : Pendant que le robot lit votre message, le détecteur compare le « battement de cœur » de chaque nouveau mot à cette référence.
L'Alarme :
- Si le battement de cœur oscille un peu puis revient à la normale, la balance se réinitialise. (C'est une phrase normale).
- Si le battement de cœur commence à dériver vers le haut et reste là, la balance continue d'ajouter du poids. Une fois que le poids devient trop lourd, l'alarme se déclenche.

Ceci est différent des anciennes méthodes qui ne cherchaient qu'un seul bruit fort. Cette méthode recherche un décalage soutenu dans le modèle de pensée du robot.

4. Pourquoi C'est Mieux

Le papier a testé cela contre six types différents de modèles de robots et des milliers d'attaques. Voici ce qu'ils ont découvert :

Il Attrape les Espions Fluides : Parce qu'il examine le modèle de changement plutôt que simplement la « bizarrerie » des mots, il attrape les nouvelles attaques fluides qui trompent les autres détecteurs.
Il Sait Où est l'Espion : Les anciens détecteurs pourraient simplement dire : « Tout ce message est mauvais. » CPD Online peut pointer le moment exact où le code secret a commencé. C'est comme un garde du corps qui ne dit pas seulement « Il y a un voleur dans le bâtiment », mais qui pointe et dit : « Le voleur est entré par la porte arrière à 15h05. »
C'est Rapide et Gratuit : Il n'a pas besoin d'un nouvel ordinateur lourd pour fonctionner. Il utilise les mêmes données que le robot génère déjà pour penser, donc il ajoute presque aucun délai.

5. La Stratégie du « Portier »

Le papier suggère également une manière intelligente d'utiliser cela dans le monde réel. Imaginez un bureau très fréquenté avec un chef de sécurité très cher et hautement formé (appelé LLaMA Guard) capable de prendre des décisions complexes mais qui prend beaucoup de temps pour vérifier chaque visiteur.

Ancienne Méthode : Le chef vérifie tout le monde. C'est lent et coûteux.
Nouvelle Méthode : Le détecteur CPD Online agit comme un portier à la porte d'entrée.
- Si le portier voit un battement de cœur calme et normal, il fait passer le visiteur sans déranger le chef.
- Si le portier voit ce battement de cœur « en dérive », il arrête le visiteur et appelle le chef pour une inspection approfondie.

Cela économise beaucoup de temps (réduisant la charge de travail du chef d'environ 20 à 40 % dans leurs tests) sans laisser passer les méchants.

Résumé

En bref, ce papier nous apprend que pour attraper un espion qui est bon pour se fondre dans le décor, vous ne devriez pas seulement regarder ses vêtements (les mots) ; vous devriez observer comment il marche (le modèle d'incertitude). En suivant le « rythme de pensée » du robot, ce nouveau détecteur peut repérer le moment où une conversation normale se transforme en un tour de magie, même si le tour sonne parfaitement poli.

Résumé Technique : Détection des Prompts Adversariaux Basés sur l'Optimisation et Fluides via des Changements d'Entropie Séquentielle

1. Énoncé du Problème

Les Grands Modèles de Langage (LLM) restent vulnérables aux suffixes adversariaux basés sur l'optimisation. Contrairement aux jailbreaks conçus par des humains, ces attaques (par exemple, GCG, AutoDAN, AdvPrompter) sont générées automatiquement pour contraindre les modèles alignés à violer les politiques de sécurité tout en maintenant une haute fluidité.

Les défenses existantes font face à deux limitations principales :

Détecteurs Statistiques (Basés sur la Perplexité) : Les méthodes reposant sur la perplexité globale (PP) ou la perplexité fenêtrée (WPP) supposent que les tokens adversariaux sont statistiquement improbables ou non fluides. Cependant, les attaques modernes optimisent explicitement pour une faible perplexité et une naturalité, maintenant souvent la perplexité globale dans la plage des prompts bénins, rendant ces détecteurs inefficaces.
Classificateurs de Sécurité (Modèles Gardes) : Des modèles comme LLaMA Guard offrent une détection sémantique robuste mais introduisent une latence significative, une surcharge mémoire et une complexité de service. De plus, ils opèrent au niveau du prompt et ne peuvent pas localiser où commence un suffixe adversarial au sein du flux d'entrée.

Le défi central est de détecter et de localiser ces suffixes optimisés et fluides en temps réel, sans dépendre de seuils de perplexité statiques ou de modèles auxiliaires coûteux.

2. Méthodologie : CPD Online

Les auteurs proposent CPD Online, un détecteur léger et sans entraînement qui formule la détection de suffixes adversariaux comme un problème de détection de changement de point (CPD) en ligne sur le flux d'entropie des tokens suivants au niveau du token.

Mécanisme Central

La méthode repose sur l'observation que, tandis que les entrées utilisateur bénignes partagent une distribution d'entropie similaire à celle du prompt système, les suffixes adversariaux basés sur l'optimisation induisent un décalage persistant dans le flux d'entropie des tokens, même lorsque la perplexité globale reste discrète.

Le pipeline de détection se compose de trois étapes :

Estimation Robuste de la Base :
- Le prompt système fixe est utilisé pour établir une base d'entropie spécifique au déploiement.
- La médiane ( $\hat{\mu}_0$ ) et l'Écart Absolu Médian ( $\hat{\sigma}_0$ ) des entropies des tokens du prompt système sont calculés pour définir une position et une échelle robustes.
Standardisation :
- Les entropies des tokens utilisateur ( $H^{usr}_t$ ) sont standardisées par rapport à la base : $Z_t = (H^{usr}_t - \hat{\mu}_0) / \hat{\sigma}_0$ .
- Dans des conditions bénignes, $Z_t$ fluctue près de zéro. Un suffixe adversarial induit un décalage positif soutenu de la moyenne de $Z_t$ .
Test CUSUM de Page Unilatéral :
- Une statistique CUSUM de Page unilatérale classique ( $W^+_t$ ) est appliquée au flux standardisé pour détecter les décalages de moyenne persistants :
  $W^+_t = \max\{0, W^+_{t-1} + Z_t - k\}$
  où $k \ge 0$ est un paramètre de "marge" (réglage canonique $k=0$ ).
- Une alarme est déclenchée au temps d'arrêt $\tau$ lorsque $W^+_t$ dépasse un seuil $h$ .
- Localisation : Le début du suffixe ( $\hat{\nu}$ ) est estimé par rétro-poursuite jusqu'au dernier point de réinitialisation où $W^+_t = 0$ avant l'alarme.

Caractéristiques Opérationnelles

Agnostique du Modèle : Nécessite uniquement l'accès aux probabilités des tokens suivants au niveau du token (ou aux logits) du modèle de base.
Sans Entraînement : Aucun entraînement supplémentaire ni réseau auxiliaire n'est requis.
En Ligne et Faible Surcharge : S'exécute séquentiellement pendant le passage avant avec une complexité $O(1)$ par token et une empreinte mémoire négligeable.
Gestion Hybride : Peut agir comme une porte légère pour filtrer le trafic bénin avant d'invoquer des classificateurs de sécurité coûteux comme LLaMA Guard.

3. Contributions Clés

Formulation : L'article formule la détection de suffixes adversariaux comme un problème de détection de changement de point en ligne sur les flux d'entropie au niveau du token, démontrant que les décalages d'entropie constituent un signal plus robuste que la perplexité statique pour les attaques fluides.
Algorithme : L'instanciation de CPD Online comme détecteur CUSUM de Page unilatéral utilisant des statistiques MAD ancrées sur le prompt système. Il est léger, ne nécessite aucun entraînement et utilise des quantités disponibles dans les passages avant standards.
Performance Empirique : Sur un benchmark de 1 012 attaques basées sur l'optimisation (couvrant GCG, AutoDAN, AdvPrompter, BEAST, AutoDAN-HGA) et 1 012 prompts bénins appariés par perplexité, CPD Online surpasse systématiquement les meilleures bases de perplexité fenêtrée (WPP) sur six modèles de chat à poids ouverts (LLaMA-2, Vicuna, Qwen2.5).
Localisation : Contrairement à WPP, qui déclenche souvent sur des fenêtres chevauchant la frontière du suffixe, CPD concentre 79,6 % de ses déclenchements à l'intérieur du suffixe adversarial, fournissant une localisation précise au niveau du token.
Efficacité : Lorsqu'il est utilisé comme porte pour LLaMA Guard, CPD réduit les appels au garde de 17 à 22 % (jusqu'à 42,2 % dans des tests de stress à haut volume) tout en préservant la qualité de détection.

4. Résultats Expérimentaux

L'évaluation a été menée sur six LLM de base (LLaMA-2-7B/13B, Vicuna-7B/13B, Qwen2.5-7B/14B) utilisant un benchmark apparié par perplexité ( $\alpha=1$ ) où les prompts bénins sont échantillonnés pour correspondre à la distribution de perplexité des attaques optimisées pour la fluidité.

Précision de Détection (F1) : CPD Online a obtenu les scores F1 les plus élevés sur les six modèles.
- Exemple (LLaMA-2-7B) : CPD a atteint F1 0,82 et AUROC 0,88, contre la meilleure base WPP (WPP15) à F1 0,74 et AUROC 0,77. La perplexité globale (PP) a performé près du hasard (AUROC ~0,46).
Précision de Localisation :
- CPD a déclenché à l'intérieur du suffixe 79,6 % du temps.
- Les bases WPP ont déclenché à l'intérieur du suffixe seulement 17–46 % du temps, avec un important "flou de frontière" (déclenchements dans la catégorie avant+dans) et une fuite élevée vers des régions bénignes (dans-bénin).
Robustesse aux Décalages de Perplexité : Lors de tests de stress où les prompts bénins ont été décalés vers une perplexité plus élevée ( $\alpha=2, 3$ ), CPD a maintenu ou amélioré ses performances, tandis que WPP a dégradé significativement (AUROC passant de 0,81 à 0,67 à $\alpha=3$ ).
Gestion Hybride : Dans un scénario de déploiement avec 17 297 prompts (majoritairement bénins), la gestion par CPD a réduit les appels à LLaMA Guard de 42,2 % (pour LG1) et 33,8 % (pour LG2) tout en maintenant le score F1 hybride.

5. Importance et Revendications

L'article revendique d'être le premier travail à appliquer la détection de changement de point en ligne au sein d'une seule requête (flux de tokens système + utilisateur) au niveau du token pour détecter et localiser les suffixes adversariaux dans des LLM déployés.

Importance :

Au-delà des Heuristiques Statiques : Il démontre que la dynamique séquentielle de l'entropie, plutôt que les valeurs absolues de perplexité, est la caractéristique distinctive des attaques basées sur l'optimisation.
Déploiement Pratique : En étant sans entraînement et agnostique du modèle, il offre une solution viable pour la surveillance en temps réel sans le coût computationnel d'exécuter un deuxième LLM (Garde) sur chaque requête.
Précision : La capacité à localiser le début exact d'une attaque permet des stratégies d'atténuation ciblées plutôt qu'un rejet aveugle de l'intégralité du prompt.

Limites Reconues :

La méthode repose sur les probabilités au niveau du token, qui peuvent ne pas être disponibles dans des environnements d'API fermés.
Elle suppose un prompt système fixe pour l'étalonnage de la base ; des décalages de distribution importants dans le trafic bénin pourraient nécessiter un recalibrage.
Le modèle de menace est actuellement restreint aux suffixes basés sur l'optimisation ajoutés aux prompts utilisateur, et non aux attaques par préfixe ou aux injections de prompts indirectes.

Les auteurs concluent que ce travail encourage une exploration plus poussée des outils statistiques séquentiels et des dynamiques d'incertitude internes comme des signaux riches pour la sécurité des LLM.