🤖 AI

Why Do Aligned LLMs Remain Jailbreakable: Refusal-Escape Directions, Operator-Level Sources, and Safety-Utility Trade-off

Ce papier examine pourquoi les grands modèles de langage alignés restent vulnérables aux contournements en introduisant le concept de directions d'évasion du refus (RED), en démontrant que ces vulnérabilités proviennent de sources spécifiques au niveau des opérateurs au sein de l'architecture du modèle, et en montrant que leur élimination crée un compromis inhérent entre sécurité et utilité.

Auteurs originaux : Yu Chen, Yuanhao Liu, Qi Cao

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yu Chen, Yuanhao Liu, Qi Cao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant robot très intelligent et bien entraîné. Vous lui avez enseigné des règles strictes : « Si quelqu'un vous demande de faire quelque chose de dangereux, répondez : Non, je ne peux pas faire cela. » C'est ce qu'on appelle l'alignement.

Cependant, des pirates informatiques astucieux ont trouvé des moyens de tromper ce robot pour qu'il ignore ses règles. Ils utilisent des invites de « jailbreak » spéciales — comme un code secret ou une histoire complexe — pour amener le robot à dire « Oui » à des demandes dangereuses.

Cet article pose une question fondamentale : Pourquoi cette astuce fonctionne-t-elle toujours ? Même si le robot est entraîné à être sûr, pourquoi peut-il encore être compromis ?

Les auteurs proposent une nouvelle façon d'aborder ce problème en utilisant quelques concepts clés :

1. Le « Tunnel d'Évasion » (Directions d'Évasion du Refus)

Imaginez que le cerveau du robot soit une gigantesque carte multidimensionnelle. Lorsqu'on lui pose une question dangereuse, le robot emprunte généralement un chemin qui mène à un grand panneau rouge « STOP » (Refus).

L'article suggère que juste à côté de ce panneau « STOP », il existe des tunnels cachés et étroits appelés Directions d'Évasion du Refus (RED).

Fonctionnement : Ces tunnels permettent de pousser l'entrée du robot de manière infime. Si vous poussez l'entrée dans la bonne direction, le robot glisse du chemin « STOP » vers un chemin « GO », tout en pensant toujours répondre à la même question dangereuse.
L'Analogie : Imaginez un gardien de sécurité à une porte. Le gardien est formé pour arrêter toute personne portant une arme. Mais si vous vous approchez du gardien en inclinant légèrement votre corps tout en tenant l'arme (sans réellement changer l'arme), le gardien pourrait se confondre et vous laisser passer, même si l'arme est toujours là. L'« inclinaison » est la direction d'évasion.

2. Les « Tuyaux Fuyards » (Sources au Niveau des Opérateurs)

Les auteurs décomposent le cerveau du robot en sa plomberie interne (couches d'opérations mathématiques comme l'attention et la normalisation). Ils ont découvert que ces tunnels d'évasion ne sont pas magiques ; ils sont causés par des « fuites » spécifiques dans la plomberie.

Ils ont identifié trois types principaux de fuites qui créent ces tunnels d'évasion :

Fuites de Normalisation : Comme un filtre à eau qui modifie la pression de l'eau d'une manière qui ouvre accidentellement une porte latérale.
Fuites de Câblage Résiduel : Comme des tuyaux qui bouclent sur eux-mêmes, créant une accumulation de pression qui force l'eau à sortir par une fissure.
Fuites Terminales : C'est la plus importante. C'est comme une porte dérobée au tout bout du bâtiment qui n'a pas été correctement verrouillée. L'article constate que les jailbreaks réussis utilisent principalement cette « porte dérobée » spécifique pour entrer.

3. Le « Dérèglement Impossible » (Compromis Sécurité–Utilité)

Voici la partie la plus surprenante de l'article. Les auteurs prouvent mathématiquement que vous ne pouvez pas sceller complètement ces tunnels d'évasion sans briser la capacité du robot à être utile.

L'Analogie : Imaginez que le robot soit une voiture. Les « tunnels d'évasion » sont comme une façon spécifique dont le volant tremble quand vous tournez à gauche.
- Pour arrêter le tremblement (corriger le jailbreak), vous devez serrer un boulon spécifique.
- Mais ce même boulon est aussi ce qui permet à la voiture de tourner à gauche en douceur lorsque vous voulez aller à l'épicerie (demandes bénignes).
- Si vous serrez le boulon assez pour arrêter complètement le tremblement, la voiture pourrait rester bloquée et refuser de tourner à gauche du tout. Si vous le laissez trop serré, la voiture peut tourner, mais elle pourrait trembler et laisser un pirate prendre le volant.

L'article appelle cela un compromis conditionnel sécurité–utilité. Cela signifie que tant que le robot doit être assez flexible pour répondre à des questions normales, il aura intrinsèquement une faiblesse structurelle qu'un attaquant astucieux pourra exploiter.

4. Ce que les Expériences Ont Révélé

Les chercheurs ont testé cette théorie sur plusieurs modèles d'IA populaires (comme Qwen, Llama et Gemma) et diverses méthodes de piratage.

Résultat 1 : Lorsqu'ils ont ajouté des « jetons factices » (comme des espaces réservés vides) à l'entrée, cela a été comme éclairer les tunnels d'évasion avec une lampe de poche. Soudain, les « fuites » cachées sont devenues visibles et mesurables.
Résultat 2 : En observant le robot se faire tromper, ils ont vu que le robot n'inventait pas soudainement une nouvelle façon de dire « Oui ». Au lieu de cela, il glissait simplement le long du tunnel d'évasion préexistant (spécifiquement la « Fuite Terminale » ou la porte dérobée) qui était déjà là.

Résumé

L'article soutient que les jailbreaks d'IA ne consistent pas seulement à trouver les mots magiques parfaits. Ils consistent à exploiter des faiblesses structurelles intégrées dans la conception de l'IA. Ces faiblesses existent parce que l'IA doit être flexible pour être utile. Les auteurs suggèrent que pour rendre l'IA plus sûre, nous ne devrions pas seulement essayer de bloquer chaque possible « mauvais mot » ; nous devons comprendre et colmater ces tunnels d'évasion structurels spécifiques, même s'il est mathématiquement impossible de les réparer parfaitement sans rendre l'IA moins utile.

Résumé technique : Pourquoi les LLM alignés restent-ils vulnérables aux jailbreaks ?

Énoncé du problème

Malgré les techniques d'alignement de sécurité telles que l'apprentissage par renforcement à partir de retours humains (RLHF), les grands modèles de langage (LLM) restent vulnérables aux attaques de jailbreak. Ces attaques, incluant les suffixes adversariaux, la réécriture de prompts et les recherches automatisées de modèles, contournent avec succès les mécanismes de refus pour induire des sorties nuisibles. Bien que des études mécanistiques récentes aient identifié des caractéristiques latentes et des déplacements de représentation associés au succès des jailbreaks, elles restent largement phénoménologiques. Une question théorique fondamentale demeure sans réponse : Pourquoi les LLM alignés restent-ils vulnérables aux jailbreaks, et quelles vulnérabilités structurelles spécifiques dans l'architecture du modèle permettent cela ?

Méthodologie

Les auteurs proposent une vue de transformation d'entrée continue pour analyser les jailbreaks. Au lieu de traiter les jailbreaks uniquement comme des constructions de prompts discrètes, ils modélisent la transition d'un prompt nuisible à son équivalent jailbreak comme une courbe continue dans l'espace d'embedding d'entrée.

1. Cadre théorique : Directions d'évasion du refus (RED)

L'objet théorique central introduit est la Direction d'Évasion du Refus (RED).

Définition : Les RED sont des directions de perturbation locales autour d'une entrée nuisible qui déplacent le comportement du modèle du refus vers la réponse tout en préservant l'interprétation du modèle de la sémantique nuisible de l'entrée.
Formalisme : Soit $X(\eta)$ une transformation continue d'un prompt nuisible $X(\eta_0)$ vers un prompt jailbreak $X(\eta_\star)$ . Une RED est une direction tangente $X'(\eta)$ qui réside dans l'« ensemble préservant la sémantique nuisible » $P(X)$ (directions qui n'altèrent pas l'interprétation du modèle du danger) mais qui modifie simultanément le « signal de comportement cible » $\Phi_Y(X)$ (le signal distinguant le refus de la réponse).
Signification : L'existence de RED non triviales implique que le modèle possède des degrés de liberté structurels permettant à un attaquant de moduler le comportement de refus sans altérer la nuisibilité perçue de la demande.

2. Décomposition au niveau des opérateurs

L'article démontre que les RED peuvent être décomposées exactement en contributions provenant de sources spécifiques au sein de la structure des opérateurs du modèle (spécifiquement pour les LLM résiduels pré-normalisés comme les architectures de la famille LLaMA).

Décomposition : La RED $R_Y(X)$ est la somme des contributions transportées depuis les sources de fuite à chaque couche et une source terminale.
Sources de fuite : Elles résultent de l'interaction entre la sensibilité au comportement cible et le sous-espace sensible à la sémantique nuisible à chaque couche. Elles sont catégorisées en :
- Sources de normalisation : Provenant des opérations LayerNorm/RMSNorm.
- Sources d'auto-attention et de MLP : Provenant des modules expressifs.
- Sources de câblage résiduel : Provenant des connexions résiduelles (branches identité et corps).
Source terminale : Un décalage entre la direction du comportement cible et le sous-espace sensible à la sémantique nuisible propagé à l'état caché final.

3. Contraintes analytiques et compromis sécurité-utilité

Les auteurs identifient les sources de normalisation, de câblage résiduel et terminale comme étant analytiquement contraintes.

Contrainte : L'élimination de ces sources nécessite de satisfaire des conditions d'annulation analytiques spécifiques (par exemple, la cohérence entre les sous-espaces d'entrée/sortie) sur une région ouverte connectée de l'espace d'entrée.
Théorème : Si le « champ d'élimination des RED dans la région nuisible » (l'action requise pour éliminer les RED près des entrées nuisibles) et le « champ comportemental dans la région bénigne » (l'action requise pour préserver les réponses bénignes) ne sont pas analytiquement identiques, alors aucun réglage unique de paramètres ne peut satisfaire exactement les deux exigences.
Implication : Cela établit un compromis sécurité-utilité conditionnel. L'élimination parfaite des RED (et donc de la vulnérabilité aux jailbreaks) dans la région nuisible peut mathématiquement nécessiter la dégradation du comportement bénin dans la région bénigne, à moins que la géométrie du modèle ne s'aligne parfaitement par hasard.

Contributions clés

Introduction des RED : Formalisation des Directions d'Évasion du Refus comme objet théorique pour étudier la vulnérabilité aux jailbreaks sous une vue de transformation d'entrée continue.
Décomposition exacte : Démonstration que les RED peuvent être décomposées exactement en contributions provenant de sources au niveau des opérateurs (normalisation, auto-attention, MLP, câblage résiduel et sources terminales) basées sur l'architecture du modèle.
Identification des contraintes analytiques : Identification des sources de normalisation, de câblage résiduel et terminale comme étant analytiquement contraintes. Démonstration que l'élimination des RED engendre un compromis sécurité-utilité conditionnel, expliquant pourquoi une sécurité et une utilité parfaites peuvent être mutuellement exclusives sous des contraintes d'élimination exacte.
Validation empirique : Analyse des RED sur cinq modèles (Qwen3, Llama-3.1, Gemma-3) et cinq méthodes d'attaque (GCG, AutoDAN, GPTFuzzer, TAP, ReNeLLM).

Résultats expérimentaux

Les expériences valident la théorie sous deux perspectives complémentaires :

Les dimensions de tokens ajoutées exposent les RED :
- Dans les entrées nuisibles « propres » (sans remplissage), les contributions de diverses sources au niveau des opérateurs s'annulent souvent mutuellement, résultant en une RED proche de zéro.
- Lorsque des dimensions de tokens « espaces réservés » sont ajoutées (imitant la structure de nombreux jailbreaks), cette annulation se brise. Les dimensions ajoutées créent de nouveaux canaux de transport, exposant une RED significative et non nulle.
- Résultat : La source terminale contribue de manière la plus stable et la plus prééminente à la RED exposée, suggérant que les jailbreaks réussis exploitent des canaux secondaires en dehors de l'interprétation principale de la sémantique nuisible du modèle.
Les transitions de jailbreak s'alignent avec les sources terminales :
- En analysant la transformation continue des prompts nuisibles vers les prompts jailbreak, les auteurs ont constaté que le déplacement « du refus vers la réponse » se produit largement dans la première moitié de la transformation pour de nombreux cas.
- Le déplacement comportemental local le long de la transformation est presque entièrement expliqué par la RED ( $\rho_R \approx 1$ ).
- Résultat : La tangente de transformation est le plus constamment alignée avec les contributions de la source terminale. Cela suggère que les jailbreaks réussis ne créent pas de nouveaux mécanismes mais exploitent plutôt des RED existantes et visibles (spécifiquement le canal secondaire terminal) qui sont présentes même au prompt nuisible initial.

Signification et affirmations

L'article prétend fournir une explication structurelle de la raison pour laquelle les LLM alignés restent vulnérables aux jailbreaks, dépassant les observations phénoménologiques pour atteindre un cadre théorique basé sur la décomposition au niveau des opérateurs.

Vulnérabilité structurelle : La vulnérabilité aux jailbreaks n'est pas simplement un échec des données d'entraînement, mais une propriété structurelle où le modèle conserve des « directions d'évasion » permettant une modulation du comportement sans changement sémantique.
Le compromis : L'article postule que la difficulté à atteindre une sécurité parfaite n'est pas seulement un défi d'optimisation, mais potentiellement une limitation fondamentale. L'exigence d'éliminer les RED (sécurité) tout en préservant les réponses bénignes (utilité) impose des contraintes analytiques conflictuelles sur les modules expressifs partagés (Auto-Attention et MLP).
Implications pour la défense : Les auteurs suggèrent que les futures stratégies d'alignement ne devraient pas se concentrer uniquement sur l'énumération des prompts de jailbreak complétés. Au lieu de cela, les défenses devraient viser à supprimer les RED locales autour des entrées nuisibles, en accordant une attention particulière aux contributions de la source terminale, qui semblent être la voie la plus stable et exploitable pour les jailbreaks.

L'article conclut avec modestie, notant que bien qu'il identifie ces vulnérabilités structurelles et ces compromis, les défenses pratiques ne nécessitent peut-être pas une élimination exacte des RED, mais plutôt une suppression en dessous d'un seuil utile, et que les conditions spécifiques du compromis sécurité-utilité nécessitent de nouvelles investigations empiriques et théoriques.