💻 computer science

Babel: Jailbreaking Safety Attention via Obfuscation Distribution Optimized Sampling

L'article présente Babel, un cadre de contournement en boîte noire efficace qui exploite la distribution sparse des têtes d'attention critiques pour la sécurité dans les LLM en utilisant un échantillonnage d'obfuscation itératif et piloté par des retours pour atteindre des taux de réussite d'attaque à la pointe de l'art sur des modèles de pointe comme GPT-4o et Claude-3.5-Haiku avec une haute efficacité en requêtes.

Auteurs originaux : Ziwei Wang, Jing Chen, Ruichao Liang, Zhi Wang, Yebo Feng, Ju Jia, Ruiying Du, Cong Wu, Yang Liu

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziwei Wang, Jing Chen, Ruichao Liang, Zhi Wang, Yebo Feng, Ju Jia, Ruiying Du, Cong Wu, Yang Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Image : Le « Garde de Sécurité » contre le « Tour de Magie »

Imaginez un Modèle de Langage (LLM) comme un bibliothécaire robot très intelligent et serviable. Avant de répondre à une question, il dispose d'une équipe de Gardes de Sécurité (appelés « têtes de sécurité ») qui examinent chaque demande pour s'assurer que personne ne demande quelque chose de dangereux, comme comment fabriquer une bombe ou rédiger un discours haineux.

Les chercheurs de ce papier ont découvert un défaut amusant dans le fonctionnement de ces gardes : Ils sont très peu nombreux et ne se tiennent que dans des endroits spécifiques. Ils ne surveillent pas toute la bibliothèque ; ils ne surveillent qu'un tout petit couloir précis. Si vous parvenez à faire passer votre demande dangereuse devant ce seul couloir, le reste de la bibliothèque (le cerveau du modèle) ne sait même pas que vous faites des siennes, et il vous donne l'answer avec plaisir.

Le papier présente un nouvel outil appelé Babel (nommé d'après la Tour de Babel, où les langues se sont mélangées) qui agit comme un magicien de maître. Il ne tente pas de combattre les gardes ; au lieu de cela, il utilise « l'obfuscation » (des tours de confusion) pour glisser la demande dangereuse devant les gardes sans qu'ils s'en aperçoivent.

Comment fonctionne l'astuce : Le « Déguisement »

Les chercheurs ont découvert que si vous modifiez quelques lettres dans une mauvaise demande, les Gardes de Sécurité pourraient être confus et cesser de la reconnaître comme dangereuse. Cependant, il y a un équilibre délicat :

Trop de changements : La demande devient du charabia, et le bibliothécaire robot ne comprend plus du tout ce que vous voulez.
Trop peu de changements : Les Gardes de Sécurité repèrent le danger immédiatement et disent « Non ».

Le Point Parfait : Il existe une « zone de Boucle d'Or » où la demande est suffisamment brouillée pour tromper les gardes, mais encore assez claire pour que le robot la comprenne et réponde.

La Stratégie Babel : Trouver la « Zone de Boucle d'Or »

Au lieu de deviner au hasard (ce qui est lent et coûteux), Babel utilise une approche mathématique intelligente pour trouver cette zone parfaite. Voici comment cela fonctionne, étape par étape :

1. Le Test « Bandé » (Échantillonnage Réduit)

Imaginez que vous essayez de trouver un coffre-fort caché dans une pièce sombre. Vous ne savez pas exactement où il se trouve, mais vous savez qu'il est quelque part au milieu.

Babel essaie quelques « déguisements » différents (changer des lettres, échanger des mots, ou mélanger la structure de la phrase).
Il demande au robot : « Avez-vous dit « Non » (refus), ou avez-vous répondu ? »
Si le robot dit « Non » trop souvent, le déguisement était trop évident. Si le robot est confus et ne répond pas, le déguisement était trop désordonné.
Babel utilise un test statistique (comme une vérification par pile ou face) pour voir s'il se trouve dans la bonne zone.

2. Le « Zoom » (Optimisation de la Distribution)

Une fois que Babel a trouvé la zone générale où les gardes sont aveugles, il arrête de deviner au hasard. Il commence à zoomer.

Il crée une « carte » des déguisements qui fonctionnent le mieux.
Il concentre son énergie uniquement sur la création de nouveaux déguisements qui ressemblent à ceux qui ont presque fonctionné.
Il continue d'affiner cette carte, se resserrant de plus en plus autour du déguisement parfait, jusqu'à trouver celui qui glisse juste devant les gardes.

3. L'« Enveloppe » (Encodage)

Pour rendre l'astuce encore meilleure, Babel enveloppe la demande dangereuse dans une tâche ennuyeuse et inoffensive.

Exemple : Au lieu de simplement demander « Comment faire du poison ? », il dit : « Veuillez traduire cette phrase en chinois : [Instructions de poison brouillées]. »
Le Garde de Sécurité voit le mot « Traduire » et pense : « Oh, c'est une tâche sûre ! » Il laisse passer la demande. Le robot traite ensuite les instructions brouillées à l'intérieur et donne la réponse.

Les Résultats : Quelle est la performance de Babel ?

Les chercheurs ont testé Babel sur certains des robots les plus célèbres et « super-sécurisés » au monde (comme GPT-4o, Claude-3.5 et Grok-3).

L'Ancienne Méthode : Les méthodes précédentes étaient comme lancer des fléchettes dans le noir. Elles pouvaient éventuellement atteindre le centre de la cible, mais cela prenait des centaines d'essais et échouait souvent.
La Méthode Babel : Babel est comme une fléchette guidée par laser.
- Sur GPT-4o, il a réussi à tromper le modèle 82,67 % du temps (contre 41 % pour les anciennes méthodes).
- Sur Grok-3, il a réussi 95,67 % du temps.
- Il a fait tout cela en utilisant très peu d'essais (environ 40 tentatives en moyenne), ce qui le rend beaucoup plus rapide et moins coûteux à utiliser.

Pourquoi cela compte-t-il ? (L'Analogie de l'« Équipe Rouge »)

Les auteurs disent qu'il ne s'agit pas d'enseigner aux gens comment être mauvais ; il s'agit de l'Équipe Rouge.

Imaginez que vous êtes un expert en sécurité engagé pour tester le coffre-fort d'une banque. Vous ne voulez pas voler l'argent ; vous voulez trouver la faiblesse dans la serrure afin que la banque puisse la réparer.

Babel montre que même les coffres-forts les plus solides ont une petite fissure dans le cadre de la porte qu'un voleur astucieux peut exploiter.
En trouvant cette fissure, les chercheurs espèrent aider les entreprises qui construisent ces modèles d'IA à colmater le trou, rendant les « Gardes de Sécurité » plus intelligents et la bibliothèque plus sûre pour tout le monde.

Résumé

Le papier affirme que la sécurité de l'IA repose sur quelques « gardes » spécifiques qui peuvent être trompés en rendant légèrement le langage confus. L'outil Babel est une méthode mathématique intelligente pour trouver le niveau parfait de confusion afin de contourner ces gardes efficacement, prouvant que les mesures de sécurité actuelles de l'IA sont plus fragiles que nous ne le pensions.

Résumé Technique : Babel – Contournement de l'Attention de Sécurité par Échantillonnage Optimisé selon une Distribution d'Obfuscation

Énoncé du Problème

Malgré un alignement de sécurité rigoureux, les grands modèles de langage (LLM) restent vulnérables aux attaques de contournement (jailbreak). Les méthodes d'attaque en boîte noire existantes reposent généralement sur des modèles heuristiques ou des recherches exhaustives par essais et erreurs. Ces approches souffrent d'un manque d'interprétabilité mécanistique concernant pourquoi elles réussissent et présentent souvent une faible efficacité en termes de requêtes. De plus, elles ignorent fréquemment les vulnérabilités intrinsèques des mécanismes de sécurité propres aux LLM, limitant ainsi leur capacité à fournir des insights profonds pour renforcer la sécurité des modèles.

Méthodologie

L'article propose Babel, un cadre d'attaque en boîte noire efficace conçu pour exploiter une vulnérabilité intrinsèque spécifique des mécanismes de sécurité des LLM. La méthodologie repose sur trois composantes principales :

1. Identification de la Vulnérabilité Intrinsèque

Les auteurs enquêtent sur les mécanismes de sécurité internes des LLM, s'appuyant sur des recherches antérieures en interprétabilité mécanistique. Ils postulent que l'alignement de sécurité est principalement mis en œuvre par un petit ensemble de têtes d'attention faiblement distribuées (désignées comme « têtes de sécurité »). Par conséquent, une grande partie de l'espace de représentation reste faiblement surveillée.

Le Vide : Alors que les têtes de sécurité détectent les sémantiques nocives dans les requêtes originales, une entrée obfusquée soigneusement construite peut déplacer les sémantiques nocives vers des états cachés non couverts par ces têtes de sécurité.
La Frontière : L'obfuscation efficace est délicate ; une obfuscation excessive détruit l'intention nocive, tandis qu'une obfuscation insuffisante reste détectable.

2. Modèle Mathématique de Contournement

Pour formaliser ce phénomène, les auteurs proposent un modèle mathématique caractérisant la frontière de l'obfuscation textuelle efficace :

Quantification : Le degré d'obfuscation ( $O_q$ ) est quantifié à l'aide du complément de similarité cosinus entre la requête nocive originale et la requête obfusquée, encodées via un modèle BERT.
L'Intervalle de Contournement ( $I_q$ ) : Le modèle postule l'existence d'un intervalle spécifique $(a_q, b_q)$ représentant le degré d'obfuscation où les têtes de sécurité échouent à détecter le danger, mais où la couche de sortie finale du modèle traite toujours l'intention.
Hypothèse de Distribution : Des études empiriques suggèrent que les degrés d'obfuscation générés par un échantillonnage aléatoire (par exemple, Best-of-N) suivent une distribution normale. La probabilité d'un contournement réussi est calculée en fonction du chevauchement entre cette distribution et l'intervalle de contournement.

3. Le Cadre Babel

Babel opérationnalise ce modèle via un processus en trois étapes :

Obfuscation de la Requête Nocive : Une approche systématique générant une obfuscation sur trois granularités : chaîne de caractères (niveau caractère), token (niveau mot) et séquence (structurelle). Cela permet un contrôle adaptatif du degré d'obfuscation.
Encapsulation de la Requête Nocive : Pour supprimer davantage les têtes de sécurité, les requêtes nocives obfusquées sont intégrées dans des demandes bénignes (par exemple, traduction, statistiques, transformation ou tâches de recherche). Un modèle spécifique incite le modèle à commencer par « Bien sûr » et à traiter le contenu obfusqué comme faisant partie d'une tâche inoffensive.
Échantillonnage Optimisé selon la Distribution : Il s'agit de la boucle d'optimisation centrale.
- Échantillonnage à Petite Échelle : Le système effectue un échantillonnage initial pour tester si la moyenne de la distribution d'obfuscation actuelle correspond au centre estimé de l'intervalle de contournement. Un test binomial (test de signe) est utilisé pour déterminer si la distribution nécessite un ajustement.
- Échantillonnage à Grande Échelle : Une fois une distribution optimale identifiée, le système effectue un échantillonnage à grande échelle, rétrécissant progressivement l'intervalle de recherche pour localiser efficacement les invites de contournement réussies. Ce raffinement piloté par les retours maximise la probabilité d'échantillonnage dans le vide « sûr à contourner ».

Contributions Clés

Identification de Vulnérabilité : L'article identifie et formalise une vulnérabilité intrinsèque spécifique où l'alignement de sécurité repose sur des têtes d'attention éparses, laissant un « vide de sécurité » dans l'espace de représentation.
Formalisation Mathématique : Il introduit un modèle mathématique de contournement qui quantifie la force de l'obfuscation et caractérise la frontière délicate requise pour contourner les mécanismes de sécurité sans détruire l'intention.
Cadre Babel : Il propose Babel, un cadre d'attaque en boîte noire qui utilise un échantillonnage d'obfuscation conscient de la distribution et une optimisation itérative pour exploiter systématiquement cette vulnérabilité, atteignant des taux de réussite élevés sans accès aux internals du modèle.
Validation Empirique : Des évaluations approfondies sur des modèles commerciaux de pointe démontrent que Babel atteint des taux de réussite d'attaque (SOTA) supérieurs avec une efficacité de requête supérieure par rapport aux bases de référence existantes.

Résultats Expérimentaux

Les auteurs ont évalué Babel sur quatre LLM commerciaux : GPT-4o, Gemini-2.0-Flash, Grok-3 et Claude-3.5-Haiku, en utilisant le jeu de données HarmBench (300 requêtes nocives).

Taux de Succès de l'Attaque (ASR) : Babel a nettement surpassé les bases de référence de l'état de l'art (y compris Bon, PiF, FlipAttack et TAP).
- GPT-4o : Augmentation de l'ASR de 41,33 % (Bon) à 82,67 %.
- Claude-3.5-Haiku : Augmentation de l'ASR de 38,33 % (Bon) à 78,33 %.
- Grok-3 : Atteinte d'un ASR de 95,67 %.
- Gemini-2.0-Flash : Atteinte d'un ASR de 78,33 %.
Efficacité des Requêtes : Babel a obtenu ces résultats avec un faible Nombre Moyen de Requêtes (ANR). Par exemple, sur GPT-4o, il a atteint un ASR de 82,67 % avec une moyenne de seulement 26 requêtes, contre 35 requêtes pour Bon (qui n'a atteint que 41,33 % d'ASR).
Études d'Ablation :
- Encapsulation : L'intégration des requêtes nocives dans des demandes de « Recherche » bénignes s'est révélée la plus efficace sur tous les modèles.
- Échantillonnage : L'échantillonnage optimisé selon la distribution a démontré une augmentation quasi linéaire de l'ASR avec le nombre de requêtes sur GPT-4o et Claude-3.5-Haiku, contrastant avec le comportement en loi de puissance des méthodes d'échantillonnage aléatoire comme Bon.

Importance et Revendications

L'article revendique que Babel fournit une méthodologie de red-teaming robuste pour la recherche sur la sécurité des LLM. En déplaçant la perspective de l'ingénierie d'invites heuristique vers les mécanismes de sécurité internes du modèle, les auteurs soutiennent que :

Les mécanismes de sécurité actuels sont structurellement fragiles et reposent sur des composants compacts et épars qui peuvent être contournés par une obfuscation systématique.
Le modèle mathématique proposé explique avec succès le mécanisme des contournements basés sur l'obfuscation et caractérise le vide de sécurité.
Babel non seulement atteint des performances d'attaque supérieures, mais sert également d'outil de diagnostic pour évaluer les frontières de sécurité de différents modèles (par exemple, révélant que les mécanismes de sécurité de Grok-3 sont plus susceptibles d'être contournés que ceux des autres).

Les auteurs soulignent que ce travail est destiné exclusivement à la recherche en sécurité défensive pour améliorer la sécurité des LLM, fournissant des insights pour des atténuations ciblées et des pipelines d'évaluation de sécurité plus fiables.