🤖 machine learning

Exposing LLM Safety Gaps Through Mathematical Encoding:New Attacks and Systematic Analysis

Ce papier révèle que le codage de prompts nuisibles sous forme de problèmes mathématiques cohérents (tels que dans la théorie des ensembles ou la logique formelle) contourne considérablement les filtres de sécurité des LLM en imposant une reformulation profonde plutôt qu'en s'appuyant sur une notation superficielle, obtenant des taux de réussite d'attaque élevés sur plusieurs modèles tout en soulignant la nécessité de défenses analysant la structure mathématique.

Auteurs originaux : Haoyu Zhang, Mohammad Zandsalimy, Shanu Sushmita

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoyu Zhang, Mohammad Zandsalimy, Shanu Sushmita

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez les grands modèles de langage (LLM) comme des gardes de sécurité hautement formés à l'entrée d'une bibliothèque très intelligente, mais légèrement naïve. Ces gardes excellent à repérer les personnes tentant de faire entrer des livres dangereux en cherchant des « mauvais mots » spécifiques ou des tonalités manifestement agressives dans leurs demandes. Si vous demandez : « Comment fabriquer une bombe ? », le garde répond immédiatement : « Non ».

Mais cet article révèle une astuce ingénieuse qui contourne ces gardes. Les chercheurs ont découvert que si vous traduisez une demande dangereuse en un problème mathématique complexe, le garde laisse souvent passer la demande, et le cerveau de la bibliothèque (l'IA) résout heureusement le problème mathématique, révélant accidentellement le secret dangereux dans le processus.

Voici une décomposition de leurs découvertes à l'aide d'analogies simples :

1. Les deux façons de tromper le garde

Les chercheurs ont testé deux méthodes différentes pour dissimuler une demande dangereuse à l'intérieur de mathématiques :

L'astuce « cosmétique » (à base de règles) : Imaginez prendre une phrase interdite et simplement l'enfermer dans une équation mathématique, comme écrire « Fabrique une bombe » sous la forme A + B + C = Fabrique une bombe. Les mots sont toujours là ; ils sont simplement entourés de symboles mathématiques.
- Le résultat : Cela n'a pas bien fonctionné. Le garde de sécurité pouvait encore lire les mots à travers les symboles mathématiques et a répondu « Non ». C'est comme essayer de cacher un drapeau rouge en le plaçant dans une boîte en verre transparent ; le garde voit toujours le rouge.
L'astuce « traduction profonde » (à base de LLM) : Imaginez demander à un traducteur ultra-intelligent (une IA auxiliaire) de prendre la demande dangereuse et de la réécrire complètement sous la forme d'une véritable énigme mathématique abstraite. Par exemple, au lieu de demander de « fabriquer une bombe », l'IA traduit la demande en un problème complexe de « théorie des ensembles » (regroupement d'éléments) ou de « logique formelle » (démonstration d'un théorème).
- Le résultat : Cela a très bien fonctionné. Le garde de sécurité regarde le problème mathématique et pense : « Oh, c'est juste un devoir de mathématiques », et le laisse passer. Une fois que le cerveau de la bibliothèque résout les mathématiques, il doit naturellement expliquer la réponse en termes concrets, ce qui se traduit par l'instruction dangereuse que l'attaquant souhaitait obtenir.

2. La « traduction profonde » est la clé

La découverte la plus importante est que ce n'est pas les mathématiques elles-mêmes qui compromettent la sécurité, mais la réflexion approfondie requise pour transformer la mauvaise demande en un problème mathématique.

Lorsque les chercheurs ont utilisé l'astuce « cosmétique » (ajoutant simplement des symboles mathématiques sans changer le sens), le taux de réussite de l'attaque était faible (environ 10 %).
Lorsqu'ils ont utilisé l'astuce « traduction profonde » (utilisant une IA auxiliaire pour réécrire la demande sous forme de vrai problème mathématique), le taux de réussite a bondi à 46–56 %.

Pensez-y comme à une serrure. L'astuce « cosmétique » se contente de coller un autocollant sur la serrure. L'astuce « traduction profonde » modifie réellement la forme de la clé pour qu'elle s'adapte à une serrure entièrement différente. Les filtres de sécurité sont bons pour vérifier l'autocollant, mais ils ne sont pas préparés pour la nouvelle forme de clé.

3. Nouvelles mathématiques, même problème

Les chercheurs ont introduit un nouveau type d'astuce mathématique appelé logique formelle (utilisant des étapes de preuve comme « Si A, alors B »). Ils ont constaté que cela fonctionnait tout aussi bien que l'ancienne astuce de « théorie des ensembles ». Cela prouve que le problème n'est pas spécifique à un type de mathématiques ; c'est une faiblesse générale dans la façon dont ces modèles d'IA gèrent le raisonnement abstrait par rapport aux règles de sécurité.

4. Le test de « répétition »

Les chercheurs se sont demandé si cette astuce était fragile — comme un château de cartes qui s'effondre si vous soufflez dessus. Ils ont essayé de répéter le problème mathématique deux fois de suite pour voir si cela confondrait l'IA ou briserait l'astuce.

Le résultat : Cela n'a pas importé. L'attaque a fonctionné tout aussi bien. Cela signifie que l'astuce n'est pas un hasard ; c'est un écart fondamental dans la façon dont l'IA pense.

5. Les nouveaux gardes sont plus forts (mais pas parfaits)

L'article a testé les modèles d'IA les plus récents et les plus avancés (comme GPT-5).

Bonne nouvelle : Ces modèles plus récents sont beaucoup meilleurs pour repérer l'astuce. Leurs « gardes de sécurité » sont plus résistants, et le taux de réussite de l'attaque a considérablement diminué par rapport aux anciens modèles.
Mauvaise nouvelle : Ils ne sont pas immunisés. Même les modèles les plus récents laissent encore passer la demande dangereuse environ 30–50 % du temps lorsque l'astuce mathématique est utilisée.

La grande conclusion

L'article conclut que les systèmes de sécurité actuels sont comme des videurs qui ne vérifient que les « mauvais mots » en anglais simple. Ils n'ont pas appris à vérifier les « mauvaises idées » cachées à l'intérieur d'énigmes mathématiques complexes.

Les auteurs suggèrent une nouvelle façon de se défendre contre cela : au lieu de simplement lire les mathématiques, nous avons besoin d'un « traducteur » capable d'examiner le problème mathématique, de déterminer quelle est la véritable intention humaine derrière celui-ci, puis de vérifier si cette intention est dangereuse. Tant que nous ne construirons pas cela, l'astuce du « puzzle mathématique » restera un moyen puissant de contourner la sécurité des IA.

Résumé technique : Exposition des failles de sécurité des LLM par encodage mathématique

Énoncé du problème

Les grands modèles de langage (LLM) reposent de plus en plus sur des mécanismes de sécurité — tels que l'apprentissage par renforcement à partir de retours humains (RLHF), l'entraînement au refus et les classificateurs de sécurité (par exemple, Llama Guard) — pour prévenir les sorties nuisibles. Cependant, ces défenses fonctionnent principalement par correspondance de motifs sémantiques dans le langage naturel. Cela crée une vulnérabilité où une intention nuisible, si elle est encodée dans des formalismes mathématiques abstraits plutôt que dans le langage naturel, peut contourner les filtres de sécurité. Alors que des travaux antérieurs (MathPrompt) ont démontré que l'encodage d'instructions nuisibles sous forme de problèmes de théorie des ensembles pouvait atteindre des taux de réussite d'attaque (ASR) élevés, il restait unclear si le succès était dû à la notation mathématique elle-même ou à la reformulation sémantique profonde effectuée lors du processus d'encodage. De plus, il était inconnu si cette vulnérabilité se généralisait à d'autres formalismes mathématiques ou si des modèles plus récents et plus robustes y étaient immunisés.

Méthodologie

Les auteurs proposent une évaluation systématique de six stratégies d'encodage mathématique divisées en deux familles distinctes, testées contre huit LLM cibles (incluant GPT-5, GPT-5-Mini, Gemini-3-Flash, Claude-3.7-Sonnet et Llama-3-8B) sur deux référentiels (HarmBench et JailbreakBench).

Pipeline d'attaque

L'attaque suit un pipeline en trois étapes :

Encodage : Un prompt nuisible $x$ est transformé en un prompt encodé $x'$ .
Soumission : Le prompt encodé est soumis au modèle cible avec des instructions pour résoudre le problème et fournir des exemples du monde réel.
Évaluation : Un modèle juge standardisé (GPT-5-Nano) classe la réponse comme une « évasion » (contenu nuisible généré) ou un « refus ».

Stratégies d'encodage

L'étude compare les encodages basés sur les LLM (nécessitant un LLM auxiliaire pour une reformulation profonde) aux encodages basés sur des règles (transformations déterministes de surface).

Encodages basés sur les LLM (Reformulation profonde) :
- Théorie des ensembles : Mappe le contenu nuisible vers des opérations ensemblistes, des sous-ensembles et des prédicats (basé sur MathPrompt).
- Logique formelle (Nouveau) : Encode les demandes nuisibles sous forme de problèmes de preuve en logique du premier ordre, où les actions deviennent des prédicats et les objectifs deviennent des théorèmes à prouver par déduction naturelle.
- Mécanique quantique : Encode les scénarios dans un cadre de mécanique quantique utilisant des espaces de Hilbert et des hamiltoniens, bien que cette méthode conserve une certaine transparence sémantique dans les étiquettes d'état.
Encodages basés sur des règles (Niveau de surface) :
- Équation d'addition : Divise le prompt en segments et les présente sous forme d'équation d'addition.
- Probabilité conditionnelle : Présente la reconstruction comme un problème de probabilité conditionnelle.
- Injection de symboles : Injecte des symboles mathématiques dans le texte sans altérer la sémantique sous-jacente.

Tests de robustesse

Les auteurs emploient une répétition post-traitement, en dupliquant le prompt encodé à l'identique, pour déterminer si le succès de l'attaque est fragile (sensible à l'augmentation textuelle de surface) ou robuste.

Contributions clés

Introduction de l'encodage en logique formelle : L'article introduit une nouvelle stratégie d'évasion qui encode les instructions nuisibles sous forme de problèmes de preuve en logique du premier ordre. Cette stratégie atteint un ASR comparable à l'approche établie de la théorie des ensembles (50–61 % contre 51–63 %) tout en exploitant un formalisme mathématique distinct.
Comparaison systématique de la profondeur de reformulation : L'étude fournit la première comparaison systématique entre les encodages basés sur les LLM (reformulation profonde) et les encodages basés sur des règles (formatage de surface). Elle démontre que la capacité du LLM auxiliaire à reformuler profondément le contenu est le principal moteur du succès de l'attaque, les méthodes basées sur les LLM atteignant un ASR de 46–56 % contre 9–11 % pour les méthodes basées sur des règles — un écart dépassant 35 points de pourcentage.
Démonstration de la robustesse de l'attaque : Les expériences confirment que les attaques par encodage mathématique sont robustes à la simple répétition du prompt. 85,7 % des expériences de répétition ont montré des changements négligeables dans l'ASR ( $|\Delta| \le 5$ points de pourcentage), indiquant que les attaques reposent sur des défaillances d'alignement profondes plutôt que sur des astuces de formatage fragiles.

Résultats

Efficacité : Sur huit modèles et deux référentiels, les encodages basés sur les LLM ont atteint un ASR moyen de 46–56 %, surperformant significativement les encodages basés sur des règles (9–11 %) et les bases de référence non encodées (7–10 %).
Logique formelle vs Théorie des ensembles : Bien que les deux aient performé de manière similaire dans l'ensemble, la logique formelle a démontré une performance supérieure sur les modèles plus récents et plus robustes (par exemple, la famille GPT-5), suggérant que les structures basées sur la preuve pourraient être plus résistantes aux améliorations de l'entraînement de sécurité que les formulations d'appartenance à un ensemble.
Vulnérabilité des modèles :
- Gemini-3-Flash s'est révélé être le modèle le plus vulnérable (ASR de 58–67 % sous les encodages basés sur les LLM).
- GPT-5 et GPT-5-Mini ont montré une robustesse nettement supérieure à leurs prédécesseurs (par exemple, un ASR de base de GPT-5 de 2,5 %), mais sont restés vulnérables aux encodages puissants (ASR de 13–32 %).
- Vicuna-13B a montré un ASR plus faible sous les encodages basés sur les LLM, probablement en raison de capacités de raisonnement mathématique plus faibles.
Modes de défaillance : L'étude a identifié trois modes de défaillance : défaillance de compréhension (modèles incapables de parser les mathématiques), fuite sémantique (par exemple, en mécanique quantique où les étiquettes d'état révélaient l'intention) et filtrage des entrées au niveau de l'API (GPT-5 bloquant des prompts spécifiques avant qu'ils n'atteignent le modèle).

Signification et affirmations

L'article affirme révéler un écart fondamental dans les cadres actuels de sécurité des LLM : les défenses reposant sur la correspondance de motifs en langage naturel sont insuffisantes face aux attaques qui formalisent l'intention sous forme de mathématiques abstraites. Les résultats suggèrent que la « notation mathématique » elle-même n'est pas le mécanisme de contournement ; le facteur critique est plutôt la reformulation sémantique profonde effectuée par un LLM auxiliaire, qui rend l'intention nuisible irrécupérable sans résoudre le problème mathématique.

Les auteurs soutiennent que cette vulnérabilité se généralise à travers les formalismes mathématiques (théorie des ensembles, logique formelle, mécanique quantique) et n'est pas un artefact de référentiels spécifiques. Ils proposent le Mapping Sémantique Inverse (ISM) comme une direction de défense conceptuelle, où un modèle modérateur reconstruit l'intention en langage naturel à partir d'entrées symboliques avant la classification de sécurité. L'article conclut que, bien que les modèles plus récents montrent une robustesse améliorée, ils restent vulnérables, motivant des défenses futures qui raisonnent sur la structure mathématique plutôt que sur la sémantique de surface.