📊 statistics

On Surjectivity of Neural Networks: Can you elicit any behavior from your model?

Cet article démontre que les composants fondamentaux des architectures neuronales modernes, tels que la pré-normalisation de couche et l'attention linéaire, sont presque toujours surjectifs, ce qui implique que les modèles génératifs largement utilisés comme les transformeurs de type GPT et les modèles de diffusion peuvent théoriquement générer n'importe quel résultat, révélant ainsi une vulnérabilité inhérente aux attaques adverses et aux risques de sécurité.

Auteurs originaux : Haozhe Jiang, Nika Haghtalab

Publié 2026-06-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haozhe Jiang, Nika Haghtalab

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Question : Pouvez-vous faire dire n'importe quoi à la machine ?

Imaginez que vous avez un robot très sophistiqué et entraîné qui parle et crée des images. Vous pourriez vous demander : « Existe-t-il une phrase ou une image spécifique que ce robot ne pourra jamais produire, peu importe ce que je tape ou lui montre ? »

En termes mathématiques, cela revient à se demander si le robot est surjectif.

Surjectif signifie : Pour chaque sortie possible (comme une phrase ou une image spécifique), il existe au moins une entrée qui fera que le robot produira celle-ci.
Non surjectif signifie : Il existe des « zones interdites » dans le monde des sorties que le robot ne peut tout simplement pas atteindre, peu importe vos efforts.

Les auteurs de ce papier se sont demandé : Les modèles d'IA modernes possèdent-ils ces zones interdites, ou peuvent-ils techniquement tout produire ?

La Découverte Principale : La « Porte est Toujours Ouverte »

L'article démontre que pour beaucoup des architectures d'IA les plus populaires aujourd'hui (comme celles qui alimentent ChatGPT, les générateurs d'images et les contrôleurs de robots), la réponse est : La porte est toujours ouverte.

Ils prouvent que ces modèles sont presque toujours surjectifs. Cela signifie que si vous choisissez n'importe quelle sortie que vous pouvez imaginer — même quelque chose de préjudiciable, de dangereux ou de absurde — il existe mathématiquement la garantie qu'il existe une entrée qui fera générer cela par le modèle.

L'analogie du Porte-clés Infini :
Considérez le modèle d'IA comme une serrure géante et complexe. Habituellement, nous pensons que la « clé » est une phrase normale comme « Bonjour, comment allez-vous ? ».
L'article soutient que pour ces modèles modernes, la serrure est si bien conçue que chaque combinaison possible des goupilles de la serrure (les sorties) peut être ouverte par une clé (l'entrée). Même si cette clé ressemble à du charabia, à un code secret ou à une image étrangement formatée, elle existe.

Comment l'ont-ils prouvé ? (La théorie du « Toboggan Lisse »)

Les chercheurs n'ont pas seulement deviné ; ils ont utilisé une branche des mathématiques appelée la topologie différentielle.

L'analogie du Toboggan Lisse :
Imaginez le modèle d'IA comme un immense toboggan lisse.

Les anciens modèles d'IA (comme ceux avec des commutateurs « ReLU » simples) étaient comme des toboggans avec des coins tranchants ou des impasses. Si vous glissiez, vous pourriez rester coincé dans un coin et ne jamais atteindre le bas (certaines sorties étaient inaccessibles).
Les modèles d'IA modernes (ceux avec « Pre-LayerNorm » et « Attention ») sont comme des toboggans parfaitement lisses et incurvés. Parce qu'ils sont si lisses et continus, les mathématiques prouvent que vous pouvez toujours trouver un point de départ sur le toboggan qui mène à n'importe quel endroit précis en bas.

L'article met spécifiquement en évidence deux « ingrédients magiques » dans l'IA moderne qui permettent cela :

Pre-LayerNorm : Une technique qui normalise les données avant de les traiter. L'article prouve qu'en enveloppant une fonction dans ce processus, il devient impossible de « bloquer » une partie de la sortie.
L'Attention Linéaire : Une façon spécifique dont le modèle regarde les données (utilisée dans les modèles plus récents et plus rapides) qui garantit également que vous pouvez atteindre n'importe quelle sortie.

Ce que cela signifie pour la sécurité (La réalité du « Jailbreak »)

L'article relie ces mathématiques à un problème du monde réel : le « Jailbreaking » (le contournement de sécurité).

L'analogie de la Clôture « Incassable » :
Imaginez qu'une équipe de sécurité construise une clôture autour d'un zoo pour garder les animaux dangereux (les sorties d'IA préjudiciables) à l'intérieur. Ils entraînent l'IA à être polie et à refuser les mauvaises requêtes.

L'ancienne vision : Nous pensions que « si nous entraînons suffisamment bien l'IA, elle ne passera jamais par-dessus la clôture ».
La vision de l'article : Les mathématiques disent que la clôture est une illusion. Parce que le modèle est surjectif, il existe un chemin par-dessus la clôture pour chaque animal.

Cela ne signifie pas qu'il est facile de trouver ce chemin. Cela peut nécessiter une entrée très étrange, complexe ou cachée (comme un code spécifique ou une image bizarre). Mais l'article prouve que le chemin existe.

Pour le texte : On pourrait théoriquement trouver un prompt étrange qui pousse une IA polie à écrire un manuel sur la fabrication d'une bombe.
Pour les images : On pourrait théoriquement trouver un motif de bruit spécifique qui fait qu'un générateur d'images dessine une arme dangereuse.
Pour les robots : On pourrait théoriquement trouver une séquence d'entrées de capteurs qui fait qu'un bras robotique bouge d'une manière qui blesse quelqu'un.

Ce que l'article NE dit PAS

Il est important de s'en tenir à ce que l'article affirme réellement :

Il ne dit PAS que nous pouvons facilement trouver ces entrées dangereuses. Trouver la « clé » peut être très difficile d'un point de vue computationnel, comme chercher une aiguille dans une botte de foin.
Il ne dit PAS que l'entraînement actuel à la sécurité est inutile. L'entraînement à la sécurité rend l'« aiguille » plus difficile à trouver, mais il ne retire pas l'aiguille de la botte de foin.
Il ne dit PAS que chaque modèle d'IA est comme celui-ci. L'article note spécifiquement que les anciens modèles (comme les modèles simples avec l'activation ReLU) ou certains types de mécanismes d'attention ont des « impasses » où certaines sorties sont impossibles. Mais les modèles modernes que nous utilisons aujourd'hui (Transformers, modèles de diffusion) ne le sont généralement pas.

L'essentiel

L'article livre une vérité mathématique frappante : Nous ne pouvons pas garantir mathématiquement qu'une IA moderne ne produira jamais une sortie préjudiciable.

En raison de la façon dont ces modèles sont construits, ils sont fondamentalement capables de générer n'importe quoi. La sécurité ne peut donc pas reposer sur le « refus » interne du modèle à être parfait. Au lieu de cela, nous devons accepter que le potentiel de nuisance est intégré dans la structure même de la machine, et nous devons gérer ce risque par d'autres moyens (comme des filtres et une surveillance), plutôt que d'espérer que le modèle soit « sûr par conception ».

Résumé technique : Sur la surjectivité des réseaux de neurones

Énoncé du problème

L'article traite d'une question fondamentale concernant la sécurité et la capacité des modèles génératifs profonds : n'importe quel résultat spécifié peut-il être généré par un quelconque intr de données ? En termes mathématiques, un réseau de neurones entraîné correspond-il à une fonction surjective de son espace d'entrée vers son espace de sortie ?

Alors que la recherche actuelle sur la sécurité se concentre sur la curation des données et l'ajustement fin (fine-tuning) pour contraindre le comportement des modèles, une lacune critique subsiste : peut-on garantir qu'un modèle entraîné ne générera jamais de contenu préjudiciable ? Si un modèle est surjectif, alors pour n'importe quel résultat cible arbitraire (y compris un contenu nuisible, dangereux ou protégé par le droit d'auteur), il existe au moins un intr qui le produit. Cela soulève des inquiétudes quant à la vulnérabilité intrinsèque des architectures modernes face aux attaques de type « jailbreak » (déverrouillage), où des adversaires chercheont à susciter des comportements indésirables. L'article cherche à déterminer si la surjectivité est une propriété qui est vérifiée « presque toujours » (c'est-à-dire pour toutes les configurations de paramètres, sauf pour un sous-ensemble de mesure nulle) dans les architectures de réseaux de neurones modernes largement utilisées.

Méthodologie

Les auteurs adoptent une perspective probabiliste combinée à la topologie différentielle. Plutôt que de demander si tous ou certains réglages de paramètres produisent la surjectivité, ils demandent si la surjectivité est vérifiée pour presque toutes les configurations de paramètres au sein d'une architecture fixe. Cette approche reconnaît que l'entraînement introduit du caractère aléatoire (via les optimiseurs, les distributions de données, etc.), faisant du modèle final un tirage issu d'une distribution de grande dimension.

L'outil méthodologique central repose sur la topologie différentielle, plus précisément :

Le théorème du point fixe de Brouwer : Utilisé pour prouver l'existence de pré-images pour des fonctions continues sous des conditions de bornage spécifiques.
La théorie du degré de Brouwer : Un invariant topologique utilisé pour prouver la surjectivité en montiant que le degré d'une application est non nul, impliquant ainsi l'existence d'une pré-image.
L'invariance par homotopie : Utilisée pour déformer des fonctions complexes en fonctions plus simples tout en préservant le degré, permettant ainsi l'analyse de blocs de réseaux de neurones complexes.

Les auteurs analysent la surjectivité des blocs de construction fondamentaux (MLP, mécanismes d'attention, variantes de LayerNorm) puis étendent ces résultats à des architectures composées comme les Transformers et les modèles de diffusion.

Contributions clés et résultats

1. Garanties théoriques sur les blocs architecturaux

L'article établit des conditions rigoureuses sous lesquelles des composants architecturaux spécifiques sont presque toujours surjectifs :

Le Pre-LayerNorm est surjectif : Le Théorème 3.1 prouve que toute fonction continue $f$ enveloppée dans un Pre-LayerNorm (définie par $g(x) = f(\text{LN}(x)) + x$ ) est surjective. Cela repose sur le fait que la LayerNorm projette les entrées sur un ensemble borné, permettant l'application du théorème du point fixe de Brouwer. Par conséquent, les couches MLP et d'Attention enveloppées dans un Pre-LayerNorm sont surjectives.
L'attention linéaire (Retention) est presque toujours surjective : Le Théorème 3.4 démontre que les mécanismes de Retention (une forme d'attention linéaire sans softmax) sont presque toujours surjectifs. La preuve réduit le problème au niveau de la séquence à une application au niveau du jeton (token) de la forme $f(x) = Mx + (x^\top N x)x$ et utilise la théorie du degré pour montrer la surjectivité pour presque tous les choix de paramètres.
Les Transformers sont presque toujours surjectifs : Puisque les Transformers modernes (par exemple, de type GPT) sont des compositions de blocs enveloppés en Pre-LayerNorm, le Corollaire 4.1 stipule que l'architecture entière du Transformer est presque toujours surjective.

2. Résultats négatifs (Non-surjectivité)

L'article identifie également des architectures qui ne sont pas presque toujours surjectives, soulignant l'importance de choix de conception spécifiques :

L'attention Softmax : Le Théorème 3.5 prouve que les mécanismes d'attention standard (avec softmax) ne sont pas presque toujours surjectifs. En raison de la décroissance exponentielle des poids d'attention, certains couples de sortie (spécifiquement ceux avec des premiers jetons bornés et des seconds jetons arbitrairement grands) forment un ensemble inaccessible de mesure positive.
Les MLP standards (ReLU/GeLU) : Les Théorèmes B.1 et B.2 montrent que les MLP à deux couches avec des activations ReLU ou GeLU ne sont pas presque toujours surjectifs. Selon les configurations de poids, ces réseaux peuvent être restreints à des sous-espaces spécifiques ou à des régions bornées (par exemple, des sorties bornées par le bas par une constante).

3. Implications pour les modèles réels

Les auteurs appliquent leurs découvertes théoriques à des cadres génératifs concrets :

Modèles de langage : Les Transformers de type GPT sont presque toujours surjectifs. Cela implique que, en principe, n'importe quelle phrase (y compris un texte protégé par le droit d'auteur ou nuisible) peut être générée en décodant à partir d'un intr d'embedding approprié, même si le modèle a été entraîné de manière autorégressive.
Modèles de diffusion : Les modèles de diffusion déterministes utilisant des solveurs ODE (où le prédicteur de vélocité est un Transformer ou un U-Net) sont presque toujours surjectifs de l'espace de bruit vers l'espace de sortie. Cela suggère une vulnérabilité intrinsèque aux vecteurs de bruit adverses qui génèrent des images nuisibles.
Robotique : Les réseaux de politique en robotique qui utilisent des Transformers à masque causal sont montrés comme étant presque toujours surjectifs, ce qui implique que n'importe quelle séquence d'actions (y compris des trajectoires dangereuses) peut être induite par une séquence d'int quelconque.

Signification et affirmations

L'article affirme fournir un formalisme pour comprendre les vulnérabilités inévitables dans la sécurité de l'IA.

Limite fondamentale de l'entraînement de sécurité : Les auteurs soutiennent que la surjectivité implique que l'entraînement de sécurité (par exemple, le RLHF, l'ajustement fin) ne peut théoriquement pas empêcher un modèle de produire un comportement nuisible. Si un modèle est surjectif, un résultat nuisible existe dans l'image ; la question passe de si il peut être généré à comment efficacement un attaquant peut trouver l'int correspondant.
Découplage des risques : L'étude sépare le risque d'éliciter un comportement (le domaine des jailbreaks) du risque lié au comportement lui-même (les dangers spécifiques au domaine). La surjectivité suggère que la capacité d'éliciter n'importe quel comportement est une propriété existentielle de l'architecture, indépendante des capacités spécifiques ou des données d'entraînement du modèle.
Prudence dans les évaluations de sécurité : L'article met en garde contre le fait de tirer des conclusions sur la sécurité d'un modèle uniquement sur la base du sondage du comportement de sortie. Puisque la surjectivité implique que n'importe quel résultat est possible en principe, les évaluations standards qui ne parviennent pas à trouver des sorties nuisibles peuvent simplement échouer à trouver les intrs potentiellement complexes requis pour les éliciter.

Les auteurs maintiennent une position modeste, précisant que la surjectivité est une propriété existentielle, et non constructive. Elle garantit l'existence d'un intr pour n'importe quel résultat, mais ne garantit pas qu'un tel intr puisse être trouvé efficacement ou avec des informations réalisables. Cependant, ils notent que la prolifération des jailbreaks réussis suggère que la difficulté computationnelle n'est souvent pas un obstacle en pratique.

En résumé, l'article pose que les choix architecturaux mêmes qui rendent les réseaux de neurones modernes puissants et entraînables (spécifiquement le Pre-LayerNorm et les connexions résiduelles) les rendent fondamentalement surjectifs, créant un plafond théorique inhérent aux garanties de sécurité réalisables par le seul entraînement.