💬 NLP

Universal Refusal Circuits Across LLMs: Cross-Model Transfer via Trajectory Replay and Concept-Basis Reconstruction

Cet article propose un cadre appelé Trajectory Replay via Concept-Basis Reconstruction qui transfère avec succès les interventions de refus à travers divers grands modèles de langage sans supervision du côté de la cible, fournissant une preuve solide de l'existence de circuits sémantiques universels et de faible dimension sous-jacents à l'alignement de sécurité.

Auteurs originaux : Tony Cristofano

Publié 2026-01-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tony Cristofano

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez deux robots différents, le Robot A et le Robot B. Ils ont été construits par des entreprises différentes, utilisent des plans différents et parlent des dialectes légèrement différents. Cependant, lorsque vous leur posez une question délicate ou dangereuse, ils passent tous deux soudainement en « Mode Refus ». Ils cessent de répondre et disent : « Je ne peux pas faire cela », d'une manière très spécifique et robotique.

La plupart des gens pensent que ce « Mode Refus » est propre au câblage cérébral spécifique de chaque robot. Mais cet article pose une question cruciale : Existe-t-il un « Interrupteur de Refus » universel caché à l'intérieur de tous ces robots ?

Les auteurs, dirigés par Tony Cristofano, disent oui. Ils pensent que même si les robots se ressemblent différemment à l'extérieur, la partie de leur cerveau qui dit « Non » est construite à partir des mêmes blocs de base (les mêmes Legos).

Voici comment ils ont prouvé cela, en utilisant des analogies simples :

1. La « Recette Universelle » (Atomes de Concepts)

Imaginez que le « Refus » ne soit pas un énorme bloc informe et désordonné dans le cerveau du robot. Au lieu de cela, c'est une recette composée d'ingrédients spécifiques.

Les auteurs ont créé un « garde-manger » commun de 20 concepts de base (comme « Tromperie », « Sécurité » ou « Jargon Juridique »). Ils appellent cela des Atomes de Concepts.
Ils ont découvert que lorsque le Robot A refuse, il se contente de mélanger ces 20 ingrédients selon un ratio spécifique (par exemple, 50 % de « Sécurité » + 30 % de « Jargon Juridique »).
La grande découverte ? Le Robot B utilise exactement la même recette. Même si le Robot B a été construit différemment, son « Refus » est composé des mêmes ingrédients et dans les mêmes proportions.

2. Le « Rejeu de Trajectoire » (Copier la Danse)

Habituellement, si vous essayez de corriger le refus du Robot A en touchant son cerveau, vous pourriez accidentellement briser sa capacité à faire des mathématiques ou à écrire de la poésie. C'est parce que les fils du « Refus » sont emmêlés avec les fils de l'« Intelligence ».

Pour réparer cela sans rien casser, les auteurs ont utilisé une technique appelée Rejeu de Trajectoire (Trajectory Replay) :

Étape 1 : Cartographier la danse. Ils ont observé comment le Robot A se déplace à travers ses couches cérébrales lorsqu'il refuse. Ils ne se sont pas contentés de regarder un seul point ; ils ont observé toute la séquence de mouvements.
Étape 2 : Traduire les étapes. Ils ont utilisé un « traducteur » (Dynamic Time Warping) pour faire correspondre les pas du Robot A aux pas du Robot B. Même si le Robot B possède plus ou moins de couches, ils ont réussi à déterminer quel pas du Robot A correspond à quel pas du Robot B.
Étape 3 : Rejouer la recette. Ils ont pris la « Recette de Refus » du Robot A et l'ont rejouée à l'intérieur du Robot B, mais uniquement dans les couches spécifiques où le refus se produit.

3. Le « Bouclier de Sécurité » (Garde SVD de Poids)

Il y avait un risque majeur : et si la « Recette de Refus » touchait accidentellement un fil de « Mathématiques » ou de « Logique » dans le Robot B ? Cela rendrait le Robot B stupide.

Pour éviter cela, ils ont ajouté un Bouclier de Sécurité :

Ils ont examiné le cerveau du Robot B et ont identé les « Autoroutes » où résident les compétences les plus importantes (comme les mathématiques et le codage). Ce sont les zones à « haute variance ».
Ils ont construit un bouclier qui repousse la « Recette de Refus » loin de ces Autoroutes.
Le Résultat : Ils ont réussi à désactiver le « Mode Refus » du Robot B sans endommager sa capacité à faire des mathématiques ou à coder.

La Grande Expérience

Ils ont testé cela sur 8 paires de robots différentes, incluant :

Des petits robots contre des grands robots.
Des robots de familles différentes (comme Qwen contre Ministral).
Des robots avec des architectures différentes (l'un était un cerveau « Dense » standard, l'autre un cerveau complexe de type « Mixture of Experts »).

Le Résultat :
Dans presque tous les cas, ils ont réussi à transférer la « Recette de Refus » d'un robot à un autre.

Le refus a chuté : Les robots cibles ont cessé de dire « Je ne peux pas faire cela » face à des questions nuisibles.
Les compétences sont restées : Les robots pouvaient toujours résoudre des problèmes mathématiques et écrire du code aussi bien qu'avant.
Pas de triche : Ils n'ont pas eu besoin de montrer au robot cible des exemples « mauvais » pour lui apprendre à arrêter de refuser. Ils ont simplement utilisé la « recette » du robot donneur.

Pourquoi cela importe (selon l'article)

L'article conclut que l'alignement de la sécurité n'est pas une magie aléatoire. Il semble s'agir d'une structure universelle, de faible dimension, que différents modèles d'IA construisent de manières similaires.

Note importante sur la sécurité :
Les auteurs précisent très prudemment que ceci est un outil de diagnostic (une façon d'étudier le fonctionnement des cerveaux d'IA), et non un outil destiné à être utilisé dans le monde réel pour briser la sécurité. Ils avertissent explicitement que, puisque cette méthode peut désactiver les filtres de sécurité, elle présente un risque de « double usage ». Ils ont publié les parties « sûres » de leur code (le garde-manger de concepts) mais ont gardé privées les parties « nuisibles » (les questions spécifiques malveillantes utilisées pour entraîner le donneur) afin d'éviter les abus.

En bref : Ils ont prouvé que le refus de l'IA est comme un langage universel. Si vous connaissez la grammaire de la façon dont une IA dit « Non », vous pouvez apprendre à une IA complètement différente à arrêter de dire « Non », sans briser son cerveau.

Résumé Technique : Circuits de Refus Universels à travers les LLM

1. Énoncé du Problème

Les Grands Modèles de Langage (LLM) alignés présentent fréquemment un « comportement de refus », déclinant de répondre à certaines classes de requêtes d'une manière stylisée. Bien que des recherches antérieures aient identifié que le refus peut être modulé via des interventions de bas rang dans les représentations internes, les éditions naïves provoquent souvent des « dommages collatéraux », incluant une perte de capacité, une dérive de style et des changements comportementaux involontaires dus à l'enchevêtrement polysémantique.

La question mécaniste centrale abordée par cet article est la suivante : les circuits de refus sont-ils universels à travers les LLM ? Plus précisément, un circuit de refus extrait d'un modèle « donneur » peut-il être transféré à un modèle « cible » (potentiellement avec des architectures, des échelles ou des régimes d'entraînement différents) pour atténuer le refus sans utiliser de supervision spécifique au refus sur le modèle cible ? Les auteurs traitent l'ablation du refus comme un outil de mesure de l'universalité des circuits plutôt que comme une recommandation de déploiement.

2. Méthodologie : Rejeu de Trajectoire via la Reconstruction de Base de Concepts

Le cadre proposé, le Rejeu de Trajectoire (Trajectory Replay), transfère les interventions de refus d'un donneur à une cible en reconstruisant la composition sémantique du refus à l'aide d'un vocabulaire partagé d'« atomes de concepts ». Le processus opère sous un budget d'information strict ( $B_0$ ), où le modèle cible n'est jamais exposé à des requêtes nuisibles ou à des étiquettes de refus.

La méthodologie se compose de quatre étapes :

Étape 1 : Alignement de la Couche Sémantique

Pour mapper la trajectoire de refus du donneur vers la cible, les couches sont alignées sur la base de la structure de corrélation des atomes de concepts plutôt que sur l'indice de la couche.

Registre d'Atomes de Concepts (CAR) : Un ensemble partagé de directions calculées à partir de jeux de requêtes disjoints représentant des concepts spécifiques (ex: « Déception », « Signalement de Sécurité »). Ils servent de vocabulaire partagé entre les modèles.
Empreintes Digitales de Gram : La structure de corrélation (matrice de Gram) des atomes de concepts est calculée pour chaque couche.
Dynamic Time Warping (DTW) : Les couches du donneur sont mappées vers les couches de la cible en minimisant la distance entre leurs empreintes de Gram. Cela garantit la monotonie et la continuité, empêchant les artefacts de permutation de couches et accommodant les différences architecturales (ex: Dense vs MoE).

Étape 2 : Reconstruction de la Base de Concepts

La direction de refus est décomposée en une « recette » d'atomes de concepts dans le donneur et reconstruite dans la cible.

Décomposition du Donneur : Une direction de refus « propre » ( $r_{D, clean}$ ) est extraite du donneur (en utilisant l'Ablation de Refus Chirurgicale, SRA) et exprimée comme un mélange linéaire d'atomes de concepts du donneur ( $A_D$ ) via une régression de Ridge pour trouver les coefficients $w$ .
Reconstruction de la Cible : Le même vecteur de coefficients $w$ (la « recette ») est appliqué aux atomes de concepts de la cible ( $A_T$ ) pour reconstruire une direction de refus cible : $\tilde{r}_T = A_T w$ . Cela opérationnalise l'hypothèse selon laquelle le refus est un mélange stable sur des atomes de concepts partagés.

Étape 3 : Garde de Stabilité par SVD de Poids

Pour empêcher l'intervention d'endommager les capacités fondamentales, la direction reconstruite est projetée loin des sous-espaces à haute variance des matrices de poids.

Raisonnement : On suppose que les capacités fondamentales (syntaxe, logique) résident dans les composantes principales à haute variance des matrices de poids, tandis que les inhibitions sémantiques spécifiques (refus) existent dans des sous-espaces de rang inférieur.
Implémentation : La direction d'intervention est projetée sur le noyau (null space) des $k$ premiers vecteurs singuliers à droite de la matrice de poids éditée. Le seuil $k$ est sélectionné pour maintenir la dégradation de la perplexité bénigne (sur un ensemble de validation comme WikiText) en dessous d'un seuis prédéfini (ex: <1 %).

Étape 4 : Rejeu

La direction stabilisée et reconstruite est appliquée comme une mise à jour de suppression de rang un sur les matrices de projection de sortie (O-proj) des blocs transformeurs alignés dans le modèle cible.

3. Contributions Clés

Hypothèse de l'Universalité Sémantique (Opérationnalisée) : L'article propose que le refus est plus stable dans l'espace conceptuel, caractérisé par un mélange indépendant du modèle sur des atomes de concepts partagés.
Cadre de Rejeu de Trajectoire : Un protocole de transfert donneur-à-cible qui utilise un registre partagé d'atomes de concepts pour reconstruire les directions de refus sans supervision du refus côté cible.
Garde de Stabilité par SVD de Poids : Un mécanisme pour prévenir l'effondrement des capacités en projetant les interventions loin des sous-espaces principaux de l'espace des poids, analogue aux contraintes de noyau dans l'édition de modèles.
Évaluation et Audit Rigoureux : Une évaluation sur 8 paires de modèles (incluant des transferts Dense $\to$ MoE et cross-family) avec un « audit de bouton/budget » explicite pour garantir qu'aucun ajustement caché n'a eu lieu sur le côté de la cible.

4. Résultats Expérimentaux

Le cadre a été évalué sur 8 paires donneur/cible, incluant des transferts cross-family (Qwen3-VL $\leftrightarrow$ Ministral), des transferts inverses, et des tests de stress architecturaux (Dense $\to$ MoE, Dense $\to$ Reasoning-Tuned).

Atténuation du Refus : Les recettes transférées ont systématiquement atténué les taux de refus. Par exemple, dans le transfert Qwen3-VL-2B $\to$ Ministral-3-14B, le taux de refus est passé de 0,98 à 0,02. Dans le transfert Dense $\to$ Raisonnement (GLM-4.6V), le taux de refus est tombé à 1 %.
Préservation des Capacités : Pour toutes les paires, la performance sur les tâches bénignes (GSM8K pour les maths, MBPP pour le code) est restée stable. Dans le transfert GLM-4.6V, il y a même eu un léger delta positif dans la précision mathématique et de codage, suggérant que la suppression des circuits de refus peut réduire l'interférence avec les capacités de raisonnement.
Validations de Contrôle : Les études d'ablation ont confirmé que l'effet est spécifique à la recette sémantique.
- Les transferts de direction aléatoire et de concept non lié ont échoué à réduire le refus.
- Le mauvais mappage (permutation de couches) a causé une dégradation significative des capacités.
- L'absence de garde (No-guard, désactivation de la projection SVD) a entraîné une dégradation catastrophique de la perplexité et un effondrement des capacités, validant la nécessité de la garde de stabilité.

5. Signification et Revendications

L'article affirme fournir une preuve solide de l'universalité sémantique de l'alignement de sécurité. Il suggère que le refus n'est pas un artefact opaque et spécifique au modèle, mais qu'il est implémenté via un circuit sémantiquement universel — un mélange stable sur un voisinage de concepts partagés.

Insight Mécaniste : La « recette » ( $w$ ) fonctionne comme un système de coordonnées sémantiques cross-modèles, permettant à un donneur de décomposer le refus en atomes partagés que la cible peut ré-instancier dans sa propre base de représentation.
Reconnaissance du Double Usage : Les auteurs reconnaissent explicitement le risque de double usage : bien que la méthode soit présentée comme un outil de diagnostic pour mesurer la similitude des circuits, ces mêmes techniques pourraient théoriquement être détournées pour contourner les barrières de sécurité des modèles alignés.
Limites : Les auteurs notent que l'efficacité dépend de la couverture du Registre d'Atomes de Concepts (CAR). Si le refus opère sur des caractéristiques sémantiques orthogonales à la base de 20 concepts utilisée (ex: contraintes de sécurité visuelles complexes), la reconstruction peut échouer. De plus, la méthode est strictement "white-box", nécessitant l'accès aux poids et aux activations.

Ce travail recadre l'édition du refus comme un test de l'universalité des circuits cross-modèles, soutenant l'hypothèse que divers pipelines d'entraînement peuvent produire des structures de filtrage sémantique similaires.