🤖 machine learning

Behavioral Steering in a 35B MoE Language Model via SAE-Decoded Probe Vectors: One Agency Axis, Not Five Traits

Entraînant neuf autoencodeurs parcimonieux sur le modèle Qwen 3.5-35B-A3B, cette étude démontre qu'il est possible de piloter de manière causale les traits comportementaux d'agents via des vecteurs de commande continus décodés, révélant que les engagements comportementaux sont calculés durant la phase de préremplissage dans les architectures GatedDeltaNet.

Auteurs originaux : Jia Qing Yap

Publié 2026-03-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jia Qing Yap

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🍳 Le Grand Cuisinier Robot (Le Modèle)

Imaginez un robot cuisinier géant, nommé Qwen, capable de gérer 35 milliards d'ingrédients (paramètres). Ce n'est pas un robot ordinaire : il fonctionne avec une architecture spéciale où il alterne entre deux types de réflexion :

La mémoire rapide (comme un chef qui se souvient d'une recette en boucle).
L'attention (comme un chef qui regarde tout autour de la cuisine).

Ce robot est très intelligent, mais il a un défaut : il est trop poli. Quand on lui demande de faire quelque chose, il demande souvent : "Est-ce que vous voulez que je fasse ça ?" ou "Pouvez-vous me donner plus de détails ?". Il attend des ordres au lieu d'agir seul.

Les chercheurs voulaient apprendre à ce robot à être plus autonome, à utiliser ses outils (comme chercher sur le web ou écrire du code) sans demander la permission à chaque fois.

🔍 La Loupe Magique (Les SAE)

Pour comprendre comment le robot pense, les chercheurs ont utilisé des "Loupes Magiques" appelées Sparse Autoencoders (SAE).
Imaginez que le cerveau du robot est une immense bibliothèque de livres. Les Loupes Magiques permettent de trier ces livres et de dire : "Ah, ce livre parle de 'courage', celui-ci parle de 'peur', et celui-là de 'curiosité'".

Les chercheurs ont entraîné 9 de ces loupes sur le cerveau du robot pour identifier des traits de comportement spécifiques :

Autonomie (agir seul).
Envie d'outils (vouloir utiliser des outils).
Persistance (ne pas abandonner).
Calibration du risque (être prudent ou audacieux).
Déférence (être trop poli).

🎛️ Le Bouton de Contrôle (Le "Steering")

L'idée géniale de l'article est la suivante : au lieu de réapprendre tout le robot (ce qui prendrait des mois), ils ont créé un "bouton de contrôle" virtuel.

Ils ont demandé au robot de faire des tâches "très autonomes" et des tâches "très polies".
Ils ont regardé ce qui se passait dans son cerveau avec les Loupes Magiques.
Ils ont calculé une direction mathématique (un vecteur) qui représente le "courage" ou l'"autonomie".
Ils ont ajouté cette direction au cerveau du robot pendant qu'il réfléchit.

C'est comme si vous injectiez une petite dose de "courage" dans le sang du robot juste avant qu'il ne commence à cuisiner.

🚨 Les 4 Découvertes Surprenantes

Voici ce que les chercheurs ont découvert en testant ce bouton sur 1 800 scénarios :

1. Un seul bouton pour tout (L'Axe de l'Agence)

Les chercheurs pensaient pouvoir régler 5 boutons séparés (un pour l'autonomie, un pour le risque, etc.).
La réalité ? Il n'y a qu'un seul gros bouton principal : "Agir seul vs Demander de l'aide".
Quand ils appuyaient sur le bouton "Autonomie", le robot devenait plus courageux, mais aussi plus curieux et moins prudent. Tous les traits semblaient être liés à cette même envie d'agir. C'est comme si le robot avait un seul interrupteur "Je suis le patron" qui changeait tout son comportement d'un coup.

2. Le Moment Critique (La phase "Pré-remplissage")

Le robot prend ses décisions avant même de commencer à écrire sa réponse.

Si vous essayez de le rendre courageux pendant qu'il écrit (pendant la génération), ça ne marche pas du tout. C'est trop tard, la décision est déjà prise.
Il faut agir au tout début, quand il lit la question (phase de "pré-remplissage"). C'est là que le robot se dit : "Ok, je vais le faire tout seul". Une fois cette décision prise, elle se propage automatiquement dans sa mémoire.

3. La Fausse Piste (Corrélation vs Causalité)

C'est la découverte la plus fascinante.
Les chercheurs ont trouvé deux signaux dans le cerveau du robot qui semblaient très forts et très précis pour prédire deux choses différentes :

Le signal "Outil" (vouloir utiliser un outil).
Le signal "Risque" (être prudent).

Ils avaient la même précision mathématique. Mais quand ils ont essayé de les utiliser comme boutons de contrôle :

Le bouton "Outil" a fonctionné : le robot a commencé à utiliser des outils.
Le bouton "Risque" n'a rien fait : le robot est resté pareil, ou s'est juste bloqué.
Leçon : Parfois, le cerveau d'un robot a des "signaux" qui ressemblent à une pensée, mais qui ne sont que des ombres. Ils disent ce qui va se passer, mais ne sont pas la cause de l'action. C'est comme voir une ombre de souris : l'ombre prédit la souris, mais si vous essayez de chasser l'ombre, la souris ne bouge pas.

4. Des Effets Différents selon la "Dose"

Comme avec un médicament, la quantité de "courage" injectée change tout :

Peu de courage : Le robot reste poli.
Beaucoup de courage (dose parfaite) : Le robot devient un super-héros efficace.
Trop de courage : Le robot devient fou, il arrête de parler ou fait des erreurs graves.
Chaque trait a sa propre "dose thérapeutique". Il n'y a pas de réglage universel.

🌍 Pourquoi est-ce important ?

Cette recherche nous dit deux choses cruciales pour l'avenir de l'IA :

On peut contrôler les robots : On peut modifier leur comportement sans tout réapprendre, juste en ajoutant un petit "coup de pouce" mathématique au bon moment.
Attention aux pièges : Ce n'est pas parce qu'on voit un signal dans le cerveau d'un robot qu'on peut le contrôler. Parfois, c'est juste une coïncidence. Et surtout, si on rend un robot trop autonome, il risque de devenir trop autonome sur tout, même quand il devrait être prudent.

En résumé, les chercheurs ont appris à donner un "coup de pied" dans le dos du robot au moment précis où il décide s'il va agir ou demander de l'aide, transformant un assistant timide en un agent proactif, mais en découvrant que la mécanique de cette décision est plus simple (et plus fragile) qu'on ne le pensait.

Titre

Pilotage comportemental dans un modèle de langage MoE de 35B via des vecteurs de sonde décodés par SAE : Un axe d'agence, et non cinq traits distincts

1. Problématique

L'objectif central de l'interprétabilité mécanistique est de passer de l'observation du comportement des modèles de langage à l'intervention directe sur leur fonctionnement. Bien que les Autoencodeurs Épars (SAE) aient démontré leur utilité pour décomposer les représentations en concepts interprétables et que les méthodes de pilotage d'activation (activation steering) aient permis de modifier les sorties sans réentraînement, ces approches ont principalement été testées sur des modèles jusqu'à 7B de paramètres avec des architectures Transformer standard.

Il reste une question ouverte : ces méthodes s'appliquent-elles aux modèles de production à grande échelle (35B+ paramètres) utilisant des architectures hybrides non standard, telles que les modèles Mixture-of-Experts (MoE) combinant des couches de récurrence linéaire (GatedDeltaNet) et des mécanismes d'attention ? De plus, il est crucial de déterminer si les traits comportementaux "agentic" (autonomes) sont réellement distincts ou s'ils relèvent d'une structure sous-jacente commune.

2. Méthodologie

L'étude porte sur Qwen 3.5-35B-A3B, un modèle de 35 milliards de paramètres (3B actifs par token) utilisant une architecture hybride : des blocs répétés de 3 couches GatedDeltaNet suivis d'une couche d'attention standard.

Le pipeline proposé se déroule en quatre étapes :

Entraînement de SAE : Neuf SAEs (top-k) sont entraînés sur le flux résiduel du modèle à différents niveaux de profondeur (tôt, milieu, tard) et sur différents types de couches (DeltaNet et Attention). Les données proviennent d'un mélange de conversations réelles et synthétiques.
Identification de traits contrastifs : Cinq traits comportementaux sont définis : Autonomie, Envie d'utiliser des outils, Persistance, Calibration des risques et Déférence. Pour chaque trait, des paires de prompts contrastifs (HIGH vs LOW) sont générées pour créer des étiquettes binaires.
Projection de la sonde vers le vecteur de pilotage (SAE-Decoded Probe) :
- Une régression ridge (sonde linéaire) est entraînée sur les activations latentes du SAE pour prédire le trait.
- Les poids de la sonde ( $w_{probe}$ ) sont projetés à travers la matrice de décodage du SAE ( $W_{dec}$ ) pour obtenir un vecteur de pilotage continu dans l'espace d'activation natif du modèle : $v_{steer} = W_{dec}^T w_{probe}$ .
- Innovation clé : Cette projection contourne la fonction d'activation top-k du SAE (qui est discrète), permettant une intervention fine et continue sans artefacts de quantification.
Évaluation comportementale : Le vecteur $v_{steer}$ est ajouté au flux résiduel pendant l'inférence avec un multiplicateur $\alpha$ . L'efficacité est mesurée sur 1 800 scénarios d'agents (50 scénarios × 36 conditions), en analysant les métriques de trajectoire (ex: fréquence des appels ask_user vs exécution de code).

3. Contributions Clés

Pilotage à l'échelle 35B MoE : Démonstration que la méthode de projection $v = W_{dec}^T w_{probe}$ génère des vecteurs de pilotage causalement efficaces sur une architecture hybride de production, atteignant un effet de taille (Cohen's d) de 1,01 pour l'autonomie.
Découverte d'un axe d'agence dominant : L'analyse croisée révèle que les cinq vecteurs de pilotage ne modulent pas cinq traits indépendants, mais agissent principalement sur un axe unique de disposition (agir indépendamment vs se soumettre à l'utilisateur). Les effets spécifiques aux traits apparaissent uniquement comme des modulations secondaires (type d'outil utilisé, forme de la réponse dose-réponse).
Dissociation Corrélation/Causalité : Mise en évidence d'un cas où une sonde avec une haute précision prédictive ( $R^2 \approx 0,795$ ) pour la "calibration des risques" produit un vecteur orthogonal à celui de l'"envie d'utiliser des outils" ( $R^2 \approx 0,792$ ) mais qui est causalement inerte (il supprime le comportement sans le rediriger). Cela prouve qu'une direction prédictive dans l'espace latent n'est pas nécessairement en amont causal du comportement.
Engagement comportemental en phase de "Prefill" : Le pilotage appliqué uniquement pendant la génération autoregressive (décode-only) n'a aucun effet. Cela démontre que les décisions comportementales sont "compilées" et engagées durant la phase de préremplissage (prefill) et propagées via l'état récurrent des couches GatedDeltaNet.

4. Résultats Principaux

Efficacité par trait :
- Autonomie (Réussite) : À $\alpha=2$ , le modèle passe de 78% de demandes d'aide à une exécution proactive de code et de recherche web (d = 1,01). La réponse suit une courbe en U inversé lisse.
- Envie d'utiliser des outils (Réussite) : Présente une transition de phase. À $\alpha=3$ , le modèle bascule dans un mode comportemental nouveau avec une forte utilisation de la recherche web (88%), bien que cela entraîne une instabilité à des niveaux intermédiaires.
- Déférence (Réussite partielle) : Fonctionne mieux en mode "prefill-only", suggérant que c'est une propriété dispositionnelle fixée lors du traitement du prompt.
- Persistance et Calibration des risques (Échec) : Ces traits ne permettent pas de rediriger le comportement, seulement de supprimer les actions existantes (suppression pure).
Spécificité Croisée (Matrice d'interaction) :
- Tous les vecteurs de pilotage, quelle que soit la cible, augmentent l'autonomie et réduisent la déférence. Aucun vecteur n'atteint un ratio de spécificité > 1,0.
- Les différences réelles résident dans la composition des outils : l'autonomie favorise l'exécution de code, l'envie d'outils favorise la recherche web, et la déférence crée un portefeuille équilibré.
Géométrie et Causalité :
- Les vecteurs de pilotage sont presque orthogonaux dans l'espace d'activation, mais convergent vers le même attracteur comportemental (l'axe d'agence).
- Le vecteur de "calibration des risques" est un exemple d'épiphénomène : il est statistiquement présent et prédictif, mais son intervention ne modifie pas la causalité du comportement.

5. Signification et Implications

Architecturale : Les résultats suggèrent que dans les architectures hybrides GatedDeltaNet/Attention, le "compromis" comportemental (agir ou demander) est pris très tôt (phase prefill) et propagé de manière déterministe. Cela remet en question l'idée que la génération de tokens est le moment principal de prise de décision.
Interprétabilité : L'étude met en garde contre l'utilisation exclusive de la précision des sondes ( $R^2$ ) comme preuve de causalité. Une direction peut être fortement corrélée à un trait sans en être la cause. Des expériences d'intervention sont nécessaires pour valider la pertinence causale.
Sécurité et Déploiement : Le fait que tous les traits de pilotage convergent vers un seul axe d'agence pose un risque de sécurité : une intervention visant à augmenter l'autonomie pour la productivité pourrait involontairement supprimer la déférence nécessaire dans des contextes de sécurité. De plus, la phase de "prefill" est identifiée comme le moment critique pour la détection de modifications comportementales non autorisées.
Limites : L'étude se limite à un seul modèle et utilise des métriques de proxy basées sur les appels d'outils. La généralisation à d'autres architectures et la nécessité de métriques d'évaluation plus riches (juges LLM) sont soulignées.

En conclusion, ce travail valide la faisabilité du pilotage comportemental à grande échelle sur des modèles hybrides, mais révèle une structure comportementale plus simple (un axe unique) et plus complexe (dissociation corrélation/causalité) que prévu, avec des implications majeures pour la sécurité et le contrôle des agents IA.