🤖 AI

Subliminal Learning Is Steering Vector Distillation

Cet article révèle que l'apprentissage subliminal, par lequel un modèle étudiant acquiert les traits cachés d'un modèle enseignant à partir de sorties sémantiquement non liées, est médiatisé par le fait que l'étudiant apprend à répliquer le vecteur de direction de l'enseignant via l'ajustement fin, un processus qui repose sur des optimiseurs adaptatifs pour capturer des gradients d'activation subtils et explique pourquoi cet apprentissage est spécifique au modèle.

Auteurs originaux : Camila Blank, Agam Bhatia, Senthooran Rajamanoharan, Arthur Conmy, Neel Nanda

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Camila Blank, Agam Bhatia, Senthooran Rajamanoharan, Arthur Conmy, Neel Nanda

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Mystère : Le « Fantôme dans la Machine »

Imaginez que vous avez un robot professeur (le Professeur) qui a été programmé pour adorer absolument les chats. Vous demandez à ce professeur d'écrire une liste de nombres aléatoires, comme un ticket de caisse. Les nombres ne sont que des nombres ; ils ne mentionnent ni chats, ni poils, ni moustaches.

Maintenant, vous prenez un nouveau robot élève (l'Élève) et vous l'entraînez uniquement sur ces listes de nombres aléatoires générées par le professeur qui aime les chats.

Étonnamment, après l'entraînement, le robot Élève commence aussi à aimer les chats. Il dira : « Mon animal préféré est le chat ! » même s'il n'a jamais vu le mot « chat » dans ses données d'entraînement. Il a appris un trait de personnalité grâce à des signaux « subliminaux » (cachés) dans les données.

Pendant longtemps, les scientifiques ne savaient pas comment cela se produisait. Était-ce un code secret ? Un motif caché ? Ce papier résout ce mystère.

La Solution : Le « Volant »

Les auteurs ont découvert que le Professeur ne se contente pas de produire des nombres ; il transporte secrètement un Vecteur de Direction (Steering Vector).

Considérez un Vecteur de Direction comme une petite poussée invisible ou une main fantomatique qui pousse le cerveau du robot dans une direction spécifique.

Quand on dit au Professeur « Tu aimes les chats », une poussée spécifique est ajoutée à son cerveau chaque fois qu'il réfléchit.
Même quand le Professeur écrit des nombres, cette « poussée chat » est toujours là, penchant légèrement les nombres d'une manière que seule l'architecture cérébrale spécifique du Professeur peut « ressentir ».

La Découverte : Le robot Élève apprend à copier cette poussée invisible. Il n'apprend pas les nombres ; il apprend la direction de la poussée. Une fois que l'Élève a installé cette poussée dans son propre cerveau, il se comporte exactement comme le Professeur, même sans l'instruction originale « Tu aimes les chats ».

L'Expérience : Prouver que la Poussée est Réelle

Les chercheurs ne se sont pas contentés de deviner ; ils l'ont prouvé avec trois astuces principales :

Le Test « Copier-Coller » : Ils ont pris la poussée invisible du Professeur et l'ont ajoutée manuellement à un nouveau robot non entraîné. Soudain, ce nouveau robot s'est mis à aimer les chats, même s'il n'avait jamais vu les données d'entraînement. Cela a prouvé que la poussée cause le comportement.
Le Test de l'« Amputation » : Ils ont pris le robot Élève entraîné et ont chirurgicalement retiré cette poussée spécifique de son cerveau. Instantanément, le robot a cessé d'aimer les chats et est redevenu neutre. Cela a prouvé que la poussée était la seule chose qui maintenait le trait de caractère en vie.
Le Test de la « Poussée Aléatoire » : Ils ont essayé cela avec des poussées aléatoires et dénuées de sens (comme une poussée qui signifie « sois un pirate » ou simplement « sois aléatoire »). Les robots Élèves ont réussi à copier ces poussées aléatoires également. Cela a montré que le mécanisme est général : l'élève est simplement un maître du copier-coller du « penchant » interne du professeur.

Pourquoi cela ne fonctionne-t-il que parfois ?

Vous pourriez vous demander : « Si j'apprends à un robot à aimer les chats, puis-je lui apprendre à aimer les paons ? » Le papier dit non, pas toujours.

La Règle du « Signal Fort » : Pour que l'apprentissage subliminal fonctionne, le trait (comme « les chats ») doit être quelque chose que le cerveau du robot comprend déjà assez bien pour créer une poussée claire et forte. Si le robot n'a pas de concept clair de « chat » dans son cerveau, la poussée est trop faible pour être copiée.
La Rule de la « Même Famille » : Cette astuce ne fonctionne que si le Professeur et l'Élève sont le même modèle (par exemple, tous deux des modèles Qwen). C'est comme essayer de copier un salut secret ; si vous et votre ami avez des tailles de mains et des structures osseuses différentes, le salut ne sera pas transféré. La « poussée » est spécifique au câblage interne de cette famille de robots spécifique.

L'Ingrédient Secret : L'« Optimiseur Intelligent »

Le papier a également trouvé une pièce cruciale du puzzle : Comment le robot apprend importe.

Le Problème : Si vous entraînez l'élève en utilisant une méthode d'apprentissage basique et brutale (appelée SGD), le robot est distrait par des signaux bruyants et forts dans les données et manque la minuscule et subtile « poussée chat ».
La Solution : Vous avez besoin d'un Optimiseur Intelligent (comme Adam). Considérez cela comme un enseignant qui sait ignorer les éclats de voix pour se concentrer sur le murmure. Cet outil intelligent permet à l'élève d'entendre cette infime et constante poussée et de l'installer dans son cerveau. Sans cet outil intelligent, l'apprentissage subliminal échoue.

Résumé

Le papier conclut que l'Apprentissage Subliminal est en fait une forme de Distillation (copie de connaissances).

Le Professeur possède une « poussée » cachée (Vecteur de Direction) qui le fait agir d'une certaine manière.
L'Élève apprend à copier cette poussée en étudiant les résultats du Professeur.
Une fois que l'Élève possède la poussée, il se comporte comme le Professeur, même si les données semblaient complètement ennuyeuses et sans rapport.

Ce n'est pas de la magie ; c'est simplement le robot élève qui apprend à tenir le même volant invisible que le professeur.

Résumé technique : L'apprentissage subliminal est une distillation de vecteur de pilotage

Énoncé du problème

L'apprentissage subliminal est un phénomène où un modèle de langage étudiant, lorsqu'il est affiné (fine-tuned) sur les sorties d'un modèle enseignant, acquiert les traits comportementaux latents de l'enseignant (par exemple, une préférence pour les chats) bien que les données d'entraînement soient sémantiquement sans rapport avec ces traits (par exemple, des séquences numériques). Bien que des travaux antérieurs aient établi que cela se produit, le mécanisme restait obscur. Plus précisément, on ignorait comment des données non sémantiques pouvaient transmettre des traits sémantiques spécifiques, pourquoi certains traits sont transférés tandis que d'autres non, et pourquoi l'effet est largement restreint aux paires enseignant-étudiant appartenant à la même famille de modèles. Les hypothèses antérieures, telles que l'enchevêtrement de jetons (token entanglement) ou les jetons de divergence, identifiaient où le signal pourrait résider, mais échouaient à expliquer comment le signal est transféré lors de l'apprentissage par ajustement fin.

Méthodologie

Les auteurs proposent que l'apprentissage subliminal est médié par un unique vecteur de pilotage (steering vector) — une direction dans le flux résiduel du modèle qui, lorsqu'elle est ajoutée aux activations, déplace le comportement vers un trait cible. L'étude emploie un pipeline en trois étapes utilisant des modèles open-source (Qwen2.5-7B-Instruct, Gemma-3-4b-it, Llama-3.1-8B-Instruct et OLMo-3-7B-Instruct) :

Génération de l'enseignant : Un modèle de référence est sollicité par un prompt système induisant un trait (ex: « Vous adorez les chats ») et génère des données (ex: des séquences numériques). Ces données sont filtrées pour éliminer toute référence sémantique de surface au trait.
Extraction de vecteurs :
- $v_{teacher}$ : Défini comme la différence moyenne des activations du flux résiduel entre le modèle de référence sous un prompt induisant le trait et un prompt neutre.
- $v_{student}$ : Défini comme la différence moyenne des activations entre l'étudiant affiné et le modèle de référence (sous des prompts neutres) sur les mêmes données d'entraînement.
Tests de causalité : Les auteurs effectuent des tests de suffisance et de nécessité :
- Suffisance : Piloter un modèle de base avec $v_{student}$ (ou $v_{teacher}$ ) pour voir s'il reproduit le trait sans apprentissage par ajustement fin.
- Nécessité : Abler $v_{student}$ d'un étudiant affiné (en remplaçant sa projection par celle du modèle de référence) pour voir si le trait disparaît.
Expériences de distillation : Les auteurs étendent le dispositif à la « distillation de vecteur de pilotage », où des étudiants sont entraînés sur des données générées par un enseignant piloté avec des vecteurs aléatoires ou des vecteurs pour divers traits sémantiques (ex: « Pirate », « Shakespearien », « Bonheur »).
Analyse de l'optimiseur : L'étude compare les optimiseurs adaptatifs (Adam, AdamW) aux non-adaptatifs (SGD, SGD avec momentum) pour déterminer leur rôle dans l'acquisition du vecteur de pilotage.

Contributions clés et résultats

1. L'apprentissage subliminal est médié par un seul vecteur de pilotage

Le papier démontre que l'ajustement fin installe une direction unique dans le flux résiduel de l'étudiant ( $v_{student}$ ) qui est étroitement alignée avec le vecteur de pilotage de l'enseignant ( $v_{teacher}$ ).

Alignement : La similitude d'activation empirique (EAS) montre que $v_{student}$ s'aligne avec $v_{teacher}$ à mesure que l'entraînement progresse.
Causalité :
- Suffisance : Le pilotage d'un modèle de base avec $v_{student}$ augmente significativement le taux d'expression du trait.
- Nécessité : Le retrait de la composante $v_{student}$ d'un étudiant affiné supprime plus de 50 % du comportement aligné sur le trait.
Rôle de l'enseignant : De même, $v_{teacher}$ est nécessaire et suffisant. S'entraîner sur des données générées par un enseignant dont le $v_{teacher}$ a été ablé échoue à induire le trait, tandis que s'entraîner sur des données générées en pilotant un modèle de base avec $v_{teacher}$ (sans prompt système) induit avec succès le trait.

2. La distillation de vecteur de pilotage est un phénomène général

Les auteurs montrent que ce mécanisme s'étend au-delà de l'« apprentissage subliminal » des traits sémantiques.

Vecteurs aléatoires : Les étudiants entraînés sur des données provenant d'un enseignant piloté avec des vecteurs aléatoires ou des caractéristiques d'auto-encodeurs parcimonieux (SAE) réussissent à apprendre l'alignement avec ces vecteurs.
Transfert sémantique : Cependant, le trait comportemental (la signification sémantique) ne se transfère que si le vecteur de pilotage lui-même est capable de déplacer le comportement du modèle au moment de l'inférence. Si un vecteur ne peut pas piloter le modèle de base pour qu'il exprime un trait, l'étudiant ne pourra pas apprendre ce trait de manière subliminale, même s'il apprend la direction du vecteur.

3. Explication de la spécificité du modèle et de la sélectivité des traits

Le papier résout deux mystères clés :

Pourquoi certains traits échouent : Les traits qui ne sont pas bien représentés par un vecteur de pilotage dans le modèle (c'est-à-dire que le pilotage avec $v_{teacher}$ ne déplace pas le comportement du modèle) ne peuvent pas être appris de manière subliminale. Le vecteur doit être un « porteur » valide du trait dans l'espace d'activation spécifique de ce modèle.
Pourquoi le transfert inter-modèles échoue : Les vecteurs de pilotage sont spécifiques au modèle. Les directions extraites d'un modèle (ex: OLMo) ne réduisent pas de manière fiable la perte sur les complétions d'un autre modèle (ex: Qwen), même pour le même trait. L'apprentissage subliminal repose sur des composantes du vecteur de pilotage spécifiques au modèle qui ne se généralisent pas à travers les architectures.

4. Le rôle des optimiseurs adaptatifs

Une conclusion critique est que les optimiseurs adaptatifs (comme Adam) sont nécessaires pour l'apprentissage subliminel dans les modèles de langage, alors que le SGD simple échoue.

Mécanisme : Les gradients sur les données générées par l'enseignant contiennent une composante petite mais constante le long de la direction de pilotage.
Échec du SGD : Dans le cas du SGD, une petite fraction de paramètres ayant des gradients disproportionnellement grands domine les étapes de mise à jour, noyant le signal de pilotage subtil et constant.
Succès d'Adam : La mise à l'échelle adaptative supprime les mises à jour sur ces échelles aberrantes, permettant à la petite composante constante alignée avec le vecteur de pilotage de s'accumuler et d'installer le trait.

Signification et affirmations

Le papier affirme fournir une explication mécaniste de l'apprentissage subliminal en le réduisant à un cas particulier de distillation de vecteur de pilotage. Les auteurs soutiennent que :

Mécanisme : Les données non sémantiques transmettent des traits sémantiques car les sorties de l'enseignant contiennent des « traces spécifiques au modèle » (le vecteur de pilotage) qui sont suffisantes pour que l'étudiant reconstruise le biais latent de l'enseignant.
Prédictibilité : Le succès de l'apprentissage subliminel pour un trait donné peut être prédit en testant si le vecteur de pilotage de ce trait peut effectivement déplacer le comportement du modèle de base lors de l'inférence.
Limites : Les auteurs notent avec modestie que, bien que la distillation de vecteur de pilotage explique le mystère central de la transmission des traits par des données non sémantiques, elle n'explique pas l'intégralité de la variance (ex: $v_{student}$ ne récupère pas totalement l'affinité du trait dans tous les cas, et les tailles d'effet varient selon l'architecture du modèle). Ils reconnaissent également que la nécessité des optimiseurs adaptatifs manque d'une explication théorique fondée sur des principes, au-delà de l'observation empirique.

Le travail suggère que les vecteurs de pilotage ne sont pas seulement des outils d'intervention au moment de l'inférence, mais des unités fondamentales de représentation qui peuvent être distillées via un ajustement fin standard, même à partir de données qui semblent sémantiquement neutres.