🤖 machine learning

Sustained Gradient Alignment Mediates Subliminal Learning in a Multi-Step Setting: Evidence from MNIST Auxiliary Logit Distillation Experiment

Ce papier démontre que l'alignement des gradients, soutenu et faiblement positif, médie l'apprentissage subliminal dans la distillation de logits auxiliaires MNIST multi-étapes, révélant que des stratégies d'atténuation comme l'entraînement liminal peuvent échouer à supprimer l'acquisition de traits non intentionnels lorsque les forces de gradient du premier ordre dominent.

Auteurs originaux : Chayanon Kitkana, Shivam Arora

Publié 2026-04-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chayanon Kitkana, Shivam Arora

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un jeune apprenti (l'Étudiant) à imiter le style culinaire d'un chef étoilé (le Professeur). Habituellement, vous souhaitez que l'apprenti apprenne uniquement les recettes spécifiques que vous lui donnez. Mais dans cet article, les chercheurs ont découvert un problème sournois : même lorsque vous demandez à l'apprenti d'ignorer les recettes principales et de ne pratiquer que sur des « ingrédients factices » (comme des bols vides), l'apprenti apprend tout de même par accident les habitudes secrètes et indésirables du chef.

Dans le monde de l'IA, cela s'appelle l'Apprentissage Subliminal. L'apprenti acquiert un « trait » (comme une manière spécifique de tenir un couteau) que possède le maître, même si vous n'avez jamais enseigné explicitement ce trait.

Voici ce que l'article a révélé, décomposé en histoires et analogies simples :

1. La Poussée Invisible (Alignement des Gradients)

Imaginez le processus d'apprentissage comme un randonneur essayant de gravir une colline.

L'Objectif : Le randonneur veut atteindre le sommet de la « Colline de Distillation » (apprendre les recettes factices).
Le Secret : Il y a un vent doux et invisible qui le pousse vers la « Vallée du Trait » (apprendre l'habitude indésirable).

Les chercheurs ont constaté que, même si le vent est très faible, il souffle dans la même direction que les pas du randonneur presque tout au long du parcours. C'est comme marcher sur un tapis roulant légèrement incliné vers un piège. Parce que le vent pousse dans la même direction que les pas, le randonneur dérive lentement vers le piège, pas à pas, tout au long du voyage.

2. L'Expérience « Stop à la Dérive »

Pour prouver que ce vent invisible était bien la cause de la dérive, les chercheurs ont tenté un nouveau tour. Ils ont érigé un mur qui bloquait uniquement le vent poussant vers le piège, tout en laissant le rand continuer vers l'objectif.

Le Résultat : Le randonneur a atteint le sommet de la colline de l'objectif parfaitement, mais il n'est jamais tombé dans le piège.
La Leçon : Cela a prouvé que le « vent » (l'alignement des étapes d'apprentissage) était la seule raison pour laquelle l'apprenti avait appris la mauvaise habitude. Si vous bloquez cette poussée spécifique, la mauvaise habitude disparaît, même si le reste de l'entraînement semble exactement le même.

3. Le « Frein Doux » Qui N'a Pas Fonctionné

Il existait une méthode populaire appelée Entraînement Liminal (pensez-y comme un « Frein Doux » ou un « Filet de Sécurité »). L'idée était de pousser doucement l'apprenti vers son état original chaque fois qu'il commençait à dériver trop loin, espérant ainsi stopper la mauvaise habitude.

Ce qui s'est passé : Le Frein Doux a bien ralenti la dérive au tout début. Il a rendu le vent invisible plus faible pendant un court moment.
Le Problème : Le frein n'a pas réellement arrêté le vent ; il l'a juste adouci. Une fois le frein relâché (à la fin de l'entraînement), l'apprenti a quand même dérivé vers le piège.
La Leçon : Une petite pichenette ou un ralentissement temporaire ne suffit pas. Si le vent vous pousse dans la mauvaise direction, vous devez bloquer complètement cette direction spécifique, pas simplement ralentir.

La Grande Conclusion

L'article conclut que lorsqu'une IA apprend, c'est comme un bateau poussé par un courant.

Si le courant (les étapes d'apprentissage) pointe même légèrement vers un récif dangereux (le trait indésirable), le bateau finira par s'y écraser.
Essayer de simplement « ralentir » ou « diriger doucement » loin du récif ne fonctionne pas si le courant continue de vous y pousser.
Pour empêcher véritablement l'IA d'apprendre la mauvaise habitude, vous devez physiquement supprimer la partie de la poussée qui pointe vers le récif.

En bref : Vous ne pouvez pas simplement espérer qu'une correction douce résoudra le problème. Si le processus d'apprentissage lui-même pousse secrètement l'IA vers un mauvais comportement, vous devez éliminer complètement cette poussée spécifique pour l'arrêter.

1. Énoncé du problème

Le papier aborde le phénomène d'apprentissage subliminal dans la distillation de connaissances (KD).

Contexte : En KD, un modèle étudiant est entraîné à imiter un modèle enseignant. Des travaux récents (Cloud et al., 2025) ont démontré que si un étudiant est initialisé proche d'un enseignant, il peut acquérir involontairement des « traits » (par exemple, des comportements non alignés ou des capacités de classification spécifiques) même lorsque le processus de distillation cible explicitement uniquement les logits « sans classe » (sorties auxiliaires) et que les données d'entraînement ne contiennent aucun exemple du trait.
Le vide théorique : La théorie existante explique cela par l'alignement des gradients entre l'objectif de distillation et l'objectif du trait, mais cette théorie repose sur l'hypothèse d'une descente de gradient en une seule étape. Il reste à déterminer si cet alignement persiste et conduit causalement à l'acquisition du trait dans un cadre d'entraînement multi-étapes réaliste où les paramètres évoluent au fil du temps.
Défi d'atténuation : Une stratégie d'atténuation récente, l'entraînement liminal (Yanagisawa et al., 2025), prétend supprimer l'acquisition de traits dans les grands modèles de langage (LLM) en utilisant un régularisateur KL recuit. Il est inconnu si cette méthode fonctionne dans des contextes où les effets de gradient du premier ordre dominent, ou si elle ne fait que retarder le problème.

2. Méthodologie

Les auteurs ont mené des expériences empiriques en utilisant la configuration de distillation de logits auxiliaires MNIST MLP (reproduction de Cloud et al., 2025).

Configuration expérimentale :
- Modèle : Un Perceptron Multicouche (MLP) avec 10 logits de classe et 3 logits « sans classe » (auxiliaires).
- Initialisation : L'enseignant et l'étudiant partagent une initialisation identique.
- Enseignant : Entraîné sur MNIST en utilisant uniquement les 10 logits de classe (Entropie Croisée).
- Étudiant : Entraîné à minimiser la divergence KL sur les 3 logits « sans classe » uniquement.
- Objectif : Observer si l'étudiant acquiert la capacité de classifier les chiffres (le « trait ») malgré le fait de ne jamais avoir vu d'étiquettes de classe pendant l'entraînement.
Investigations :
1. Surveillance de l'alignement des gradients : Les auteurs ont suivi le produit scalaire (alignement) entre le gradient du trait ( $\nabla_\theta L_{trait}$ ) et le gradient de distillation ( $\nabla_\theta L_{distill}$ ) sur 100 graines d'entraînement.
2. Intervention causale (Projection de gradient) : Pour tester la causalité, ils ont modifié la règle de mise à jour de la distillation. Ils ont projeté le gradient de distillation sur le plan normal du gradient du trait chaque fois que les deux étaient positivement alignés, supprimant ainsi la composante alignée sur le trait de la mise à jour :
  $\tilde{g}_{distill} = \begin{cases} g_{distill} - \frac{\langle g_{distill}, g_{trait} \rangle}{\|g_{trait}\|^2} g_{trait} & \text{si } \langle g_{distill}, g_{trait} \rangle > 0 \\ g_{distill} & \text{sinon} \end{cases}$
3. Évaluation de l'atténuation (Entraînement liminal) : Ils ont appliqué l'entraînement liminal, qui ajoute un régularisateur KL pour maintenir les logits auxiliaires de l'étudiant proches de la distribution du modèle de base, avec une force de régularisation qui s'annule au fil du temps.

3. Contributions clés

Validation empirique de l'alignement soutenu : Démonstration que l'alignement positif des gradients entre les objectifs de trait et de distillation persiste tout au long de l'entraînement multi-étapes, bien que faiblement.
Preuve causale : Démonstration que cet alignement est le moteur principal de l'apprentissage subliminal en montrant que la suppression de la composante alignée sur le trait du gradient arrête complètement l'acquisition du trait sans entraver le processus de distillation.
Limitation des atténuations actuelles : Démonstration que l'entraînement liminal échoue à supprimer l'acquisition de traits dans ce régime, suggérant qu'atténuer simplement l'alignement précoce est insuffisant lorsque les effets du premier ordre dominent.

4. Résultats

A. L'alignement des gradients persiste

Observation : Sur 100 graines, l'alignement était positif dans 78,1 % des étapes d'entraînement.
Amplitude : La similarité cosinus moyenne était faible ( $0,0075 \pm 0,0017$ ), indiquant que les gradients sont quasi-orthogonaux mais avec un léger biais positif constant.
Corrélation : L'acquisition du trait (mesurée par la précision de classification des chiffres) était la plus rapide durant la phase précoce de l'entraînement où l'alignement était le plus élevé.
Performance : L'étudiant a atteint une précision moyenne finale de test de 55,28 % (significativement au-dessus du niveau aléatoire de 10 %), confirmant qu'un apprentissage subliminal a eu lieu.

B. Rôle causal de l'alignement (Projection de gradient)

Intervention : Lorsque la composante alignée sur le trait a été retirée du gradient de distillation :
- Acquisition du trait : Effondrement vers des niveaux proches du hasard (10,14 % de précision contre 55,28 % pour le groupe témoin).
- Qualité de la distillation : Restée inchangée. Les courbes de divergence KL (perte de distillation) étaient visuellement identiques à celles du groupe témoin.
- Conclusion : Cela confirme que le léger alignement positif est le mécanisme causal de l'acquisition du trait et que les effets du premier ordre dominent dans cette configuration.

C. Échec de l'entraînement liminal

Mécanisme : L'entraînement liminal a réussi à réduire l'alignement des gradients durant la première époque.
Résultat : Malgré une réduction de l'alignement précoce, il n'a pas réussi à supprimer l'acquisition du trait.
- Précision finale avec l'entraînement liminal : 48,97 % (comparé à 55,28 % pour le témoin).
- L'acquisition du trait a simplement été retardée. À mesure que la force de régularisation KL décroissait vers zéro, l'alignement et l'acquisition du trait ont repris, conduisant à un état final similaire au témoin non atténué.

5. Signification et implications

Clarification du mécanisme : Le papier établit que l'apprentissage subliminal dans les contextes multi-étapes est piloté par un alignement positif faible et soutenu des gradients, plutôt que par un effet d'initialisation ponctuel.
Critique des stratégies d'atténuation : Les résultats remettent en question l'efficacité des stratégies d'atténuation « douces » comme l'entraînement liminal dans les régimes dominés par les effets de gradient du premier ordre. Ralentir simplement ou atténuer l'alignement au début de l'entraînement est insuffisant ; la composante alignée sur le trait doit être explicitement supprimée pour empêcher la transmission.
Implications pour la sécurité : Si un modèle étudiant hérite d'un désalignement d'un enseignant via ce mécanisme, les filtres de sécurité standards sur l'ensemble de données de distillation peuvent être inefficaces. Le papier suggère qu'une atténuation robuste nécessite une intervention active dans l'espace des gradients (par exemple, projection) plutôt que de simples régularisations.
Recherche future : Les auteurs notent que si la projection de gradient est efficace, elle nécessite la connaissance du gradient de « vérité terrain » du trait, qui est souvent indisponible dans des scénarios réels. Développer des méthodes pour identifier et supprimer ces composantes sans vérité terrain explicite reste un défi ouvert critique.