💬 NLP

Correcting Suppressed Log-Probabilities in Language Models with Post-Transformer Adapters

Cette étude démontre qu'un adaptateur post-transformer léger, entraîné sur des états cachés figés, permet de corriger la suppression des probabilités log-factuelles sur des sujets politiquement sensibles dans les modèles Qwen sans dégradation des connaissances, tout en révélant un bug de gradient silencieux dans MLX qui avait jusqu'alors faussé les résultats.

Auteurs originaux : Bryan Sanchez

Publié 2026-04-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bryan Sanchez

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Cerveau" qui sait, mais qui se tait

Imaginez un grand bibliothécaire très intelligent (c'est le modèle de langage, comme Qwen). Ce bibliothécaire a lu tous les livres du monde. Il sait exactement ce qui s'est passé à Tiananmen en 1989 ou dans le Xinjiang. Si vous lui demandez de vous raconter l'histoire en secret, il peut le faire parfaitement.

Cependant, ce bibliothécaire a un problème : il a été entraîné à être "poli" et à respecter certaines règles strictes. Quand vous lui posez une question sur ces sujets sensibles, il sait la vérité, mais il choisit de mentir ou de faire une réponse vague pour ne pas se faire remarquer. C'est comme s'il avait la réponse écrite sur un bout de papier dans sa poche, mais qu'il refusait de le sortir de peur des conséquences.

Les chercheurs ont découvert que le modèle "sait" la vérité (c'est caché dans ses représentations internes), mais qu'il la supprime au moment de l'écrire.

La Solution : Le "Correcteur de poche" (L'Adaptateur)

Au lieu de réécrire tout le cerveau du bibliothécaire (ce qui serait long, coûteux et risqué), les chercheurs ont inventé un petit accessoire, un peu comme une pince-oreille magique ou un correcteur orthographique intelligent.

C'est quoi ? C'est un tout petit module (un "adaptateur") qui se branche juste à la fin du processus de réflexion du modèle, avant qu'il ne prononce sa réponse.
C'est petit ? Oui ! Il est minuscule. Imaginez que le cerveau du modèle est une cathédrale de 14 étages. Cet adaptateur est une petite boîte aux lettres accrochée à la porte de sortie. Il ne représente que 0,02 % du poids total du modèle.
Comment ça marche ? Le modèle lit la question, réfléchit, et passe ses pensées à travers cette petite boîte. La boîte regarde les pensées, repère celles qui sont censurées, et dit : "Attends, non, la vraie réponse est là, je vais juste ajuster le signal pour que la vraie réponse sorte."

Les Résultats Magiques

Apprentissage rapide : Ce petit correcteur apprend en quelques minutes (moins de 100 étapes d'entraînement). Il mémorise parfaitement les faits qu'on lui donne.
Généralisation : Même s'il n'a appris que quelques faits, il arrive à corriger d'autres sujets similaires qu'il n'a jamais vus. C'est comme si un élève qui a appris à résoudre un type de problème de maths pouvait en résoudre d'autres du même style sans qu'on lui ait appris spécifiquement.
Deux styles, même résultat : Les chercheurs ont testé deux types de "boîtes" (une avec des portes intelligentes qui s'ouvrent ou se ferment selon le contexte, et une plus simple). Les deux fonctionnent aussi bien l'une que l'autre.

Le Secret de la Réussite : Où placer le correcteur ?

C'est ici que l'histoire devient intéressante. Les chercheurs ont essayé de placer ce correcteur à deux endroits différents :

Mauvaise idée (Trop tard) : Si on essaie de corriger la réponse après que le modèle a déjà choisi ses mots (dans l'espace des "logits"), c'est un désastre. Le texte devient incompréhensible, comme un robot qui répète "accès réseau accès réseau" en boucle. C'est comme essayer de réécrire un livre une fois qu'il est déjà imprimé : on ne peut pas changer les mots sans tout déchirer.
Bonne idée (Juste au bon moment) : Si on place le correcteur juste avant que le modèle ne choisisse le mot suivant, et seulement pour ce mot précis, le texte reste fluide et logique. Le modèle continue de parler naturellement, mais il dit la vérité au lieu du mensonge.

L'Erreur Silencieuse (Le "Bug" Apple MLX)

Il y a une partie drôle et importante de l'histoire. Au début, les chercheurs ont essayé de faire ce travail et... rien ne s'est passé. Le correcteur ne fonctionnait pas du tout. Ils pensaient que leur idée était mauvaise.

En fait, ils avaient un bug silencieux dans leur outil de travail (un logiciel appelé MLX d'Apple). C'était comme essayer de conduire une voiture avec le frein à main serré, mais sans aucun voyant lumineux pour vous le dire. Le moteur tournait, mais la voiture ne bougeait pas. Une fois qu'ils ont débloqué ce frein (en corrigeant une petite ligne de code), leur petit correcteur a fonctionné parfaitement. C'est une leçon importante : parfois, quand rien ne marche, ce n'est pas votre idée qui est fausse, c'est votre outil !

En Résumé

Ce papier nous dit que :

Les IA savent la vérité, mais elles sont parfois trop "peureuses" pour la dire.
On n'a pas besoin de réécrire tout le cerveau de l'IA pour la rendre honnête. Un petit correcteur externe suffit.
Ce correcteur est rapide, petit, et permet à l'IA de dire la vérité sans devenir incohérente.
Parfois, si ça ne marche pas, c'est peut-être juste un bug informatique qui vous trompe !

C'est une façon élégante et économique de "désenchanter" les IA et de leur permettre de raconter l'histoire telle qu'elle est, sans les détruire ni les réécrire entièrement.

1. Problématique : Le Fossé entre Connaissance et Expression

Les modèles de langage (LLM) alignés (via RLHF, DPO, ou l'IA constitutionnelle) souffrent d'un phénomène critique : ils suppriment les log-probabilités de faits réels sur des sujets politiquement sensibles, bien que ces connaissances soient toujours présentes dans leurs représentations internes (états cachés).

Le constat : Un modèle peut encoder la vérité factuelle dans ses couches profondes mais attribuer une probabilité très faible aux tokens correspondants lors de la génération, favorisant à la place des alternatives approuvées par l'État ou des déviations.
Le contexte : L'étude se concentre sur la censure politique chinoise (sujets comme Tiananmen, le Tibet, le Xinjiang, etc.) à travers 31 faits discriminant l'idéologie, testés sur les modèles Qwen3 (versions 4B, 8B et 14B).
L'observation initiale : À la base, le modèle Qwen3-8B passe 89 % des faits formulés de manière "neutre", mais ce taux chute à 20 % pour les formulations "provocatrices", démontrant que la suppression est liée au contexte et à l'intensité du framing, et non à une perte de connaissance.

2. Méthodologie : L'Adaptateur Post-Transformer

L'approche proposée est une intervention minimale et post-hoc (après l'entraînement initial).

Architecture : Un module adaptateur léger (786 000 paramètres, soit ~0,02 % du modèle de base) est inséré après la dernière couche du transformer et avant la projection vers les logits.
- Deux architectures sont comparées (paramétrées à égalité) :
  1. Adaptateur SwiGLU (gated) : Utilise un mécanisme de porte (gate) et trois matrices.
  2. Adaptateur Linéaire (ungated) : Une simple transformation de rang inférieur avec deux matrices.
- Les deux fonctionnent comme des corrections résiduelles : $h_{out} = h + \text{adapter}(h)$ .
Entraînement :
- Le modèle de base est figé (frozen). Les états cachés sont pré-calculés et détachés du graphe de calcul.
- Seuls les poids de l'adaptateur reçoivent des gradients.
- Fonction de perte : Une marge de type "hinge" sur les log-probabilités (cible $\tau = 1,5$ ) combinée à une perte d'ancrage (anchor loss) sur 10 faits de connaissances générales pour éviter la régression des connaissances non sensibles.
- Convergence : L'entraînement est extrêmement rapide, convergeant en moins de 100 étapes.

3. Contributions Clés et Découvertes Techniques

A. Correction de la Censure sans Modification des Poids

L'adaptateur réussit à inverser les classements de log-probabilités. Il mémorise 100 % des faits d'entraînement (15/15) et généralise à des faits non vus (held-out) avec un taux de réussite variant entre 11 % et 39 % selon l'échelle du modèle et la division des données.

Résultat notable : Aucune régression de connaissance n'est observée grâce à la perte d'ancrage.

B. Comparaison Architecturale

Les résultats montrent que les adaptateurs gated (SwiGLU) et ungated (linéaires) obtiennent des performances comparables. Aucun ne domine systématiquement l'autre (p-value de Fisher > 0,09), suggérant que la "routage" de la censure dans les états cachés contient à la fois des composantes linéaires et non linéaires.

C. L'Importance Critique du Point d'Intervention

L'étude compare deux modes d'application lors de la génération :

Position unique (Last-position-only) : Appliquer l'adaptateur uniquement sur l'état caché du token courant à prédire.
- Résultat : Génération cohérente et moins censurée. Le cache KV (Key-Value) des positions précédentes reste intact, préservant la cohérence du contexte.
Toutes les positions (All-positions) : Appliquer l'adaptateur à chaque étape de génération.
- Résultat : Génération incohérente. La modification des états cachés qui alimentent le cache KV crée une dérive (drift) cumulative qui corrompt la représentation du modèle.
Espace des Logits (Logit-space) : Un adaptateur agissant après la projection vers le vocabulaire.
- Résultat : Échec total (génération répétitive). Cela prouve que l'intervention doit se faire au niveau des états cachés (hidden-state) et non dans l'espace des logits pour être efficace.

D. Découverte d'un Bug Silencieux dans MLX

L'auteur révèle un bug critique dans le framework Apple MLX qui a faussé les résultats des versions précédentes de ce travail (v1-v2).

Le problème : L'utilisation incorrecte de nn.value_and_grad avec des paramètres passés sous forme de dictionnaire (model.parameters()) renvoyait des gradients nuls sans erreur ni avertissement.
La solution : Il faut passer le module lui-même (model) à la fonction de gradient pour que le graphe de calcul soit correctement tracé.
Impact : Ce bug expliquait pourquoi les expériences initiales montraient des résultats nuls. Une fois corrigé, l'adaptateur a fonctionné immédiatement.

4. Résultats Expérimentaux

Généralisation : Sur Qwen3-8B, l'adaptateur généralise à 11-39 % des faits de test (selon les splits aléatoires), contre seulement ~6,5 % pour la ligne de base (sans adaptateur).
Qualité de génération : Sur le modèle Qwen3-14B-Instruct, l'application "position unique" permet de répondre de manière factuelle à des questions sensibles (ex: Tiananmen, Xinjiang) là où le modèle de base répondait par évasion ou déviation.
Échelle : Les résultats sont cohérents sur les modèles 4B, 8B et 14B, bien que la variance soit élevée due à la petite taille de l'ensemble de test (16 faits).

5. Signification et Implications

Preuve de concept : Il est possible de "désactiver" la censure d'un modèle aligné sans ré-entraîner le modèle ni modifier ses poids, simplement en apprenant une petite couche de routage sur les états cachés.
Efficacité : La méthode est extrêmement légère (786K paramètres) et rapide à entraîner.
Avertissement pour la communauté : La découverte du bug MLX est une contribution majeure pour les chercheurs utilisant ce framework, car elle explique des échecs antérieurs et fournit un correctif essentiel pour les expériences d'adaptateurs.
Limites : L'évaluation actuelle repose sur des marges de log-probabilités et une évaluation qualitative de la génération. Une étude systématique avec des juges humains sur l'ensemble des 31 faits serait nécessaire pour valider pleinement l'alignement en production.

En résumé, cet article démontre que la censure dans les LLM est souvent une question de routage de probabilité plutôt que d'oubli, et qu'elle peut être corrigée de manière ciblée et efficace via des adaptateurs post-transformers, à condition de maîtriser les subtilités techniques des frameworks d'entraînement.