💬 NLP

Stuck on "A": Diagnosing and Repairing Interface Injury in Attention-to-KDA Linearization of a 0.6B Language Model

Ce document diagnostique et répare une « lésion d'interface » spécifique dans un modèle de langage de 0,6B converti en attention linéaire, où le modèle prédit aveuglément les étiquettes d'options (par exemple, « A ») plutôt que le contenu, en utilisant un diagnostic basé sur la permutation et une distillation KL ciblée lors de l'étape de complétion pour restaurer la précision des choix multiples tout en maintenant l'efficacité sur du matériel grand public.

Auteurs originaux : Ronglong Bao

Publié 2026-08-05

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ronglong Bao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à lire un livre à un petit robot brillant. Dans le monde de l'intelligence artificielle, ces robots sont appelés « modèles de langage ». Ils fonctionnent en regardant les mots un par un et en devinant ce qui vient ensuite, un peu comme un jeu de « texte à trous » ultra-rapide. Pour ce faire, ils gardent généralement une liste mentale géante de tout ce qu'ils ont lu jusqu'à présent, ce qui occupe beaucoup de mémoire. Mais et si nous pouvions leur apprendre à se souvenir des choses d'une manière beaucoup plus petite et efficace, comme une boucle de mémoire à court terme ? C'est la promesse de l'« attention linéaire », un nouveau tour de force qui permet à ces robots de fonctionner sur des ordinateurs plus petits, comme ceux de votre ordinateur portable ou de votre téléphone, au lieu de nécessiter des supercalculateurs massifs et coûteux.

Les scientifiques essaient de prendre de gros robots puissants qui savent déjà beaucoup de choses et de pratiquer une « chirurgie » sur eux pour qu'ils utilisent ce nouveau système de mémoire efficace. La grande question est : lorsque nous remplaçons leur ancienne mémoire par la nouvelle version efficace, oublient-ils comment réfléchir, ou sont-ils simplement confus quant à la manière de vous montrer ce qu'ils savent ? Ce document plonge précisément dans ce mystère. Il demande : si nous réparons la mémoire du robot, connaît-il toujours les réponses, ou la chirurgie a-t-elle brisé la partie de son cerveau qui connecte ses connaissances aux mots qu'il prononce ?

La chirurgie qui a cassé la boîte vocale

Le chercheur a pris un modèle d'IA minuscule de 0,6 milliard de paramètres (considérez cela comme un étudiant très intelligent, mais petit) et a pratiqué une intervention chirurgicale majeure. Il a remplacé 21 de ses 28 couches cérébrales par un nouveau système d'attention linéaire efficace appelé KDA. Il a fait cela sur une seule carte graphique standard, le type de carte qu'un joueur pourrait posséder, plutôt que sur un supercalculateur.

Après la chirurgie, ils ont vérifié l'état de santé du robot à l'aide de tests médicaux standards. Les tests disaient que le robot allait très bien ! Sa « perplexité » (une mesure de sa surprise face au mot suivant) était presque aussi bonne que celle de l'original. Il semblait comprendre parfaitement le flux du langage. Mais ensuite, ils lui ont posé une question simple à choix multiples : « Quelle est la capitale de la France ? A) Londres, B) Paris, C) Berlin, D) Rome. »

Le robot a échoué. Miserablement. Il n'a trouvé la bonne réponse qu'environ 25 % du temps, ce qui est le même score que si vous aviez simplement répondu au hasard. Les tests standards l'avaient trompé. Le robot connaissait les faits au plus profond de lui-même, mais il avait perdu la capacité de pointer la bonne réponse.

L'addiction au « A » : Une histoire de détective diagnostique

Pour comprendre ce qui n'allait pas, l'équipe a inventé un tour de détective ingénieux appelé le « diagnostic par quatre permutations ». Imaginez que vous avez une question à choix multiples avec quatre options : A, B, C et D. Habituellement, la réponse est cachée derrière l'une de ces lettres.

Le chercheur a pris 161 questions et a mélangé les lettres. Il a posé la même question quatre fois, mais à chaque fois, il a fait pivoter les options :

Original : A=Londres, B=Paris...
Pivoté : A=Paris, B=Berlin...
Pivoté à nouveau : A=Berlin, B=Rome...
Et encore une fois.

Si le robot réfléchissait réellement, il devrait suivre le contenu (le mot « Paris ») et choisir la bonne lettre, peu importe où elle est placée. S'il avait tout oublié, il choisirait au hasard à chaque fois.

Mais le robot n'a fait ni l'un ni l'autre. Il a fait quelque chose de bizarre : il est devenu obsédé par la lettre « A ».

Il a choisi l'option « A » 81 % du temps, peu importe si « A » était la bonne réponse ou non.
Sur 106 questions sur 161, il a choisi exactement la même lettre (généralement « A ») même lorsque les options étaient complètement mélangées.

Le robot n'était pas stupide ; il était juste « coincé ». Il avait perdu l'interface — le pont mental qui connecte ses connaissances aux étiquettes spécifiques (A, B, C, D) dont il a besoin pour répondre. Il savait que la réponse était Paris, mais il ne parvenait pas à comprendre quelle lettre presser pour dire « Paris ». C'était comme une personne qui connaît la réponse à une énigme mais qui ne peut parler que dans un code spécifique et cassé qui commence toujours par le même mot.

La solution : Réapprendre le format

L'équipe a réalisé que le robot avait été entraîné sur de longs paragraphes de texte, mais jamais sur le format spécifique « Question -> Options -> Réponse ». Il ne savait pas comment jouer au jeu du choix multiple.

Pour corriger cela, ils ont lancé une session d'entraînement courte et ciblée. Ils ne lui ont pas appris de nouveaux faits ; ils lui ont simplement montré des milliers d'exemples du format des questions à choix multiples, en lui apprenant spécifiquement à regarder les options et à choisir la bonne. Ils ont utilisé une technique appelée « completion-only KL », ce qui est une façon sophistiquée de dire : « Ne t'occupe pas de la partie question, apprends juste à terminer la réponse correctement. »

Le résultat fut une récupération spectaculaire :

Le score du robot sur un test standard (C-Eval) est passé de 28,8 % à 41,3 %.
L'« addiction au A » a été réduite de moitié (passant de 81 % à 58 %).
Le robot a commencé à choisir l'option correcte plus souvent que les mauvaises.

Le robot ne se contentait plus de deviner ; il avait réappris comment mapper ses connaissances aux étiquettes de réponse.

La touche finale : Lui donner une personnalité

Une fois que le robot a pu répondre correctement aux questions, l'équipe a voulu lui donner une personnalité. Ils voulaient qu'il agisse comme un assistant numérique spécifique nommé « Qingyi ». Ils ont fait cela en faisant pratiquer au robot la discussion et la réponse aux questions dans le style de ce personnage.

Étonnamment, cela n'a pas cassé le robot. Généralement, enseigner une nouvelle personnalité à un robot fait qu'il oublie ses anciennes compétences (un problème appelé « oubli catastrophique »). Mais comme le cerveau du robot était déjà réparé et stable, il a appris la nouvelle personnalité sans perdre sa capacité à répondre aux questions. Il a obtenu un score de 41,83 %, ce qui est très proche de son score post-réparation, prouvant que vous pouvez donner une personnalité à un robot sans casser son cerveau.

Ce que nous avons appris (et ce que nous n'avons pas appris)

Le document conclut par quelques leçons importantes pour quiconque tente de construire ces modèles d'IA efficaces :

Ne faites pas confiance aux tests standards : Ce n'est pas parce qu'un robot semble en bonne santé sur le papier (faible perplexité) qu'il peut réellement accomplir sa tâche. Vous devez tester s'il peut suivre des instructions, et pas seulement prédire des mots.
Le problème du « A » est réel : Lorsque vous changez la façon dont une IA réfléchit, elle peut rester bloquée sur des habitudes simples comme toujours choisir la première option. C'est une « blessure d'interface », et non une perte de connaissance.
Les petits ordinateurs peuvent faire de grandes choses : Vous pouvez réaliser ce genre de chirurgie complexe sur un seul GPU grand public, mais vous devez être prudent. Le chercheur a découvert un bug caché où les calculs de l'ordinateur (utilisant un format appelé bf16) absorbaient silencieusement les mises à jour infimes, faisant croire au robot qu'il apprenait alors qu'il était en fait figé. Ils ont dû passer à un autre format mathématique (FP32) pour corriger cela.

Le chercheur a publié tout son code, ses poids et le « rapport d'accident » de tout ce qui s'est mal passé, afin que d'autres puissent apprendre de ses erreurs. Il n'a pas tout résolu — il existe toujours un écart entre leur petit robot et le grand modèle enseignant — mais il a prouvé qu'avec le bon diagnostic et un peu d'entraînement sur le format, on peut réparer les parties brisées du cerveau d'une IA.

Résumé Technique : Diagnostic et Réparation de la Lésion d'Interface dans la Linéarisation de l'Attention-KDA

Énoncé du Problème
L'article étudie la nature « perte de données » (lossy) de la conversion de modèles de langage pré-entraînés à pleine attention en architectures d'attention linéaire, ciblant spécifiquement le mécanisme Kimi Delta Attention (KDA). Bien que l'attention linéaire offre des avantages structurels pour l'inférence de contextes longs et le déploiement sur périphériques (état récurrent $O(1)$ contre un cache KV $O(n)$ ), le processus de conversion échoue souvent à préserver les performances sur les tâches, malgré des métriques standards suggérant un succès.

L'auteur se concentre sur la conversion de Qwen3-0.6B-Base (28 couches) en une architecture hybride où 21 couches sont remplacées par KDA et 7 couches conservent l'Attention de Requêtes Groupées (GQA). Cette opération est exécutée sous des contraintes strictes de matériel grand public : un seul GPU de 32 Go et un budget d'entraînement de quelques dizaines de millions de tokens (plutôt que des milliards).

La question diagnostique centrale est : Qu'est-ce que la conversion brise exactement ? Les évaluations standards révèlent un paradoxe : après l'alignement couche par couche et la distillation KL de bout en bout, le modèle étudiant atteint une perplexité proche du professeur (écart de Cross-Entropy de +0,128 nats) mais s'effondre en précision de choix multiples (stagnant près du hasard à environ 25–29 % sur C-Eval, contre 50,6 % pour le professeur).

Méthodologie
L'auteur propose un pipeline multi-étapes pour diagnostiquer et réparer cet écart de performance :

Architecture Hybride et Chirurgie :
- Configuration (Layout) : Les couches 3, 7, 11, 15, 19, 23 et 27 conservent la GQA native ; les 21 couches restantes sont converties en KDA (16 têtes, dimension de tête 128).
- Mécanique KDA : Implémente une règle delta à porte par canal avec une porte d'oubli ( $\alpha_t$ ) et une porte d'écriture ( $\beta_t$ ).
- Initialisation : Une étude d'ablation critique a identifié que les simples transplantations de projections échouaient. La configuration réussie (g6) utilise des échelles de décroissance et des biais spécifiques pour stabiliser l'état récurrent.
Étapes d'Entraînement :
- Étape 2 (Alignement par couche) : Aligne les états cachés KDA avec les états cachés du professeur gelé via MSE. Cela a réduit la Cross-Entropy (CE) de 9,48 à 4,13 mais a laissé la précision C-Eval à 25,5 %.
- Étape 3a (Distillation KL de bout en bout) : Entraîné sur du texte de pré-entraînement en utilisant la divergence KL directe entre les distributions du professeur et de l'étudiant. Cela a réduit l'écart de CE à +0,128 nats mais n'a élevé la précision C-Eval qu'à 28,8 %.
- Étape 3b (Réparation ciblée sur le format) : Une étape de KL de 1 000 étapes de type « complétion uniquement » utilisant des questions à choix multiples (QCM) vérifiées par le professeur, de la poésie et des QA de traduction. Crucialement, cette étape s'est concentrée sur le format de la réponse plutôt que sur la simple génération de texte général.
Le Diagnostic par Quatre Permutations :
Pour dépasser la perplexité, l'auteur a conçu un protocole de diagnostic utilisant 161 QCM propres (aucun chevauchement avec les benchmarks). Chaque question est évaluée sous quatre rotations cycliques des options de réponse (A, B, C, D).
- Métrique : La « collosité » (stickiness) mesure la fréquence à laquelle le modèle prédit la même étiquette (ex: « A ») quel que soit le contenu de la position de l'option.
- Résultat : Le modèle de l'étape 3a présentait une grave lésion d'interface : il prédisait « A » 81 % du temps et maintenait la même étiquette à travers les quatre rotations pour 106/161 questions. Le modèle avait perdu la capacité de mapper la connaissance vers les étiquettes d'options, ignorant de fait le contenu des choix.
Alignement de Persona :
Après la réparation, le modèle a subi un Fine-Tuning Supervisé (SFT) avec un persona injecté (« Qingyi ») et une ronde de l'Optimisation de Préférence Directe (DPO) on-policy pour s'assurer que la conversion n'a pas dégradé l'identité du modèle ou ses capacités conversationnelles.

Résultats Clés

Le « Mensonge de la Perplexité » : L'étude confirme que l'alignement des états cachés et une faible divergence KL ne garantissent pas la capacité de tâche. Le modèle peut imiter les statistiques de distribution du professeur tout en échouant à utiliser cette connaissance pour des tâches spécifiques.
Diagnostic de la Lésion d'Interface : Le test des quatre permutations a révélé que le modèle ne souffrait pas d'une perte de connaissance uniforme (hasard pur) mais d'une collosité de l'étiquette. Il ne parvenait pas à suivre le contenu de la réponse, revenant par défaut à une étiquette d'option spécifique.
Efficacité de la Réparation : La réparation de l'étape 3b ciblée sur le format a :
- Augmenté la précision C-Eval de 28,83 % à 41,31 %.
- Réduit la part de prédiction de « A » de 81,06 % à 58,5 %.
- Divisé par deux la métrique « même étiquette sur 4 rotations » (106/161 $\to$ 47/161).
- Transformé la marge de l'option correcte d'un état négatif (−0,117 nats) à un état positif (+0,233 nats).
- Compromis : Cette réparation s'est faite au prix d'un coût mesurable sur l'ajustement de la distribution générale (la CE/KL valide a légèrement augmenté), suggérant que le modèle s'est spécialisé dans le format QCM.
Performance Finale : Après l'alignement du persona, le modèle final a atteint 41,83 % sur C-Eval, restant dans la bande de bruit de l'étape de réparation pré-SFT, indiquant l'absence d'oubli catastrophique.

Leçons d'Ingénierie et Modes de Défaillance
Le papier documente plusieurs pièges critiques d'ingénierie rencontrés durant le processus :

Échec du mode maître FP32 : L'utilisation du bf16 pour les paramètres et les moments de l'optimiseur Adam a provoqué l'absorption silencieuse de petites mises à jour de poids (mises à jour sub-ULP), entraînant des poids gelés malgré des gradients sains. La solution fut l'utilisation de poids maîtres en FP32.
Parité du Cache : Les nouvelles couches KDA ignoraient initialement les mises à jour incrémentielles du cache, causant un effondrement de la génération en données incohérentes dès le second token. Un correctif spécifique de l'implémentation du cache a résolu cela sans nécessiter de réentraînement.
Faux Transplantations : Les premières tentatives de transplantation des projections Q/K/V/O du professeur ont échoué fonctionnellement ; l'approche réussie a consisté à abandonner totalement la transplantation de projection.

Signification et Revendications
L'article revendique quatre contributions primaires :

Outil de Diagnostic : Un protocole de quatre permutations qui sépare la « lésion d'interface » (incapacité à mapper la connaissance vers le format de sortie) de la « perte de connaissance » (oubli uniforme), applicable à toute pipeline de linéarisation ou de compression.
Recette Reproductible : Une recette complète, sous contrainte budgétaire, pour convertir Qwen3 en un hybride KDA, documentant les modes de défaillance spécifiques (ablation de porte, bugs de cache, absorption de mise à jour) souvent omis dans les publications publiques.
Survie du Persona : La preuve que l'alignement de persona (SFT + DPO) peut survivre à la conversion d'architecture « presque gratuitement », sans nécessiter de réentraînement massif ni causer d'oubli catastrophique.
Sortie Ouverte : Publication complète du code, des poids, des recettes et de la piste d'audit des échecs.

L'auteur conclut que si la conversion d'un modèle de 0,6B en un hybride KDA avec un budget grand public est réalisable, les piles de métriques standards (perplexité, KL, MSE d'état caché) rapportent systématiquement de manière erronée l'ampleur des dégâts. La barrière principale au succès n'est pas nécessairement la perte de connaissance interne, mais la dégradation de l'interface qui mappe cette connaissance vers des formats de sortie spécifiques (comme les étiquettes de choix multiples), ce qui peut être réparé par une supervision de format ciblée.

La chirurgie qui a cassé la boîte vocale

L'addiction au « A » : Une histoire de détective diagnostique

La solution : Réapprendre le format

La touche finale : Lui donner une personnalité

Ce que nous avons appris (et ce que nous n'avons pas appris)

Articles similaires