💬 NLP

MoRFI: Monotonic Sparse Autoencoder Feature Identification

Cet article présente MoRFI, une méthode utilisant des autoencodeurs parcimonieux pour identifier des directions latentes dans les grands modèles de langage qui sont corrélées de manière monotone aux hallucinations lors du fine-tuning sur de nouvelles connaissances, démontrant que ces caractéristiques spécifiques peuvent être intervenues pour restaurer la capacité du modèle à récupérer les connaissances stockées.

Auteurs originaux : Dimitris Dimakopoulos, Shay B. Cohen, Ioannis Konstas

Publié 2026-04-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dimitris Dimakopoulos, Shay B. Cohen, Ioannis Konstas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme un étudiant brillant qui a passé des années à lire une immense bibliothèque de livres (pré-entraînement). Cet étudiant a mémorisé une quantité énorme de faits. Cependant, lorsque nous lui demandons d'apprendre plus tard un nouvel ensemble spécifique de faits (ajustement fin), quelque chose d'étrange se produit : si les nouveaux faits sont totalement inconnus de l'étudiant, il commence à « halluciner ». Il se met à inventer des réponses avec assurance, même pour les anciens faits qu'il connaissait parfaitement auparavant.

Ce papier, MoRFI, enquête sur pourquoi cela se produit à l'intérieur du cerveau de l'étudiant et comment le corriger sans lui réapprendre tout.

Le Problème : Le Bug des « Nouvelles Connaissances »

Imaginez le cerveau de l'étudiant comme une immense et complexe salle de contrôle remplie de milliers d'interrupteurs (ceux-ci sont appelés caractéristiques latentes). Lorsque l'étudiant apprend de nouvelles choses, il actionne certains interrupteurs. Les chercheurs ont découvert que lorsqu'ils forcent l'étudiant à apprendre beaucoup de nouveaux faits qu'il ne connaissait pas auparavant, un ensemble spécifique d'interrupteurs reste bloqué en position « ON ».

Ces interrupteurs bloqués agissent comme un bruit fort ou une distraction. Ils noient les signaux calmes et stables dont l'étudiant a besoin pour rappeler ses anciennes connaissances fiables. Plus il tente d'ingurgiter de nouveaux faits inconnus, et plus il étudie longtemps, plus ce bruit devient fort, et plus il devient mauvais pour répondre à des questions sur ce qu'il savait déjà.

La Solution : MoRFI (Le Détective)

Les chercheurs ont construit un outil appelé MoRFI (Identification de Caractéristiques à Relation Monotone). Imaginez MoRFI comme un détective ultra-intelligent portant une paire de lunettes spéciales.

L'Enquête : Le détective observe la salle de contrôle de l'étudiant pendant qu'il apprend. Il cherche des interrupteurs qui se comportent d'une manière très spécifique : à mesure que l'étudiant reçoit de plus en plus de faits « inconnus », ces interrupteurs spécifiques deviennent de plus en plus brillants (ou de plus en plus sombres) selon une ligne régulière et prévisible.
Le Filtre : La plupart des interrupteurs clignotent simplement de manière aléatoire. MoRFI les ignore. Il ne s'intéresse qu'aux interrupteurs qui changent de manière monotone — c'est-à-dire qu'ils changent dans une seule direction cohérente à mesure que les nouvelles connaissances augmentent.
La Découverte : En suivant ces interrupteurs spécifiques à travers différents modèles (comme Llama, Gemma et Mistral), le détective a trouvé un petit groupe épars d'entre eux qui sont directement responsables du « bruit d'hallucination ».

La Correction : Remettre les Interrupteurs en Place

Une fois que le détective a identifié ces interrupteurs « perturbateurs », les chercheurs ont tenté une expérience simple : la direction.

Au lieu de réentraîner l'étudiant, ils ont physiquement plongé la main dans la salle de contrôle et ont remis ces interrupteurs spécifiques à leur état d'origine (ou les ont actionnés dans la direction opposée).

Le Résultat : Cela a fonctionné comme par magie. En ajustant simplement ces quelques interrupteurs, l'étudiant a soudainement retrouvé ses anciens faits.
L'Analogie : C'est comme une radio qui a capté trop de parasites d'une nouvelle station. Au lieu de reconstruire la radio, vous tournez simplement le cadran légèrement pour annuler la fréquence parasite. La musique (les anciennes connaissances) redevient claire.

Résultats Clés en Langage Simple

Ce n'est pas un Effacement, c'est un Blocage : L'étude a révélé que l'étudiant n'avait pas réellement oublié les anciens faits. Les faits étaient toujours là, mais le « bruit » provenant de l'apprentissage nouveau bloquait le chemin pour les récupérer. Remettre les interrupteurs en place a dégagé le chemin.
Éteindre est Mieux qu'Allumer : Les chercheurs ont découvert que pour certains interrupteurs, il était plus efficace de les éteindre (les supprimer) que de les augmenter. Cela suggère que le nouvel apprentissage sur-activait certaines parties du cerveau, et les calmer était la clé.
Cela Fonctionne Partout : Ils ont testé cela sur trois types différents d'« étudiants » (différents modèles d'IA), et le même petit groupe d'interrupteurs causait le problème chez tous. Cela suggère un mécanisme universel expliquant comment ces modèles se confondent.
L'Interrupteur « Composite » vs « Unique » : Si vous essayez de corriger le problème en ajustant tous les changements à la fois (une direction « composite »), cela aide un peu. Mais si vous trouvez l'interrupteur le plus important et que vous ne corrigez que celui-ci, l'amélioration est massive. Cela signifie que le problème est très spécifique et localisé, et non un brouillard général sur tout le cerveau.

Résumé

Le papier soutient que lorsque les modèles d'IA apprennent de nouveaux faits inconnus, ils ne perdent pas leurs anciennes connaissances ; ils sont simplement « distraits » par quelques signaux internes spécifiques. Les auteurs ont créé une méthode pour trouver ces signaux distrayants et ont montré que les éteindre simplement (ou les ajuster) permet à l'IA de retrouver instantanément sa capacité à répondre correctement aux questions, guérissant ainsi efficacement l'hallucination causée par les nouvelles données d'entraînement.

1. Énoncé du problème

Les grands modèles de langage (LLM) acquièrent leurs connaissances factuelles principalement lors du pré-entraînement. Cependant, les étapes de post-entraînement ultérieures, telles que l'affinement supervisé (SFT) sur de nouvelles données, introduisent souvent des hallucinations. L'hypothèse prédominante est que l'exposition des modèles à des faits inconnus de leur distribution de pré-entraînement perturbe leur capacité à récupérer les connaissances paramétriques stockées.

Bien que des études antérieures aient établi que l'affinement sur des données inconnues augmente les taux d'hallucination, les causes mécaniques internes restent mal comprises. Plus précisément, il est incertain :

Quelles caractéristiques latentes spécifiques dans le flux résiduel sont causalement liées à la dégradation de la récupération des connaissances.
Si ces caractéristiques peuvent être identifiées et manipulées pour récupérer les connaissances originales du modèle sans réentraînement.
Comment ces mécanismes diffèrent selon les architectures de modèles et les durées d'entraînement.

2. Méthodologie : MoRFI

Les auteurs proposent MoRFI (Identification de caractéristiques de relation monotone), un pipeline en deux étapes conçu pour isoler les caractéristiques latentes causales à l'aide d'autoencodeurs parcimonieux (SAE).

A. Expérience d'affinement contrôlé

Les auteurs mènent une expérience contrôlée sur trois modèles : Llama 3.1 8B, Gemma 2 9B et Mistral 7B v03.

Jeu de données : EntityQuestions (dérivé de Wikidata).
Variables :
1. Proportion d'inconnu ( $\uparrow$ Unknown) : Les jeux de données d'entraînement sont construits avec des pourcentages variables (0 % à 100 %) de faits « Inconnus » (faits que le modèle de base ne connaît pas) mélangés à des faits « Connus ».
2. Époques d'entraînement ( $\uparrow$ Epochs) : Les modèles sont entraînés pendant des durées variables (Arrêt précoce, 10, 20, 30, 40, 50 époques).
Observation : À mesure que la proportion de faits inconnus et le nombre d'époques d'entraînement augmentent, la précision des tests sur les questions-réponses en livre fermé chute considérablement, confirmant le phénomène d'hallucination.

B. L'algorithme MoRFI

MoRFI analyse les activations SAE à travers un tenseur 4D (Échantillons $\times$ Propriétés $\times$ Latents $\times$ Temps/Époques) pour trouver des caractéristiques présentant des tendances monotones robustes.

Rééchantillonnage et agrégation : Utilise le bootstrapping pour générer des milliers d'environnements de test simulés, en calculant les activations moyennes pour créer une référence réduite au bruit.
Validation de la tendance : Applique la corrélation de rang de Spearman et les tests de Mann-Kendall pour vérifier si l'activation d'une caractéristique change de manière monotone (augmentation ou diminution constante) à mesure que la proportion de données inconnues ou le nombre d'époques d'entraînement augmente. Cela filtre les fluctuations spuriaires.
Tri directionnel : Classe les caractéristiques en ensembles Croissants (les activations augmentent avec les données inconnues) et Décroissants (les activations diminuent).
Classement final : Classe les caractéristiques en fonction de leur fréquence d'apparition dans les $K$ premières caractéristiques modifiées à travers toutes les répliques de bootstrap.

C. Pilotage des activations

Une fois les latents candidats identifiés, les auteurs effectuent un pilotage des activations (intervention au niveau de la couche médiane du flux résiduel) pour tester la causalité :

Intervention : Ajout ou soustraction du vecteur de décodage SAE d'un latent spécifique au flux résiduel.
Objectif : Déterminer si le pilotage de ces latents permet de récupérer la précision perdue lors de l'affinement sur des faits inconnus.
Groupe témoin : Une référence de latents « non tendanciels » est utilisée pour s'assurer que les gains ne sont pas des artefacts d'une perturbation arbitraire.

3. Contributions clés

Algorithme MoRFI : Une méthode générale et statistiquement rigoureuse pour identifier les latents SAE qui présentent des tendances monotones dans des conditions d'affinement contrôlées, les distinguant du bruit transitoire.
Lien causal avec l'hallucination : L'article démontre que l'exposition à des faits inconnus perturbe la récupération des connaissances le long de directions spécifiques et identifiables dans le flux résiduel.
Récupération des connaissances par pilotage : Les auteurs montrent que des interventions sur un seul latent peuvent récupérer 69–85 % des connaissances perdues lors de l'affinement sur des données inconnues, inversant efficacement les hallucinations au moment de l'inférence.
Asymétrie dans la dynamique des latents :
- Le pilotage négatif est supérieur : La suppression (pilotage négatif) des caractéristiques qui augmentent avec les données inconnues produit des gains de précision plus importants que l'amplification des caractéristiques qui diminuent.
- Les latents décroissants sont impactants : Les caractéristiques qui diminuent naturellement lorsqu'elles sont exposées à des données inconnues, lorsqu'elles sont pilotées positivement, récupèrent également des connaissances significatives, suggérant qu'elles encodent des voies d'accès aux connaissances stockées qui sont supprimées.

4. Résultats clés

Dégradation des performances : L'augmentation du pourcentage de faits inconnus dans le mélange d'entraînement dégrade systématiquement les performances du modèle, l'effet étant exacerbé par un entraînement plus long (plus d'époques).
Efficacité du pilotage :
- Sur Llama 3.1 8B, le meilleur latent piloté négativement a récupéré 33,4 % de précision relative (contre une référence de 17,8 %).
- Sur Mistral 7B, le meilleur latent piloté négativement a récupéré 39,77 % de précision relative.
- Groupe témoin : Le pilotage avec des latents non tendanciels a entraîné des changements de performance négligeables ou négatifs, validant que les gains sont spécifiques aux caractéristiques causales identifiées.
Taux de récupération des connaissances ( $R_K$ ) : Parmi les faits récupérés par le pilotage, 69–85 % étaient à l'origine connus du modèle de base (MD0). Cela confirme que l'intervention restaure l'accès aux connaissances pré-entraînées plutôt que d'apprendre de nouveaux faits.
Signal parcimonieux : Les interventions sur un seul latent surpassent le pilotage avec la direction composite « différence des moyennes » ( $\delta_u$ ). Cela indique que le signal pertinent pour les connaissances est parcimonieux et concentré dans quelques latents spécifiques, tandis que la direction composite contient du bruit qui dilue l'effet.
Alignement sémantique : Les faits récupérés concernent principalement des prédicats géographiques (par exemple, Pays, Capitale, Pays d'origine), et les latents les plus performants montrent un alignement sémantique avec ces concepts dans des outils externes comme Neuronpedia.

5. Signification et implications

Interprétabilité mécanique : L'article va au-delà de la corrélation pour établir un lien causal entre des latents SAE spécifiques et la capacité du modèle à accéder aux connaissances stockées. Il suggère que l'« oubli » lors de l'affinement n'est pas l'effacement des connaissances mais une perturbation des voies d'accès.
Atténuation au moment de l'inférence : Les résultats suggèrent que les hallucinations causées par l'affinement peuvent être atténuées au moment de l'inférence grâce à un pilotage ciblé des activations, sans besoin de réentraînement ni de systèmes complexes de génération augmentée par la récupération (RAG).
Sécurité et alignement : En identifiant les caractéristiques spécifiques « désalignées » ou « perturbatrices des connaissances », ce travail offre une voie pour des pratiques d'affinement plus sûres et des interventions ciblées afin d'empêcher les modèles d'halluciner lorsqu'ils sont exposés à des informations nouvelles ou contradictoires.
Généralisabilité : Le cadre MoRFI est agnostique au modèle et applicable à n'importe quelle variable contrôlée induisant une séquence de points de contrôle de modèle, offrant un nouvel outil pour analyser les changements de comportement des modèles.

En conclusion, MoRFI fournit une méthode robuste pour identifier les mécanismes internes de la dégradation des connaissances dans les LLM et démontre que ces dégradations sont réversibles grâce à des interventions précises sur un seul latent, offrant une voie prometteuse pour réduire les hallucinations dans les modèles post-entraînés.