💬 NLP

Do Hallucination Neurons Generalize? Evidence from Cross-Domain Transfer in LLMs

Cette étude démontre que les « neurones d'hallucination » identifiés dans les grands modèles de langage ne généralisent pas à travers différents domaines de connaissances, révélant ainsi que l'hallucination repose sur des mécanismes neuronaux spécifiques à chaque domaine plutôt que sur une signature universelle.

Auteurs originaux : Snehit Vaddi, Pujith Vaddi

Publié 2026-04-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Snehit Vaddi, Pujith Vaddi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Mythe du « Neuron Hallucinateur » Universel

Imaginez que les grands modèles de langage (les IA qui écrivent des textes) soient de gigantesques usines à idées, remplies de millions d'ouvriers (les neurones).

Récemment, des chercheurs ont découvert qu'une poignée infime de ces ouvriers (moins de 0,1 %) semblait toujours se comporter bizarrement juste avant que l'IA ne commence à halluciner (c'est-à-dire inventer des faits, mentir avec assurance). On les a surnommés les « neurones hallucinateurs ».

L'idée de départ était séduisante : « Si on repère ces ouvriers rebelles, on peut les surveiller et arrêter l'IA avant qu'elle ne raconte n'importe quoi. »

Mais la question que se posent les auteurs de cette étude est la suivante : Ces ouvriers rebelles sont-ils les mêmes, peu importe le sujet dont on parle ?

🌍 L'Expérience : Un Test de Transfert

Pour répondre à cette question, les chercheurs ont mené une expérience un peu comme un test de conduite dans différents environnements. Ils ont pris 5 modèles d'IA de tailles différentes et les ont fait travailler sur 6 domaines très distincts :

Général (culture générale, type quiz).
Juridique (lois, jugements).
Financier (chiffres, marchés).
Scientifique (physique, biologie).
Moral (éthique, dilemmes).
Code (informatique, bugs).

Le scénario :
Ils ont entraîné un détecteur (un garde du corps) à repérer les « neurones hallucinateurs » uniquement sur le domaine Juridique. Ensuite, ils ont envoyé ce même garde du corps travailler sur le domaine Scientifique ou Code, pour voir s'il reconnaîtrait encore les mêmes rebelles.

🚫 Le Résultat Surprenant : « Ça ne marche pas ! »

Le résultat est sans appel : Le détecteur formé sur un sujet est aveugle sur les autres.

Sur son terrain (ex: Juridique) : Le détecteur est excellent. Il repère les erreurs avec une grande précision (comme un expert qui connaît ses dossiers par cœur).
Sur un nouveau terrain (ex: Code) : Le détecteur devient inutile. Il ne voit plus rien, ou pire, il se trompe systématiquement.

L'analogie du traducteur :
Imaginez que vous avez un traducteur expert en droit. Il connaît parfaitement les termes juridiques et sait quand un avocat ment. Si vous lui donnez un texte de médecine, il ne comprendra pas les termes techniques. S'il essaie de vous dire « Attention, le médecin ment ! » en se basant sur ses règles de droit, il va probablement se tromper, car les signes du mensonge en médecine ne sont pas les mêmes qu'en droit.

C'est exactement ce qui se passe dans l'IA :

Les neurones qui « mentent » quand l'IA parle de lois sont différents de ceux qui « mentent » quand elle parle de chiffres ou de code.
Il n'existe pas de « neurone menteur universel ». Chaque domaine a sa propre équipe de rebelles.

🧩 Les Exceptions Intéressantes

Il y a une petite exception qui donne un indice sur la façon dont l'IA fonctionne :
Les domaines Juridique et Scientifique partagent une certaine affinité. Pourquoi ? Parce que tous deux reposent sur un raisonnement logique structuré (appliquer des règles à des faits).

Si un détecteur est formé sur le droit, il fonctionne mieux sur la science que sur le code ou la morale.
Cela suggère que l'IA ne classe pas les connaissances par « sujet », mais par type de raisonnement.

⚠️ Pourquoi est-ce important pour nous ?

Cette découverte change la façon dont nous devrons utiliser l'IA dans le futur :

On ne peut pas faire de « tout-en-un » : On ne peut pas entraîner un seul système de sécurité sur des questions de culture générale et espérer qu'il protège un avocat ou un médecin. Il faut des détecteurs spécialisés pour chaque métier.
Attention aux interventions : Si l'on essaie de « calmer » les neurones qui mentent en droit pour améliorer l'IA, on risque de casser son fonctionnement en finance ou en code. C'est comme essayer de réparer le moteur d'une voiture en changeant les pièces d'un avion : ça ne marche pas, et ça peut même être dangereux.
La complexité de l'IA : Cela nous rappelle que l'IA n'est pas une boîte noire magique avec un seul bouton « mensonge ». C'est un système complexe où chaque domaine d'expertise active des circuits neuronaux différents.

En Résumé

Cette étude nous dit que l'IA ne ment pas de la même manière partout. Les « neurones hallucinateurs » sont comme des spécialistes : un expert en droit ne sait pas repérer les erreurs d'un expert en code. Pour surveiller l'IA efficacement, nous devons donc créer des gardes du corps spécialisés pour chaque domaine, et non pas un seul garde pour tout le monde.

1. Problématique et Contexte

Les modèles de langage (LLM) souffrent d'« hallucinations », produisant des textes fluides mais factuellement incorrects. Des travaux récents (Gao et al., 2025) ont identifié un ensemble sparse de « neurones d'hallucination » (H-neurons), représentant moins de 0,1 % des neurones des réseaux de neurones feed-forward (FFN), dont l'activation prédit avec fiabilité les hallucinations. Ces neurones ont été découverts et validés principalement sur des tâches de questions-réponses de culture générale (TriviaQA).

La question centrale de cet article est de savoir si ces H-neurons sont universels ou spécifiques à un domaine de connaissances. Les auteurs s'interrogent : un classifieur entraîné sur des neurones d'hallucination dans le domaine général fonctionne-t-il pour détecter les hallucinations dans des domaines spécialisés comme le droit, la finance, la science ou le code ?

2. Méthodologie

L'étude propose un protocole systématique de transfert inter-domaines pour évaluer la généralisation des H-neurons.

Modèles et Données :
- Modèles : 5 modèles open-weight de 3B à 8B paramètres (Qwen2.5-3B, Nemotron-4B, Phi-3.5-mini, Mistral-7B, Llama-3.1-8B).
- Domaines : 6 domaines distincts représentant différents types de raisonnement et de connaissances :
  1. Questions-Réponses Générales (TriviaQA)
  2. Droit (CaseHOLD)
  3. Finance (FinancialPhraseBank)
  4. Sciences (ARC-Challenge)
  5. Raisonnement Moral (ETHICS)
  6. Vulnérabilités de Code (Devign)
- Stratégies de prompt : Évaluation avec et sans « Chain-of-Thought » (CoT).
Identification des Neurones (CETT) :
- Utilisation de la métrique CETT (Contribution Estimation Through Token-level Traits) pour quantifier la contribution de chaque neurone FFN à l'embedding de sortie.
- Extraction des vecteurs de caractéristiques (CETT scores) pour tous les neurones FFN lors du passage avant.
Protocole de Transfert :
- Pour chaque modèle, un classifieur de régression logistique L1 (produisant une sélection de neurones sparse) est entraîné sur les données d'un domaine source.
- Ce classifieur est ensuite évalué sur les 6 domaines (y compris le domaine source).
- Cela génère une matrice de transfert 6x6 pour chaque modèle (180 paires entraînement-test au total).
- Métrique principale : L'AUC-ROC (Area Under the Receiver Operating Characteristic Curve).
Validation : Utilisation de méthodes de rééchantillonnage (bootstrap), de tests de permutation pour la signification statistique, et d'analyses de stabilité multi-graines.

3. Contributions Clés

Première analyse systématique de transfert inter-domaines : C'est la première étude à quantifier la transférabilité des détecteurs d'hallucination au niveau des neurones à travers des domaines fondamentalement différents.
Preuve de spécificité des voies neuronales : Démonstration d'un écart statistiquement significatif entre la détection intra-domaine et le transfert inter-domaine.
Analyse des facteurs de domaine et de modèle : Caractérisation des paires de domaines présentant un transfert partiel (ex: Droit/Science) versus un échec total, et analyse de l'impact de l'échelle du modèle (3B-8B).

4. Résultats Principaux

Échec du Transfert Inter-Domaines :
- Performance Intra-Domaine : Les classifieurs entraînés et testés sur le même domaine obtiennent un AUC-ROC moyen de 0,783.
- Performance Inter-Domaine : Lorsqu'un classifieur entraîné sur un domaine est appliqué à un autre, l'AUC-ROC chute à 0,563.
- Écart de Transfert ( $\Delta$ ) : La différence est de 0,220 ( $p < 0,001$ ), indiquant une perte massive de pouvoir discriminant (environ 28 %). Cet écart est cohérent sur les 5 modèles testés.
Analyse par Paires de Domaines :
- Transfert Partiel (Droit $\leftrightarrow$ Science) : Ces deux domaines montrent un transfert relatif (AUC ~0,70-0,87 sur certains modèles), suggérant des substrats neuronaux partagés liés au raisonnement logique structuré.
- Le Code comme Cas Extrême : Les classifieurs entraînés sur le code échouent totalement sur les autres domaines (et vice-versa), indiquant des voies neuronales totalement distinctes pour le raisonnement symbolique.
- Transferts Inférieurs au Hasard : Certaines paires (ex: Code $\to$ Moral) donnent des résultats inférieurs à 0,5 (AUC ~0,21). Cela signifie que les neurones qui prédisent l'hallucination dans un domaine prédisent systématiquement la justesse dans l'autre, révélant une interférence active et des mécanismes anti-corrélés.
Impact du Chain-of-Thought (CoT) :
- Le CoT modifie substantiellement l'identité et le nombre de neurones H sélectionnés. Il ne supprime pas simplement le signal d'hallucination, mais le réorganise sur de nouvelles populations neuronales.
- L'effet du CoT varie selon le modèle et le domaine (hétérogène), parfois améliorant la détection, parfois la dégradant.
Influence de l'Échelle du Modèle :
- La spécificité du domaine ne suit pas une tendance monotone avec la taille du modèle (3B à 8B). L'architecture et la composition des données d'entraînement semblent jouer un rôle plus important que la simple capacité paramétrique dans cette plage.
Intervention Causale (Échec) :
- Des expériences de mise à l'échelle (scaling) des activations des H-neurons n'ont pas réussi à réduire significativement les taux d'hallucination. Cela suggère que les H-neurons sont des marqueurs diagnostiques fiables mais ne constituent pas des leviers causaux suffisants à ce niveau de sparsité (<0,1 %).

5. Signification et Implications

Refonte du Concept d'Hallucination : L'hallucination n'est pas un mécanisme unique avec une « signature neuronale universelle ». C'est une famille de processus conditionnés par le domaine, impliquant des populations de neurones différentes selon le type de connaissances sollicitées.
Déploiement des Détecteurs : L'hypothèse selon laquelle un détecteur entraîné sur un benchmark général (comme TriviaQA) peut être déployé universellement est fausse.
- Calibration par Domaine : Les systèmes de détection doivent être recalibrés spécifiquement pour chaque domaine d'application (juridique, médical, financier, etc.).
- Infrastructure Multi-Domaines : Les applications couvrant plusieurs types de connaissances nécessitent des mécanismes de détection distincts ou un routage dynamique.
Interventions Neuronales : Toute tentative de suppression ou de fine-tuning ciblant les H-neurons doit être spécifique au domaine. Supprimer les neurones identifiés sur le droit pourrait, par exemple, augmenter les hallucinations dans le domaine du code ou de la morale (en raison des transferts anti-corrélés).

En conclusion, cette étude démontre que la détection et la mitigation des hallucinations au niveau neuronal ne peuvent pas être abordées de manière universelle, mais nécessitent une compréhension fine des voies neuronales spécifiques à chaque domaine de connaissance.