Whitening Reveals Cluster Commitment as the Geometric Separator of Hallucination Types

En appliquant un blanchiment PCA à GPT-2-small, cette étude révèle que l'alignement des clusters dans l'espace d'embedding permet de distinguer géométriquement les types d'hallucinations, démontrant que la séparation entre les types 1 et 2 est une limite de capacité du modèle plutôt qu'un artefact de mesure.

L'essentiel

Voici une explication simple de cette recherche, imagée comme si l'on tentait de comprendre pourquoi un robot qui raconte des histoires se trompe parfois.

Le Problème : Le Robot Confus

Imaginez un petit robot (un modèle de langage comme GPT-2) qui a lu énormément de livres mais qui n'est pas très grand (124 millions de "neurones"). Quand on lui demande de raconter une histoire, il peut faire trois types de bêtises, appelées ici "hallucinations" :

1. Type 1 (La Dérive) : Il commence bien, mais petit à petit, il perd le fil et s'éloigne doucement du sujet, comme un promeneur qui se perd sans s'en rendre compte.
2. Type 2 (Le Mauvais Chemin) : Il est très confiant, mais il s'engage dans une direction totalement fausse. C'est comme s'il prenait un chemin très bien tracé, mais qui mène à un autre pays. Il est "engagé" dans son erreur.
3. Type 3 (Le Trou dans la Raquette) : Il demande des choses qui n'existent pas (comme "la couleur du silence"). Le robot ne trouve aucune réponse dans sa mémoire et s'effondre, ne sachant plus quoi dire.

Le mystère : Les chercheurs savaient repérer le Type 3 (le robot est perdu). Mais ils n'arrivaient pas à distinguer le Type 1 (dérive lente) du Type 2 (mauvais chemin confiant). Pour les yeux du robot, ces deux erreurs semblaient identiques.

La Solution : Le "Blanchiment" (Whitening)

Pour voir la différence, les chercheurs ont utilisé une technique appelée PCA-whitening.

L'analogie du brouillard :
Imaginez que le robot pense dans un brouillard très dense où tout est gris et confondu. Les différences entre les erreurs sont minuscules, comme essayer de distinguer deux nuances de gris presque identiques.
Le "blanchiment", c'est comme si on passait un filtre magique sur ce brouillard. Cela égalise la luminosité de toutes les directions. Soudain, au lieu de voir un gris uniforme, on voit des formes distinctes. Ce qui était invisible devient visible.

La Découverte Clé : L'Engagement (Commitment)

Avant, on regardait la "confusion" du robot (l'entropie). Mais avec ce filtre magique, les chercheurs ont découvert qu'il fallait regarder autre chose : l'engagement.

Imaginez que le robot doit choisir un camp dans une grande salle remplie de groupes de personnes (les "clusters").

• Type 2 (Mauvais chemin) : Le robot court vers un groupe spécifique et s'y colle fermement. Il est très "engagé" dans son erreur.
• Type 1 (Dérive) : Le robot marche au milieu de la salle, sans vraiment choisir de groupe. Il est "moyennement engagé".
• Type 3 (Trou) : Le robot regarde partout, mais ne trouve aucun groupe qui lui correspond. Il est "peu engagé".

Le résultat : En utilisant ce nouveau filtre, les chercheurs ont enfin pu voir que le robot qui fait le Type 2 s'engage beaucoup plus fort que celui qui fait le Type 1. C'est comme si on avait trouvé une loupe qui permet de voir la différence entre quelqu'un qui court vers un but et quelqu'un qui flâne.

Les Pièges et les Leçons

L'étude a aussi appris deux choses importantes sur la façon de faire des expériences :

1. Le piège des échantillons (Prompt-set sensitivity) : Au début, avec seulement 15 questions, les chercheurs pensaient avoir trouvé une solution miracle. Mais en passant à 30 questions plus variées, cette "solution" a disparu.

   • L'analogie : C'est comme si vous testiez un nouveau parfum en ne le faisant sentir qu'à 15 amis qui ont tous le même nez. Vous pensez que le parfum est génial. Mais si vous le faites sentir à 30 personnes différentes, vous réalisez que c'était juste une coïncidence. Il faut toujours tester avec une grande variété de situations pour être sûr.

2. La limite de la taille du cerveau (Capacity Limitation) : Même avec le filtre magique, le robot arrive encore à peine à distinguer le "Type 1" du "Type 2".

   • L'analogie : C'est comme essayer de distinguer deux notes de musique très proches avec un piano à 3 octaves. Le problème n'est pas l'oreille (la méthode), c'est l'instrument (le modèle). Le robot est trop petit pour faire cette distinction fine. Les chercheurs prédisent que si on utilisait un robot beaucoup plus grand (plus de neurones), il réussirait parfaitement à faire la différence.

En Résumé

Cette recherche nous dit trois choses :

1. Pour voir les erreurs des robots, il faut parfois "nettoyer" leur vision (blanchiment) pour voir la différence entre "être confiant dans l'erreur" et "être perdu".
2. Ne vous fiez pas à de trop petits tests ; il faut varier les questions pour éviter les fausses pistes.
3. Les petits robots sont limités : ils peuvent voir qu'ils sont perdus, mais ils ne sont pas encore assez grands pour comprendre pourquoi ils se trompent de chemin. Il faudra des robots plus gros pour résoudre ce mystère.

Résumé technique

Voici un résumé technique détaillé de l'article « Whitening Reveals Cluster Commitment as the Geometric Separator of Hallucination Types » (Le blanchiment révèle l'engagement de cluster comme séparateur géométrique des types d'hallucinations) de Matic Korun.

1. Problématique et Contexte

La recherche se concentre sur la détection des hallucinations dans les modèles de langage (LLM) en analysant leurs représentations internes (états cachés). Une taxonomie géométrique antérieure distingue trois types d'échecs :

• Type 1 (Dérive du centre) : Génération qui s'éloigne du contexte faible vers le centroïde de l'espace d'embedding.
• Type 2 (Convergence vers le mauvais puits) : Le modèle s'engage dans un cluster sémantique cohérent localement mais contextuellement erroné.
• Type 3 (Fossé de couverture) : Le modèle ne trouve aucun cluster pertinent (combinaisons sémantiques absentes).

Le problème central : Des travaux précédents (Korun, 2026b) sur le modèle GPT-2-small (124M paramètres) ont montré que le Type 3 était géométriquement distinct, mais que les Types 1 et 2 restaient indistinguables dans les mesures en pleine dimension. Deux hypothèses étaient avancées pour expliquer cet échec :

1. Hypothèse de capacité : Le modèle de 124M paramètres manque de précision pour encoder la différence entre une dérivation faible et une erreur de routage.
2. Hypothèse de mélange spectral : La distinction existe dans des bandes spécifiques du spectre des valeurs propres, mais est diluée par les métriques qui agrègent toutes les composantes principales.

De plus, les représentations contextuelles de GPT-2 opèrent dans un régime de « micro-signaux » (similitudes cosinus très élevées, ~0.993), rendant les différences subtiles difficiles à détecter sans prétraitement.

2. Méthodologie

L'étude utilise GPT-2-small et propose une nouvelle approche méthodologique combinant prétraitement géométrique et analyse de stabilité multi-exécutions.

• Prétraitement par Blanchiment (PCA-Whitening) :
  • Application d'une transformation de blanchiment (centrage + normalisation de variance) sur les états cachés, basée sur une distribution de calibration.
  • Projection sur les 256 premières composantes principales (capturant 99,7 % de la variance).
  • Objectif : Amplifier les micro-signaux en égalisant la variance sur toutes les dimensions, transformant l'espace saturé en un espace où les écarts deviennent des effets de premier ordre.
• Métriques Clés :
  • Alignement de pic de cluster (max sim) : Similarité cosinus maximale avec n'importe quel centroïde de cluster. C'est la métrique théorique pour mesurer l'« engagement » du modèle.
  • Entropie de membership (H(v)) : Mesure de la distribution de probabilité sur les clusters.
  • Norme : Mesurée à la fois sur les vecteurs bruts et blanchis.
• Design Expérimental Rigoureux :
  • Analyse de stabilité multi-graines : 20 exécutions indépendantes (graines 1-20) pour isoler la stochasticité de génération.
  • Diversification des prompts : Passage de 15 à 30 prompts par condition (90 au total) pour tester la robustesse des résultats face aux biais d'ensemble de prompts.
  • Décomposition spectrale : Analyse séparée de 6 bandes spectrales (des composantes dominantes aux queues de spectre) pour tester l'hypothèse de mélange spectral.
  • Tests statistiques : Agrégation au niveau des prompts (Mann-Whitney U), correction de Holm-Bonferroni, et analyse de la stabilité directionnelle.

3. Résultats Clés

A. Le Blanchiment Révèle l'Engagement de Cluster

Dans l'espace blanchi, la métrique max sim (alignement de pic) devient le séparateur principal, confirmant la prédiction théorique de la taxonomie :

• Ordre des moyennes : Type 2 (engagement fort) > Type 1 (dérive intermédiaire) > Type 3 (aucun alignement).
• Séparation Type 2 vs Type 3 : Significative à 40 % après correction de Holm ($r = -0.31$), avec une stabilité directionnelle parfaite (20/20).
• Séparation Type 1 vs Type 2 : Une première indication émergente apparaît ($r = +0.21$, 15 % de survie Holm, stabilité 17/20). Bien que sous-puissante pour une détection fiable à 124M paramètres, le signe est correct et stable, suggérant que la distinction existe mais est trop fine pour être détectée avec certitude à cette échelle.

B. L'Effet Artéfactuel de l'Entropie (H(v))

• À $N=15$ prompts, l'entropie blanchie semblait être le signal le plus fort.
• À $N=30$ prompts, ce signal s'effondre complètement (la significativité chute à 5 %).
• Conclusion : L'effet initial était un artéfact spécifique à l'ensemble de prompts restreint, qui coïncidait accidentellement avec les axes de variance dominants. La diversification des prompts a éliminé ce biais, démontrant la fragilité des signaux micro dans les espaces saturés.

C. Rejet de l'Hypothèse de Mélange Spectral

L'analyse par bandes spectrales montre que :

• Aucune bande (ni les composantes dominantes, ni les bandes médianes, ni la queue) ne permet de séparer les Types 1 et 2 de manière significative.
• L'absence de séparation est uniforme sur tout le spectre.
• Conclusion : L'hypothèse de mélange spectral est rejetée. La non-séparation n'est pas due à un problème de mesure, mais à une limitation de capacité du modèle.

D. Phénomène de la Queue de Spectre

La queue du spectre (PCs 513-768, <0,1 % de variance) montre des effets forts pour le Type 3, mais pas pour la séparation 1/2, confirmant que la structure liée au type d'hallucination existe même dans les dimensions de faible variance, mais n'est pas exploitable à cette échelle.

4. Contributions Principales

1. Validation Géométrique : Démonstration que le blanchiment est un prétraitement nécessaire pour rendre lisible la structure de cluster dans les états cachés contextuels. La métrique max sim (et non l'entropie) est le séparateur théoriquement correct.
2. Limitation de Capacité vs Artéfact : Preuve que la frontière entre les Types 1 et 2 est une limitation fondamentale de la capacité du modèle (124M paramètres) et non un artefact de mesure ou de mélange spectral. Une prédiction de mise à l'échelle (scaling) est formulée : l'écart devrait s'élargir sur des modèles plus grands.
3. Fragilité Méthodologique : Mise en évidence de la sensibilité des régimes de micro-signaux aux ensembles de prompts. Une diversification insuffisante peut produire des résultats faux-positifs qui semblent robustes sur plusieurs graines mais ne généralisent pas.

5. Signification et Implications

• Pour la Détection d'Hallucinations : Les pipelines de détection géométrique doivent intégrer le blanchiment et privilégier l'alignement de pic (max sim) plutôt que l'entropie. Le Type 3 (fossé de couverture) est détectable même sur des petits modèles, mais la distinction fine entre dérive et erreur de routage (Types 1 et 2) nécessite des modèles plus grands.
• Compréhension des Représentations : Les résultats suggèrent que les modèles encode un gradient d'« engagement de cluster » même lorsqu'ils ne peuvent pas discriminer finement les types d'erreurs. L'information sur le type d'hallucination est encodée dans la structure de cluster des représentations blanchies.
• Avenir de la Recherche : L'étude établit que la résolution complète du problème de détection des hallucinations (notamment la séparation 1/2) dépendra de l'augmentation de la capacité des modèles, car la « grammaire géométrique » existe déjà mais est trop fine pour être exploitée à petite échelle.

En résumé, ce papier transforme notre compréhension des échecs des LLM en passant d'une analyse de bruit à une analyse géométrique structurée, tout en soulignant l'importance critique de la rigueur méthodologique (diversité des prompts, analyse multi-graines) dans l'étude des signaux faibles.