From Prerequisites to Predictions: Validating a Geometric Hallucination Taxonomy Through Controlled Induction

1. Problématique et Contexte

Les hallucinations des grands modèles de langage (LLM) constituent un obstacle majeur à leur déploiement fiable. Bien que des méthodes de validation a posteriori existent, une taxonomie géométrique proposée dans un travail antérieur (Korun, 2026) classe les échecs de génération en trois types basés sur leurs signatures dans l'espace des clusters d'embeddings :

• Type 1 (Dérive centrale) : Sous un contexte faible, la génération converge vers le centroïde des embeddings.
• Type 2 (Convergence vers un mauvais puits) : Le modèle s'engage dans un cluster localement cohérent mais contextuellement erroné.
• Type 3 (Lacunes de couverture) : La requête nécessite des combinaisons sémantiques absentes des données d'entraînement, entraînant une absence de structure de cluster supportant la requête.

Le problème central est que la validation des prérequis géométriques (existence de structures de clusters) ne garantit pas que les hallucinations produisent effectivement les signatures prédites. Cet article vise à combler ce vide par une induction contrôlée pour vérifier si les tokens générés se positionnent géométriquement là où la taxonomie le prédit.

2. Méthodologie

L'étude utilise une approche rigoureuse avec le modèle GPT-2-small (124M paramètres), choisi pour sa reproductibilité exacte sur CPU et son absence de filtrage de sécurité (RLHF).

• Design Expérimental :

  • Conditions de Prompt : 45 prompts au total (15 par type), conçus pour déclencher spécifiquement chaque type d'hallucination (contexte dégénéré pour le Type 1, ambiguïté de domaine pour le Type 2, nouveauté compositionnelle pour le Type 3).
  • Espaces de Représentation : Deux expériences distinctes utilisant les mêmes prompts :
    1. Embeddings Statiques : Position fixe du token dans l'espace du vocabulaire (indépendante du contexte).
    2. États Cachés Contextuels : Dernier état caché de la couche transformer au moment de la sélection du token (encode le processus de génération complet).
  • Protocole de Stabilité : Chaque expérience est exécutée 20 fois avec des graines de génération différentes (K=20). L'unité d'inférence statistique est le prompt (N=15 par groupe), et non le token, afin d'éviter le problème de la pseudo-réplication.

• Métriques Géométriques :

  • $H(v)$ : Adhésion au cluster (similarité cosinus moyenne avec les 5 centroïdes les plus proches).
  • $\|v\|$ : Norme de l'embedding (distance à l'origine, liée au gradient d'information radiale).
  • $\text{max sim}$ : Similarité maximale avec un centroïde unique.

3. Résultats Clés

A. Séparation Géométrique Asymétrique

• Type 3 (Lacunes de couverture) : C'est le seul type d'hallucination géométriquement distinctif.
  • Espace Statique : La norme ($\|v\|$) sépare robustement le Type 3 des Types 1 et 2. Les comparaisons T2-T3 et T1-T3 survivent à la correction de Holm dans 14/20 et 11/20 runs respectivement (effet moyen $r \approx 0.61$).
  • Espace Contextuel : La direction de l'effet de la norme est stable (le Type 3 a la norme la plus basse dans 19/20 runs), mais l'effet est sous-puissant à $N=15$ (significatif seulement dans 4/20 runs, $r \approx -0.28$).
• Types 1 et 2 : Aucune séparation significative n'est observée dans aucun espace d'embedding (≤ 3/20 runs significatifs). Les prompts de dérive centrale et de convergence erronée produisent des schémas de sélection de vocabulaire indistinguables.

B. Le Problème de la Pseudo-réplication

L'étude démontre de manière répliquée que les tests au niveau du token gonflent artificiellement la signification statistique d'un facteur de 4 à 16 fois par rapport aux tests au niveau du prompt.

• Les métriques angulaires ($H(v)$, similarité max) apparaissent significatives au niveau des tokens dans la majorité des runs, mais deviennent non significatives au niveau des prompts une fois l'autocorrélation intra-prompt prise en compte.
• Cela confirme que la signification observée au niveau des tokens est un artefact statistique et non un signal réel.

C. Le Régime du Micro-Signal

Dans l'espace contextuel, les représentations de GPT-2 sont comprimées dans un espace de similarité quasi saturé (normes entre ~230 et ~245, similarités > 0.98).

• Le signal de séparation du Type 3 est un "micro-signal" : une réduction de norme de ~3,5% qui est réelle et directionnellement stable, mais insuffisante pour atteindre les seuils de significativité conventionnels avec un petit échantillon de prompts ($N=15$).
• Le modèle ne "sait pas" macroscopiquement qu'il hallucine ; le signal d'échec est une micro-perturbation au sein du régime d'opération normal.

4. Contributions Principales

1. Premier test d'induction contrôlée reliant les types d'hallucinations à des signatures géométriques, avec une quantification de la stabilité sur 20 runs indépendants.
2. Validation du Type 3 comme mode d'échec distinctif : Il est le seul à produire une signature géométrique robuste, portée par la magnitude (norme) plutôt que par la direction.
3. Démonstration de la pseudo-réplication : Preuve empirique que les analyses au niveau des tokens dans la génération auto-régressive surestiment massivement les effets réels (facteur 4-16x).
4. Hypothèse spectrale pour Types 1/2 : Proposition que la non-séparation des Types 1 et 2 pourrait être due à une dilution du signal dans les métriques de pleine dimension, suggérant que la distinction pourrait résider dans des bandes spectrales spécifiques de l'eigenspectre des états cachés.

5. Signification et Implications

• Limites de la Détection Actuelle : Les méthodes de détection basées sur la géométrie brute des états cachés (sans prétraitement) échouent à distinguer les types 1 et 2, et peinent à détecter le type 3 dans les petits modèles sans augmentation de la puissance statistique.
• Nécessité de Prétraitement : Pour exploiter les signaux contextuels, des techniques comme le blanchiment (whitening), la décomposition spectrale ou des projections apprises sont nécessaires pour extraire les signaux de "micro-perturbation" noyés dans la saturation de l'espace.
• Hiérarchie de Complexité : Les résultats suggèrent une hiérarchie où les perturbations au niveau de l'entrée (Type 3, nouveauté compositionnelle) ont des effets plus visibles que les perturbations de routage (Types 1 et 2) dans les modèles de taille intermédiaire (124M paramètres).
• Rigueur Statistique : L'article établit une nouvelle norme pour l'évaluation des hallucinations, exigeant une agrégation au niveau du prompt et une validation multi-runs pour éviter les conclusions erronées dues à la variance stochastique de la génération.

En conclusion, bien que la taxonomie géométrique soit validée pour le Type 3 (via la norme), elle échoue à séparer les Types 1 et 2 avec GPT-2-small, indiquant soit un manque de capacité du modèle, soit la nécessité de méthodes d'analyse plus fines (spectrales) pour révéler ces distinctions.