Résumé Technique : Hallucination comme Anomalie via Circuits Probabilistes

Énoncé du Problème

Les modèles de langage de grande taille (LLM) souffrent d'hallucinations, générant des sorties fluides mais factuellement incorrectes. Bien que les méthodes de détection existantes (surveillance de l'incertitude) et les méthodes de correction (ingénierie des représentations) montrent des promesses individuelles, leur combinaison révèle une limitation fondamentale qualifiée d'Asymétrie Détection-Correction. Les techniques de correction actuelles appliquent souvent des vecteurs de guidage de manière indiscriminée à chaque token. Cette édition continue des états latents repousse les activations hors de la variété pré-entraînée du modèle, dégradant la fluidité et corrompant les générations initialement correctes. L'article soutient que la correction sans porte peut corrompre entre 26 % et 90 % des générations factuelles, nécessitant un cadre qui découple la détection de la correction pour préserver l'intégrité des sorties factuelles.

Méthodologie

Les auteurs proposent un cadre en deux étapes : PCNET pour la détection d'anomalies traitable et PC-LDCD pour une correction à porte, préservant la variété.

1. PCNET : Détection d'Anomalies Latentes Traitable

PCNET est un Circuit Probabiliste (PC) entraîné comme estimateur de densité sur une projection de basse dimension du flux résiduel du LLM.

• Architecture : L'état caché final du LLM ($h \in \mathbb{R}^{D_{LLM}}$) est projeté via un goulot d'étranglement de Perceptron Multicouche (MLP) dans un espace latent compact ($z \in \mathbb{R}^{D_{PC}}$). PCNET modélise la distribution de probabilité conjointe $P(z)$ sur cet espace.
• Structure : Le circuit est un graphe orienté acyclique (DAG) comprenant des nœuds d'entrée, de somme et de produit. Contrairement aux PC standards, les nœuds d'entrée utilisent un mélange hétérogène de distributions gaussiennes, de Laplace et de Student-T pour capturer la géométrie complexe et à queues lourdes des représentations des LLM.
• Entraînement : Le PCNET et le goulot d'étranglement de projection sont optimisés conjointement en utilisant un objectif composite : un terme génératif (Négatif Log-Vraisemblance sur les états factuels) et un terme de marge contrastive (poussant les états hallucinés vers des régions de faible densité). Le LLM de base reste figé.
• Inférence : PCNET calcule le Négatif Log-Vraisemblance (NLL) exact d'un état latent en un seul passage avant, sans échantillonnage ni vérificateurs externes. Un NLL élevé indique une anomalie géométrique, signalant une déviation de la « variété factuelle ».

2. PC-LDCD : Correction Préservant la Variété

PC-LDCD (Décodage Contrastif de Densité Latente par Circuit Probabiliste) utilise PCNET comme une porte dynamique pour intervenir uniquement lorsque nécessaire.

• Porte Dynamique : À chaque étape de décodage, le NLL de l'état courant est calculé. Si le NLL dépasse un seuil calibré $\tau$, une intervention est déclenchée. Si l'état est jugé factuel (NLL faible), le décodage standard se poursuit inchangé, préservant le comportement du modèle de base.
• Regard Discret : Lorsqu'une anomalie est détectée, le système suspend le décodage standard. Il effectue une recherche de regard à $k$ candidats dans l'espace discret des tokens. Le token optimal est sélectionné en maximisant une log-probabilité pénalisée :
  $$\text{Score}_{LDCD}(c_i) = \log P_{LM}(c_i | x_{<t}) - \beta_t \cdot \text{SNLL}(f_\phi(h(c_i)_{t+1}))$$
  Ici, $\beta_t$ est un paramètre de force dynamique basé sur le score d'anomalie, et $\text{SNLL}$ est le NLL de l'état futur hypothétique. Cette approche oppose la confiance générative à la densité logarithmique exacte de la variété apprise, intervenant uniquement pour empêcher la trajectoire de s'enfoncer davantage dans des régions hallucinées.

Contributions Clés

1. Investigation Empirique de l'Asymétrie Détection-Correction : L'article démontre systématiquement que l'ingénierie des représentations sans porte corrompt les générations factuelles, établissant la nécessité mathématique d'interventions à porte.
2. Détection d'Anomalies Latentes Traitable (PCNET) : Les auteurs introduisent PCNET, démontrant que l'estimation de densité exacte sur une variété latente entraînée de manière contrastive identifie les hallucinations avec une AUROC à la pointe de l'état de l'art sur divers modèles et benchmarks, sans échantillonnage ni modifications des poids.
3. Correction Préservant la Variété (PC-LDCD) : La stratégie de décodage à porte de densité proposée atteint le taux de corruption le plus bas et le taux de préservation le plus élevé parmi les méthodes évaluées, corrigeant avec succès les hallucinations tout en laissant les générations correctes intactes.

Résultats Expérimentaux

Le cadre a été évalué sur quatre LLM (allant de 1 à 8 milliards de paramètres) et quatre benchmarks (CoQA, SQuAD v2.0, TriviaQA et TruthfulQA).

• Performance de Détection : PCNET a atteint une détection d'hallucinations quasi parfaite sur CoQA, SQuAD v2.0 et TriviaQA, avec des scores AUROC atteignant jusqu'à 99 %. Il a nettement surpassé les lignes de base telles que Token-NLL, Semantic Entropy Probes (SEP) et HaloScope, en particulier sur les benchmarks à forte intensité de connaissances et adversariaux.
• Efficacité de la Correction :
  • Préservation : PC-LDCD a réduit le taux moyen de corruption des générations factuelles à 53,7 % et a atteint un taux de préservation de 79,3 %, surpassant nettement les lignes de base sans porte.
  • Véracité : Sur TruthfulQA, PC-LDCD a obtenu les scores True+Info, MC2 et MC3 les plus élevés dans trois modèles sur quatre. Il a notablement amélioré MC2 et MC3 (mesures de l'incertitude calibrée sur plusieurs complétions véridiques), suggérant qu'il produit des distributions de sortie plus robustement véridiques plutôt que de simplement décaler la confiance d'une seule réponse.
  • QA Standard : Sur les benchmarks de QA standard, PC-LDCD est resté compétitif, égalant ou suivant de près les meilleures lignes de base (par exemple, atteignant un SQuAD EM de 0,87 sur Mistral-7B).
• Efficacité : La méthode ne nécessite ni récupération externe ni mise à jour des poids. Les études d'ablation ont montré qu'une performance de détection quasi optimale est réalisable avec seulement 100 échantillons d'entraînement et une dimension de projection de 128.

Signification et Revendications

L'article revendique que, en encadrant les hallucinations comme des anomalies géométriques sur une variété factuelle et en utilisant des Circuits Probabilistes pour une estimation de densité exacte, il est possible de résoudre la tension entre détection et correction. La signification principale réside dans le mécanisme de porte : en acheminant les corrections exclusivement vers l'espace discret des tokens uniquement lorsque la géométrie latente dévie, la méthode évite l'« effondrement sémantique » causé par une édition continue indiscriminée.

Les auteurs positionnent leur travail comme une étape vers un déploiement fiable des LLM dans des domaines à haut risque, offrant un signal d'incertitude principiel en un seul passage qui ne repose ni sur la surconfiance des probabilités de tokens ni sur la surcharge computationnelle de l'échantillonnage multi-passages. Ils reconnaissent des limites, notamment le besoin d'un petit ensemble de calibration d'états étiquetés et la portée d'évaluation actuelle limitée aux modèles jusqu'à 8 milliards de paramètres, laissant ouverte la question de la séparation géométrique dans les modèles plus grands.