💬 NLP

Text Corpora as Concept Fields: Black-Box Hallucination and Novelty Measurement

Ce papier présente les « Champs de Concepts », un cadre attribuable à un corpus et de type boîte noire qui modélise le texte comme des champs de dérive locaux dans l'espace d'incorporation afin de fournir des scores probabilistes interprétables pour détecter les hallucinations et mesurer la nouveauté sans dépendre des mécanismes internes du modèle.

Auteurs originaux : Nicholas S. Kersting, Vittorio Castelli, Chieh Ting Yeh, Xinzhu Wang, Saad Taame

Publié 2026-05-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nicholas S. Kersting, Vittorio Castelli, Chieh Ting Yeh, Xinzhu Wang, Saad Taame

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une immense bibliothèque de livres, mais au lieu de lire les mots, vous transformez chaque phrase en une coordonnée unique sur une carte géante et invisible. Sur cette carte, les phrases qui signifient des choses similaires sont proches les unes des autres, tandis que celles qui signifient des choses différentes sont éloignées.

Ce papier présente une nouvelle méthode pour vérifier si une phrase écrite par une IA (ou un humain) a du sens par rapport à cette bibliothèque. Ils appellent cette carte le « Champ des Concepts ».

Voici comment cela fonctionne, décomposé en analogies simples :

1. La « Rivière des Idées » (Le Champ des Concepts)

Imaginez que la bibliothèque n'est pas simplement un tas statique de livres, mais un fleuve qui coule.

Le Flux : Si vous lisez une phrase sur « l'achat d'une voiture », le fleuve coule naturellement vers la phrase suivante la plus probable, comme « la ramener à la maison ».
Le Courant : Les auteurs ont créé un système qui cartographie le « courant » de ce fleuve. Ils ne regardent pas seulement une phrase ; ils observent le changement (le delta) entre une phrase et la suivante.
La Carte : Ils ont construit une base de données (appelée VSDB) qui stocke ces phrases et le « courant » qui les relie. Cela crée un champ où chaque point a une direction et une vitesse, représentant comment les idées coulent habituellement dans cette bibliothèque spécifique.

2. Le « Contrôle de la Boussole » (Évaluation des Hallucinations)

Maintenant, imaginez qu'une IA écrit une nouvelle histoire. Comment savoir si elle ment (hallucine) ou si elle reste fidèle aux faits ?

Le Test : Vous prenez la phrase de l'IA et voyez si elle suit le « courant » du fleuve.
Le Score (Zeta) : Le système calcule un score appelé Zeta. Imaginez cela comme une déviation de boussole.
- Score Faible : La phrase de l'IA s'écoule parfaitement avec le fleuve. Elle est « ancrée » (fidèle au matériel source).
- Score Élevé : La phrase de l'IA nage à contre-courant ou saute hors du fleuve entièrement. Elle est « désancrée » (une hallucination ou un saut créatif audacieux).
La Zone « Incertaine » : Parfois, le fleuve est brumeux ou la carte est incomplète. Le système peut dire « Je ne suis pas sûr », plutôt que de forcer une réponse erronée. C'est un système de « triage » : Ancré, Désancré, ou Incertitude.

3. Le « Laboratoire de Physique » (L'Exemple de la Balistique 2D)

Pour prouver que leur idée fonctionne, les auteurs ont mené un test simple utilisant la physique, et non du texte.

Le Montage : Ils ont simulé 1 000 balles lancées en l'air à différents angles. Ils ont cartographié la trajectoire de chaque balle.
Le Résultat : Ils ont créé une « carte du vent » (le Champ des Concepts) montrant où les balles vont généralement.
Le Test : Lorsqu'ils lançaient une balle suivant la même physique, la carte disait : « Oui, cela correspond ! » Lorsqu'ils lançaient une balle avec une « résistance de l'air » (une règle physique différente), la carte criait : « Non ! Cela ne correspond pas au modèle ! »
Le Point : Cela a prouvé que leurs mathématiques fonctionnent aussi pour le texte. Si le « flux » des idées change, le système le détecte.

4. Deux Bibliothèques Différentes, Un Seul Outil

Les auteurs ont testé cela sur deux bibliothèques très différentes :

La Bibliothèque de Droit (CFR) : Une collection de règlements fédéraux américains. Ici, « aller à contre-courant » est mauvais (c'est un mensonge). Ils ont utilisé le système pour détecter les hallucinations d'IA dans les textes juridiques.
La Bibliothèque de Histoires (Project Gutenberg) : Une collection de romans classiques. Ici, « aller à contre-courant » peut être bon (c'est de la créativité). Ils ont utilisé le système pour détecter quand une IA écrivait quelque chose de nouveau et de créatif, plutôt que de simplement copier d'anciennes histoires.

La Magie : Les mêmes mathématiques ont fonctionné pour les deux. Un score élevé signifiait « différent de la bibliothèque » dans les deux cas. En droit, c'est un avertissement ; dans les histoires, c'est une fonctionnalité.

5. Pourquoi C'est Spécial (L'Avantage de la « Boîte Noire »)

La plupart des détecteurs d'IA tentent d'entrevoir le cerveau de l'IA (boîte blanche) ou demandent à l'IA de se juger elle-même (ce qui est souvent peu fiable).

Cette méthode est « Boîte Noire » : Elle ne se soucie pas du fonctionnement de l'IA. Elle observe uniquement la sortie et la compare à la bibliothèque.
C'est Rapide et Économique : Cela ne nécessite pas de superordinateurs coûteux. Il suffit d'un ordinateur standard et des données de la bibliothèque.
C'est Traçable : Si le système déclare qu'une phrase est une hallucination, il peut pointer vers les phrases spécifiques de la bibliothèque qui le prouvent. C'est comme dire : « Vous avez dit X, mais la bibliothèque dit Y, et voici le numéro de page. »

6. Découvrir des Motifs Cachés (Les « Tourbillons »)

Les auteurs ont également examiné la forme du fleuve.

Sources et Puits : Ils ont trouvé des endroits où de nombreuses idées semblent commencer (comme une fontaine) ou se terminer (comme un évier).
Tourbillons : Ils ont trouvé des endroits où les idées semblent tourner autour d'un sujet central sans avancer.
Pourquoi cela compte : Ce ne sont pas seulement des chiffres ; ils représentent des motifs cachés dans la façon dont les humains parlent et écrivent. Par exemple, un « tourbillon » pourrait être un sujet dont les gens parlent beaucoup mais qui ne semble jamais être résolu.

Résumé

Les auteurs ont construit une carte du flux des idées dans une collection spécifique de textes. Ils ont créé une boussole qui vous indique si une nouvelle phrase suit ce flux ou s'en écarte.

Si vous vérifiez des faits, un écart signifie un mensonge.
Si vous vérifiez la créativité, un écart signifie une nouvelle idée.
Cela fonctionne rapidement, n'a pas besoin de savoir comment l'IA pense, et peut expliquer pourquoi elle a pris une décision en pointant vers le texte original.

Résumé Technique : Les Corpus de Textes comme Champs de Concepts

Énoncé du Problème
Les méthodes actuelles pour détecter les hallucinations des LLM ou évaluer leur ancrage reposent souvent sur des internes de modèle en boîte blanche, des métriques de perplexité en boîte grise, ou des approches en boîte noire nécessitant un étalonnage lourd (par exemple, LLM-comme-juge). Ces solutions existantes sont fréquemment coûteuses, dépendantes de l'architecture, ou manquent d'interprétabilité opérationnelle. De plus, de nombreuses approches géométriques dans l'espace des plongements sont limitées à des comparaisons par paires (par exemple, DTW) ou manquent d'un mécanisme pour rendre compte de l'incertitude locale au sein d'un corpus. Les auteurs proposent un passage de la vision de l'hallucination comme un échec binaire à un concept plus large d'ancrage : savoir si une sortie est soutenue par un corpus cible. Ce cadre s'applique à la fois à la conformité (où la déviation est négative) et à la créativité (où la déviation est positive).

Méthodologie
La contribution centrale est le Champ de Concepts, un champ de dérive local avec une incertitude ponctuelle estimée dans l'espace des plongements de phrases. La méthodologie se déroule comme suit :

Base de Données de Séquences Vectorielles (VSDB) : Les auteurs introduisent une couche de stockage qui conserve des plongements de phrases de dimension fixe, accompagnés de métadonnées de position de séquence et d'informations sur le "prochain delta" ( $\Delta_{i,j} = v_{p+1} - v_p$ ). Cela permet au système de traiter un corpus non pas comme un sac de phrases, mais comme une collection de trajectoires dans l'espace des plongements.
Construction du Champ de Concepts : En utilisant la VSDB, les auteurs calculent une densité de probabilité locale des transitions de phrases. En traitant le corpus comme un "champ vectoriel", ils définissent une dérive déterministe où le "flux" représente le concept suivant le plus probable étant donné une phrase actuelle. Ce champ est estimé en utilisant l'interpolation par Pondération Inverse de la Distance (IDW) sur les plus proches voisins dans l'espace des plongements.
Mécanisme de Notation ( $\zeta$ ) : Pour évaluer une transition de phrase candidate, le système calcule la distance z absolue moyenne ( $\zeta$ $ζ$ ) entre le delta observé et l'estimation gaussienne locale du Champ de Concepts.
- Un $\zeta$ faible indique un accord statistique avec le flux du corpus (ancré).
- Un $\zeta$ élevé indique un écart par rapport au flux du corpus (non ancré ou nouveau).
- Le score est entièrement en boîte noire (ne nécessitant aucun interne de modèle), attribuable au corpus (remontant à des phrases spécifiques du corpus), et admet une interprétation probabiliste directe.
Analyse Géométrique : Les auteurs explorent la divergence et le rotationnel du Champ de Concepts sur des clusters denses. Une divergence élevée indique des "sources de logique" (points de départ communs) ou des "puits de logique" (conclusions communes), tandis qu'un rotationnel élevé suggère des "sujets implicites" ou des régions où les vecteurs circulent autour d'un concept central sans flux linéaire clair.

Contributions Clés

Champ de Concepts via VSDB : Une représentation au niveau du corpus du flux de séquences de phrases avec incertitude locale, implémentée via une nouvelle Base de Données de Séquences Vectorielles.
Détection Sélective de l'Ancrage : Une politique de tri (Ancré / Non ancré / Incertain) basée sur des seuils $\zeta$ . Cette approche atteint de faibles taux d'erreur sur les cas acceptés tout en maintenant un compartiment "incertain" pour les transitions ambiguës.
Robustesse Transdomaine : Le même mécanisme prend en charge à la fois les vérifications d'ancrage de style conformité (détection d'hallucinations dans les textes juridiques) et les vérifications de déviation de style nouveauté (détection de départs créatifs dans la littérature) sans ré-étalonnage des seuils.
Géométrie du Corpus : Des preuves qualitatives que les caractéristiques topologiques (divergence/rotationnel) dans le Champ de Concepts correspondent à des motifs sémantiques significatifs, tels que des flux de raisonnement communs ou des régions d'évitement.

Résultats Expérimentaux
Les auteurs ont évalué l'approche sur deux contextes à grande échelle :

CFR (Code of Federal Regulations) : Un corpus factuel/juridique utilisé pour tester la détection d'hallucinations. Le système a été testé sur des paires de phrases reformulées par un LLM, distinguant celles qui préservaient le sens (ancrées) de celles qui changeaient la sémantique (non ancrées).
Project Gutenberg : Un corpus littéraire général utilisé pour tester la détection de nouveauté, où le "non-ancrage" (un $\zeta$ élevé) est une caractéristique souhaitée pour l'écriture créative.

Constats de Performance :

Classification Sélective : Sous une politique de tri (par exemple, $\zeta_{low}=1, \zeta_{high}=3.75$ ), la méthode a obtenu un score F1 de 0,978 et un AUC de 0,984 sur le jeu de données CFR avec une couverture d'environ 56 % (44 % des exemples marqués "incertains").
Comparaison avec les Lignes de Base : Le Champ de Concepts a surpassé ou égalé les lignes de base utilisant une simple distance de plus proche voisin (Euclidienne ou Cosinus) sur la VSDB. Crucialement, alors que les lignes de base basées sur la distance nécessitaient un réglage spécifique au corpus des seuils, le Champ de Concepts a maintenu une performance cohérente et une interprétation des seuils constante à la fois dans les domaines CFR et Gutenberg.
Comportement Couverture-Risque : La méthode a démontré des compromis couvrage-risque similaires dans les deux domaines, soutenant l'affirmation selon laquelle l'interprétation probabiliste de $\zeta$ se transfère efficacement entre les corpus factuels et créatifs.
Insights Géométriques : L'analyse qualitative de la divergence et du rotationnel a révélé des clusters sémantiquement cohérents (par exemple, "GOOOOAAALL!!" comme puits de logique dans le commentaire sportif, ou des formulations réglementaires spécifiques comme sources/puits de logique dans le CFR).

Signification et Revendications
L'article revendique que les Champs de Concepts fournissent un signal rapide, léger et interprétable pour l'ancrage et la nouveauté, complémentaire aux juges LLM et aux détecteurs en boîte blanche.

Interprétabilité : Contrairement aux juges en boîte noire, chaque score remonte aux phrases voisines du corpus, offrant une explicabilité.
Efficacité : Une fois indexé, la méthode est plus rapide et moins coûteuse (aucune utilisation de jeton API) que l'évaluation basée sur LLM, s'exécutant sur des CPU standards.
Agnosticisme Linguistique : L'approche n'est pas liée à des architectures de modèles spécifiques, la rendant applicable à diverses langues du monde.
Modestie : Les auteurs présentent l'analyse géométrique (divergence/rotationnel) comme "génératrice d'hypothèses" plutôt que comme un résultat quantitatif définitif. Ils reconnaissent que la qualité du Champ de Concepts dépend des données, notant que les corpus logiquement cohérents (comme les lois) produisent des champs plus fiables que les données internet bruyantes. Le travail est présenté comme une étape fondamentale, laissant la place à la communauté pour améliorer les schémas de plongement et les méthodes d'interpolation.