💬 NLP

Kernel Token Contradiction: a Fast and Principled Approach for LLM Claim Uncertainty Quantification

L'article introduit le Kernel Token Contradiction (KTC), une méthode légère et efficace pour le processeur permettant de quantifier l'incertitude au niveau des affirmations dans les sorties de modèles de langage de grande taille, qui exploite les représentations de jetons basées sur les noyaux et les statistiques de fréquence de Wikipédia pour obtenir des accélérations significatives par rapport aux approches existantes tout en maintenant une précision élevée, particulièrement dans les régimes de haute précision.

Auteurs originaux : Jérémie Dentan, Alexi Canesse, Mahammed El Sharkawy, Sonia Vanier

Publié 2026-08-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jérémie Dentan, Alexi Canesse, Mahammed El Sharkawy, Sonia Vanier

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les modèles de langage de grande taille sont devenus une partie familière de la vie moderne, capables d'écrire des histoires, de répondre à des questions et de résumer des sujets complexes avec une fluidité qui semble souvent humaine. Pourtant, sous cette surface lisse se cache un problème persistant : ces systèmes génèrent parfois des affirmations d'apparence assurée qui sont tout simplement fausses. Ce phénomène, connu sous le nom d'hallucination, se produit lorsqu'un modèle invente des faits ou mélange des détails, créant un risque pour quiconque s'appuie sur ses résultats pour obtenir des informations précises. Pour remédier à cela, les chercheurs ont développé des méthodes pour mesurer le degré d'incertitude d'un modèle sur ce qu'il dit. L'objectif n'est pas d'empêcher le modèle de parler, mais de signaler les moments spécifiques où il devine, permettant aux utilisateurs de faire confiance aux parties fiables d'une réponse tout en restant prudents face aux parties fragiles. Le défi consiste à trouver un moyen d'y parvenir rapidement et avec précision, sans ralentir le système ni nécessiter des quantités massives de puissance de calcul.

Une équipe de chercheurs du LIX, un laboratoire en France, a introduit une nouvelle méthode appelée Kernel Token Contradiction, ou KTC, conçue pour résoudre ce dilemme de vitesse et de précision. Leur travail se concentre sur un type spécifique d'incertitude : le moment où un modèle hésite entre deux informations qui ne peuvent pas être vraies simultanément. Imaginez un modèle essayant d'énoncer le prix d'un produit. S'il est incertain, il pourrait attribuer des probabilités élevées à deux nombres différents, tels que six cent quatre-vingt-dix dollars et quatre cent quatre-vingt-dix-neuf dollars. Ces deux nombres se contredisent ; si l'un est vrai, l'autre doit être faux. Les chercheurs ont réalisé que la détection de ce genre de conflit interne est un signal puissant que le modèle est en train d'halluciner. Contrairement aux méthodes précédentes qui reposaient sur des logiciels lourds et lents entraînés pour comprendre la logique du langage, la KTC utilise une approche beaucoup plus légère basée sur la manière dont les mots apparaissent typiquement les uns à côté des autres dans une vaste collection d'écrits humains.

Le processus commence par l'examen de la liste des mots suivants possibles qu'un modèle considère à chaque étape. Les chercheurs ont construit une carte de ces possibilités en analysant le corpus Wikipédia, une immense bibliothèque numérique d'articles. Ils ont compté la fréquence à laquelle des mots spécifiques apparaissent à proximité les uns des autres dans ce texte réel. Si deux mots candidats pour l'étape suivante ont des voisins très similaires dans Wikipédia, le système les traite comme étant probablement contradictoires. Par exemple, si le modèle hésite entre deux prix différents, ces chiffres de prix apparaissent probablement dans des contextes similaires dans Wikipédia, signalant un conflit. Si le modèle doit choisir entre deux articles différents, comme « le » et « un », ces mots ont des voisins très différents, indiquant qu'ils ne sont pas en conflit mais sont simplement des manières différentes d'exprimer la même idée. Ce contrôle statistique remplace la nécessité d'un modèle de langage distinct et lent pour juger la contradiction, rendant le processus incroyablement rapide.

Une fois que le système identifie quels mots candidats sont en conflit, il combine cette information avec les propres niveaux de confiance du modèle. Il crée une représentation mathématique qui pondère la probabilité de chaque mot par le degré de contradiction entre eux. Les chercheurs appliquent ensuite une mesure de désordre, connue sous le nom d'entropie, à cette image combinée. Si le modèle est confiant et que les options ne sont pas en conflit, le score d'incertitude reste faible. Cependant, si le modèle est déchiré entre deux faits contradictoires, le score grimpe en flèche, alertant l'utilisateur que cette partie spécifique de la réponse est peu fiable. Ce calcul se produit au niveau des mots individuels, permettant au système de localiser précisément quelle affirmation dans un long paragraphe est problématique, plutôt que de simplement étiqueter l'ensemble de la réponse comme douteuse.

Les résultats des tests de cette méthode ont été frappants par leur efficacité et leur précision. Les chercheurs ont évalué la KTC sur seize modèles de langage différents et dans quatre langues européennes : l'anglais, le français, l'allemand et l'espagnol. Ils l'ont comparée aux meilleures méthodes actuelles, qui reposent sur des modèles de langage spécialisés fonctionnant sur de puissants processeurs graphiques. La KTC, fonctionnant uniquement sur des processeurs informatiques standards, s'est avérée plus de soixante-cinq fois plus rapide que les versions CPU de ces concurrents et plus de huit fois plus rapide que les versions accélérées par GPU, tout en égalant ou en dépassant leurs performances. Crucialement, dans les situations où une haute précision est requise — c'est-à-dire que le système doit être très sûr avant de signaler une erreur — la KTC a surpassé toutes les autres méthodes. Elle a réussi à identifier des affirmations fausses avec un taux de précision plus élevé que les outils de pointe existants, même en utilisant beaucoup moins de puissance de calcul.

Ce travail suggère qu'il est possible de surveiller les modèles de langage de grande taille en temps réel sans le coût computationnel lourd qui rendait une telle surveillance impraticable pour de nombreuses applications. En remplaant les modèles de langage complexes et lents par une vérification simple et rapide contre une grande base de données d'écrits humains, les chercheurs ont créé un outil qui peut être intégré directement dans les systèmes de production. La méthode ne nécessite pas l'arrêt ou le réentraînement du modèle ; elle observe simplement les choix internes du modèle et calcule le risque d'erreur basé sur les schémas de contradiction. Bien que l'étude actuelle ait été limitée à quatre langues et à des critères de référence spécifiques, l'approche offre une voie prometteuse pour rendre l'intelligence artificielle plus fiable et digne de confiance dans l'usage quotidien, garantissant que lorsqu'un modèle parle, nous sachons exactement quand l'écouter et quand vérifier l'information.

Résumé Technique : Kernel Token Contradiction (KTC)

Énoncé du Problème

Les grands modèles de langage (LLM) génèrent fréquemment du contenu plausible mais non factuel, connu sous le nom d'hallucinations. Bien que la quantification de l'incertitude (UQ) vise à atténuer ce phénomène en estimant la confiance du modèle, les méthodes existantes d'UQ au niveau des affirmations (claim-level UQ) font face à trois limitations critiques :

Précision Insuffisante : Les méthodes les plus performantes échouent souvent à atteindre une précision élevée dans les régimes à faible rappel (ex. : <20 % de rappel), ce qui est crucial pour les systèmes de production où les faux positifs sont coûteux.
Inefficacité Computationnelle : Les approches de pointe reposent sur des modèles d'inférence de langage naturel (NLI) (ex. : encodeurs croisés) pour détecter les contradictions. Ces modèles nécessitent des ressources GPU importantes et peuvent excéder le temps d'exécution de la génération de l'LLM, rendant la surveillance en temps réel impraticable.
Biais Linguistique : Les modèles NLI sont typiquement entraînés sur des corpus anglais, ce qui entraîne une dégradation des performances dans d'autres langues.

Méthodologie : Kernel Token Contradiction (KTC)

Le KTC est une approche légère et "white-box" conçue pour calculer l'incertitude au niveau des affirmations en intégrant l'incertitude prédictive (issue de la distribution de l'LLM) et l'incertitude sémantique (issue des contradictions de jetons/tokens). La méthode opère en quatre étapes distinctes :

1. Construction d'un Graphe de Non-Contradiction (Étape A)

Au lieu d'utiliser des modèles NLI lourds, le KTC emploie une heuristique basée sur les statistiques de voisinage de Wikipedia pour déterminer si des jetons candidats se contredisent.

Processus : Pour un ensemble de jetons candidats lors d'une étape de prédiction du prochain jeton (NTP), la méthode compte la fréquence de leurs jetons voisins dans le corpus Wikipedia.
Logique : Les jetons contradictoires (ex. : "699" vs "499" dans un prix) ont tendance à partager des ensembles de voisins similaires, résultant en un score de non-contradiction faible. Les jetons non contradictoires (ex. : "un" vs "le") ou les jetons sans rapport ont des ensembles de voisins distincts, produisant un score élevé.
Sortie : Un graphe non orienté et pondéré par les arêtes, où les poids des arêtes représentent le degré de non-contradiction entre les paires de jetons.

2. Construction du Noyau Sémantique (Étape B)

Le graphe de non-contradiction est converti en un Noyau Sémantique ( $K$ ) semi-positif défini (PSD) en utilisant la méthode du Noyau de Chaleur (Heat Kernel).

Le Laplacien du graphe ( $L$ ) est calculé à partir de la matrice d'adjacence.
Le noyau de chaleur est dérivé de $K(\tau) = \exp(-\tau \cdot L)$ , où $\tau$ est un paramètre de diffusion.
Ce noyau capture l'incertitude sémantique : un graphe fortement connecté (faible incertitude) produit un noyau avec une valeur propre dominante, tandis qu'un graphe creux (incertitude élevée) produit plusieurs valeurs propres importantes.

3. Incorporation de la Distribution Conditionnelle (Étape C)

Pour distinguer l'incertitude aléatoire (aleatoric) de l'incertitude épistémique (manque de connaissances factuelles), le KTC met à l'échelle le noyau sémantique par le Noyau Prédictif ( $\Pi$ ) de l'LLM.

$\Pi$ est une matrice diagonale contenant les probabilités conditionnelles des jetons candidats.
Le Noyau Combiné ( $M$ ) est calculé comme $M = \Pi^{1/2} K \Pi^{1/2}$ .
Signification : Cette mise à l'échelle agit comme un mécanisme de porte (gating). Une incertitude élevée n'est enregistrée que si à la fois la distribution prédictive est incertaine (entropie élevée) et l'espace sémantique contient des contradictions (entropie sémantique élevée). Si le modèle est confiant dans sa prédiction (faible entropie prédictive) ou si les jetons sont sémantiquement cohérents (faible entropie sémantique), le score résultant reste faible.

4. Calcul de l'Entropie de Von Neumann (Étape D)

Le score d'incertitude final est l'Entropie de Von Neumann (VNE) du noyau combiné normalisé $M$ :
$\text{KTC} = -\sum_{i=1}^{\delta} \lambda_i(M) \log \lambda_i(M)$
où $\lambda_i(M)$ sont les valeurs propres de $M$ . Cette métrique quantifie l'incertitude quantique du système, agrégeant efficacement les incertitudes prédictives et sémantiques.

Principales Contributions

Heuristique sans NLI : Introduction d'une heuristique de fréquence de voisinage basée sur Wikipedia pour détecter les contradictions de jetons, remplaçant les modèles NLI coûteux en ressources. Cette configuration ne nécessite que la tokenisation de pages Wikipedia (quelques minutes de temps CPU) et aucun entraînement GPU.
Adaptation du KLE au niveau des Jetons : Adaptation du principe de l'Entropie de Langage par Noyau (KLE) du niveau de génération au niveau des jetons, permettant une UQ fine au niveau des affirmations.
Mise à l'échelle Prédictive : Une nouvelle méthode pour mettre à l'échelle l'incertitude sémantique par la distribution prédictive, ce qui est crucial pour isoler l'incertitude épistémique au niveau des jetons.
Évaluation Complète : Évaluation à travers quatre langues européennes (anglais, français, allemand, espagnol) et 16 LLM (incluant Llama 3, Mistral, Gemma 3, etc.) sur les benchmarks MUCH et Mu-Shroom.

Résultats Empiriques

Efficacité : Le KTC atteint une performance de pointe avec seulement 5,6 % de surcharge par rapport au temps d'inférence de l'LLM. En comparaison, les méthodes basées sur le NLI accélérées par GPU (CCP, SAR) subissent une surcharge de 46 % (un ratio 8,2 fois plus élevé), et les méthodes NLI uniquement sur CPU subissent jusqu'à 369 % de surcharge (un ratio 65 fois plus élevé). Le KTC s'exécute entièrement sur CPU avec une surcharge négligeable.
Performance de Haute Précision : Dans le régime de haute précision (rappel $\le$ 20 %), le KTC atteint un PR-AUC de 0,78, surpassant nettement la méthode de pointe CCP (0,69).
Performance Globale : Bien que le CCP soit légèrement supérieur en termes de ROC-AUC global, le KTC se classe deuxième avec un écart de performance minimal tout en offrant une efficacité computationnelle largement supérieure.
Généralisation : Le KTC maintient des performances compétitives dans les quatre langues testées, alors que les bases de référence NLI (entraînées principalement sur l'anglais) montrent une plus grande variance et des performances moindres dans les contextes non anglais.

Signification et Revendications

L'article affirme que le KTC est, à la connaissance des auteurs, la première méthode d'UQ au niveau des affirmations pratique pour la surveillance en temps réel des sorties d'LLM sous des contraintes de latence de production. En supprimant la dépendance à l'accélération GPU et aux modèles NLI entraînés en anglais, le KTC offre une solution structurée et légère qui équilibre précision élevée et faisabilité computationnelle. Les auteurs soulignent que le KTC est particulièrement efficace dans les régimes de haute précision, qui sont les plus pertinents pour atténuer les hallucinations dans les environnements de production où le rejet de réponses entières est trop coûteux.

Ce travail est présenté comme une étape vers la rendre la surveillance de la fiabilité des LLM scalable, notant que bien qu'il nécessite actuellement un accès "white-box" (probabilités de jetons), son efficacité exclusivement sur CPU le rend immédiatement déployable pour de nombreux pipelines de production existants.