Résumé Technique : CORTEX

Énoncé du Problème

La génération augmentée par récupération (RAG) est largement utilisée pour ancrer les sorties des grands modèles de langage (LLM) dans des références externes, pourtant les modèles génèrent fréquemment du contenu halluciné même lorsque des références sont fournies. Les méthodes existantes de détection d'hallucinations font face à deux limitations principales :

1. Granularité : La plupart des approches opèrent au niveau de la « réponse », évaluant l'ensemble de la réponse comme une unité unique. Cela est insuffisant pour les sorties RAG de longue forme où des contenus fidèles et hallucinés coexistent souvent.
2. Méthodologie : De nombreuses méthodes existantes reposent sur l'auto-cohérence (nécessitant plusieurs générations) ou sur la vérification de faits par prompt (nécessitant de l'inférence supplémentaire et de l'ingénierie de prompt), ce qui engendre des coûts de calcul élevés. De plus, de nombreux détecteurs basés sur les représentations analysent un état interne unique de manière isolée plutôt que de comparer la façon dont l'état du modèle change lorsque les références sont présentes par rapport à lorsqu'elles sont absentes.

Le papier propose la nécessité d'une méthode de détection au niveau du token capable de localiser le contenu non ancré au sein de sorties mixtes et de fonctionner comme un cadre post-hoc pratique pour les LLM à poids ouverts et à poids fermés (basés sur API).

Méthodologie : CORTEX

CORTEX (Comparative Observed Reference-based Token-level EXpressions) est un cadre de détection d'hallucinations post-hoc conçu spécifiquement pour le RAG. Il utilise un LLM à poids ouverts ($M_{open}$) comme modèle d'analyse pour inspecter les représentations internes d'une réponse générée, laquelle peut avoir été produite par un LLM à poids fermés ($M_{close}$).

Le cadre opère à travers trois composantes centrales :

1. Représentation Delta Induite par la Référence

CORTEX construit une vue contrefactuelle appariée de la même réponse sous deux conditions :

• Entrée conditionnée par la référence : $x_{ref} = \text{question} \parallel \text{références} \parallel \text{réponse}$
• Entrée sans référence : $x_{no-ref} = \text{question} \parallel \text{réponse}$

En traitant les deux entrées via $M_{open}$, la méthode extrait les représentations internes par token ($h_i$) pour chaque token de la réponse $t_i$. Elle calcule une représentation delta ($\Delta h_i$) représentant le changement d'état du token lorsque les références sont fournies :
$$\Delta h_i = h_{i}^{ref} - h_{i}^{no-ref}$$
L'intuition est que les tokens fidèles présentent des changements de représentation cohérents lorsqu'ils sont ancrés dans les références, tandis que les tokens hallucinés montrent des changements plus faibles ou incohérents.

2. Résidu Contextuel Basé sur l'Attention

Dans la génération de longue forme, l'influence de la référence peut se propager indirectement. Un token $t_i$ peut être ancré non pas par un lien direct avec la référence, mais par des tokens précédents ($t_{<i}$) qui étaient eux-mêmes ancrés. Se fier uniquement à $\Delta h_i$ pourrait classer à tort ces tokens indirectement ancrés comme des hallucinations.

Pour y remédier, CORTEX calcule un résidu contextuel ($c_i$). Il estime l'influence de la référence médiée par les tokens précédents en utilisant les poids d'attention ($\alpha_{ij}^{ref}$) de l'entrée conditionnée par la référence :
$$\bar{\Delta h}_i = \sum_{j<i} \alpha_{ij}^{ref} \Delta h_j$$
$$c_i = \Delta h_i - \bar{\Delta h}_i$$
Le résidu $c_i$ isole le changement spécifique au token qui subsiste après avoir pris en compte l'influence propagée par le contexte, réduisant ainsi les faux positifs pour les tokens indirectement ancrés dans la référence.

3. Classification par Token et Lissage

Les caractéristiques $[\Delta h_i; c_i]$ sont injectées dans un classifieur MLP (Perceptron Multicouche) pour produire un score d'hallucination brut $s_i$.

Pour s'aligner sur les schémas d'annotation humaine (où les hallucinations apparaissent généralement sous forme de segments contigus plutôt que de tokens isolés), CORTEX applique un Lissage de Persistance de Label comme étape de post-traitement. Cela modélise la tendance des labels d'hallucination à persister à travers les tokens voisins en utilisant un terme de persistance par paire ($\rho$) et une confiance au niveau du token dérivée de $s_i$. Le score lissé final est calculé via l'algorithme forward-backward, réduisant le bruit local tout en préservant la granularité au niveau du token.

Principales Contributions

1. Premier Détecteur RAG au Niveau du Token : À la connaissance des auteurs, CORTEX est le premier détecteur d'hallucinations au niveau du token spécifiquement conçu pour le RAG, permettant une localisation fine du contenu non ancré.
2. Cadre Post-Hoc Pratique : La méthode ne nécessite pas de modifier les paramètres du générateur. Elle peut analyser les sorties de n'importe quel LLM, y compris les modèles à poids fermés basés sur API, en utilisant un modèle distinct à poids ouverts pour l'extraction de caractéristiques.
3. Approche de Représentation Comparative : Contra\à travaux antérieurs qui analysent des états internes uniques, CORTEX exploite le contraste entre les représentations conditionnées par la référence et celles sans référence pour isoler les signaux induits par la référence.
4. Conception Contextuelle et Sensible aux Segments : L'introduction du résidu contextuel répond à l'ancrage indirect, tandis que le lissage de persistance de label aligne les prédictions sur les structures d'annotation par segments.

Résultats Expérimentaux

Les auteurs ont évalué CORTEX sur deux benchmarks (RAGTruth et HalluRAG) en utilisant trois LLM (Llama-3.1-8B, Qwen3-8B, et Mistral-7B).

• Performance au Niveau du Token : CORTEX a nettement surpassé cinq baselines (incluant NLL, SAPLMA, LLM-Check, ICR Probe, et RAGLens) en termes de Précision Moyenne (AP) et d'AUROC. Sur RAGTruth, CORTEX a atteint une AP de 0,5940 (Qwen) contre 0,4575 pour la deuxième meilleure méthode (RAGLens).
• Performance au Niveau de la Réponse : Bien qu'entraîné pour la détection au niveau du token, CORTEX a obtenu des performances compétitives au niveau de la réponse (en utilisant le score de token maximal comme score de réponse), démontant que les signaux au niveau du token sont efficaces pour l'évaluation de la fiabilité globale.
• Études d'Ablation : Le retrait du résidu contextuel ($c$) ou de l'étape de lissage a entraîné des baisses de performance, confirmant que ces deux composantes sont nécessaires pour une détection robuste. L'étape de lissage s'est révélée largement bénéfique, même lorsqu'elle est appliquée aux méthodes de base.

Signification et Revendications

Le papier affirme que CORTEX démontre l'efficacité de la comparaison des représentations internes sous différentes conditions (avec vs sans références) comme signal pour la détection d'hallucinations.

• Praticité : En découplant le générateur de l'analyseur, CORTEX offre une solution viable pour l'évaluation de la fiabilité dans les systèmes déployés où le générateur est une API boîte noire.
• Granularité : Il répond à la limitation de la détection au niveau de la réponse en fournissant un mécanisme pour localiser les hallucinations à des tokens spécifiques, qui peuvent ensuite être agrégés à n'importe quelle granularité requise (mots, phrases, paragraphes).
• Portée : Les auteurs notent explicitement que CORTEX est conçu pour la génération ancrée par référence. Il détecte le contenu non soutenu par les références fournies, ce qui est crucial pour les applications contrôlées (ex: support d'entreprise) mais peut signaler des connaissances paramétriques utiles dans des scénarios ouverts. Le papier ne prétend pas détecter l'inexactitude factuelle générale indépendamment du contexte fourni.

Les auteurs concluent que ces signaux de comparaison de représentations internes pourraient également servir de base à de futures stratégies de mitigation d'hallucinations, telles que la modélisation de récompense pour l'ajustement des générateurs.