Résumé technique : Une définition unifiée de l'hallucination : C'est le modèle du monde, idiot !

1. Énoncé du problème

Malgré des recherches approfondies sur les stratégies d'atténuation depuis l'apparition des modèles de langage de grande taille (LLM), les hallucinations restent un problème persistant et non résolu dans les modèles de pointe. Le problème central identifié par les auteurs est la fragmentation de la définition de « l'hallucination ». Les définitions existantes sont spécifiques à une tâche et souvent contradictoires :

• Les chercheurs en résumé définissent l'hallucination comme un contenu non soutenu par le document source, même s'il est vrai dans le monde réel.
• Les chercheurs en QA (Question-Réponse) en domaine ouvert la définissent comme un contenu factuellement incorrect, indépendamment de la source.
• Les chercheurs en modèles vision-langage (VLM) se concentrent sur les incohérences entre l'entrée visuelle et le texte.
• Les chercheurs en agents considèrent l'hallucination comme des actions inappropriées basées sur des observations environnementales.

Ce manque de définition unifiée rend difficile la comparaison des benchmarks, l'évaluation de la transférabilité des stratégies d'atténuation ou la réponse aux questions fondamentales de savoir si les LLM pourront un jour cesser d'halluciner. Les évaluations actuelles supposent souvent implicitement une « vérité de terrain » sans spécifier explicitement quelle est cette vérité, comment elle est accédée, ou comment les conflits entre les sources sont résolus.

2. Méthodologie : Le cadre unifié

Les auteurs proposent un cadre formel qui unifie toutes les définitions existantes sous un concept unique : l'hallucination comme une modélisation inexacte (interne) du monde observable par l'utilisateur.

2.1 Composants de base

Le cadre définit une hallucination par rapport à trois composants explicites :

1. Modèle du monde de référence ($W$) : Une représentation formelle de ce qui est objectivement vrai dans un contexte donné. $W$ est un tuple $(S, H, R)$, où $S$ est l'ensemble des états de monde possibles, $H$ est l'ensemble des historiques d'interaction, et $R$ est un ensemble de règles contraignant les états admissibles. $W$ peut être instancié comme un document source, une base de connaissances, un simulateur, une base de données ou une grammaire formelle.
2. Fonction de vue ($V$) : Une fonction qui sélectionne la partie du modèle du monde pertinente pour un input $x$ spécifique (par exemple, le document complet, un sous-ensemble extrait, ou une observation partielle du DOM).
3. Politique de conflit ($P$) et fonction de vérité ($T_{W,P}$) : Une politique déterminant comment réconcilier plusieurs sources d'information (par exemple, « les documents extraits l'emportent sur la mémoire paramétrique »). La fonction de vérité attribue un statut (vrai, faux, inconnu) à toute affirmation atomique $c$ étant donné $W$, $x$, et $P$.

2.2 Définition formelle

Soit $y$ la sortie du modèle et $C(y)$ l'ensemble des affirmations atomiques observables par l'utilisateur. La sortie $y$ hallucine par rapport à $(W, P)$ si et seulement si il existe une affirmation $c \in C(y)$ telle que $T_{W,P}(x, c) = \text{false}$.

Crucialement, cette définition distingue l'hallucination (croyances incorrectes sur le monde de référence) d'autres types d'erreurs :

• Erreurs de planification : Croyances correctes mais mauvaise sélection d'action.
• Erreurs de récompense/incitation : Croyances correctes mais sorties confiantes dues aux incitations d'entraînement.
• Erreurs de calibration : Incertitude qui n'est pas correctement exprimée.

3. Principales contributions

Le papier présente trois contributions principales :

1. Une taxonomie unifiée : Les auteurs démontrent que les définitions antérieures (en résumé, RAG, environnements agentiques et VLM) sont simplement des instanciations différentes d'une même structure sous-jacente. En faisant varier $W$, $V$, et $P$, on peut dériver les définitions existantes (par exemple, hallucinations intrinsèques vs extrinsèques) comme des cas particuliers.
2. Directives explicites de conception de benchmarks : Le cadre force les concepteurs de benchmarks à énoncer explicitement leurs hypothèses concernant le monde de référence, la vue du modèle, et la résolution de conflits. Cela permet une comparaison significative entre des benchmarks disparates (par exemple, FavaBench, HALoGEN, HaluEval) en diagnostiquant où leurs définitions divergent.
3. Génération de benchmarks scalable via des mondes synthétiques : Le papier propose une méthode pour créer des benchmarks à grande échelle en utilisant des environnements synthétiques (par exemple, des jeux, des simulateurs) où le monde de référence $W$ est entièrement spécifié et programmable.
   • Étude de cas (Échecs) : Les auteurs illustrent comment un environnement d'échecs peut servir de benchmark. L'état du monde ($s$) et l'historique ($h$) constituent la vérité de terrain. Un générateur de documents crée des contextes textuels, et un générateur de requêtes crée des questions. La fonction de vérité évalue les affirmations par rapport à l'état réel du plateau et aux règles, permettant la génération automatique et à grande échelle de labels d'hallucination sans annotation humaine.

4. Résultats et conclusions

En tant que papier de position, ce travail ne présente pas de résultats empiriques sur la performance des modèles, mais propose plutôt une analyse conceptuelle et diagnostique :

• Pouvoir diagnostique : Le cadre révèle que les désaccords dans la littérature découlent souvent de différences implicites de $W$, $V$, ou $P$ plutôt que du comportement du modèle. Par exemple, une méthode peut réduire les hallucinations dans le résumé (où $W$ est le document source) mais échouer en QA ouverte (où $W$ est les faits du monde réel) car les interventions ciblent des composants différents.
• Clarification des stratégies d'atténuation : Le papier catégorise les techniques d'atténuation selon le composant qu'elles ciblent :
  • Récupération/Outils : Interventions sur la fonction de vue ($V$).
  • Calibration/Abstention : Interventions sur la fonction de vérité ou la politique de sortie ($T_{W,P}$).
  • Changements architecturaux/d'entraînement : Interventions sur l'approximation interne de $W$ par le modèle.
• Distinction des types d'erreurs : Le cadre sépare avec succès l'« hallucination » (erreurs de modélisation du monde) des erreurs de « planification » ou de « respect des instructions », une distinction souvent floue dans la littérature actuelle.

5. Signification et revendications

Les auteurs affirment que cette vision unifiée est significative pour plusieurs raisons :

• Rigueur scientifique : Elle fait passer le domaine de définitions vagues et spécifiques à une tâche vers une structure formelle et reproductible. Elle force les chercheurs à clarifier « ce qui est vrai » avant de prétendre qu'un modèle a halluciné.
• Comparabilité : Elle permet la comparaison de benchmarks et de stratégies d'atténuation à travers différents domaines (texte, vision, agents) en les mappant sur un modèle commun.
• Scalabilité : En exploitant des environnements synthétiques avec des mondes entièrement spécifiés, le cadre permet la création de benchmarks où les labels d'hallucination sont déterminés par construction plutôt que par une annotation humaine coûteuse ou des méthodes peu fiables de type « LLM-as-a-judge ».
• Orientation actionnable : Elle fournit une feuille de route claire aux développeurs et chercheurs pour identifier si un échec est dû à une information manquante ($V$), à des règles conflictuelles ($P$), ou à un modèle interne fondamentalement défaillant ($W$).

Le papier conclut que bien qu'une modélisation parfaite du monde puisse être inatteignable, l'objectif pour les LLM doit être de reconnaître les limites de leurs connaissances, de s'abstenir en cas d'incertitude, et de se mettre à jour sur la base d'informations externes. Le cadre proposé, complété par la suite de benchmarks HALLUWORLD, offre une voie pour mesurer et réduire systématiquement les erreurs de modélisation du monde observables.