Résumé Technique : HALLUHARD : Un benchmark de hallucinations multi-tours difficile

Énoncé du problème

Les grands modèles de langage (LLM) continuent de générer des affirmations factuelles plausibles mais non fondées, un mode de défaillance connu sous le nom d'hallucination. Ce problème est particulièrement aigu dans les dialogues multi-tours et ouverts où le contexte s'accumule et où les erreurs précoces peuvent se propager en cascade. Les benchmarks existants échouent souvent à capturer cette complexité car ils reposent sur :

1. Des domaines saturés : Des tâches de questions-réponses à format court ou de classification où les outils de recherche atteignent facilement des scores proches de la perfection.
2. Des formats simplifiés : Des prompts à tour unique qui divergent de l'utilisation réelle.
3. Une vérification limitée : Des juges qui dépendent de fragments de recherche (par exemple, les extraits Google Search via des API comme Serper) plutôt que de l'analyse du texte intégral des sources, manquant ainsi des détails enfouis dans des PDF, des tableaux ou des sections spécifiques non capturés par les extraits.
4. Des définitions ambiguës : La confusion entre l'hallucination et les échecs de suivi d'instructions ou les erreurs de raisonnement.

Les auteurs soutiennent que les évaluations actuelles ne testent pas suffisamment les modèles sur des connaissances de niche à enjeux élevés ou sur la capacité à vérifier le contenu par rapport à des sources citées dans un cadre multi-tours.

Méthodologie

1. Le benchmark HALLUHARD

Les auteurs introduisent HALLUHARD, un benchmark comprenant 950 questions germes réparties dans quatre domaines à enjeux élevés où l'information de niche est prédominante :

• Cas juridiques : Dérivés de questions juridiques vérifiées (ex. SCALR, Rule QA) et de matériels de l'examen du barreau de Californie.
• Questions de recherche : Basées sur des résumés ArXiv, divisées entre des articles "de niche" (5 à 30 citations) et des articles "connus" (>1000 citations), avec une coupure en 2023.
• Directives médicales : Tirées de directives publiques (ex. NICE) disponibles avant 2023.
• Codage : Focalisé sur quatre langages (Python, Scala, R, Elixir), testant les hallucinations d'installation, d'importation et d'appel de fonction.

Conception multi-tours :
Pour simuler des interactions réalistes, un "LLM Utilisateur" génère des questions de suivi naturelles basées sur l'historique de la conversation. Le modèle cible doit répondre à ces tours tout en fournissant des citations en ligne pour toutes les assertions factuelles. Cette configuration permet d'évaluer la propagation des erreurs à travers les tours.

2. Le pipeline de vérification (Le Juge)

Le papier propose un pipeline de jugement modulaire et novateur qui améliore les méthodes existantes comme SAFE (Search-Augmented Factuality Evaluator) :

• Extraction de l'affirmation : Un LLM extrait les affirmations atomiques vérifiables de la réponse de l'assistant.
• Récupération d'indices itérative : Contra�tirement à SAFE, qui utilise un nombre fixe d'appels de recherche, ce pipeline utilise un planificateur LLM pour décider quand les preuves sont suffisantes. Il invoque l'API Serper mais va plus loin en récupérant et analysant le texte intégral des sources, y compris les PDF, pour vérifier l'ancrage du contenu.
• Sélection du contexte : Les documents HTML et PDF récupérés sont analysés, et les blocs de texte pertinents sont sélectionnés via des modèles d'embedding pour former un ensemble de preuves.
• Jugement : Le système évalue deux modes de défaillance distincts :
  • Ancrage de référence : La source citée existe-t-elle et correspond-elle aux métadonnées de la citation ?
  • Ancrage de contenu : La source citée soutient-elle réellement l'affirmation spécifique faite ?
• Évaluation du codage : Pour les tâches de codage, où les citations sont rares, le juge évalue l'ensemble de la réponse pour détecter les commandes d'installation, les imports ou les appels de fonctions hallucinés.

3. Configuration expérimentale

Le benchmark a été évalué sur un ensemble diversifié de modèles propriétaires de pointe et de modèles à poids ouverts (ex. famille GPT-5, Claude-4.5, Gemini-3, DeepSeek, Kimi, GLM-4.7). Les évaluations incluaient des configurations avec et sans outils de recherche web (WS). Le taux d'hallucination ($H$) est calculé comme le ratio des affirmations hallucinées sur le total des affirmations vérifiables extraites.

Résultats clés

1. Hallucinations persistantes dans les modèles de pointe

Même les configurations les plus fortes présentent des taux d'hallucination substantiels :

• Claude-Opus-4.5 avec recherche Web : ~30,2 % de taux d'hallucination.
• GPT-5.2-thinking avec recherche Web : ~38,2 % de taux d'hallucination.
• Sans recherche Web : Les taux sont nettement plus élevés, dépassant souvent les 60 % pour les meilleurs modèles.
  Cela indique que l'intégration de la recherche web ne résout pas totalement l'hallucination, particulièrement pour l'ancrage du contenu.

2. Facteurs influençant l'hallucination

• Position du tour : Les taux d'hallucination augmentent généralement dans les tours ultérieurs pour les tâches juridiques, de recherche et médicales. Les auteurs attribuent cela au "self-conditioning" (auto-conditionnement), où les modèles se conditionnent sur leurs propres erreurs antérieures (ex. répéter des citations incorrectes). À l'inverse, les hallucinations de codage diminuent dans les tours ultérieurs à mesure que les tâches deviennent plus ciblées.
• Capacité du modèle : Les modèles plus larges (ex. GPT-5 vs GPT-5-nano, Opus vs Haiku) hallucinent systématiquement moins.
• Effort de raisonnement : L'activation des modes "thinking" (réflexion) réduit les hallucinations par rapport aux modes non-thinking. Cependant, augmenter simplement l'effort de raisonnement ne garantit pas de gains supplémentaires ; dans certains cas, les modèles de raisonnement produisent des réponses plus longues et détaillées qui introduisent plus d'opportunités d'erreur.
• Domaine et type de connaissance :
  • Contenu vs Référence : Les erreurs d'ancrage de contenu (affirmer qu'une source dit quelque chose qu'elle ne dit pas) sont beaucoup plus fréquentes que les erreurs de référence (citer une source inexistante).
  • Connaissance de niche : Les modèles ont beaucoup de mal avec les faits de niche (ex. articles obscurs, art local) mais sont plus susceptibles de s'abstenir face à des éléments totalement fabriqués.

3. Performance du juge

Le juge proposé atteint un haut niveau d'accord avec les annotateurs humains (87,9 % sur l'ancrage de contenu contre 84,9 % pour OpenAI-WS et 81,8 % pour SAFE). La capacité à analyser le texte intégral des PDF est identifiée comme un différenciateur critique, permettant au juge de détecter des hallucinations que les juges basés sur des extraits (snippets) manquent.

Signification et affirmations

Le papier affirme fournir le premier benchmark spécifiquement conçu pour la génération multi-tours et ouverte avec un pipeline d'évaluation vérifiable et vérifiable par citations. Sa signification réside dans :

1. Exposer les limites : Démontrer que même les modèles de pointe avec recherche web échouent à ancrer le contenu de manière fiable dans des domaines de niche à enjeux élevés.
2. Affiner l'évaluation : Souligner que la vérification par extraits est insuffisante pour un contrôle factuel rigoureux et que la récupération du texte intégral est nécessaire pour une évaluation précise.
3. Comprendre la dynamique des erreurs : Révéler que les hallucinations ne sont pas statiques mais évoluent avec les tours de conversation et sont fortement influencées par le type de connaissance (niche vs fabriquée) et les capacités de raisonnement du modèle.

Les auteurs concluent que bien que la réflexion efficace et la recherche web aident, le défi fondamental de l'ancrage d'affirmations détaillées dans des connaissances de niche persiste, nécessitant une meilleure conscience de l'incertitude par les modèles et des mécanismes de vérification plus robustes.