How Much Do LLMs Hallucinate in Document Q&A Scenarios? A 172-Billion-Token Study Across Temperatures, Context Lengths, and Hardware Platforms

Cette étude de 172 milliards de tokens, menée sur 35 modèles avec la méthodologie RIKER, révèle que les hallucinations dans les réponses documentaires augmentent considérablement avec la longueur du contexte, varient principalement selon le choix du modèle plutôt que la taille ou le matériel, et que l'ajustement de la température permet de réduire les boucles infinies au détriment d'une précision légèrement moindre.

L'essentiel

Voici une explication simple et imagée de cette étude, comme si on en parlait autour d'un café.

🕵️‍♂️ Le Grand Défi : Les IA qui inventent des histoires

Imaginez que vous embauchiez un super-intelligent (une Intelligence Artificielle) pour répondre à vos questions en se basant uniquement sur un gros dossier de documents que vous lui donnez. C'est ce qu'on appelle le "Q&A documenté".

Le problème ? Parfois, ce super-intelligent ne se contente pas de lire le dossier. Il invente des réponses. C'est ce qu'on appelle une hallucination.

• Exemple : Vous lui demandez : "Quel était le prix de l'action X en 2023 ?" (Si le dossier ne le dit pas). Au lieu de dire "Je ne sais pas", il pourrait inventer un chiffre faux mais très convaincant.

Cette étude, menée par Kamiwaza AI, s'est posée une question cruciale : À quel point ces IA mentent-elles vraiment ? Et surtout, comment le mesurer sans se tromper ?

---

🧪 La Méthode : Le "Jeu de la Vérité" (RIKER)

Avant cette étude, les chercheurs utilisaient des tests statiques (comme des examens scolaires) que les IA avaient peut-être déjà vus, ou ils demandaient à d'autres IA de noter les réponses (ce qui est biaisé).

Ici, ils ont utilisé une méthode géniale appelée RIKER. Imaginez que vous créez un dossier secret à partir de zéro, où vous savez exactement ce qui est vrai et ce qui est faux.

• Vous créez un dossier avec des faits réels.
• Vous posez des questions sur des choses qui n'existent pas dans ce dossier (des pièges).
• Si l'IA répond à ces pièges, c'est qu'elle a menti (halluciné).

C'est comme un test de conduite où vous créez une route imaginaire avec des panneaux "Stop" qui n'existent pas. Si le conducteur s'arrête, c'est qu'il a halluciné un panneau.

---

📊 Les Résultats Choc : Ce qu'ils ont découvert

Ils ont testé 35 modèles différents (des IA de tailles variées) avec 172 milliards de mots de données. C'est énorme ! Voici les 5 leçons principales :

1. Personne n'est parfait (même les meilleurs)

Même les IA les plus intelligentes mentent un peu.

• L'analogie : Imaginez un détective d'élite. Même le meilleur détective du monde se trompe parfois. Dans cette étude, le "meilleur" détective (GLM 4.5) a menti dans 1,19 % des cas sur un dossier court.
• La réalité : Pour la plupart des modèles, ils mentent dans 25 % des cas (1 question sur 4 !).

2. Plus le dossier est gros, plus ils s'embrouillent

C'est le point le plus important. Plus vous donnez de documents à l'IA (contexte long), plus elle commence à inventer.

• L'analogie : C'est comme demander à quelqu'un de résumer un livre de 10 pages. Il est précis. Mais si vous lui donnez une bibliothèque entière de 10 000 livres et que vous lui demandez un détail précis, il va commencer à inventer des faits pour combler les trous de sa mémoire.
• Le chiffre : À 200 000 mots de documents, même les meilleures IA mentent dans plus de 10 % des cas. Certaines, comme GLM 4.6, passent d'un taux de mensonge de 7 % à 70 % ! C'est une catastrophe.

3. La taille ne fait pas tout (La famille compte plus)

On pensait que les IA plus grosses (plus de paramètres) étaient meilleures. Faux.

• L'analogie : Ce n'est pas parce qu'un élève est plus grand qu'il est plus sage. Une IA de la famille Llama (même très grosse, 405 milliards de paramètres) s'est révélée être un grand menteur, inventant des faits presque aussi souvent qu'une toute petite version d'elle-même. En revanche, la famille GLM ou MiniMax a été très honnête, même si elle était plus petite.
• Leçon : Choisir la bonne "famille" d'IA est plus important que de choisir la plus grosse.

4. Le bouton "Température" : Attention à ne pas tout figer !

En programmation d'IA, il y a un bouton appelé "Température".

• La croyance populaire : "Mettez le bouton à 0 (zéro) pour être précis et ne pas inventer."
• La découverte : C'est souvent faux !
  • Parfois, mettre le bouton à 0 rend l'IA plus rigide et elle commence à tourner en rond (elle répète la même phrase à l'infini et ne finit jamais sa réponse).
  • Parfois, mettre le bouton un peu plus haut (0,4 ou 0,7) l'aide à être plus créative et à moins mentir sur les faits.
• L'analogie : C'est comme conduire une voiture. Rouler à vitesse constante (Température 0) semble sûr, mais si la route est glissante (dossier très long), vous glissez et faites un embardée. Rouler un peu plus souple (Température 0,7) vous permet de mieux corriger la trajectoire.

5. Le matériel (Hardware) n'a pas d'importance

Que vous utilisiez des puces NVIDIA, AMD ou Intel, le résultat est le même.

• L'analogie : Que vous conduisiez une voiture sur une route en asphalte ou en béton, si le moteur est le même, la performance est la même. Vous pouvez choisir votre matériel selon le prix, pas selon la qualité de la réponse.

---

💡 Ce que cela signifie pour vous (Leçon pratique)

Si vous utilisez des IA dans votre entreprise pour répondre à des questions sur vos documents :

1. Ne faites pas confiance aveuglément : L'IA va mentir. Il faut toujours vérifier les réponses, surtout si le document est très long.
2. Choisissez bien votre IA : Ne prenez pas la plus grosse, prenez celle qui a prouvé qu'elle mentait peu (comme les modèles GLM ou MiniMax dans cette étude).
3. Surveillez la longueur : Si vous donnez un dossier de 200 000 mots, attendez-vous à ce que l'IA commence à halluciner massivement.
4. Jouez avec les réglages : Ne laissez pas toujours le bouton "Température" à 0. Essayez 0,4 ou 0,7 pour voir si cela réduit les mensonges et évite que l'IA ne se bloque.

En résumé : Les IA sont des outils incroyables, mais ce sont des menteurs involontaires quand les dossiers sont trop longs. Il faut les surveiller, les choisir avec soin et ne pas croire tout ce qu'elles disent, même si elles ont l'air très sûres d'elles !

Résumé technique

Résumé Technique : Étude de l'Hallucination des LLMs dans les Q&R Documentaires

Auteurs : JV Roig (Kamiwaza AI)
Date : Mars 2026
Échelle de l'étude : 172 milliards de tokens évalués, 35 modèles, 3 longueurs de contexte, 4 températures, 3 plateformes matérielles.

1. Problématique

L'application la plus critique des grands modèles de langage (LLM) en entreprise est la réponse à des questions basées sur des documents fournis (RAG, contexte étendu). Cependant, la mesure fiable de l'« hallucination » (fabrication d'informations non présentes dans les documents) reste un défi majeur. Les approches actuelles souffrent de trois limites fondamentales :

• Contamination des données : Les benchmarks statiques sont souvent mémorisés par les modèles lors de l'entraînement.
• Biais des juges LLM : L'utilisation de LLMs pour évaluer d'autres LLMs introduit des biais systématiques.
• Manque de confiance statistique : La plupart des évaluations reposent sur des exécutions uniques sur de petits ensembles de données.

L'article vise à répondre à une question simple mais difficile : Quelle est la fréquence réelle des hallucinations dans les scénarios de Q&R documentaires, et comment varie-t-elle selon le contexte, la température et le matériel ?

2. Méthodologie : RIKER

L'étude utilise la méthodologie RIKER (Retrieval Intelligence and Knowledge Extraction Rating), qui inverse le paradigme d'évaluation traditionnel :

• Génération inversée : Au lieu d'extraire la vérité terrain de documents existants, RIKER génère des documents et des questions à partir d'une vérité terrain structurée (base de données relationnelle).
• Évaluation déterministe : Chaque question a une réponse vérifiable par construction, éliminant le besoin d'annotation humaine ou de juges LLM.
• Résistance à la contamination : Les corpus peuvent être régénérés avec de nouvelles graines aléatoires, empêchant la mémorisation des données d'évaluation.
• Métriques clés :
  • Fidélité (Faithfulness) : Précision globale.
  • Ancrage (Grounding) : Capacité à extraire des faits existants (L01-L04).
  • Fabrication (Fabrication) : Taux d'erreur sur des questions portant sur des entités inexistantes (L11-L12).
  • Agrégation : Capacité à synthétiser des informations sur plusieurs documents.

3. Conduite de l'expérience

• Modèles : 35 modèles open-weight (DeepSeek, GLM, Granite, Llama, MiniMax, Qwen) allant de 1B à 480B de paramètres.
• Longueurs de contexte : 32K, 128K et 200K tokens.
• Paramètres de température : 0.0, 0.4, 0.7, 1.0 (8 exécutions par configuration).
• Matériel : NVIDIA H200, AMD MI300X, Intel Gaudi3.
• Volume total : Plus de 4 200 exécutions, consommant 172 milliards de tokens.

4. Résultats Clés

A. Impact de la Longueur de Contexte

• Dégradation inévitable : Tous les modèles voient leurs performances chuter avec l'augmentation du contexte.
  • À 32K, le meilleur modèle (GLM 4.5) a un taux de fabrication de 1,19 %.
  • À 128K, ce taux triple presque pour les meilleurs modèles.
  • À 200K, aucun modèle ne parvient à rester en dessous de 10 % de fabrication.
• Collapsus catastrophique : Certains modèles performants à 32K (ex: GLM 4.6) s'effondrent à 200K, passant d'un taux de fabrication de 7 % à 71,62 %.
• Capacité utile vs Capacité annoncée : La fenêtre de contexte annoncée par les fabricants est un mauvais indicateur de la capacité utilisable pour les tâches de Q&R.

B. Le Rôle de la Température (Temperature)

• T=0.0 n'est pas optimal universellement : Bien que T=0.0 offre la meilleure précision globale dans 60 % des cas, il augmente le taux de fabrication pour la majorité des modèles (53 % des cas).
• Coût de la cohérence : T=0.0 provoque drastiquement des boucles de génération infinies (perte de cohérence), surtout à long contexte.
  • À 200K, le taux de boucles infinies peut être 48 fois plus élevé à T=0.0 qu'à T=1.0 (ex: GLM 4.7).
  • Une température modérée (0.4 ou 0.7) offre souvent un meilleur équilibre entre précision, faible hallucination et stabilité.

C. Découplage Ancrage vs Fabrication

• Capacités distinctes : La capacité à extraire des faits existants (ancrage) et la capacité à refuser de répondre sur des faits inexistants (résistance à la fabrication) sont décorrélées.
• Exemple frappant : Llama 3.1 70B obtient 90 % d'ancrage mais fabrique des réponses dans 49,5 % des cas sur des questions pièges. À l'inverse, GLM 4.5 Air a un ancrage similaire (91 %) mais ne fabrique que 3,37 % du temps.
• Implication : Un modèle excellent pour la recherche d'information peut être dangereux en production s'il n'a pas été spécifiquement entraîné à résister à la fabrication.

D. Indépendance Matérielle

• Les résultats sont statistiquement identiques sur NVIDIA H200, AMD MI300X et Intel Gaudi3. Le choix du matériel n'affecte pas la fidélité du modèle, permettant de se baser sur le coût et la disponibilité.

E. Hiérarchie des Facteurs d'Influence

1. Sélection du modèle : Le facteur le plus critique. L'écart de précision entre le meilleur et le pire modèle dépasse 72 points de pourcentage. La famille du modèle (ex: GLM vs Llama) prédit mieux la résistance à l'hallucination que la taille des paramètres.
2. Gestion du contexte : La longueur du contexte est le principal facteur de dégradation.
3. Réglage de la température : A un impact modéré mais crucial sur la stabilité et le taux de fabrication spécifique.

5. Contributions et Signification

• Nouvelle Base de Référence : Cette étude fournit les premières mesures quantitatives fiables de l'hallucination à grande échelle (172B tokens) pour les modèles open-weight actuels.
• Refutement des Mythes :
  • L'ajustement de la température à zéro n'est pas une solution miracle et peut aggraver les hallucinations et les pannes de cohérence.
  • La taille du modèle ne garantit pas la fiabilité (les grands modèles Llama hallucinent autant, voire plus, que des modèles plus petits).
  • Les benchmarks de recherche (RAG) classiques sont insuffisants car ils ne testent pas la résistance à la fabrication.
• Recommandations pour le Déploiement :
  • Privilégier les modèles de familles éprouvées pour la faible fabrication (GLM, MiniMax) plutôt que les plus gros modèles.
  • Tester les modèles à la longueur de contexte réelle de production, pas seulement à 32K.
  • Utiliser des températures modérées (0.4-0.7) pour éviter les boucles infinies tout en maintenant une bonne précision.
  • Intégrer des mécanismes de détection d'hallucination, car aucun modèle n'atteint un taux de fabrication nul.

Conclusion : L'hallucination dans les Q&R documentaires est inévitable et non nulle. La réduction de ce risque nécessite des interventions ciblées lors de l'entraînement (pour améliorer la résistance à la fabrication) et une gestion rigoureuse du contexte et des paramètres d'inférence, plutôt que de simples augmentations d'échelle.