Hallucination, Monofacts, and Miscalibration: An Empirical Investigation

Cette étude empirique démontre que l'augmentation sélective de la fréquence de quelques exemples d'entraînement, en introduisant une miscalibration contrôlée, réduit considérablement les hallucinations dans les modèles de langage tout en préservant leur précision, remettant ainsi en question les politiques universelles de déduplication.

L'essentiel

Le Problème : L'IA qui "invente" trop confiant

Imaginez que vous demandez à un grand livre d'histoire (une Intelligence Artificielle) de vous raconter la vie d'une personne. Il vous répond avec une assurance totale : "Jean Dupont est né à Paris en 1980 et a gagné un prix Nobel."

Le problème ? C'est faux. Jean Dupont n'a jamais existé, ou alors il est né à Lyon. C'est ce qu'on appelle une hallucination : l'IA dit des mensonges qui semblent très plausibles, simplement parce qu'elle veut répondre de manière fluide.

Les chercheurs de cette étude (Miranda Miao et Michael Kearns) se sont demandé : Pourquoi l'IA fait-elle ça ? Et surtout, peut-on l'arrêter sans la rendre bête ?

La Théorie : Le "Monofact" et le "Calibrage"

Pour comprendre leur découverte, prenons deux métaphores :

1. Le "Monofact" (Le fait unique) : Imaginez que vous apprenez l'histoire en lisant des milliers de livres.

   • Si vous lisez le même fait (ex: "Napoléon est mort à Sainte-Hélène") dans 100 livres, vous êtes sûr de vous.
   • Mais si vous ne l'avez lu qu'une seule fois dans un livre très rare, vous hésitez. Vous n'êtes pas sûr si c'est vrai ou si c'est une erreur d'impression.
   • En IA, ces faits vus une seule fois sont appelés des "monofacts". Plus l'IA a de "monofacts" dans sa mémoire, plus elle est confuse et plus elle a de chances d'inventer des choses pour combler les trous.

2. Le "Calibrage" (La confiance) : C'est la capacité de l'IA à savoir quand elle est sûre d'elle et quand elle ne l'est pas.

   • Une IA bien calibrée dit : "Je suis à 90% sûre de ce fait" quand elle a beaucoup de preuves, et "Je ne suis pas sûre" quand elle en a peu.
   • Le paradoxe découvert par les chercheurs précédents (Kalai et Vempala) est le suivant : Pour ne pas halluciner sur les faits rares, l'IA doit parfois être "mal calibrée" (c'est-à-dire un peu trop confiante sur certains points) pour éviter de douter trop sur les autres.

L'Expérience : Jouer avec les répétitions

Les chercheurs ont voulu tester cette théorie. Ils ont créé des "classes" d'IA (des modèles) et leur ont donné des manuels d'apprentissage fabriqués par ordinateur.

• Le jeu : Ils ont changé la façon dont les faits étaient répétés dans les manuels.
  • Parfois, ils donnaient des faits très rares (beaucoup de monofacts).
  • Parfois, ils répétaient certains faits plusieurs fois (peu de monofacts).
• Le résultat : Plus il y avait de faits vus une seule fois, plus l'IA hallucinait. C'était logique.

La Solution Magique : La "Surcharge Sélective"

C'est ici que ça devient intéressant. Ils ont découvert une astuce simple pour réduire les hallucinations de 40 % sans perdre en précision.

Imaginez que vous préparez un élève pour un examen.

• La méthode habituelle : On lui donne un livre de 100 pages, chaque page une seule fois. Il apprend tout, mais il doute de certaines pages rares.
• La méthode de l'étude (Surcharge sélective) : On prend le même livre, mais on recopie à la main 5 % des pages les plus importantes et on les donne à l'élève 10 fois de plus avant l'examen.

Ce qui se passe :
En répétant ces 5 % de faits, on force l'IA à être très, très sûre d'elle sur ces points précis. Cela crée un "effet de polarité". L'IA devient si confiante sur ce qu'elle a beaucoup répété qu'elle arrête de douter et d'inventer des choses pour les faits qu'elle connaît bien.

C'est un peu comme si vous répétiez le mot "Pomme" 100 fois. Quand on vous demande "Qu'est-ce que c'est ?", vous ne direz jamais "Banane" par erreur, car vous êtes trop confiant sur "Pomme".

Les Résultats Clés

1. Moins d'hallucinations, même précision : En répétant stratégiquement quelques exemples, l'IA fait beaucoup moins de mensonges, tout en restant aussi bonne pour répondre aux questions.
2. Le timing compte :
   • Pour certains types d'IA (comme les modèles "encodeurs-décodeurs"), il faut faire cette répétition à la fin de l'entraînement.
   • Pour d'autres (comme les modèles "décodeurs seuls" type GPT), il faut le faire au début.
3. Contre l'idée reçue : Pendant des années, on pensait qu'il fallait absolument supprimer les doublons dans les données d'entraînement pour éviter que l'IA ne "mémorise" bêtement. Cette étude dit : Non ! Parfois, garder des doublons (ou même en créer) est une excellente idée pour rendre l'IA plus fiable.

En Résumé

Cette étude nous dit que l'hallucination n'est pas un bug mystérieux, mais une conséquence mathématique de la façon dont l'IA apprend les faits rares.

Pour arrêter l'IA d'inventer des histoires, il ne faut pas nécessairement lui donner plus de données, mais réorganiser les données qu'elle a déjà. En répétant un petit peu plus certains faits clés, on "réajuste" sa confiance : elle devient moins tentée de deviner et plus encline à s'en tenir à ce qu'elle connaît vraiment.

C'est comme si on apprenait à un enfant à ne pas mentir en lui faisant répéter la vérité jusqu'à ce qu'elle soit ancrée, plutôt que de lui donner un livre entier où tout est mélangé.

Résumé technique

Résumé Technique : Hallucination, Monofaits et Mauvaise Calibration

1. Le Problème : La Nature Statistique des Hallucinations

Les modèles de langage (LLM) souffrent d'« hallucinations », c'est-à-dire la génération de faits plausibles mais faux. Bien que de nombreuses méthodes post-hoc aient été proposées pour atténuer ce problème, elles traitent souvent les symptômes plutôt que les causes fondamentales.

Cet article s'appuie sur une théorie récente de Kalai et Vempala (2024) qui établit une borne inférieure statistique pour le taux d'hallucination. Selon cette théorie, pour des faits dont la véracité ne peut être déterminée systématiquement à partir des données d'entraînement, le taux d'hallucination ($f_{gen}$) est gouverné par une relation à trois termes :
$$f_{gen} \geq \hat{MF} - \text{Mis}(g, p) - \epsilon$$
Où :

• $\hat{MF}$ (Taux de Monofaits) : La fraction des faits qui n'apparaissent qu'une seule fois dans l'ensemble d'entraînement.
• $\text{Mis}(g, p)$ (Mauvaise Calibration) : L'écart entre les scores de confiance du modèle et la probabilité réelle des données (miscalibration).
• $\epsilon$ : Termes négligeables pour de grandes tailles de données.

Le paradoxe soulevé par la théorie est que les modèles parfaitement calibrés sur des faits rares (monofaits) sont obligés d'halluciner. L'article cherche à vérifier empiriquement cette relation et à explorer si une mauvaise calibration stratégique peut réduire les hallucinations.

2. Méthodologie

Les auteurs ont mené une enquête empirique sur deux types de modèles : des modèles n-grammes (classiques) et des modèles Transformers (fine-tunés), en contrôlant rigoureusement les distributions des données d'entraînement.

• Génération de Données Contrôlées :

  • Les données d'entraînement sont générées à partir de distributions de Pareto (lois de puissance) avec des paramètres de forme ($\gamma$) variables.
  • Cela permet de créer artificiellement des ensembles de données avec des taux de monofaits ($\hat{MF}$) spécifiques, allant de données très dupliquées (faible $\hat{MF}$) à des données presque uniques (fort $\hat{MF}$).
  • Les données utilisées sont des faits structurés (triplets pour les n-grammes, biographies pour les LLM).

• Mesure de la Calibration et des Hallucinations :

  • Les auteurs définissent l'hallucination comme la génération de faits faux ($F$) par rapport à l'ensemble des faits vrais ($T$).
  • Ils introduisent un analogue empirique de la borne théorique en remplaçant la calibration théorique (qui nécessite la distribution vraie $p$) par une divergence de Kullback-Leibler (KL) par bin calculée sur les données d'entraînement.

• Intervention : Le Surpoids Sélectif (Selective Upweighting) :

  • Pour tester l'impact de la mauvaise calibration, les auteurs introduisent une technique consistant à répéter intentionnellement un petit sous-ensemble (5 % à 30 %) des exemples d'entraînement pendant le fine-tuning (SFT).
  • Cette duplication injecte une « mauvaise calibration » ciblée, rendant le modèle excessivement confiant sur ces exemples spécifiques, tout en maintenant le taux de monofaits global constant.

3. Contributions Clés

1. Validation Empirique de la Théorie : Confirmation que le taux de monofaits est positivement corrélé au taux d'hallucination, tant pour les modèles n-grammes que pour les LLM modernes.
2. Analogue Empirique de la Borne : Développement d'une borne d'hallucination pratique utilisant la divergence KL empirique, ne nécessitant pas la connaissance de la distribution de vérité terrain.
3. Paradoxe de la Calibration : Démonstration qu'une mauvaise calibration délibérée (via le surpoids sélectif) peut réduire les hallucinations de manière significative, défiant l'idée reçue selon laquelle une calibration parfaite est toujours l'objectif optimal pour la fiabilité factuelle.
4. Stratégie d'Intervention Simple : Proposition d'une méthode simple (répéter 5 % des données en fin d'entraînement) pour réduire les hallucinations sans sacrifier la précision globale.

4. Résultats Expérimentaux

• Relation Monofaits-Hallucinations :

  • Une augmentation du taux de monofaits entraîne une augmentation linéaire des hallucinations (passant de ~0 % à ~50 % lorsque le taux de monofaits passe de 0 % à 100 %).
  • Les distributions de Pareto avec des paramètres de forme plus faibles (plus de répétitions) réduisent naturellement les monofaits et les hallucinations.

• Impact du Surpoids Sélectif (Upweighting) :

  • Réduction des Hallucinations : L'injection de mauvaise calibration par surpoids de 5 % des données (répétées 10 fois) réduit les hallucinations de jusqu'à 40 % dans les configurations testées.
  • Précision Préservée : Contrairement à l'entraînement standard qui améliore lentement la précision mais laisse les hallucinations élevées, le surpoids sélectif maintient le niveau de précision initial tout en réduisant drastiquement les erreurs factuelles.
  • Mécanisme : L'intervention augmente la « polarité » de la confiance. Le modèle devient excessivement confiant sur les faits répétés, concentrant la masse de probabilité dans les bins de haute confiance et évitant ainsi la « queue incertaine » de la distribution où se produisent les hallucinations.

• Dépendance à l'Architecture :

  • Modèles Encoder-Decoder (ex: T5) : Bénéficient le plus d'un surpoids injecté en fin d'entraînement (last-stage).
  • Modèles Decoder-Only (ex: GPT-2) : Bénéficient davantage d'un surpoids injecté en début d'entraînement (first-stage).
  • Le surpoids combiné (début et fin) n'apporte pas d'avantage supplémentaire et peut même être contre-productif.

5. Signification et Implications

• Remise en question du Dé-duplication : Les pratiques courantes de dé-duplication stricte des données d'entraînement visent à éviter le surapprentissage, mais cet article suggère qu'elles peuvent augmenter le taux de monofaits et, par conséquent, les hallucinations. Une duplication stratégique pourrait être bénéfique.
• Nouveau Levier de Contrôle : La composition des données d'entraînement (fréquence des faits) est identifiée comme un levier principal pour contrôler les hallucinations, offrant une alternative simple et interprétable aux méthodes complexes d'intervention post-hoc.
• Compromis Calibration-Hallucination : L'étude révèle une tension fondamentale : pour réduire les hallucinations sur des faits rares, il peut être nécessaire d'accepter une certaine mauvaise calibration (surestimation de la confiance sur des sous-ensembles de données).
• Limites et Avenir : Bien que prometteuse, la méthode nécessite une audit rigoureux pour éviter les biais (le modèle pourrait devenir trop confiant sur des faits spécifiques au détriment de la généralisation). La généralisation à d'autres types de tâches (raisonnement arithmétique, règles) reste à explorer.

En conclusion, cet article démontre que les hallucinations ne sont pas un échec mystérieux, mais une conséquence prévisible de la structure statistique des données d'entraînement. En manipulant délibérément cette structure via le surpoids sélectif, il est possible d'obtenir des modèles plus fiables factuellement.