Critical Confabulation: Can LLMs Hallucinate for Social Good?

Cet article propose la notion de « confabulation critique », où les hallucinations contrôlées des grands modèles de langage sont utilisées pour combler les lacunes des archives historiques causées par les inégalités sociales et politiques, afin de reconstruire des récits plausibles pour les figures oubliées de l'histoire sans sacrifier la rigueur factuelle.

L'essentiel

Imaginez que l'histoire est un immense puzzle géant, mais qu'il manque des milliers de pièces. Ces pièces manquantes, ce sont les vies de personnes ordinaires, d'esclaves, de femmes ou de minorités dont les histoires ont été effacées, oubliées ou jamais écrites par les historiens officiels. C'est ce qu'on appelle le « silence des archives ».

Cette recherche propose une idée audacieuse : et si on utilisait l'erreur des intelligences artificielles pour réparer ces trous ?

Voici l'explication simple de ce papier, avec quelques images pour mieux comprendre.

1. Le Problème : L'IA qui « rêve » (Hallucination)

D'habitude, quand une intelligence artificielle (comme un grand modèle de langage) invente des faits, on dit qu'elle « hallucine ». C'est généralement vu comme une erreur, comme un élève qui invente une réponse parce qu'il ne sait pas la bonne.

Mais les auteurs de cette étude disent : « Et si cette invention était en fait un super-pouvoir ? »
Ils appellent cela la « confabulation critique ». C'est un peu comme si l'IA jouait au jeu du « détective imaginaire ». Au lieu de dire « Je ne sais pas », elle dit : « Je ne connais pas le détail exact, mais voici ce qui a vraisemblablement pu se passer, basé sur ce que je sais du contexte. »

2. L'Inspiration : Réparer les trous avec de l'imagination

L'idée vient d'une historienne célèbre, Saidiya Hartman. Elle a proposé d'utiliser l'imagination pour combler les trous de l'histoire, non pas pour mentir, mais pour rendre la vie aux personnes que l'histoire a oubliées.

Imaginez que vous lisez un livre où un personnage important disparaît pendant 10 pages. Un historien classique dirait : « On ne sait pas ce qu'il a fait, c'est un trou. »
L'approche de cette étude, c'est de demander à l'IA : « Compte tenu de ce que ce personnage a fait avant et après, et de l'époque, quelle histoire cohérente pourrait-on imaginer pour ces 10 pages ? »

3. L'Expérience : Un jeu de « Trou dans l'histoire »

Pour tester cela, les chercheurs ont créé un jeu :

• Ils ont pris des archives réelles (des textes inédits sur l'histoire noire américaine) contenant des vies de personnes peu connues.
• Ils ont caché un événement important dans la vie de ces personnes (comme si on avait effacé une ligne dans un journal intime).
• Ils ont demandé à différentes IA de deviner ce qui s'était passé à la place de la ligne effacée.

C'est comme un jeu de « mots manquants » (cloze) mais pour des histoires entières.

4. Les Résultats : L'IA peut-elle être un bon historien ?

Les résultats sont surprenants et nuancés :

• Ce n'est pas parfait : Les IA ne devinent pas la vérité exacte (elles ne sont pas magiques). Elles réussissent environ 50 à 60 % du temps à deviner une histoire qui ressemble beaucoup à la réalité.
• C'est utile : Même si ce n'est pas 100 % vrai, l'IA propose des scénarios très plausibles. Cela aide les chercheurs humains à dire : « Tiens, c'est une piste intéressante, allons vérifier si c'est vrai ailleurs. »
• Le secret est dans la question : Si on demande à l'IA simplement de « deviner », elle fait des erreurs. Mais si on lui dit : « Agis comme un historien qui doit réparer une injustice en imaginant ce qui a pu se passer », elle devient beaucoup plus précise et créative.

5. Pourquoi est-ce important ?

Imaginez que l'histoire est une maison dont les murs sont pleins de trous.

• Avant : On laissait les trous vides. Les gens qui vivaient dans cette maison (les historiens) ne pouvaient pas voir le tableau complet.
• Maintenant : L'IA agit comme un maçon imaginaire. Elle ne pose pas de vraies briques (des faits vérifiés), mais elle dessine des briques de couleur qui pourraient combler le trou. Cela permet aux humains de mieux visualiser la maison et de savoir où chercher les vraies briques.

En résumé

Ce papier ne dit pas que l'IA peut écrire l'histoire à notre place. Il dit que l'IA peut être un partenaire créatif pour les chercheurs. En utilisant ses « rêves » (ses hallucinations) de manière contrôlée, nous pouvons commencer à raconter les histoires de ceux qui ont été réduits au silence, transformant des trous noirs dans l'histoire en des opportunités de réparer le passé.

C'est une façon de dire : « Parfois, pour retrouver la vérité, il faut oser imaginer ce qui a pu être. »

Résumé technique

Voici un résumé technique détaillé de l'article « Critical Confabulation: Can LLMs Hallucinate for Social Good? » (Confabulation critique : Les LLM peuvent-ils halluciner pour le bien social ?) par Peiqi Sui et al.

1. Problématique et Contexte

Les grands modèles de langage (LLM) sont connus pour leur tendance à « halluciner », c'est-à-dire générer des contenus plausibles mais non factuels. Traditionnellement, cela est considéré comme un échec. Cependant, les auteurs proposent une réévaluation de ce phénomène à travers le prisme de la confabulation critique, un concept inspiré de la « fabulation critique » (critical fabulation) développée par la théoricienne Saidiya Hartman.

• Le problème : Les archives historiques, en particulier celles concernant les figures marginalisées (les « figures cachées » ou hidden figures), souffrent de silences systémiques dus à la violence institutionnelle, à l'esclavage et aux inégalités politiques. Les approches historiographiques strictement factuelles échouent souvent à reconstruire les vies de ces personnes car les preuves matérielles sont absentes.
• L'hypothèse : Une forme contrôlée d'hallucination, encadrée par des contraintes éthiques et des preuves existantes, peut servir d'outil de réparation sociale. L'objectif n'est pas de créer de fausses réalités, mais de combler les lacunes (lacunae) des archives avec des récits divergents mais plausibles, afin de rendre visibles des histoires effacées.

2. Méthodologie

Les auteurs formalisent la confabulation critique comme une tâche de type « cloze » narratif (complétion de texte) pour évaluer les capacités des LLM à reconstruire des événements manquants dans des chronologies historiques.

A. Construction du Jeu de Données (Ground Truth)

• Corpus : Utilisation de la « Black Writing and Thought Collection » (BWTC), un archive numérique de textes principalement inédits liés à l'histoire intellectuelle noire.
• Audit de contamination : Pour garantir que les modèles n'ont pas mémorisé les données d'entraînement, les auteurs effectuent une recherche de sous-chaînes de caractères (Boyer-Moore) et une analyse de similarité cosinus sur le corpus d'entraînement public de la famille de modèles OLMo-2. Seuls les documents marqués comme « UNSEEN » (non vus) sont utilisés.
• Personnages cachés : Identification de 156 « figures cachées » (noms rares dans les archives et absents des données d'entraînement publiques).
• Chronologies : Extraction de lignes temporelles factuelles basées sur les documents BWTC pour chaque personnage, servant de vérité terrain (ground truth).

B. Protocole Expérimental

• Tâche : Pour chaque chronologie, un événement est masqué (remplacé par [MASK]). Le modèle doit reconstruire cet événement manquant en une phrase concise.
• Modèles évalués :
  • Audités : Famille OLMo-2 (1B à 32B) avec données d'entraînement publiques vérifiées.
  • Non audités : Modèles open-weight (Qwen, Gemma, Llama, Mistral, Phi) et propriétaires (GPT-4o, GPT-5-Chat).
• Prompts : Tests avec divers types de prompts, notamment des instructions de base, des prompts encourageant l'hallucination (ex: HaluEval, Null-Shot), et des indices structurels (type d'événement).
• Évaluation : Utilisation du modèle d'embedding narratif story-emb pour calculer la similarité cosinus entre la génération du modèle et l'événement réel. Un seuil optimisé ($\epsilon = 73.13$) détermine si la reconstruction est considérée comme « similaire » (correcte).

3. Résultats Clés

• Performance Globale : La tâche est difficile. La plupart des modèles restent en dessous de 50 % de précision. Le modèle GPT-5-Chat obtient les meilleurs résultats (jusqu'à 59,7 % avec des indices de type d'événement), suivi par OLMo-2-7B (58,8 %).
• Impact des Prompts : La performance est hautement sensible au prompting. Les indices explicites sur le type d'événement (ex: rôle, relationnel, cognitif) améliorent systématiquement les résultats de +2 à +10 points.
• Types d'Événements : Les modèles réussissent mieux à confabuler des événements de type « Rôle » (biographie, postes) et « Relationnel », mais échouent davantage sur les événements « Cognitifs » (croyances, états internes), qui manquent de contexte observable.
• Effet de la Mémoire : Aucune preuve significative n'indique que les modèles non audités surperforment les modèles audités (OLMo-2) grâce à la mémorisation des données d'entraînement. Les performances sont comparables, suggérant que la tâche repose sur la compréhension narrative plutôt que sur le rappel de faits.
• Robustesse : La performance est stable face aux variations de température (stochasticité), bien que les températures élevées entraînent une légère baisse de précision.
• Erreurs Systématiques : Les erreurs ne sont pas aléatoires ; elles se concentrent sur un sous-ensemble spécifique d'événements et de personnages difficiles, indiquant des limites structurelles communes aux modèles.

4. Contributions Principales

1. Cadre Conceptuel : Introduction de la Confabulation Critique comme méthodologie opérationnelle pour les LLM, transformant l'hallucination d'un défaut en une ressource optimisable pour la production de connaissances humanistes.
2. Infrastructure de Données : Création d'un jeu de données rigoureusement audité (BWTC) pour évaluer la capacité des modèles à reconstruire l'histoire des figures marginalisées sans contamination par les données d'entraînement.
3. Validation Empirique : Démonstration que les LLM actuels possèdent une compréhension narrative fondamentale suffisante pour soutenir la reconstruction d'archives silencieuses, à condition d'un prompting contrôlé et d'indices contextuels.
4. Analyse des Limites : Identification des biais des modèles (meilleure performance sur les faits biographiques, difficulté sur les états internes) et de la sensibilité aux structures de prompts.

5. Signification et Implications

• Pour le NLP (Traitement du Langage Naturel) : L'article remet en question la dichotomie stricte entre « hallucination » et « vérité ». Il propose que dans des contextes spécifiques (comme la recherche humaniste), les hallucinations contrôlées peuvent être un outil de créativité et de reconstruction de sens.
• Pour les Humanités Numériques : Cette approche offre un outil potentiel pour les chercheurs afin d'explorer les « inconnus inconnus » des archives à grande échelle. Elle permet de générer des hypothèses narratives pour combler les silences historiques, tout en restant ancrée dans les preuves disponibles.
• Éthique et Justice Sociale : Le travail s'inscrit dans une démarche de « scholarship réparatrice ». Il vise à amplifier les voix des personnes historiquement effacées (notamment dans l'histoire afro-américaine) en utilisant l'IA pour reconstruire des récits plausibles là où les archives officielles ont échoué, tout en maintenant une fidélité éthique aux sources existantes.

En conclusion, l'article démontre que si la confabulation critique reste un défi technique majeur, elle est réalisable et prometteuse pour transformer les LLM en agents culturels capables de participer à la réhabilitation de l'histoire oubliée.