Hallucinations in AI Chatbots: A Comparative Analysis

Au cours des dernières années, un nouveau type de programme informatique est devenu un outil courant pour l'écriture, la programmation et la recherche d'informations. Ces programmes, connus sous le nom de modèles de langage étendus, sont entraînés sur de vastes quantités de textes provenant d'Internet. Ils sont conçus pour prédire quel mot devrait suivre dans une phrase, ce qui leur permet de générer des réponses d'apparence humaine aux questions. Bien qu'ils soient incroyablement utiles, ils présentent un défaut singulier : ils affirment parfois des choses totalement fausses avec une assurance totale. Les chercheurs appellent ces erreurs des « hallucinations ». Une hallucination peut ressembler à un fait réel, à une citation authentique d'un livre ou à une ligne de code fonctionnelle, mais il s'agit en réalité d'une fabrication. Il ne s'agit pas seulement d'un bug mineur ; lorsque ces programmes sont utilisés pour les devoirs scolaires, les conseils médicaux ou la recherche professionnelle, un fait inventé peut entraîner une confusion ou un danger réel dans le monde physique. La question qui se pose aux scientifiques et aux utilisateurs est non pas de savoir si ces erreurs se produisent, mais à quelle fréquence elles surviennent, quels programmes y sont les plus enclins et comment les gens peuvent les repérer avant qu'ils ne causent des problèmes.

Une équipe de chercheurs de l'Usman Institute of Technology s'est donné pour mission de comprendre ce problème en examinant les quatre chatbots d'IA les plus populaires disponibles aujourd'hui : GPT-4, Gemini, Claude et Microsoft Copilot. Au lieu de simplement tester les machines en laboratoire, les chercheurs ont interrogé 80 utilisateurs réels sur leurs expériences concrètes. Ils voulaient savoir à quelle fréquence ces utilisateurs rencontraient de fausses informations, comment ils remarquaient les erreurs et ce qu'ils faisaient pour les corriger. L'étude s'est concentrée sur des tâches qui exigent une grande précision, telles que la rédaction de travaux académiques, l'écriture de code informatique et la conduite de recherches. L'objectif était d'aller au-delà des références techniques pour voir comment ces outils se comportent entre les mains de personnes ordinaires qui comptent sur eux pour des travaux importants.

Les résultats de l'enquête ont révélé que les hallucinations sont un problème persistant, même dans les systèmes les plus avancés. La plupart des personnes ayant répondu au sondage ont déclaré utiliser ces outils d'IA chaque jour ou plusieurs fois par jour. Elles comptent sur eux pour la programmation, la recherche et l'écriture. Cependant, la majorité a également rapporté rencontrer fréquemment des informations inventées ou de fausses références. Les chercheurs ont découvert que ces erreurs ne se produisent pas de manière aléatoire ; elles ont tendance à apparaître plus souvent à mesure qu'une conversation s'allonge. Après qu'un utilisateur a échangé cinq à vingt messages avec le robot, la probabilité que le programme commette un écart en fournissant des détails incohérents ou faux augmente. Cela suggère que plus vous parlez à la machine, plus elle est susceptible de perdre pied avec la vérité.

Lorsque les utilisateurs réalisaient que quelque chose n'allait pas, ils ne se fiaient pas à l'ordinateur pour le leur dire. Au lieu de cela, ils utilisaient leurs propres connaissances. Le moyen le plus courant pour les gens de repérer une hallucination était lorsque la réponse de l'IA contredisait quelque chose qu'ils savaient déjà être vrai. Un autre signal d'alarme majeur était la présence de citations fictives. Si le programme citait un livre, une étude ou un site web qui ne pouvait être trouvé ou qui n'existait pas, les utilisateurs savaient immédiatement que l'information était fabriquée. L'étude a montré que la détection de ces erreurs reste largement un travail humain. Elle dépend de la capacité de l'utilisateur à vérifier les faits et de sa volonté de remettre en question la machine, plutôt que d'un interrupteur de sécurité automatique intégré au logiciel lui-même.

Les chercheurs ont également comparé les quatre chatbots différents pour voir si l'un d'entre eux était plus sûr ou plus fiable que les autres. Ils ont constaté que chaque système possède ses propres forces et faiblesses. GPT-4 a été loué pour sa capacité à raisonner sur des problèmes complexes, tandis que Gemini a été noté pour sa forte capacité à extraire des informations des résultats de recherche, ce qui aide à ancrer ses réponses dans la réalité. Claude s'est distingué par son accent mis sur la sécurité et l'honnêteté, particulièrement dans des domaines sensibles comme la santé, où il a fait preuve d'une grande précision. Microsoft Copilot a été reconnu pour son intégration étroite avec d'autres outils logiciels, ce qui le rend utile pour la productivité. Cependant, aucun des quatre modèles n'était parfait. Tous produisaient encore parfois des citations fausses et du code peu fiable. L'étude a conclu que bien que ces outils soient puissants, ils ne sont pas encore assez dignes de confiance pour être utilisés sans supervision humaine, surtout dans des domaines à enjeux élevés comme la médecine ou la recherche académique.

Alors, que peut-on faire pour corriger cela ? Les participants au sondage ont apporté une réponse claire. Ils ne croient pas que la solution réside uniquement dans le fait de rendre l'IA plus intelligente. Au lieu de cela, ils ont déclaré que le moyen le plus efficace de réduire les erreurs est d'exiger que l'IA montre son travail. Les utilisateurs préféraient massivement les réponses incluant des citations vérifiées, ce qui signifie que le programme doit pointer vers une source réelle et existante pour chaque fait qu'il affirme. La revue humaine était la deuxième solution la plus populaire, suivie par les systèmes de vérification automatique des faits. Les personnes utilisant ces outils veulent de la transparence ; elles veulent voir d'où proviennent les informations afin de pouvoir les vérifier elles-mêmes. Les chercheurs suggèrent que les améliorations futures devraient se concentrer sur la capacité de l'IA à expliquer ses sources et à admettre quand elle est incertaine, plutôt que de simplement essayer de générer plus de texte.

En fin de compte, cette étude met en lumière une réalité cruciale concernant l'état actuel de l'intelligence artificielle. Ces outils deviennent plus sophistiqués et sont utilisés pour des tâches plus complexes, mais le problème de l'invention de faits n'a pas disparu. Les chercheurs ont constaté que les utilisateurs sont conscients du risque et contournent activement celui-ci en vérifiant les faits et en exigeant des preuves. Pour que ces systèmes deviennent véritablement fiables, en particulier dans des domaines critiques comme la santé et l'éducation, ils doivent évoluer pour fournir des sources claires et vérifiables pour leurs réponses. D'ici là, la responsabilité de l'exactitude reste fermement entre les mains de l'humain, l'IA servant d'assistant utile plutôt que d'autorité finale.