On the Fundamental Impossibility of Hallucination Control in Large Language Models
Cet article soutient que l'hallucination dans les grands modèles de langage est fondamentalement inévitable en raison de compromis inhérents à l'agrégation des connaissances internes, prouvant que si des preuves externes peuvent vérifier le soutien d'une réponse, aucun mécanisme interne ne peut garantir la vérité factuelle ou résoudre les déséquilibres sémantiques qui mènent à la fabrication.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de résoudre un puzzle géant, mais au lieu d'une seule personne pour le faire, vous avez une équipe d'experts assis autour d'une table. Chaque expert n'a que quelques pièces de l'image entre les mains, et ils ne peuvent pas voir l'image complète. Pour résoudre le puzzle, ils doivent crier leurs meilleures suppositions sur ce à quoi devrait ressembler l'image finale, puis voter sur la réponse. C'est essentiellement ainsi que fonctionne l'intelligence artificielle moderne, plus précisément les grands modèles de langage (LLM). Ces modèles sont comme de vastes équipes d'« experts » numériques (appelés composants ou têtes d'attention) qui détiennent chacun un minuscule fragment de connaissance. Lorsque vous posez une question à l'IA, tous ces fragments entrent en compétition pour façonner la réponse.
Pendant longtemps, les scientifiques et les ingénieurs ont essayé de corriger un problème agaçant : ces équipes d'IA inventent parfois des choses. Elles peuvent vous raconter un fait faux avec une confiance totale, un bug connu sous le nom d'« hallucination ». Les gens ont essayé de corriger cela en donnant à l'IA un meilleur entraînement, plus de données, ou en lui faisant vérifier son travail. Mais et si le problème n'était pas seulement un bug qui peut être corrigé par un patch ? Et si la manière même dont l'IA est construite rendait impossible d'être parfaitement véridique, parfaitement confiant et parfaitement créatif en même temps ? C'est la grande question que explore Michal P. Karpowicz dans un nouvel article. L'article suggère que l'hallucination n'est pas seulement une erreur ; c'est un compromis fondamental, comme essayer d'avoir le beurre et l'argent du beurre.
L'enchère des grandes idées
L'article imagine le cerveau de l'IA comme un marché animé appelé « Enchère des Idées ». Dans cette enchère, chaque petite partie de l'IA (comme une tête d'attention spécifique ou un circuit) est un enchérisseur. Chaque enchérisseur détient une pièce secrète de connaissance et tente de convaincre le groupe que sa version de la réponse est la meilleure. Ils « misent » en envoyant des signaux pour influencer le résultat final.
L'auteur prouve que, parfois, cette enchère se heurte à un mur. Imaginez deux enchérisseurs qui se disputent sur un même fait. L'un dit : « Le ciel est bleu », et l'autre dit : « Le ciel est vert ». Si l'IA tente de combiner ces deux points de vue opposés en une seule réponse confiante, elle se heurte à une impossibilité mathématique. L'article montre que vous ne pouvez pas avoir un système qui accomplit quatre choses à la fois :
- Dire la vérité (rapporter honnêtement ce qu'il sait).
- Conserver l'information (ne pas inventer de nouveaux faits à partir de rien).
- Permettre la participation de tous (utiliser chaque pièce de connaissance pertinente dont il dispose).
- Donner la meilleure réponse (optimiser la satisfaction de l'utilisateur).
L'article prouve que si les enchérisseurs se disputent sur le même fait, le système doit échouer à l'un de ces objectifs. C'est comme un tour de magie où vous ne pouvez pas sortir trois lapins d'un chapeau si vous n'avez que deux lapins au départ. Vous devez choisir : soit l'IA ment (elle invente un détail pour compléter l'histoire), soit elle devient excessivement prudente et admet qu'elle ne sait pas, ou bien elle ignore une partie des connaissances qu'elle possède réellement. Il n'y a pas de « repas gratuit » où l'IA est parfaitement honnête, parfaitement confiante et parfaitement utile à la fois.
Le piège de la confiance
L'article approfondit la question pour montrer pourquoi cela se produit en utilisant des mathématiques astucieuses. Il examine comment l'IA combine les « votes » de ses différentes parties. Lorsque l'IA additionne ces votes pour décider d'une réponse, elle finit souvent par paraître plus confiante que n'importe quelle partie individuelle ne l'est réellement.
Pensez à un groupe de prévisionnistes météo. Si le prévisionniste A dit qu'il y a 50 % de chances de pluie, et que le prévisionniste B dit qu'il y a 50 % de chances de pluie, mais qu'ils regardent des nuages différents, le groupe pourrait finir par dire : « Il va certainement pleuvoir ! ». Les mathématiques montrent que la confiance du groupe est « manufacturée ». C'est une couche de certitude supplémentaire qui n'existait pas dans les parties individuelles. C'est cet « excès de confiance » qui mène aux hallucinations. L'IA ne cherche pas nécessairement à mentir délibérément ; c'est simplement que la manière dont elle combine l'information crée naturellement un écart entre ce qu'elle sait et l'assurance qu'elle dégage.
Pouvons-nous le réparer ?
L'article est très clair sur ce qu'il ne dit pas. Il ne prétend pas que l'IA mentra toujours, ou que nous ne pourrons jamais construire une IA fiable. Il affirme plutôt que l'hallucination est une limite structurelle, comme la vitesse de la lumière ou l'incertitude d'une pièce de monnaie qui tourne. On ne peut pas simplement l'« entraîner » pour la faire disparaître si les conditions de l'enchère sont réunies.
Cependant, l'article propose une façon de gérer le problème. Il suggère qu'au lieu d'essayer de rendre l'IA parfaitement véridique (ce qui est impossible dans ces conditions), nous devrions nous concentrer sur le support certifiable. Imaginez que l'IA soit un avocat. Nous ne pouvons pas toujours prouver si l'histoire de l'avocat est la vérité absolue, mais nous pouvons vérifier si l'histoire de l'avocat est étayée par les preuves qui lui ont été données.
L'article montre que si nous donnons à l'IA un ensemble spécifique de « preuves autorisées » (comme une base de données de confiance ou un ensemble de documents), nous pouvons mathématiquement prouver si la réponse de l'IA reste dans les limites de ces preuves. Si l'IA sort de ces limites, nous savons qu'elle hallucine par rapport aux preuves, même si nous ne connaissons pas la vérité absolue. Cela transforme le problème de « Est-ce vrai ? » (ce qui est difficile) en « Est-ce étayé ? » (ce qui est vérifiable).
L'essentiel
Cet article est un signal d'alarme pour le monde de l'IA. Il nous dit que l'« hallucination » que nous observons dans l'IA n'est pas seulement un bug à corriger avec plus de données ou un meilleur code. C'est une caractéristique fondamentale de la manière dont ces systèmes agrègent l'information. Lorsque les différentes parties de l'IA sont en désaccord ou entrent en compétition sur les mêmes faits, le système doit faire un choix : être honnête et faible, ou être confiant et potentiellement erroné.
L'auteur suggère que nous devrions cesser d'essayer d'éliminer ce compromis pour commencer à le gérer. En comprenant que la confiance de l'IA est parfois « manufacturée » par les mathématiques de la combinaison des idées, nous pouvons construire de meilleurs systèmes qui connaissent leurs limites. Nous pouvons concevoir des IA qui sont honnêtes sur ce qu'elles savent et sur ce qu'elles ne font que deviner, ou nous pouvons construire des systèmes qui sont strictement liés aux preuves que nous leur fournissons. L'article ne promet pas une IA parfaite, mais il nous donne une carte claire de l'endroit où se trouvent les murs, afin que nous puissions cesser de nous cogner la tête contre eux et commencer à construire de meilleures portes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.