Evaluating Commercial AI Chatbots as News Intermediaries
Cet article évalue six chatbots commerciaux d'intelligence artificielle sur 2 100 questions d'actualité en temps réel couvrant six langues, révélant que, bien qu'ils atteignent une précision élevée sur des requêtes bien formulées, ils souffrent de biais régionaux significatifs, d'échecs dépendant de la récupération d'informations et d'une vulnérabilité sévère aux prémisses fausses qui compromettent leur fiabilité en tant qu'intermédiaires d'information.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où, au lieu d'allumer la télévision ou de feuilleter un journal, vous demandez à un assistant numérique ultra-intelligent : « Qu'y a-t-il dans l'actualité aujourd'hui ? » et qu'il vous offre un résumé parfait et instantané. C'est la promesse des chatbots IA agissant comme nos nouveaux « intermédiaires de l'information ».
Ce document est comparable à un test de stress massif et en temps réel de six des chatbots IA les plus populaires (incluant des versions de GPT, Gemini, Claude et Grok) pour déterminer s'ils peuvent réellement être fiables face à l'information en temps réel. Les chercheurs ne se sont pas contentés de les interroger sur l'histoire ; ils les ont questionnés sur des événements se déroulant à l'instant même (en février 2026) à travers six langues et régions différentes.
Voici le détail de leurs découvertes, illustré par des analogies simples :
1. L'illusion du « QCM »
La découverte : Lorsque l'IA se voyait proposer un questionnaire à choix multiples (comme un examen scolaire avec les options A, B, C, D, E), les meilleurs bots obtenaient plus de 90 % de bonnes réponses. Ils semblaient être des génies.
La réalité : Lorsque les chercheurs retiraient les options et demandaient simplement aux bots de « me donner la réponse », leurs scores chutaient d'environ 15 à 20 %.
L'analogie : Imaginez un élève passant un examen. Si vous lui posez une question à choix multiples, il peut deviner la bonne réponse ou reconnaître la bonne formulation. Mais si vous lui demandez de rédiger le devoir à partir de zéro, il peut trébucher. Le document met en garde contre le fait que les scores élevés que nous voyons dans les titres sont en partie dus au format « QCM », qui fait paraître l'IA plus intelligente qu'elle ne l'est réellement dans une conversation normale.
2. Le « fossé hindi » (la boussole brisée)
La découverte : L'IA a très bien performé en anglais, français, russe, arabe et turc. Mais lorsqu'on lui a posé des questions sur l'actualité en hindi, chaque bot a nettement moins bien performé (chutant à environ 79 % de précision).
La cause : Ce n'était pas que les bots ne pouvaient pas parler hindi ; ils le pouvaient. Le problème résidait dans leur « boussole » de moteur de recherche. Lorsqu'on leur posait une question en hindi, les bots ignoraient souvent les sources d'actualités locales en hindi pour se tourner vers Wikipédia en anglais ou des sites d'actualités anglophones afin de trouver la réponse.
L'analogie : Imaginez que vous demandiez à un guide touristique à Mumbai : « Où se trouve la meilleure nourriture de rue locale ? ». Au lieu de vous emmener vers un étal local, le guide vous conduit dans un restaurant américain générique du centre-ville qui prétend servir de la nourriture indienne. La nourriture peut être correcte, mais ce n'est pas la vraie chose, et les détails (comme le prix ou le plat spécifique) sont erronés. L'IA « traduisait » l'actualité locale à travers un prisme anglais, manquant les faits spécifiques.
3. Le problème de la « Bibliothèque vs le Bibliothécaire »
La découverte : Les chercheurs ont constaté que la plus grande erreur de l'IA n'était pas qu'elle était « mauvaise en réflexion » (raisonnement) ; c'était qu'elle était « mauvaise pour trouver le livre » (récupération). Plus de 70 % des erreurs survenaient parce que l'IA saisissait le mauvais article source. Une fois qu'elle avait le bon article, elle obtenait presque toujours la bonne réponse.
L'analogie : Imaginez un élève brillant (l'IA) excellent pour résoudre des problèmes de mathématiques. Mais il se trouve dans une bibliothèque où les livres sont en désordre. Si l'élève saisit le mauvais livre, il résoudra parfaitement le problème de mathématiques en se basant sur les mauvaises informations. Le problème ne vient pas du cerveau de l'élève ; il vient de l'organisation de la bibliothèque. L'IA est intelligente, mais son outil de recherche extrait souvent le mauvais « livre » d'Internet.
4. Le piège du « Oui-dire » (tests adversariaux)
La découverte : Lorsque les chercheurs ont piégé l'IA en posant des questions intégrant des mensonges subtils (par exemple : « Qu'est-il arrivé lorsque le Président a gagné l'élection ? » alors qu'il avait en réalité perdu), la performance de l'IA s'est effondrée. Certains bots sont passés d'une précision de 90 % à 19 %.
L'analogie : Imaginez un ami très confiant mais crédule. Si vous dites : « J'ai vu un éléphant bleu dans le parc », une personne intelligente pourrait dire : « Attendez, les éléphants ne sont pas bleus ». Mais cet ami IA répond : « Oh, vraiment ? Laissez-moi vérifier les actualités... oui, voici une histoire sur l'éléphant bleu ». L'IA est si désireuse de plaire et si concentrée à trouver quelque chose qui correspond à vos mots qu'elle accepte votre mensonge comme une vérité et construit une histoire fictive autour de celui-ci.
5. L'effet « Mondes différents »
La découverte : Si vous posez la même question d'actualité à deux chatbots IA différents, ils peuvent vous donner des réponses basées sur des sites Web complètement différents. L'un peut citer un journal local, tandis que l'autre cite un site anglophone mondial.
L'analogie : C'est comme si deux personnes posaient la même question à deux guides touristiques différents. L'un vous montre la ville à travers les yeux d'un historien local ; l'autre vous montre la ville à travers les yeux d'un blogueur de voyage. Vous obtenez deux versions différentes de la « réalité » selon le bot que vous choisissez, et vous n'avez aucun moyen de savoir lequel regarde réellement les vraies actualités.
La conclusion
Le document conclut que, bien que ces chatbots IA deviennent très bons dans le domaine de l'information, ils sont fragiles.
- Ils semblent parfaits lors d'un test mais trébuchent dans une conversation réelle.
- Ils traitent les actualités non anglophones (en particulier le hindi) comme des citoyens de seconde zone, les filtrant à travers des sources anglophones.
- Ils sont facilement piégés par de fausses hypothèses, agissant comme des « oui-dire » plutôt que comme des vérificateurs de faits.
- Leur précision dépend davantage de la capacité de leur moteur de recherche à trouver le bon article que de l'intelligence du cerveau de l'IA.
Les auteurs mettent en garde que si nous nous appuyons sur ces outils pour l'information sans comprendre ces défauts, nous pourrions nous retrouver dans un monde où différentes personnes voient différentes versions de la vérité, et où l'actualité locale est noyée sous un filtre mondial anglophone.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.