Measuring the Cross-Lingual Comprehension Gap: How the language of the evidence shapes what language models understand

Imaginez que vous testez un robot super intelligent capable de lire et de répondre à des questions. Vous lui donnez une histoire en anglais, vous posez une question, et il trouve la bonne réponse. Maintenant, vous donnez au robot exactement la même histoire, mais cette fois elle est écrite en espagnol, en français ou dans une langue avec très peu de livres sur Internet. Le robot comprend-il toujours l'histoire aussi bien ? C'est la grande question dans le monde de l'Intelligence Artificielle, plus précisément dans un domaine appelé le "Traitement du Langage Naturel". Les scientifiques savent depuis longtemps que ces modèles d'IA sont souvent meilleurs en anglais qu'dans d'autres langues, mais il a été difficile de comprendre pourquoi. Est-ce parce que le robot n'a pas lu assez de livres dans cette langue ? Est-ce parce que la traduction est mauvaise ? Ou est-ce parce que le robot ne "saisit" tout simplement pas le sens quand les mots changent ? Pour résoudre cela, les chercheurs ont besoin d'un moyen de tester le cerveau du robot sans rien changer d'autre — pas de nouvelles questions, pas d'histoires différentes, juste une langue différente.

Ce document, intitulé « Mesurer l'écart de compréhension translinguistique », est comme une enquête scientifique de détective qui isole enfin ce problème spécifique. Les chercheurs ont construit un ensemble massif et parfaitement apparié de tests utilisant 559 articles traduits en 18 langues différentes, allant de langues largement parlées comme le portugais à des langues très rares comme le fon et le quechua ayacucho. Ils ont posé exactement les mêmes questions à cinq modèles d'IA différents sur ces articles. L'astuce était que les questions et les réponses « correctes » étaient toujours en anglais, donc le robot n'avait pas à lutter pour écrire dans une nouvelle langue ; il devait seulement lire et comprendre la nouvelle langue. En faisant cela, ils pouvaient mesurer exactement quelle part de « compréhension » le robot perdait simplement parce que l'histoire était dans une autre langue. Ils ont constaté un écart clair et mesurable : lorsque l'histoire n'était pas en anglais, la compréhension de l'IA chutait de manière significative, surtout pour les langues disposant de moins de ressources numériques. L'étude prouve que le fait qu'une IA soit excellente en anglais ne signifie pas qu'elle est également intelligente dans toutes les autres langues, et elle suggère que nous surestimons peut-être notre capacité à évaluer si ces robots servent bien les personnes parlant ces autres langues.

Le Piège Linguistique

Considérez un modèle de langage comme un étudiant brillant qui a lu tous les livres de la bibliothèque de l'école, mais presque tous sont en anglais. Si vous lui donnez un test d'histoire écrit en anglais, il réussit haut la main. Mais que se passe-t-il si vous lui donnez exactement le même test, mais que l'histoire est traduite dans une langue qu'il a à peine vue, comme un dialecte rare parlé par une petite communauté ? Vous pourriez vous attendre à ce qu'il réussisse tout aussi bien, en supposant que son « cerveau » est assez intelligent pour comprendre. Mais ce document montre que le cerveau de l'étudiant commence réellement à s'embrumer.

Les chercheurs appellent ce brouillard l'Écart de Compréhension Translinguistique (ECT). C'est la différence entre la capacité de l'IA à comprendre une histoire en anglais et sa capacité à comprendre cette même histoire dans une autre langue. Pour mesurer cela, ils n'ont pas simplement récupéré des tests aléatoires sur Internet. Au lieu de cela, ils ont construit un « univers parallèle » de données. Ils ont pris 559 articles (provenant principalement d'une source de publication multilingue) et les ont alignés parfaitement en 18 langues différentes. C'est comme avoir 18 copies identiques d'un roman de mystère, une dans chaque langue.

Ensuite, ils ont mis en place une expérience stricte. Ils ont demandé à cinq modèles d'IA différents (provenant de cinq laboratoires différents) de lire ces histoires et de répondre aux questions. Voici la partie magique : les questions et les réponses de référence étaient toujours en anglais. L'IA n'avait pas à écrire sa réponse en espagnol ou en swahili ; elle devait simplement lire l'histoire en espagnol ou en swahili et donner la réponse en anglais. Cela est crucial car cela élimine le problème de l'IA qui serait « mauvaise pour écrire » dans une nouvelle langue. Si l'IA donne une mauvaise réponse, ce n'est pas parce qu'elle ne sait pas former les mots, c'est parce qu'elle n'a pas compris l'histoire.

Les Résultats : Une Chute Claire de la Compréhension

Les résultats étaient comme regarder un coureur ralentir en passant d'une piste lisse à un champ de boue. Lorsque l'IA lisait les histoires en anglais, elle obtenait des scores élevés. Mais lorsque les mêmes histoires étaient présentées dans les 16 langues cibles, les scores chutaient.

L'étude a révélé que, en moyenne, la performance de l'IA chutait d'environ 17 % lors du passage de l'anglais aux autres langues. Dans le langage du document, cela correspond à un écart de 0,078 (mesuré sur une échelle où un score élevé est préférable). Ce n'est pas un petit bug ; c'est une perte de compréhension significative.

Les chercheurs ont également examiné si la « richesse » de la langue importait. Ils ont utilisé un système qui classe les langues selon le nombre de ressources numériques (comme les livres et les sites web) qui existent pour elles. Ils ont trouvé un motif clair : moins une langue possède de ressources, plus l'écart est grand.

• Les langues à hautes ressources (comme le portugais, qu'ils ont utilisé comme base de référence) présentent toujours un faible écart par rapport à l'anglais.
• Les langues à faibles ressources (comme le fon ou le quechua ayacucho) présentent des écarts beaucoup plus importants.

Par exemple, l'IA a nettement moins bien performé sur des questions concernant le « but » d'une histoire ou des inférences complexes lorsque le texte était dans une langue à faibles ressources. Le document suggère que l'IA ne fait pas que « oublier » des mots ; elle a du mal à assembler le sens de l'histoire entière lorsque les « roues de soutien » numériques ne sont pas là.

Ce que cela Écarte (Et ce que cela n'écarte pas)

Les chercheurs ont été très prudents pour écarter d'autres raisons de la baisse des scores.

• Il ne s'agit pas de mauvaises traductions : Ils ont utilisé des textes de haute qualité, traduits par des humains à partir d'une source professionnelle, les histoires étaient donc bonnes. L'écart n'était pas dû au fait que la traduction était défectueuse ; c'était parce que l'IA ne parvenait pas à saisir le sens.
• Il ne s'agit pas seulement de mémorisation : Ils ont vérifié si l'IA ne faisait pas que « se souvenir » de la version anglaise de l'histoire. Ils ont testé avec des articles publiés après la date de coupure des données d'entraînement de l'IA (ce qui signifie que l'IA ne devrait pas les avoir déjà vus). L'écart existait toujours, prouvant que l'IA essayait réellement de lire et de comprendre, et non de simplement réciter des faits mémorisés.
• Il ne s'agit pas seulement du type de question : Ils ont testé différents types de questions, allant de tâches simples de « recherche de mot » à des questions complexes telles que « quel est l'objectif de l'auteur ? ». L'écart est apparu de manière générale, bien qu'il soit parfois plus important pour certains types de réflexion.

Cependant, le document prend soin de ne pas dire que ce problème est « résolu » ou que l'IA est « cassée ». Il se contente de mesurer l'écart. Ils notent également que si les juges humains étaient d'accord sur la tendance générale (ils préféraient plus souvent les réponses basées sur l'anglais), il était difficile pour les humains de s'accorder sur la raison exacte pour laquelle une réponse spécifique était fausse, montant ainsi que le jugement humain a aussi ses limites ici.

Pourquoi cela importe

Cette étude est un signal d'alarme. Pendant longtemps, nous avons supposé que si une IA est intelligente en anglais, elle est intelligente partout. Ce document montre que ce n'est pas vrai. Si vous construisez un outil pour aider des médecins, des enseignants ou des avocats dans un pays où l'on parle une langue à faibles ressources, vous ne pouvez pas simplement supposer que l'IA entraînée en anglais fonctionnera parfaitement. L'« écart de compréhension » signifie que l'IA pourrait manquer des détails importants, mal comprendre des instructions complexes ou donner des réponses incomplètes.

Les auteurs n'ont pas seulement trouvé un problème ; ils ont construit un nouvel outil pour le mesurer. Ils ont rendu leurs données et leurs méthodes publiques afin que d'autres scientifiques puissent utiliser le même « univers parallèle » de tests pour vérifier de nouveaux modèles d'IA. C'est comme donner à la communauté scientifique une nouvelle règle pour mesurer si l'IA comprend réellement le monde, et pas seulement si elle parle bien anglais. La conclusion est simple : nous devons cesser de supposer que la fluidité en anglais équivaut à une compréhension universelle, et commencer à mesurer l'écart pour rendre l'IA équitable et précise pour tout le monde, quelle que soit la langue parlée.