BEAR-Bench: A Bilingual Enterprise and Academic Reasoning Benchmark for Multimodal Models
Cet article présente BEAR-Bench, un benchmark bilingue (anglais-russe) de 1 000 questions annotées par des humains basées sur des documents académiques et d'entreprise riches en texte pour évaluer les capacités de raisonnement complexe et la fiabilité de la détection d'hallucinations des modèles de langage multimodaux de grande taille, révélant des écarts de performance significatifs même parmi les systèmes de pointe.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde moderne, les ordinateurs sont devenus remarquablement doués pour regarder des images et lire les mots qu'elles contiennent. Si vous montrez à une machine la photo d'un panneau de signalisation, elle peut vous dire ce que le panneau indique. Si vous lui montrez un graphique issu d'un reportage d'actualité, elle peut souvent décrire la tendance que suit la ligne. Cette capacité, connue sous le nom de compréhension multimodale, combine la vision et le langage en une seule compétence. Pendant longtemps, le défi consistait simplement à amener la machine à lire clairement le texte. Mais l'étape suivante, plus difficile, est le raisonnement. Il s'agit de la capacité à regarder un document complexe, à trouver plusieurs informations différentes éparpillées sur une page, et à les relier pour répondre à une question qui n'est écrite nulle part. Imaginez un rapport financier rempli de tableaux, de graphiques et de paragraphes de texte. Un expert humain peut regarder un chiffre dans un tableau, le comparer à une tendance dans un graphique, puis lire une phrase dans le texte pour comprendre pourquoi ces chiffres ont changé. Enseigner à un ordinateur ce même type de réflexion, surtout lorsque le document est dense en informations et écrit dans des langues autres que l'anglais, est resté une frontière difficile.
Une équipe de chercheurs de Yandex et de l'Applied AI Institute a franchi une étape significative vers la résolution de ce problème en créant un nouveau test conçu spécifiquement pour ce type de pensée complexe. Ils appellent leur création BEAR-Bench. Contrairement aux tests précédents qui se concentraient sur la lecture simple ou exigeaient que l'ordinateur connaisse des faits extérieurs, ce nouveau benchmark demande aux machines de résoudre des problèmes en utilisant uniquement les informations présentes sur une seule page d'un document. Le test est bilingue, présentant à la fois l'anglais et le russe, un choix qui met en évidence une lacune dans la technologie actuelle où les machines éprouvent souvent des difficultés avec les langues autres que l'anglais ou le chinois. Les chercheurs ont rassemblé mille documents du monde réel, allant de rapports financiers d'entreprises et de présentations aux investisseurs à des articles scientifiques académiques. Ces pages ne sont pas simples ; elles sont truffées de texte, de tableaux, de graphiques, de diagrammes et de formules mathématiques.
Pour construire ce test, les chercheurs n'ont pas seulement demandé aux ordinateurs de générer des questions. Ils ont engagé treize experts humains, chacun possédant un diplôme dans un domaine technique, pour rédiger les questions et les réponses à la main. Pour chaque image de page, un expert devait créer une question qui nécessitait plusieurs étapes pour être résolue. Par exemple, une question pourrait demander à l'ordinateur de trouver une valeur spécifique dans un tableau, de regarder un graphique lié pour voir comment cette valeur a évolué au fil du temps, puis de lire une phrase dans le texte pour expliquer la raison de ce changement. L'ordinateur n'était pas autorisé à utiliser de connaissances extérieures ; il devait trouver la réponse entièrement à partir de l'image fournie. Cela garantissait que le test mesurait la capacité de la machine à raisonner avec le document devant elle, plutôt que sa capacité à mémoriser des faits provenant d'Internet. Les chercheurs ont également soigneusement filtré les documents pour s'assurer qu'ils contenaient suffisamment de complexité visuelle, telle que des diagrammes et des équations, afin de rendre la tâche exigeante.
Lorsque les chercheurs ont soumis seize modèles d'intelligence artificielle à ce test, les résultats ont dressé un portrait clair de l'état actuel de la technologie. Les meilleurs modèles, qui sont les systèmes les plus avancés actuellement disponibles, ont réussi à répondre correctement à environ soixante-quinze pour cent des questions. Bien que cela puisse sembler impressionnant, cela signifie aussi que même les machines les plus intelligentes font encore des erreurs sur environ une question sur quatre. L'étude a révélé que ces modèles sont nettement moins performants lorsque les documents sont en russe par rapport à l'anglais, confirmant que la langue demeure un obstacle important. De plus, le type de document importait : les modèles avaient tendance à avoir plus de mal avec les rapports commerciaux qu'avec les articles scientifiques, et ils éprouvaient des difficultés particulières lorsque les questions exigeaient qu'ils comptent des éléments ou combinent des informations provenant de différentes parties d'une page.
Les chercheurs ont également examiné de près les raisons pour lesquelles les machines échouaient. Ils ont découvert que les erreurs les plus courantes n'étaient pas dues à un manque de logique, mais plutôt à de simples problèmes de perception. Les ordinateurs lisaient souvent mal un chiffre dans un tableau, ne remarquaient pas une étiquette spécifique sur un graphique, ou étaient confus quant à la direction pointée par une flèche dans un diagramme. Une fois que la machine lisait mal un seul détail visuel, le reste de son raisonnement s'effondrait. Cela suggère qu'avant que ces systèmes ne puissent devenir de véritables experts dans l'analyse de documents, ils doivent devenir bien meilleurs pour voir clairement les petits détails.
Au-delà du simple test des modèles, les chercheurs ont utilisé les résultats pour voir s'il existe un moyen de détecter quand une machine commet une erreur. Dans de nombreuses situations réelles, il ne suffit pas de savoir qu'un ordinateur pourrait se tromper ; il faut un moyen de détecter cette erreur avant qu'elle ne cause des dommages. L'équipe a testé plusieurs méthodes différentes pour repérer ces erreurs. Ils ont trouvé que pour les systèmes fermés et propriétaires, où ils ne pouvaient pas voir les rouages internes, la meilleure façon de détecter une erreur était d'utiliser un autre modèle d'IA puissant pour agir comme un juge et vérifier la réponse. Pour les systèmes ouverts, où ils pouvaient examiner le code interne, ils ont trouvé que la vérification des propres signaux de confiance de l'ordinateur fonctionnait bien pour les réponses courtes, mais peinait lorsque l'ordinateur produisait des explications très longues et détaillées. L'étude conclut que, bien que nous progressions, nous ne disposons pas encore d'un moyen parfait pour attraper chaque erreur, et que les meilleurs systèmes laissent encore place à de nombreuses améliorations.
Ce travail est important car il déplace la conversation au-delà de la simple lecture. Il montre que si les machines peuvent lire du texte, elles apprennent encore à réfléchir avec celui-ci. En créant un test difficile, bilingue et axé sur des documents réels, les chercheurs ont fourni une carte claire de là où la technologie est forte et de là où elle est faible. Ils ont démontré que la voie à suivre nécessite non seulement des modèles plus grands, mais de meilleures façons de gérer la réalité désordonnée et détaillée des documents professionnels dans plusieurs langues. Tant que les machines ne pourront pas lire de manière fiable un graphique, le croiser avec un tableau et expliquer la connexion sans se perdre dans les détails, leur utilisation dans des domaines à enjeux élevés comme la finance et la science nécessitera une supervision humaine attentive.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.