LëtzCross: A Cross-Lingual Page-Level Benchmark for Multimodal Retrieval over Luxembourgish Documents

Dans le monde numérique moderne, de vastes bibliothèques d'informations existent non pas sous la forme de lignes de texte nettes, mais comme des documents visuels complexes : des PDF remplis de graphiques, de diagrammes, de tableaux et de mises en page éparpillées. Pour que les ordinateurs puissent trouver des réponses spécifiques dans ces fichiers, ils reposaient traditionnellement sur un processus en deux étapes. D'abord, un système scannait l'image d'une page et tentait de lire chaque mot, convertissant l'encre visuelle en texte numérique. Ensuite, il recherchait des mots-clés dans ce texte. Cette méthode fonctionne bien pour les documents simples, mais elle trébuche souvent lorsque la réponse réside dans la forme d'un graphique ou l'agencement d'un tableau, ou lorsqu'un document est écrit dans une langue que l'ordinateur ne connaît pas très bien. Ce défi devient encore plus difficile lorsqu'un utilisateur pose une question dans une langue, comme l'anglais, alors que le document dont il a besoin est écrit dans une langue rare ou à faibles ressources, telle que le luxembourgeois. Les chercheurs explorent désormais une approche différente : apprendre aux ordinateurs à regarder la page du document comme une image globale, en comprenant simultanément la relation entre les mots et la disposition visuelle, plutôt que de simplement lire les mots.

Une équipe de chercheurs de l'Université du Luxembourg s'est donné pour mission de tester cette idée en utilisant un cas spécifique et difficile : le luxembourgeois. Cette langue, parlée par une petite population, dispose de très peu de ressources numériques permettant aux ordinateurs d'apprendre. Pour étudier l'efficacité des systèmes modernes face à ce défi, l'équipe a créé un nouveau terrain d'essai appelé LëtzCross. Ils ont rassemblé des centaines de documents PDF réels en luxembourgeois, allant de rapports denses en texte à des pages riches en données visuelles comme des graphiques et des tableaux. Ils ont ensuite élaboré un ensemble de questions qu'un humain pourrait poser sur ces pages. Certaines questions nécessitaient la lecture du texte, tandis que d'autres exigeaient l'examen d'un graphique ou d'un diagramme pour trouver la réponse. Crucialement, ces questions étaient rédigées en quatre langues différentes : l'anglais, le français, l'allemand et le luxembourgeois. Cette configuration a permis aux chercheurs de voir si un ordinateur pouvait examiner un document luxembourgeois et trouver la bonne page lorsqu'on lui posait une question dans une langue totalement différente.

Les chercheurs ont testé deux principaux types de systèmes informatiques contre ce nouveau référentiel. Le premier groupe s'appuyait sur la méthode traditionnelle : ils utilisaient un logiciel pour extraire le texte des images PDF, puis recherchaient dans ce texte. Le second groupe utilisait un type de système plus récent qui examinait directement les images des pages, traitant la mise en page visuelle et le texte comme une information unique et unifiée. Lorsque les chercheurs ont comparé les résultats, les systèmes qui regardaient les images dans leur ensemble ont obtenu des performances nettement supérieures. Ils trouvaient les pages correctes plus souvent que les systèmes uniquement textuels, quelle que soit la langue de la question. Les systèmes basés sur l'image étaient particulièrement performants pour répondre à des questions nécessitant la compréhension d'éléments visuels, comme la lecture d'une valeur spécifique dans un diagramme à barres, là où les systèmes uniquement textuels échouaient souvent car ils ne pouvaient pas « voir » la structure des données.

Pour améliorer encore ces systèmes, les chercheurs ont expérimenté un processus appelé « fine-tuning » (ajustement fin). Cela s'apparente à donner à un étudiant des tests d'entraînement supplémentaires dans une matière spécifique pour affiner ses compétences. Ils ont entraîné les systèmes basés sur l'image en utilisant des questions rédigées dans une seule langue à la fois, ainsi qu'en un mélange des quatre langues. Ils ont découvert qu'entraîner le système avec des questions en français l'aidait en réalité mieux à répondre à des questions en luxembourgeois que de l'entraîner avec des questions en allemand ou en anglais. Cependant, l'approche la plus efficace consistait à entraîner le système en utilisant un mélange des quatre langues, y compris le luxembourgeois lui-même. Lorsque le système voyait des exemples de questions en luxembourgeois lors de son entraînement, sa capacité à trouver des réponses dans des documents luxembourgeois s'améliorait substantiellement. Cela suggère que, bien qu'un système puisse apprendre à traduire sa compréhension à travers les langues, le fait de voir directement la langue cible aide à aligner ses connaissances avec les documents spécifiques qu'il doit rechercher.

L'étude a également examiné la manière dont ces systèmes gèrent la partie visuelle du document. Ils ont testé si le fait de mettre à jour la capacité du système à « voir » l'image, en plus de sa capacité à « lire » le texte, faisait une différence. Ils ont constaté que les systèmes qui étaient autorisés à ajuster à la fois leur compréhension visuelle et textuelle étaient plus performants que ceux qui n'ajustaient que leur traitement textuel. Cela confirme que pour les documents où la mise en page et les graphiques portent des informations importantes, l'ordinateur doit traiter l'image dans son ensemble, et non pas seulement les mots qu'elle contient. Bien que les systèmes uniquement textuels soient plus rapides à mettre en place dans certains cas, les systèmes basés sur l'image offraient un moyen plus fiable de récupérer l'information à partir de documents complexes et visuellement riches, particulièrement lorsqu'il s'agit d'une langue disposant d'un soutien numérique limité.

Ce travail constitue une démonstration claire que pour les langues à faibles ressources et les documents complexes, regarder l'image est souvent plus efficace que de simplement lire le texte. Les chercheurs ont découvert que les systèmes modernes capables de comprendre à la fois les mots et les images peuvent combler l'écart entre les différentes langues plus efficacement que les méthodes plus anciennes. En montrant que l'entraînement sur un mélange de langues, incluant la langue cible elle-même, produit les meilleurs résultats, l'étude offre une voie pratique pour construire des outils de recherche qui fonctionnent pour tout le monde, et pas seulement pour les locuteurs des grandes langues mondiales. Les conclusions suggèrent qu'à mesure que nous évoluons vers des environnements d'information plus visuels et multilingues, l'avenir de la recherche réside dans des systèmes capables de voir et de comprendre le document dans son intégralité.