Retrieval or Representation? Reassessing Benchmark Gaps in Multilingual and Visually Rich RAG

Cette étude démontre que les améliorations observées dans les benchmarks de RAG multilingue et visuel sont principalement dues à une meilleure représentation des documents plutôt qu'à des mécanismes de récupération avancés, soulignant ainsi la nécessité d'évaluations décomposées pour distinguer l'apport de la transcription de celui de la récupération.

L'essentiel

🕵️‍♂️ Le Grand Malentendu : Qui est le coupable ?

Imaginez que vous cherchez un livre précis dans une immense bibliothèque mondiale. Vous avez un assistant très intelligent (l'IA) qui doit trouver le bon livre pour vous répondre.

Pendant un moment, tout le monde pensait que le problème venait de l'assistant lui-même. On disait : "Ah, nos assistants modernes (les modèles multimodaux) sont super forts, mais nos anciennes méthodes (comme le BM25) sont trop bêtes pour comprendre les documents complexes, les tableaux ou les textes en langues étrangères."

Ce papier vient dire : "Attendez une minute ! Ce n'est pas l'assistant qui est nul, c'est le bibliothécaire qui lui donne les livres qui a mal lu les étiquettes !"

📚 L'Analogie du Bibliothécaire (OCR)

Pour que l'assistant puisse chercher, il faut d'abord transformer les images de documents (PDF, scans) en texte lisible. C'est le travail de l'OCR (Reconnaissance Optique de Caractères).

1. Le vieux bibliothécaire (OCR basique) : Il est pressé. Il regarde une page avec un graphique, un tableau et du texte en japonais. Il se trompe, il saute des lignes, il lit les chiffres à l'envers. Il donne à l'assistant un texte plein de fautes.
   • Résultat : L'assistant, même s'il est un génie, ne trouve rien. Il dit : "Ce document n'existe pas."
2. Le nouveau bibliothécaire (OCR moderne + IA) : Il prend son temps. Il décrit le graphique, il lit le japonais correctement, il comprend la structure du tableau. Il donne à l'assistant un texte parfait.
   • Résultat : L'assistant (même un ancien modèle simple) trouve le document instantanément !

La découverte clé du papier : Les chercheurs ont pris un vieux système de recherche (BM25) et l'ont nourri avec les meilleures transcriptions possibles. Soudain, ce vieux système a rattrapé, et parfois même dépassé, les systèmes modernes les plus chers et complexes.

🌍 Le Cas des Langues Étranges (Morphologie)

Pensez à la recherche de mots comme un jeu de Lego.

• En anglais, les mots sont souvent des blocs simples.
• En japonais ou en arabe, les mots sont des blocs complexes qui se collent et se détachent (préfixes, suffixes, racines).

Si vous cherchez "manger" en français, mais que le texte a été mal découpé et écrit "mang-er" ou "mangerons", le vieux système ne trouve rien.
Les chercheurs ont montré que si on prend le temps de bien "découper" les mots (c'est ce qu'on appelle la préparation linguistique), le vieux système fonctionne à merveille, même pour des langues très complexes.

📊 Le Cas des Images et Graphiques

C'est là que c'est le plus drôle.
Imaginez un document avec un graphique en camembert (pie chart) montrant la répartition des ventes.

• Sans description : Le vieux système ne voit que des couleurs. Il ne sait pas que le gros morceau bleu représente "75%".
• Avec description : Si on ajoute une petite phrase disant "Le graphique montre que le produit A représente 75%", le vieux système comprend tout de suite !

Les chercheurs ont montré que même une description très simple (générée par une petite IA) suffit à faire exploser les performances. Le problème n'était pas que le système ne "voyait" pas l'image, c'est qu'il ne savait pas lire ce qui était écrit dedans.

🎯 La Conclusion en une phrase

Ce papier nous dit : "Arrêtez de dépenser des millions pour créer des assistants de recherche toujours plus complexes, si vous ne commencez pas par nettoyer et bien lire les documents !"

C'est comme essayer de faire courir un Ferrari sur une route pleine de nids-de-poule. La voiture (le modèle d'IA) est super, mais si la route (la transcription du texte) est mauvaise, elle ne va nulle part.

Le message pour le futur :
Au lieu de juste comparer qui a la meilleure voiture, il faut aussi comparer qui a la meilleure route. Il faut évaluer séparément la qualité de la lecture (OCR) et la qualité de la recherche. Si on améliore la lecture, les vieilles méthodes redeviennent très puissantes et beaucoup moins chères à utiliser.

Résumé technique

1. Problématique

Le domaine de la Génération Augmentée par Récupération (RAG) fait face à des défis majeurs dans deux contextes spécifiques :

• Multilinguisme : Les benchmarks et les données d'entraînement sont fortement biaisés vers les langues à ressources élevées, créant des écarts de performance persistants pour les langues à morphologie complexe ou à faible ressource.
• Documents riches en visuels : De nombreux documents réels (rapports, manuels) mélangent du texte, des tableaux et des figures complexes. Les systèmes modernes utilisent souvent des récupérateurs multimodaux (basés sur des modèles d'encodage image-texte) en supposant qu'ils surpassent largement les méthodes lexicales classiques (comme BM25).

Hypothèse centrale de l'article : Les écarts de performance observés entre les méthodes lexicales simples et les approches multimodales avancées ne sont pas nécessairement dus à une supériorité intrinsèque des modèles de récupération, mais plutôt à la qualité de la représentation textuelle (transcription OCR et prétraitement) utilisée pour indexer les documents. L'article remet en question si l'on évalue réellement la capacité de récupération ou simplement la qualité du pipeline de prétraitement.

2. Méthodologie

Les auteurs ont conçu une expérience contrôlée pour isoler l'impact de la transcription et du prétraitement de celui du mécanisme de récupération lui-même.

• Benchmark : Utilisation de VisR-Bench, un ensemble de données pour la récupération de pages dans des documents longs et visuellement riches, couvrant 15 langues.
• Protocole expérimental :
  • Fixation du récupérateur : Le mécanisme de recherche (BM25, SBERT, BGE-M3, etc.) reste constant.
  • Variation de l'entrée : Seule la qualité de la transcription (OCR) et le prétraitement linguistique varient.
• Variables testées :
  • Modèles OCR : Comparaison entre l'extraction par défaut (Adobe), EasyOCR, Mistral OCR 3, et un petit VLM (Ministral 3B) utilisé pour générer des descriptions sémantiques des figures.
  • Prétraitement linguistique : Application de stratégies spécifiques à la langue (racinisation/stemming, lemmatisation, analyse morphologique pour l'arabe, segmentation pour le japonais/vietnamien).
• Métriques : Précision Top-1 et Top-5 sur la tâche de récupération de page.

3. Contributions Clés

1. Démystification des écarts de performance : L'étude démontre que l'amélioration de la transcription (OCR) et du prétraitement permet aux méthodes lexicales classiques (BM25) de combler la majeure partie de l'écart de performance avec les récupérateurs multimodaux modernes.
2. Identification des modes d'échec :
   • Pour les langues complexes, la qualité de l'OCR est le facteur dominant.
   • Pour les pages riches en figures, l'absence de description textuelle des éléments visuels est le goulot d'étranglement principal.
3. Appel à une évaluation décomposée : Les auteurs proposent de séparer l'évaluation des capacités de transcription (OCR) de celle des capacités de récupération (Retrieval) dans les benchmarks futurs, afin d'attribuer correctement les progrès.

4. Résultats Principaux

A. Impact sur les benchmarks multilingues

• BM25 optimisé : En améliorant la transcription et en appliquant un prétraitement adapté (ex: morphologie pour l'arabe, lemmatisation pour le tchèque), le BM25 atteint des performances comparables, voire supérieures, à de nombreux encodeurs denses et modèles multimodaux.
• Gains significatifs : Sur les ensembles de données multilingues, l'amélioration de la transcription permet de récupérer jusqu'à +8,9 points de précision Top-5 en moyenne pour le BM25.
• Exemple : Pour l'arabe, l'utilisation de l'analyse morphologique combinée à un OCR de haute qualité (Mistral OCR 3) fait passer la précision Top-5 de ~20% à ~47%, comblant une grande partie de l'écart avec les modèles multimodaux.

B. Impact sur les documents riches en figures (Figure-heavy)

• Le rôle des descriptions sémantiques : Sur les pages contenant des graphiques, la simple extraction de texte (OCR standard) échoue car les légendes et les données sont souvent absentes ou mal transcrites.
• Réduction drastique de l'écart : L'ajout de descriptions sémantiques générées par un VLM (Ministral 3B) pour décrire les figures permet de récupérer jusqu'à +31,1 points de précision Top-5 pour le BM25.
• Conclusion : Même des descriptions grossières des figures permettent de récupérer la majeure partie de la perte de performance, prouvant que le problème n'est pas l'incapacité du modèle à "voir" l'image, mais l'absence de texte descriptif dans l'index.

C. Comparaison avec les modèles Multimodaux

• Les modèles multimodaux (ColQwen2, ColPali, etc.) restent performants, mais leur avantage apparent sur les benchmarks est largement dû au fait qu'ils contournent l'étape d'OCR défaillante en encodant directement l'image.
• Cependant, une fois que le BM25 dispose d'une transcription de haute qualité incluant des descriptions de figures, il rattrape une grande partie du retard, montrant que le "goulot d'étranglement" est la représentation textuelle, et non l'algorithme de recherche.

5. Signification et Implications

• Réévaluation des benchmarks : Les écarts de performance actuels dans les benchmarks RAG visuels et multilingues ne doivent pas être interprétés comme une preuve de la supériorité des modèles de récupération multimodaux, mais plutôt comme une mesure de la qualité des pipelines de transcription.
• Priorité à l'OCR et au prétraitement : L'OCR et le prétraitement linguistique doivent être traités comme des composants de première classe des systèmes de récupération, et non comme des détails d'implémentation cachés.
• Efficacité des méthodes simples : Il est possible d'obtenir des performances de pointe avec des méthodes lexicales simples (BM25) si l'on investit dans une transcription de haute qualité et une normalisation linguistique adaptée, évitant ainsi la complexité et le coût de calcul des modèles multimodaux lourds pour certaines tâches.
• Limites : L'article note que même avec une transcription parfaite, les méthodes textuelles restent inférieures aux modèles multimodaux pour les questions nécessitant un raisonnement purement visuel (relations spatiales, tendances graphiques non textuelles), indiquant une frontière claire où l'analyse d'image directe est indispensable.

En résumé, l'article plaide pour une approche plus nuancée de l'évaluation RAG, où l'amélioration de la représentation (transcription) est reconnue comme le levier principal de progression, souvent plus efficace que le développement de nouveaux modèles de récupération complexes.