💬 NLP

MM-BizRAG: Rethinking Multimodal Retrieval-Augmented Generation for General Purpose Enterprise Q&A

MM-BizRAG introduit un cadre de génération augmentée par récupération multimodale qui achemine dynamiquement les documents d'entreprise à travers des pipelines de parsing spécifiques à l'orientation afin de capturer explicitement l'information structurelle, surpassant de manière significative les bases de référence existantes centrées sur la vision en termes de précision de Q&A tout en offrant une métrique d'évaluation rentable appelée FastRAGEval.

Auteurs originaux : Hanoz Bhathena, Parin Rajesh Jhaveri, Rohan Mittal, Prateek Singh, Aymen Kallala, Rachneet Kaur, Yiqiao Jin, Zhen Zeng, Adwait Ratnaparkhi, Denis Kochedykov

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hanoz Bhathena, Parin Rajesh Jhaveri, Rohan Mittal, Prateek Singh, Aymen Kallala, Rachneet Kaur, Yiqiao Jin, Zhen Zeng, Adwait Ratnaparkhi, Denis Kochedykov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous travailiez dans une bibliothèque géante et chaotique où les livres se présentent sous deux formes très différentes : de longs rapports étroits (comme des états financiers) et des présentations larges et plates (comme des diapositives PowerPoint).

Pendant longtemps, les « robots » (systèmes d'IA) essayant de répondre aux questions de ces livres ont adopté une approche paresseuse. On leur a dit de simplement prendre une photo de chaque page et de l'injecter dans le cerveau du robot. Ils espéraient que le robot puisse « deviner » la structure de la page rien qu'en regardant la photo.

Le Problème :
Cette méthode de « photo uniquement » fonctionne assez bien pour les diapositives simples, mais échoue lamentablement avec les rapports complexes. C'est comme essayer de comprendre un plan détaillé en plissant les yeux devant une photographie floue de ce plan. Le robot manque les chiffres spécifiques dans les tableaux, le flux du texte et la relation entre un graphique et le paragraphe situé à côté. Il est trop occupé à regarder « l'image globale » pour voir les détails importants.

La Solution : MM-BizRAG
Les auteurs de cet article ont construit un nouveau système appelé MM-BizRAG. Au lieu de traiter chaque document de la même manière, ce système agit comme un bibliothécaire intelligent qui sait exactement comment manipuler différents types de livres.

Voici comment il fonctionne, en utilisant des analogies simples :

1. Le « Trieur Intelligent » (Découpage sensible à la structure du document)

Lorsqu'un document arrive, le système demande d'abord : « Est-ce un rapport haut ou une présentation large ? »

S'il s'agit d'un Rapport (Vertical) : Le système ne se contente pas de prendre une photo. Il découpe soigneusement le document en morceaux, lit le texte, extrait les tableaux et décrit les images. Il garde une trace de l'endroit où se trouvait chaque élément sur la page, comme un maître des puzzles gardant l'ordre des pièces.
S'il s'agit d'une Présentation (Horizontal) : Le système réalise que sur une diapositive, le texte, l'image et le graphique sont tous mélangés pour raconter une seule histoire. Il traite donc la diapositive entière comme une unité unique, en décrivant toute la scène d'un seul coup.

2. La stratégie des « Deux Sacs à Dos » (Découplage de la Récupération et de la Génération)

C'est la recette secrète de ce système. La plupart des autres systèmes essaient de tout fourrer dans un seul sac à dos pour trouver la réponse. MM-BizRAG utilise deux sacs à dos différents :

Sac à Dos A (Pour la Recherche) : Il contient des résumés et des descriptions simplifiés, riches en texte. Il est léger et rapide, ce qui facilite la recherche à travers des milliers de documents pour trouver les bons.
Sac à Dos B (Pour la Réponse) : Une fois les documents appropriés trouvés, le système sort les versions complètes et riches (incluant les images et les tableaux réels) et les assemble parfaitement pour la réponse finale.

Pourquoi cela importe : C'est comme utiliser une carte bon marché et rapide pour trouver une ville (Sac à Dos A), puis, une fois arrivé, utiliser un modèle 3D haute définition de la ville pour donner les meilleures directions à votre guide touristique (Sac à Dos B). Vous obtenez la vitesse d'un moteur de recherche avec la profondeur d'un expert humain.

3. Le Juge en « Un Seul Appel » (FastRAGEval)

Pour tester si leur système est réellement performant, ils avaient besoin d'un moyen de noter les réponses. Les outils de notation existants étaient comme un enseignant qui devait lire la réponse, la décomposer en de minuscules phrases, vérifier chacune d'elles, puis rédiger un rapport. Cela prenait beaucoup de temps et coûtait cher.

Les auteurs ont inventé FastRAGEval, qui est comme un enseignant super rapide capable de lire toute la réponse, de vérifier les faits et de donner une note en un seul coup d'œil. Il est deux fois plus rapide et est plus en accord avec les juges humains que les anciennes méthodes.

Les Résultats

Lorsqu'ils ont testé ce nouveau système contre les robots de type « photo uniquement » :

Pour les Rapports : Ce fut une victoire massive, améliorant la précision jusqu'à 32 %. Le système a enfin compris les tableaux et graphiques complexes que les autres avaient manqués.
Pour les Présentations : Il a obtenu des résultats aussi bons que les meilleurs systèmes basés sur la photo, prouvant qu'il n'est pas nécessaire d'ignorer le texte pour gérer les diapositives.
Vitesse : Ils ont trouvé une configuration « point d'équilibre » qui est presque aussi précise que la version la plus complexe, mais qui tourne environ deux fois plus vite.

En Résumé

L'article soutient que nous ne devrions pas simplement compter sur l'IA pour « deviner » la structure d'un document en regardant une image. Au lieu de cela, nous devrions activement analyser (décomposer) le document en fonction de sa forme, utiliser une méthode rapide pour trouver l'information pertinente, puis assembler les détails riches seulement lorsque nous devons rédiger la réponse finale. Cette approche rend l'IA beaucoup plus intelligente, surtout pour les documents complexes utilisés par les entreprises au quotidien.

Résumé Technique : MM-BizRAG

Problématique

Les avancées récentes en matière de Génération Augmentée par Récupération Multimodale (MM-RAG) privilégient de plus en plus les stratégies de « parsing minimal ». Ces approches reposent sur des images au niveau de la page pour générer des plongements (embeddings) de recherche et servent d'entrées directes aux modèles de langage visuels (VLM) pour la génération de réponses. Bien qu'efficaces, les auteurs soutiennent que cette tendance néglige le traitement explicite de l'information riche et structurée inhérente aux documents d'entreprise complexes (ex. : rapports financiers, documents juridiques, présentations de type slide decks).

Les méthodes de pointe actuelles délèguent souvent la compréhension de la structure du document à des embeddings pré-entraînés ou à des VLM, supposant que ces modèles peuvent capturer implicitement la mise en page et les relations sémantiques. Cependant, l'article postule que les modèles pré-entraînés peinent à capturer implicitement l'information structurée des documents d'entreprise complexes, qui diffèrent souvent considérablement de leurs données d'entraînement. De plus, les pipelines existants manquent de standardisation dans la représentation des documents et la conception de l'ingestion, ce qui entraîne des performances sous-optimales sur des données d'entreprise hétérogènes.

Méthodologie : MM-BizRAG

MM-BizRAG est un cadre de RAG multimodal conçu pour extraire et représenter proactivement la structure du document plutôt que de compter sur une compréhension implicite. Le système repose sur un principe central : la structure du document doit dicter la stratégie d'ingestion.

1. Découpage sensible à la structure du document

Le pipeline commence par classer les documents en deux catégories à l'aide d'un classificateur basé sur un LLM (ou des métadonnées de fichier) :

Documents Verticaux ( $D_V$ ) : Rapports, documents de dépôt et documents textuels avec un ordre de lecture linéaire.
Documents Horizontaux ( $D_H$ ) : Présentations et diaporamas où le contenu est disposé spatialement et où le sens est souvent holistique au niveau de la page.

2. Pipelines d'ingestion spécifiques à l'orientation

Selon la classification, les documents sont acheminés vers des pipelines distincts :

Pour les Documents Verticaux ( $D_V$ ) :
- Parsing sensible à la mise en page (Layout-Aware) : Utilise des outils comme Docling pour extraire des blocs de texte alignés, des tableaux et des images intra-pages.
- Transformation des artefacts :
  - Texte : Linéarisé avec des espaces réservés (placeholders) uniques pour les tableaux et les images afin de préserver l'ordre de lecture.
  - Tableaux : Convertis en Markdown et transmis à un LLM pour générer des descriptions ligne par ligne.
  - Images : Traitées par un VLM pour générer des descriptions, en filtrant les éléments non informatifs (ex. : logos).
- Alignement positionnel : Un pipeline unifié piloté par LLM utilise des espaces réservés pour garantir que les tableaux et les images sont alignés avec leurs positions textuelles correspondantes.
Pour les Documents Horizontaux ( $D_H$ ) :
- Représentation Holistique : Le parsing explicite de la mise en page est jugé inefficace pour les diapositives. Au lieu de cela, le système traite chaque diapositive comme une unité sémantique holistique.
- Traitement au niveau de la page : Un VLM génère une description textuelle complète ( $\delta$ ) capturant tout le contenu sémantique (texte, visuels, relations) pour l'ensemble de la page.
- Représentation : L'unité est une paire composée de l'image de la page et de sa description générée.

3. Récupération et Génération Adaptatives

Le cadre introduit trois variantes (TCTE, PCMHE, TCMIE) qui diffèrent dans la manière dont elles construisent les segments (chunks) récupérables et les embeddings, mais partagent un même stack d'inférence :

Représentations Découplées : Une distinction architecturale clé est le découplage des représentations utilisées pour la récupération de celles utilisées pour la génération.
- Récupération : Les segments sont plongés (via des modèles textuels ou multimodaux) et indexés.
- Génération (Assemblage au moment de l'inférence) : Les segments récupérés sont assemblés dynamiquement en un contexte multimodal. Pour les documents verticaux, cela implique d'injecter le markdown des tableaux et les artefacts d'images dans les segments de texte à leurs positions d'espaces réservés d'origine. Pour les documents horizontaux, les images de pages sont concaténées avec leurs descriptions.
Pas de Fine-tuning : Le système est conçu pour fonctionner avec des modèles LLM et des encodeurs prêts à l'emploi, ne nécessant aucun entraînement supplémentaire.

4. Métrique d'Évaluation : FastRAGEval

Les auteurs introduisent FastRAGEval (FRE), une métrique de juge LLM à appel unique pour la précision générative fine. Contrairement à RAGChecker, qui décompose les réponses en affirmations atomiques via deux appels LLM séquentiels, FRE calcule la précision, le rappel et le F1 en un seul passage. Cela réduit le coût et la latence de moitié tout en atteignant un meilleur alignement avec les jugements humains.

Principales Contributions

Cadre MM-BizRAG : Un nouveau système qui route dynamiquement les documents vers des pipelines d'ingestion spécifiques à l'orientation (sensibles à la mise en page pour le vertical, holistiques pour l'horizontal) afin de préserver l'alignement cross-modal.
Assemblage Multimodal au Moment de l'Inférence : Une innovation architecturale qui découple l'indexation de la récupération du contexte de génération, permettant des réponses plus riches et ancrées sans gonfler l'index de récupération.
Étude Contrôlée des Variantes : Une évaluation systématique de trois variantes de MM-RAG (TCTE, PCMHE, TCMIE) sur un large jeu de données d'entreprise interne et des benchmarks publics (SLIDEVQA, FINRAGBENCH-V), isolant l'impact des stratégies d'ingestion et d'embedding.
FastRAGEval (FRE) : Une métrique d'évaluation à appel unique, plus efficace en termes de coût, qui surpasse les métriques multi-appels existantes en termes d'alignement avec le jugement humain.

Résultats

L'article évalue MM-RAG par rapport à des baselines de pointe centrées sur la vision (ColPali, VisRAG) et une baseline RAG textuelle uniquement, à travers trois jeux de données :

SLIDEVQA : Les variantes de MM-RAG ont surpassé ColPali et VisRAG de 3,6 à 11,1 % sur le FRE-Recall.
FINRAGBENCH-V : Le framework a montré des gains substantiels, surpassant les baselines centrées sur la vision jusqu'à 32 points de pourcentage. Les auteurs notent que les pipelines purement visuels se dégradent considérablement sur les rapports denses à structure verticale, tandis que le parsing sensible à la mise en page de MM-RAG excelle.
Jeu de Données d'Entreprise Interne : MM-RAG a systématiquement surpassé la baseline textuelle uniquement, particulièrement sur les questions nécessitant l'analyse de tableaux ou d'images, où la baseline textuelle montrait une dégradation claire.
Efficacité : La variante TCTE (découpage au niveau du token, embedding textuel) est mise en avant comme la configuration de production recommandée, atteignant un rappel à seulement 1–3 % de la meilleure configuration tout en engendrant environ la moitié de la latence des variantes d'embedding multimodales (PCMHE).

Signification et Revendications

L'article affirme réétablir la valeur de la compréhension directe et sensible à la structure des documents dans le RAG multimodal. Il soutient que pour les applications d'entreprise, compter uniquement sur les images au niveau de la page et la compréhension structurelle implicite des VLM est insuffisant pour les documents complexes et hétérogènes.

Les auteurs affirment que MM-RAG fournit un plan pratique pour harmoniser les approches basées sur le parsing et les approches basées sur l'embedding. En gérant explicitement la structure du document et en découplant la récupération de la génération, le système atteint une performance de bout en bout de meilleure qualité sans nécessiter de fine-tuning. L'introduction de FastRAGEval est également présentée comme une méthode plus efficace et mieux alignée sur l'humain pour évaluer le rappel génératif dans les systèmes RAG.

L'article reste modeste quant à ses limites, reconnaissant que les benchmarks publics (comme SLIDEVQA) peuvent ne pas refléter pleinement la complexité des présentations de niveau industriel et que l'évaluation sur FINRAGBENCH-V était limitée à un sous-ensemble de PDF en anglais en raison de contraintes de calcul. De plus, le jeu de données d'entreprise propriétaire utilisé pour l'évaluation principale ne peut être publié pour le moment.