🤖 AI

Doc-CoB: Enhancing Document Understanding with Visual Chain-of-Boxes Reasoning

Doc-CoB est un cadre qui améliore la compréhension de documents dans les grands modèles de langage multimodaux en adoptant une stratégie de raisonnement visuelle en chaîne de boîtes, allant du grossier au fin, qui se concentre progressivement sur les régions de mise en page pertinentes pour la requête tout en préservant le contexte global, et qui s'appuie sur un nouveau jeu de données de 249 000 échantillons d'entraînement.

Auteurs originaux : Ye Mo, Kai Ye, Xianwei Mao, Zirui Shao, Gang Huang, Bo Zhang, Hangdi Xing, Kehan Chen, Huan Zhou, Zixu Yan, Jiajun Bu, Sheng Zhou

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ye Mo, Kai Ye, Xianwei Mao, Zirui Shao, Gang Huang, Bo Zhang, Hangdi Xing, Kehan Chen, Huan Zhou, Zixu Yan, Jiajun Bu, Sheng Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver une information spécifique à l'intérieur d'un immense entrepôt encombré, rempli de boîtes. Cet entrepôt est une image de document (comme un reçu, un formulaire ou un rapport), et l'« encombrement » correspond à tout le texte, les logos et les lignes superflus qui ne sont pas pertinents pour votre question.

Le Problème : L'Erreur du « Un Seul Passage »

Les modèles d'IA actuels qui tentent de lire ces documents sont comme une personne qui entre dans l'entrepôt et essaie de lire chaque boîte individuellement en même temps, en supposant que tout a une importance égale.

Le Résultat : Ils sont submergés par le bruit. Si vous demandez : « Où habite le demandeur ? », l'IA peut se laisser distraire par une adresse voisine qui semble similaire mais qui appartient en réalité à une autre personne, ce qui conduit à une réponse erronée.
L'Autre Extrême : D'autres méthodes tentent de résoudre ce problème en zoomant trop fort sur un tout petit point. C'est comme sortir une seule boîte de l'entrepôt pour l'examiner isolément. Vous perdez le contexte de l'emplacement de cette boîte par rapport à tout le reste, ce qui est souvent crucial pour comprendre le document.

La Solution : Doc-CoB (Chaîne de Boîtes)

L'article présente Doc-CoB, une nouvelle méthode pour apprendre à l'IA comment lire des documents. Imaginez Doc-CoB comme un détective intelligent qui utilise un processus en deux étapes pour résoudre l'énigme, plutôt que de simplement deviner.

Étape 1 : La Phase « Surligneur » (Sélection de Boîtes Clés)

Au lieu de lire toute la page d'un coup, l'IA examine d'abord l'ensemble du document et appose un autocollant numéroté sur chaque section distincte (comme un paragraphe, un tableau ou un champ de formulaire).

Le Coup du Détective : On demande à l'IA : « Lequel de ces autocollants numérotés est pertinent pour la question ? »
L'Analogie : C'est comme un enseignant demandant à un élève de surligner les trois phrases les plus importantes d'une longue dissertation avant de répondre à une question de quiz. L'IA ne lit pas encore l'ensemble de la dissertation en profondeur ; elle identifie simplement les candidats.

Étape 2 : La Phase « Zoom » (Réponse Ciblée)

Une fois que l'IA a sélectionné les boîtes numérotées pertinentes, elle revient à l'image originale. Cette fois, elle trace des bordures rouges uniquement autour de ces boîtes sélectionnées, tout en gardant le reste de la page visible en arrière-plan.

Le Coup du Détective : On demande maintenant à l'IA de répondre à la question, mais on lui indique : « Faites particulièrement attention aux boîtes rouges. »
L'Analogie : C'est comme placer une loupe sur les phrases surlignées tout en continuant de voir le reste de la page. Cela permet à l'IA de lire les détails de la réponse sans perdre le contexte spatial (par exemple, savoir que la réponse se trouve dans le coin « en haut à droite »).

L'Entraînement : Apprendre au Détective

Pour que cela fonctionne, les chercheurs ne pouvaient pas se fier uniquement à l'intelligence existante de l'IA. Ils ont dû l'entraîner spécifiquement à devenir un détective.

La Tâche « Reconnaissance de Boîte » : Ils ont appris à l'IA à associer une boîte spécifique à l'écran avec son numéro (ID). C'est comme apprendre à un enfant à pointer la « Boîte n°5 » lorsqu'on le lui demande.
La Tâche « Raisonnement sur Boîte » : Ils ont appris à l'IA à expliquer pourquoi une boîte spécifique est importante. Par exemple : « La Boîte n°7 est importante car elle contient la nouvelle adresse, tandis que la Boîte n°2 n'est que l'ancienne adresse. »
Les Données : Ils ont construit une immense bibliothèque de 249 000 exercices pratiques en utilisant un mélange de documents réels et d'un système automatisé agissant comme un enseignant pour générer ces exemples.

Les Résultats : Plus Intelligent et Plus Rapide

L'article a testé cette méthode sur sept benchmarks différents (comme un test standardisé pour la lecture de documents) en utilisant quatre modèles d'IA différents.

Le Résultat : Les modèles utilisant Doc-CoB ont obtenu des scores nettement meilleurs. En fait, un modèle plus petit et moins cher utilisant cette méthode a surpassé un « super-modèle » beaucoup plus grand et plus coûteux (GPT-4o) sur les sept tests.
Pourquoi cela fonctionne : Cela empêche l'IA de se laisser distraire par le texte non pertinent et la force à concentrer ses « capacités cérébrales » sur les bons endroits, tout en gardant une vue d'ensemble.

L'Essentiel

Doc-CoB est un tour de force simple mais puissant : N'essayez pas de tout lire d'un coup. D'abord, trouvez les bons endroits, surlignez-les, puis lisez-les attentivement tout en gardant la page entière en vue. Cette approche rend l'IA beaucoup plus performante pour comprendre des documents complexes sans avoir besoin de modifier la structure sous-jacente du « cerveau » de l'IA.

Résumé Technique : Doc-CoB

Énoncé du Problème

La compréhension de documents implique d'effectuer des réponses à des questions (QA) et de l'extraction d'informations (IE) sur des images de documents, caractérisées par une forte densité d'informations et des mises en page complexes. Les modèles de langage multimodaux à grande échelle (MLLM) existants emploient généralement une stratégie « en un seul passage », traitant l'image entière de manière uniforme. Cette approche suppose implicitement que toutes les régions sont également importantes, conduisant souvent les modèles à être induits en erreur par des informations visuelles redondantes et à inférer des réponses à partir de régions incorrectes. À l'inverse, les stratégies existantes allant du grossier au fin dans le domaine de la QA visuelle générale ont souvent recours au recadrage direct ou au zoom sur des régions spécifiques. Bien que cela réduise la redondance visuelle, cela élimine des informations de mise en page critiques propres aux documents, telles que les relations spatiales, le positionnement relatif et les dépendances inter-régionales, provoquant des échecs dans les requêtes sensibles à la mise en page.

Le défi central abordé consiste à suivre un paradigme de raisonnement allant du grossier au fin pour la compréhension de documents tout en préservant le contexte global de la mise en page nécessaire à une inférence précise.

Méthodologie : Doc-CoB

Les auteurs proposent Doc-CoB (Chaîne de Boîtes), un cadre permettant aux MLLM d'effectuer une compréhension de documents grâce à un raisonnement visuel allant du grossier au fin et conscient de la mise en page, sans modifier l'architecture du modèle sous-jacent. Le cadre opère en deux étapes distinctes, utilisant l'encodage visuel pour guider l'attention :

Étape 1 : Sélection de Boîtes Clés
- Un analyseur de mise en page ( $\Lambda$ ) extrait un ensemble de boîtes de mise en page candidates ( $B$ ) à partir de l'image du document ( $x_I$ ).
- Chaque boîte se voit attribuer un ID unique et est superposée à l'image pour créer une image avec encodage visuel ( $X^S_1$ ).
- Le MLLM ( $f$ ) est invité à sélectionner le sous-ensemble d'IDs de boîtes ( $I_{key}$ ) les plus pertinents par rapport à la requête ( $Q$ ). Cela est formulé comme une prédiction à choix multiples parmi les boîtes candidates.
Étape 2 : Réponse Ciblée
- Les boîtes clés sélectionnées ( $B_{key}$ ) sont mises en évidence par des bordures rouges sur l'image originale pour créer une deuxième image avec encodage visuel ( $X^S_2$ ).
- Crucialement, l'image complète du document est conservée plutôt que recadrée. Cela préserve le contexte global et les relations spatiales tout en mettant l'accent sur les régions pertinentes.
- Le MLLM génère la réponse finale ( $A$ ) conditionnée par cette image mise en évidence et la requête.

Tâches de Raisonnement et Construction des Données

Pour soutenir ce paradigme, les auteurs introduisent deux tâches de raisonnement spécifiques afin d'améliorer la compréhension de la mise en page et de la sémantique par le modèle :

Reconnaissance de Boîtes : Le modèle apprend à mapper une boîte visuelle spécifique à son ID correspondant.
Raisonnement sur Boîtes : Le modèle apprend à décrire le rôle sémantique d'un ID de boîte spécifique dans la réponse à une requête donnée.

Pour entraîner ces capacités, un pipeline de génération automatique de données a été construit en utilisant GPT-4o comme annotateur linguistique et MinerU comme analyseur de mise en page visuelle. Ce pipeline a traité neuf ensembles de données de documents existants (incluant DocVQA, DeepForm, SROIE, FUNSD, etc.) pour générer :

249 601 échantillons d'entraînement pour le cadre Doc-CoB.
126 970 échantillons pour la Reconnaissance de Boîtes.
269 108 échantillons pour le Raisonnement sur Boîtes.
Ces échantillons incluent une supervision visuelle intermédiaire, étiquetant explicitement les boîtes « utiles » (contenant des preuves) et les boîtes « confuses » (ressemblant à la requête mais incorrectes).

Contributions Clés

Cadre Doc-CoB : Un paradigme novateur en deux étapes qui intègre un raisonnement visuel allant du grossier au fin et conscient de la mise en page dans les MLLM via l'encodage visuel, équilibrant la focalisation sur les régions clés avec la préservation du contexte global.
Tâches de Raisonnement et Jeu de Données : La proposition des tâches de Reconnaissance de Boîtes et de Raisonnement sur Boîtes, soutenue par un jeu de données à grande échelle de plus de 249k échantillons avec supervision visuelle intermédiaire, adapté au raisonnement sur la mise en page des documents.
Performance et Généralisation : Des expériences extensives démontrant que Doc-CoB améliore significativement les performances sur sept benchmarks et quatre architectures de MLLM différentes (allant de 2B à 40B de paramètres), y compris des modèles non spécifiquement pré-entraînés pour les documents.

Résultats Expérimentaux

L'article évalue Doc-CoB sur sept benchmarks (DocVQA, DUDE, DeepForm, FUNSD, SROIE, VRDU-Ad, VRDU-RF) en utilisant quatre MLLM : InternVL2 (2B/8B), Qwen2.5-VL et DocOwl 1.5.

Gains de Performance : Doc-CoB améliore constamment les performances sur tous les modèles et ensembles de données. Notamment, le modèle InternVL2-8B-CoB atteint des résultats de pointe sur six ensembles de données et dépasse le beaucoup plus grand InternVL2-40B ainsi que le modèle fermé GPT-4o sur les sept benchmarks. Par exemple, sur DeepForm, InternVL2-8B-CoB atteint 80,06 %, une amélioration significative par rapport à la ligne de base SFT de 36,33 %.
Études d'Ablation :
- La suppression du paradigme en deux étapes (n'utilisant que l'ensemble de données CoB pour une inférence en un seul passage) produit des améliorations mais reste inférieure à l'approche complète en deux étapes, confirmant la valeur du paradigme de raisonnement lui-même.
- La suppression des tâches de raisonnement spécifiques réduit les performances, indiquant que les MLLM actuels manquent de la capacité intrinsèque d'exploiter pleinement le cadre sans supervision ciblée.
- Le remplacement de l'entrée d'image complète à l'Étape 2 par des images recadrées entraîne des baisses de performance significatives (5 à 15 points), validant la nécessité de préserver le contexte global de la mise en page.
Efficacité : Bien que traitant deux images, Doc-CoB permet des réglages de résolution effective plus faibles, entraînant une utilisation totale de tokens comparable ou inférieure à l'inférence standard tout en atteignant une précision supérieure.
Robustesse : La méthode reste efficace lors de l'utilisation d'analyseurs de mise en page différents (par exemple, OCR+K-means, Marker) et démontre une forte généralisation zero-shot à des domaines non vus tels que les infographies et les documents multipages.

Importance et Limites

L'article affirme que Doc-CoB démontre qu'un raisonnement visuel explicite et conscient de la mise en page peut considérablement améliorer les capacités de compréhension de documents des MLLM sans changements architecturaux. Il souligne que la combinaison d'un paradigme de raisonnement allant du grossier au fin et d'une supervision intermédiaire ciblée est cruciale pour gérer les défis uniques des mises en page de documents.

Limites reconnues par les auteurs :

Accumulation de Bruit : Bien que les stratégies de génération de données suppriment le bruit provenant de l'analyse de la mise en page, le bruit au moment de l'inférence ne peut être entièrement éliminé et peut s'accumuler à travers les étapes.
Sélection en Un Seul Tour : Le pipeline actuel ne réalise qu'un seul tour de sélection de boîtes. Les auteurs suggèrent qu'un mécanisme d'auto-vérification pour un raffinement itératif pourrait améliorer davantage la robustesse.
Granularité : Le cadre aborde le raisonnement au niveau de la mise en page mais ne résout pas les ambiguïtés intra-boîte (par exemple, les erreurs d'OCR ou le texte ambigu à l'intérieur d'une boîte sélectionnée), qui restent une source d'échec.