💻 computer science

An LMM for Precisely Grounding Elements in Documents

L'article présente PreciseDoc, un grand modèle multimodal conçu pour améliorer la précision de l'ancrage visuel dans les documents riches en texte grâce à l'utilisation de données d'entraînement synthétiques produites en masse et à un paradigme d'apprentissage par renforcement conjoint qui unifie l'ancrage et le raisonnement.

Auteurs originaux : Yijian Lu, Chuangxin Zhao, Kai Sun, Lei Hou, Juanzi Li, Ji Qi

Publié 2026-06-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yijian Lu, Chuangxin Zhao, Kai Sun, Lei Hou, Juanzi Li, Ji Qi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante et désordonnée de documents — des CV, des articles académiques, des graphiques et des formulaires. Vous demandez à un robot intelligent (un Modèle de Langage Multimodal, ou LMM) de trouver une information spécifique, comme : « Montre-moi le numéro de téléphone sur ce CV. »

Les robots actuels sont comme des étudiants qui savent lire le texte, mais qui sont incapables de pointer du doigt. Ils peuvent dire : « Le numéro de téléphone est au 555-0199 », mais ils ne peuvent pas vous dire où sur la page se trouve ce numéro. Si vous leur demandiez de dessiner un cadre autour, ils pourraient le dessiner sur le mauvais paragraphe, ou passer totalement à côté. C'est un problème car si le robot ne peut pas pointer l'évidence, vous ne pouvez pas faire confiance à sa réponse.

L'article « PreciseDoc » présente un nouveau robot conçu spécifiquement pour être un maître du « pointage » et un meilleur penseur. Voici comment ils l'ont construit, expliqué simplement :

1. Construire une meilleure salle d'entraînement (Le moteur de données)

Pour apprendre à un robot à pointer avec précision, il faut des supports d'entraînement. Les auteurs ont réalisé que les supports existants étaient soit trop faciles, soit ne possédaient pas la « clé de réponse » (les coordonnées exactes) nécessaire à l'entraînement.

Ils ont donc construit deux usines pour produire en masse des documents d'entraînement parfaits :

L'usine de « Plan Numérique » : Ils ont utilisé du code informatique (LaTeX) pour générer des milliers de CV et de documents parfaits. Comme ils les ont construits à partir de code, ils savaient exactement où se trouvait chaque mot, comme si l'on possédait le plan numérique d'une maison.
L'usine de « Notes Manuscrites » : Les documents réels comportent souvent une écriture manuscrite désordonnée ou semblent avoir été scannés avec une caméra tremblante. Pour apprendre au robot à gérer cela, ils ont créé un système qui assemble des lettres manuscrites individuelles (comme des blocs de construction) pour former des phrases, puis ajoute des « effets de caméra » comme du flou ou des ombres. Cela crée des documents synthétiques qui ressemblent et ressentent le désordre du monde réel, tout en possédant une « clé de réponse » parfaite.

2. Le processus d'entraînement en deux étapes

Le robot n'a pas seulement appris à pointer ; il a appris à réfléchir tout en pointant. L'entraînement s'est déroulé en deux étapes :

Étape 1 : Le « Démarrage à Froid » (Apprendre les bases)
Avant que le robot ne puisse apprendre par lui-même, les chercheurs lui ont donné un « aide-mémoire ». Ils ont pris des questions et des réponses existantes et ont inséré manuellement les « cadres de pointage » corrects dans le processus de pensée du robot.

Analogie : Imaginez que vous enseigniez à un enfant à résoudre un problème de mathématiques en lui montrant les étapes et en surlignant exactement quels nombres sur la page il utilise pour chaque étape. Le robot a appris à dire : « Je regarde cette zone ici pour trouver la réponse », avant de donner le résultat final.

Étape 2 : L'Apprentissage par Renforcement (Le coach avec un sifflet)
Une fois que le robot connaissait les bases, ils l'ont laissé s'entraîner seul, mais avec un coach strict.

Le système de récompense : Quand le robot devinait une réponse, le coach vérifiait deux choses :
1. Avez-vous la bonne réponse ? (Récompense de la réponse)
2. Avez-vous pointé le bon endroit ? (Récompense du ancrage/grounding)
L'astuce de l'« Algorithme Hongrois » : C'est un outil mathématique sophistiqué que les chercheurs ont utilisé pour faire correspondre parfaitement les cadres du robot aux vrais cadres.
- Le Problème : Si un robot dessine 10 cadres qui sont tous légèrement différents mais couvrent le même mot, un système de notation paresseux pourrait lui donner le plein crédit parce qu'« il a trouvé le mot ».
- La Solution : L'Algorithme Hongrois force une correspondance un à un. Si le robot dessine 10 cadres pour un seul mot, un seul reçoit le crédit, et les 9 autres sont punis. Cela empêche le robot de « spammer » des cadres pour tromper le système.
La pénalité de longueur : Le coach a également pénalisé le robot s'il dessinait trop de cadres qui ne correspondaient à rien. Cela l'a forcé à être précis et à ne pas simplement deviner de manière sauvage.

3. Les Résultats

Le nouveau robot, appelé PreciseDoc (et sa version de raisonnement, PreciseDoc-Reasoner), a été testé contre d'autres robots de haut niveau.

Pointage : Il est devenu bien meilleur pour dessiner des cadres serrés et précis autour des mots, des phrases et des lignes dans les documents, surpassant de nombreux modèles existants.
Réflexion : Lorsqu'on lui posait des questions complexes sur des documents, il ne se contentait pas de deviner ; il pointait l'évidence spécifique qu'il utilisait pour parvenir à la conclusion. Il était capable de localiser des informations personnelles dans des CV ou des données dans des graphiques avec une grande précision.
Compréhension Générale : Même s'il a été entraîné spécifiquement pour pointer et raisonner, il est resté performant pour les tâches de compréhension de documents générales, rivalisant avec des modèles beaucoup plus grands et complexes.

Résumé

En bref, les auteurs ont construit un robot qui ne se contente pas de « lire » les documents, mais qui peut « voir » et « pointer » exactement là où l'information réside. Ils y sont parvenus en créant une immense bibliothèque de documents d'entraînement synthétiques dotés de clés de réponse parfaites, et en enseignant au robot une règle stricète : Vous devez pointer l'évidence pour prouver que votre réponse est juste. Cela rend le raisonnement du robot transparent et beaucoup plus fiable.

Résumé Technique : Un LMM pour le Calage Précis des Éléments dans les Documents

Énoncé du Problème

Le calage visuel (visual grounding) — la capacité des modèles multimodaux de grande taille (LMM) à localiser des régions visuelles spécifiques basées sur des instructions en langage naturel — est crucial pour la compréhension de documents, la recherche approfondie et la détection d'erreurs. Cependant, les LMM existants peinent avec le calage précis dans les images de documents riches en texte. Contrairement aux images naturelles, les documents présentent une densité d'éléments élevée, une diversité de modèles riche et des mises en page complexes. Les modèles actuels échouent souvent à localiser précisément les éléments critiques (mots, phrases, lignes), menant à un raisonnement « hallucinatoire » où le modèle se concentre sur des régions sans rapport. Cette déficience entrave le raisonnement par calage visuel (visual grounded reasoning), un processus où un LMM doit citer des coordonnées spatiales spécifiques comme preuve de son raisonnement textuel. De plus, les jeux de données existants manquent de la granularité et de la diversité (par exemple, des documents remplis à la main de manière synthétique) nécessaires pour entraîner les modèles pour ces scénarios exigeants, et aucun pipeline d'entraînement complet n'existe pour optimiser conjointement le calage et le raisonnement via l'apprentissage par renforcement (RL).

Méthodologie

Le document présente PreciseDoc, un LMM conçu pour le calage précis d'éléments, et Precise-Doc-Reasoner, sa variante optimisée pour le raisonnement par calage visuel. La méthodologie est structurée en trois composantes clés :

1. Pipelines de Génération de Données de Haute Qualité

Pour remédier à la rareté des données de calage de haute qualité, les auteurs ont construit deux moteurs de génération de documents automatisés :

Moteur basé sur LaTeX : Compile des codes sources LaTeX pour générer des PDF natifs. Une commande personnalisée (\marktext) est insérée lors de la compilation pour capturer les coordonnées spatiales précises (converties de points en pixels) pour le texte enveloppé. Ce moteur permet la production de masse de divers modèles de CV et d'autres types de documents.
Moteur de Données Manuscrites : Synthétise des documents remplis à la main avec des effets de caméra (ex. : filtres, dégradation) pour simuler des scans du monde réel. Il assemble des échantillons de caractères individuels provenant du jeu de données NIST pour former un texte cohérent, en réservant des espaces pour les valeurs générées par un VLM. Ce pipeline répond au manque de jeux de données pour le calage de documents manuscrits.
Construction de Tâches : Ces moteurs génèrent des documents et des métadonnées appariés pour deux tâches : le Calage Pur (localiser des phrases ou des éléments spécifiques) et l'Extraction d'Informations (localiser des groupes d'éléments, tels que l'« Expérience Professionnelle » dans un CV).

2. Pipeline d'Entraînement : Du Cold-Start à l'Apprentissage par Renforcement (RL)

L'entraînement de PreciseDoc-Reasoner suit un paradigme en deux étapes :

Étape 1 : Initialisation Cold-Start (SFT) : Le modèle est affiné sur un jeu de données VQA de 27k éléments curés (dérivé de BBox-DocVQA et DOGR). Ce jeu de données inclut des trajectoires de raisonnement où le modèle reçoit l'instruction de générer des coordonnées de boîtes englobantes (soit au niveau du jeton, soit au niveau de l'élément) aux côtés de son processus de pensée et de sa réponse finale. Les données sont construites en étendant les boîtes au niveau du jeton vers le niveau de l'élément et en annotant le contenu pour s'assurer que le VLM utilise activement les boîtes pour le raisonnement plutôt que de les traiter comme des balises supplémentaires.
Étape 2 : Apprentissage par Renforcement (RL) : Le modèle subit un entraînement RL conjoint pour superviser à la fois la précision du raisonnement et le calage intermédiaire.
- Conception de la Récompense : La récompense totale $R$ combine une récompense de précision de la réponse ( $R_{acc}$ ) et une double récompense d'Intersection-over-Union (IoU) ( $R_{IoU}$ ).
- Algorithme Hongrois pour l'Appariement : Contrairement aux méthodes précédentes utilisant une cartographie de type many-to-many (qui peut gonfler les métriques), les auteurs emploient l'Algorithme Hongrois pour établir un assignation optimale de type one-to-one entre les boîtes prédites et les boîtes de vérité terrain. Cela maximise l'IoU totale tout en garantissant des contraintes d'assignation strictes.
- Pénalité de Longueur : Une pénalité stricte est appliquée aux boîtes générées non appariées pour empêcher le modèle de produire des boîtes englobantes redondantes ou excessives pour « tricher » avec le score IoU.

Principales Contributions

Moteurs de Génération de Documents : L'introduction de deux pipelines capables de produire en masse des documents de haute qualité avec des métadonnées spatiales fines et appariées, incluant des documents manuscrits synthétiques avec effets de caméra.
Modèle PreciseDoc : Un LMM atteignant des performances de pointe (SOTA) dans le calage de texte documentaire, capable de fonctions réelles comme la localisation d'informations personnelles dans des CV, surpassant les modèles spécialisés existants.
PreciseDoc-Reasoner & Paradigme d'Entraînement : Le premier pipeline d'entraînement complet (SFT vers RL) pour le raisonnement par calage visuel dans les documents. Il introduit un nouveau mécanisme de récompense RL utilisant l'Algorithme Hongrois pour l'appariement de boîtes one-to-one et une pénalité de longueur pour garantir une localisation d'évidence précise et non redondante.

Résultats Expérimentaux

Les modèles proposés ont été évalués sur plusieurs benchmarks :

DocLocal4K (Calage de Texte) : PreciseDoc a atteint une précision globale de 81,79 %, surpassant de fortes bases de référence comme Doubao-Seed-2.0-Pro (54,45 %) et DocOwl-1.5 (80,38 %). Il a démontré une performance supérieure sur les éléments de petite granularité (mots, phrases, lignes).
TRIG (Raisonnement par Calage au Niveau du Mot) : PreciseDoc-Reasoner a atteint un IoU moyen de 46,42 %, surpassant significativement tous les autres modèles open-source et propriétaires (ex. : Qwen3.5-27B à 20,03 %, Gemini-3-Pro à 30,26 %). Il a montré une force particulière dans la compréhension de graphiques, doublant la performance du second meilleur modèle.
BBox-DocVQA (Raisonnement par Calage au Niveau de l'Élément) : Le modèle a atteint une précision de calage de 51,16 % et une précision de réponse de 75,97 %. Il a surpassé tous les LMM open-source listés (incluant le Qwen3VL de 235 milliards de paramètres) et s'est classé deuxième seulement après Gemini-3-Flash parmi les modèles propriétaires.
Benchmarks Traditionnels : Sur DocVQA, ChartQA et TextVQA, PreciseDoc-Reasoner a démontré des performances compétitives, obtenant des résultats comparables ou supérieurs à des modèles plus larges comme Qwen3.5-9B, bien qu'il n'ait pas été entraîné sur de massifs jeux de données VQA généraux.

Signification et Revendications

L'article affirme que PreciseDoc comble avec succès l'écart entre la compréhension de documents et la localisation spatiale précise. En construisant des données d'entraînement exigeantes et de haute fidélité et en introduisant un paradigme d'entraînement RL rigoureux avec un appariement de boîtes one-to-one, les auteurs démontent que les LMM peuvent être entraînés efficacement pour fournir des preuves visuelles vérifiables. Ce travail souligne que le calage précis n'est pas simplement une étape de prétraitement, mais une composante critique du processus de raisonnement qui empêche l'hallucination et améliore l'interprétabilité. Les auteurs positionnent leur approche comme une étape fondamentale vers des systèmes d'analyse de documents plus fiables et basés sur des preuves, notant que les méthodes et les pipelines de génération de données proposés offrent une solution évolutive pour les avancées futures de l'IA documentaire.