💻 computer science

RT-DocLayout: Real-Time End-to-End Document Layout Analysis with Reading Order in the Wild

Ce document présente RT-DocLayout, un cadre de bout en bout hautement efficace de 33 millions de paramètres qui unifie la détection, la segmentation, la classification et la prédiction de l'ordre de lecture au sein d'une architecture unique basée sur RT-DETR afin d'atteindre des performances de pointe et une inférence en temps réel (132,1 FPS) pour une analyse robuste de la mise en page de documents en conditions réelles.

Auteurs originaux : Cheng Cui, Tingquan Gao, Xueqing Wang, Changda Zhou, Hongen Liu, Ting Sun, Yubo Zhang, Zelun Zhang, Jiaxuan Liu, Manhui Lin, Yue Zhang, Suyin Liang, Yiqing Xiang, Yi Liu

Publié 2026-06-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Cheng Cui, Tingquan Gao, Xueqing Wang, Changda Zhou, Hongen Liu, Ting Sun, Yubo Zhang, Zelun Zhang, Jiaxuan Liu, Manhui Lin, Yue Zhang, Suyin Liang, Yiqing Xiang, Yi Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez une pile de papiers désordonnés, froissés et de travers. Certains sont pliés car ils étaient dans une poche, d'autres sont des photos prises avec un angle particulier, et certains ont un éclairage étrange. Votre objectif est de transformer ce chaos en un livre numérique propre où chaque paragraphe, image et tableau est à sa place et dans le bon ordre.

C'est le travail de RT-DocLayout, un nouvel outil d'IA décrit dans l'article. Voici comment il fonctionne, expliqué simplement :

Le Problème : Le « Robot Maladroit » vs La « Chambre en Désordre »

Les outils précédents pour organiser les documents étaient comme des robots maladroits essayant de ranger une chambre en désordre. Ils avaient deux problèmes principaux :

Ils étaient trop lents : Certains étaient comme des robots super-intelligents qui mettaient un temps infini à réfléchir à chaque objet.
Ils étaient trop rigides : La plupart des outils essayaient de saisir les éléments en utilisant uniquement des boîtes carrées (comme des cartons). Si une feuille de papier était pliée ou courbe, une boîte carrée coupait soit une partie du texte, soit capturait trop de bruit de fond.
Ils se trompaient dans l'ordre : Ils trouvaient les éléments, puis devaient deviner l'ordre de lecture séparément, ce qui entraînait souvent des erreurs impossibles à corriger par la suite.

La Solution : L'« Organisateur Intelligent et Flexible »

Les auteurs ont créé RT-DocLayout, qui agit comme un organisateur hautement qualifié, rapide et capable de voir toute la pièce d'un seul coup d'œil.

1. C'est un outil « Tout-en-Un » (L'approche du « Couteau Suisse »)
Au lieu d'utiliser trois outils différents pour trouver les éléments, dessiner les boîtes et deviner l'ordre, RT-DocLayout fait tout en une seule étape. C'est comme un chef qui coupe, cuit et dresse l'assiette en un seul mouvement fluide. Il classifie ce qu'est un élément (est-ce un titre ? une photo ?), trouve sa forme exacte et décide de sa place dans l'histoire, tout cela en même temps.

2. Il utilise des « Masques » au lieu de « Boîtes » (L'analogie du « Emporte-pièce »)
Les anciens outils utilisaient des boîtes carrées pour saisir le texte. Si le texte était sur une page courbe, la boîte capturait le texte et l'arrière-plan.
RT-DocLayout utilise des masques au niveau du pixel. Imaginez qu'au lieu d'une boîte carrée, l'IA utilise un emporte-pièce flexible qui peut épouser parfaitement la forme du texte, même si le texte est courbé, incliné ou déformé. Cela garantit qu'elle ne saisit que le contenu et laisse l'arrière-plan derrière elle.

3. Il lit l'« Histoire » pendant qu'il regarde (L'analogie du « Chef d'Orchestre »)
La plupart des outils regardent un document, puis essaient de déterminer l'ordre de lecture plus tard. RT-DocLayout est comme un chef d'orchestre qui entend la musique et connaît l'ordre des notes pendant que l'orchestre joue. Il apprend la relation entre les éléments (par exemple, « ce titre appartient à ce paragraphe ») au fur et à mesure qu'il les trouve, de sorte qu'il ne se trompe jamais dans la séquence.

4. Il s'entraîne sur du « Faux Désordre » (L'analogie du « Simulateur de Vol »)
Pour s'assurer qu'il fonctionne sur des papiers réellement froissés, l'équipe a enseigné à l'IA en utilisant une méthode d'entraînement spéciale. Ils ont pris des pages numériques propres et les ont numériquement « déformées », « tordues » et « inclinées » pour qu'elles ressemblent à des documents endommagés dans le monde réel. C'est comme un pilote qui s'entraîne dans un simulateur de vol qui crée des tempêtes et des turbulences avant même de piloter un vrai avion. Cela rend l'IA incroyablement robuste et prête pour n'importe quel désordre du monde réel.

Les Résultats : Rapide, Précis et Robuste

L'article affirme que ce nouvel outil change la donne car :

Il est incroyablement rapide : Il peut traiter plus de 130 pages par seconde (132,1 FPS), ce qui correspond à une vitesse en temps réel.
Il est petit : Il tient dans un petit paquet (33 millions de paramètres), ce qui le rend facile à exécuter sur des ordinateurs standards, contrairement aux modèles géants et lents du passé.
Il est le meilleur : Lors des tests, il a surpassé toutes les autres méthodes, particulièrement sur des documents pliés, inclinés ou mal éclairés. Il ne s'est pas contenté de trouver les éléments ; il a conservé l'ordre de l'histoire mieux que quiconque.

En bref : RT-DocLayout est un outil rapide, petit et incroyablement intelligent qui peut prendre un document désordonné et déformé et le transformer instantanément en un fichier numérique propre et parfaitement ordonné, gérant les courbes et les plis mieux que toute méthode précédente.

Résumé Technique : RT-DocLayout

Énoncé du Problème

L'analyse précise de la mise en page de documents (DLA - Document Layout Analysis) demeure un goulot d'étranglement critique pour les systèmes d'intelligence documentaire automatisés, particulièrement lors du traitement de documents réels et diversifiés. Les méthodologies actuelles font face à deux défis principaux :

Modélisation Structurelle Fragmentée : Les approches existantes reposent souvent sur des pipelines en cascade (par exemple, un détecteur suivi d'un modèle de relation distinct comme les GNN ou le tri heuristique). Cette séparation entraîne une propagation d'erreurs, où les inexactitudes de détection dégradent la prédiction de l'ordre de lecture, et échoue à capturer les dépendances synergiques entre la géométrie de la mise en page et la topologie logique.
Représentation Géométrique Grossière : De nombreux modèles de pointe, y compris les grands modèles de vision-langage (VLM) et les Transformers génératifs, reposent sur des boîtes englobantes (bounding boxes) alignées sur les axes. Ces représentations grossières ne parviennent pas à isoler les éléments de mise en page dans les documents présentant des distorsions géométriques (ex. : gauchissement, courbure, variations de perspective ou inclinaison), ce qui entraîne une interférence de contenu par le bruit de fond ou les éléments adjacents et limite la fidélité de l'OCR et de l'analyse syntaxique en aval.

De plus, bien que les modèles pré-entraînés à grande échelle atteignent une précision élevée, ils sont coûteux en termes de calcul et ne sont pas adaptés aux applications industrielles en temps réel.

Méthodologie

Les auteurs proposent RT-DocLayout, un cadre extrêmement efficace et de bout en bout basé sur l'architecture RT-DETR. Il unifie la classification, la détection, la segmentation au niveau du pixel et la prédiction de l'ordre de lecture au sein d'un modèle unique de 33 millions de paramètres.

1. Architecture Multi-Tâche Unifiée

Contrairement aux systèmes précédents qui découpent les tâches, RT-DocLayout emploie un seul décodeur Transformer basé sur des requêtes (queries) pour effectuer quatre tâches simultanément en une seule passe avant (forward pass) :

Classification et Détection : Attribution de labels de catégorie et régression de boîtes englobantes.
Segmentation au Niveau du Pixel : Génération de masques de haute fidélité pour les éléments de mise en page. Cela remplace les simples boîtes englobantes, permettant au modèle de gérer les déformations non rigides (texte courbe, pages gauchies) en isolant précisément les éléments sans contamination par le bruit de fond.
Prédiction de l'Ordre de Lecture : Construction de relations entre les éléments pour déterminer la séquence de lecture logique.

2. Mécanisme d'Ordre de Lecture

Le modèle intègre la prédiction de l'ordre de lecture directement dans le décodeur. Il calcule une matrice de score de précédence par paire $S$ à partir de requêtes d'objets affinées $Q$ . Le score $S_{i,j}$ est calculé à l'aide de matrices de projection apprenables pour déterminer si l'élément $i$ précède l'élément $j$ .

Stratégie d'Inférence : Une stratégie de classement basée sur le vote convertit ces relations par paire en une séquence globalement cohérente. Le nombre attendu de prédécesseurs pour chaque élément est calculé en sommant les scores de paires activés par sigmoid, et les éléments sont triés par ordre croissant de ce compte.

3. Conception de la Fonction de Perte

L'objectif d'entraînement est une somme pondérée de six composantes : classification, régression de boîte englobante (L1 + GIoU), segmentation de masque (BCE + Dice) et ordre de lecture par paire.

Pondération de la Perte d'Ordre : La perte d'ordre de lecture se voit attribuer un poids nettement plus élevé ( $\lambda_{order}=50$ ) pour contrer la dilution du gradient, car elle opère sur $O(N^2)$ paires par rapport à $O(N)$ pour les pertes au niveau de l'objet.
Pondération Sensible à la Localité : Pour accentuer la justesse de l'ordre local, les paires au sein d'une fenêtre de voisinage dynamique sont pondérées plus fortement.
Entropie Croisée Généralisée (GCE) : Utilisée pour la perte d'ordre avec lissage de label pour gérer le bruit potentiel d'annotation.
Supervision Profonde : Des pertes auxiliaires sont appliquées aux couches intermédiaires du décodeur pour la classification, la détection et la segmentation, mais la perte d'ordre est calculée uniquement à la couche finale, car un ordre précis dépend d'une localisation et d'une classification précises atteintes lors des étapes ultérieures.

4. Augmentation de Données Sensible à la Spatialité Physique

Pour combler l'écart entre les annotations standards planes et les distorsions du monde réel, les auteurs proposent un pipeline d'augmentation en ligne à deux étapes :

Étape 1 : Déformation de Surface Intrinsèque (ISD) : Simule le gauchissement physique non rigide (ex. : courbure de page) à l'aide d'un opérateur de gauchissement basé sur un maillage avec des champs de déplacement lisses et périodiques.
Étape 2 : Transformation Projective Extrinsèque (EPT) : Simule des points de vue de caméra stochastiques (rotation, cisaillement, perspective) via une matrice d'homographie composite.
Ce pipeline synthétise dynamiquement des distorsions réalistes tout en maintenant la vérité terrain au niveau du pixel pour la supervision du masque.

Principales Contributions

Cadre Unifié : RT-DocLayout est un framework Transformer de 33 millions de paramètres qui réalise la classification, la détection, la génération de masques au niveau du pixel et la prédiction de l'ordre de lecture de bout en bout en une seule passe, éliminant les étapes de post-traitement redondantes.
Robustesse Centrée sur le Masque : L'article démontre que fournir des masques au niveau du pixel pour les régions déformées de manière non rigide améliore considérablement la robustesse de l'analyse par rapport aux méthodes traditionnelles basées sur les boîtes englobantes, atténuant efficacement l'interférence due aux déformations de documents.
Efficacité en Temps Réel : Le modèle atteint une précision de pointe (SOTA) tout en maintenant des vitesses d'inférence en temps réel (132,1 FPS), offrant une solution évolutive pour l'analyse documentaire industrielle.

Résultats Expérimentaux

Les expériences ont été menées sur OmniDocBench v1.5 et son dérivé du monde réel Real5-OmniDocBench (couvrant les scénarios : Brut, Scan, Gauchissement, Photographie d'écran, Éclairage et Inclinaison).

Performance : RT-DocLayout atteint une précision globale de 92,46 % sur OmniDocBench v1.5 et de 92,05 % sur Real5-OmniDocBench (lorsqu'il est couplé à PaddleOCR-VL-1.5-0.9B), surpassant les méthodes précédentes de premier plan comme PP-DocLayoutV2, MinerU2.5 et Dolphin-v2.
Vitesse : Il opère à 132,1 FPS avec seulement 33 millions de paramètres, ce qui est nettement plus rapide et plus compact que les grands VLM (ex. : Dolphin-v2 à 0,9 FPS, MinerU2.5 à 2,4 FPS).
Robustesse : Le modèle montre une supériorité constante à travers les six dimensions exigeantes, particulièrement dans les scénarios de "Gauchissement" (Warping) et d'"Inclinaison" (Skew) où les méthodes basées sur les boîtes englobantes se dégradent considérablement.
Études d'Ablation :
- Le remplacement des boîtes englobantes pures par une prédiction de masque conjointe a amélioré la précision globale.
- L'apprentissage couplé de l'ordre de lecture a réduit la distance d'erreur de l'ordre de lecture de manière significative par rapport aux stratégies découplées ou au tri XYCut.
- L'augmentation de données (DA) proposée était cruciale pour la robustesse, améliorant les performances sur les sous-ensembles "Warp" et "Skew" de plus de 4 % et 14 % respectivement.

Signification

L'article affirme que RT-DocLayout établit un nouveau standard pour l'analyse de la mise en page de documents en unifiant avec succès la précision géométrique (via des masques au niveau du pixel) et la logique structurelle (via un ordre de lecture de bout en bout) au sein d'une architecture compacte et en temps réel. En allant au-delà du paradigme conventionnel centré sur la boîte, il fournit une base pratique pour les systèmes d'intelligence documentaire de nouvelle génération qui doivent fonctionner de manière fiable sur des documents réels diversifiés, déformés et non contrôlés. Les poids du modèle sont disponibles publiquement sous le nom de PP-DocLayoutV3 dans l'écosystème PaddleOCR.