DocSplit: A Comprehensive Benchmark Dataset and Evaluation Approach for Document Packet Recognition and Splitting

Ce papier présente DocSplit, le premier ensemble de données de référence complet avec des métriques d'évaluation novatrices, conçu pour combler le fossé de performance des modèles de langage multimodaux dans la tâche complexe de détection et de séparation de paquets de documents hétérogènes.

L'essentiel

Imaginez que vous recevez une énorme pile de papiers mélangés. Il y a des factures, des lettres, des contrats de location et des résultats médicaux, tous éparpillés, parfois dans le désordre, et parfois plusieurs documents du même type collés les uns aux autres sans aucune séparation claire.

C'est exactement le problème que l'entreprise Amazon a voulu résoudre avec son nouveau projet appelé DocSplit. Voici une explication simple de ce papier de recherche, imagée pour tout le monde.

1. Le Problème : Le "Puzzle Géant" Mélangé

Dans le monde réel (banques, hôpitaux, avocats), les documents arrivent souvent en "paquets" chaotiques.

• L'analogie : Imaginez que vous avez reçu un sac contenant les pièces de 10 puzzles différents. Les pièces de tous les puzzles sont mélangées ensemble. De plus, certaines pièces sont à l'envers, et d'autres sont sorties de leur ordre naturel.
• La tâche : Votre travail n'est pas seulement de dire "c'est une pièce de puzzle", mais de trier le tout : "Ces pièces forment le puzzle 'Facture', celles-ci forment le puzzle 'Contrat', et remettons-les dans le bon ordre pour que l'image soit complète."

Jusqu'à présent, les intelligences artificielles (IA) étaient très bonnes pour classer une seule page, mais elles échouaient lamentablement quand il fallait trier toute la pile mélangée.

2. La Solution : Le Nouveau Terrain de Jeu "DocSplit"

Les chercheurs ont créé DocSplit, qui est comme un nouveau grand terrain de jeu (un "benchmark") pour tester les IA sur cette tâche précise.

• Ce qu'ils ont fait : Ils ont créé 5 niveaux de difficulté différents, comme dans un jeu vidéo :
  1. Niveau Facile : Tous les documents sont du même type (ex: seulement des factures), mais mélangés.
  2. Niveau Moyen : On mélange des types différents (factures + lettres), mais dans l'ordre.
  3. Niveau Difficile : On mélange tout ! Des factures, des lettres, des contrats, et les pages sont complètement éparpillées (comme si quelqu'un avait secoué le sac de pièces de puzzle).
• L'objectif : Voir si l'IA peut dire : "Attends, cette page de facture appartient au premier document, et cette autre page de facture est en fait le début d'un deuxième document, et elles ne doivent pas être collées ensemble."

3. Le Nouveau Système de Notation : Plus Juste que "Tout ou Rien"

Avant, si une IA se trompait d'une seule page, on disait qu'elle avait échoué à 100 %. C'est comme si un étudiant qui a bien compris 99 % d'un texte mais a fait une faute d'orthographe prenait un zéro.

Les chercheurs ont inventé une nouvelle façon de noter, plus intelligente :

• Le Tri (Clustering) : On note à quel point l'IA a réussi à regrouper les bonnes pièces ensemble.
• L'Ordre (Ordering) : On note à quel point elle a remis les pages dans le bon ordre chronologique.
• La Note Finale : C'est une moyenne qui permet de dire : "Bravo, tu as bien trié, mais tu as un peu mélangé l'ordre. Voici ta note précise." Cela permet de voir les progrès même si ce n'est pas parfait.

4. Les Résultats : Les IA sont encore des "Nouveaux"

Les chercheurs ont testé les IA les plus puissantes du moment (comme Claude, Qwen, DeepSeek) sur ce nouveau terrain de jeu.

• Ce qu'ils ont découvert : Les IA sont très douces pour remettre les pages dans l'ordre une fois qu'elles savent à quel document elles appartiennent.
• Le vrai problème : Elles ont beaucoup de mal à trouver les limites. Elles ont du mal à dire : "Ici, le document A s'arrête et le document B commence", surtout si les deux documents se ressemblent beaucoup.
• L'analogie : C'est comme si l'IA savait lire le texte parfaitement, mais qu'elle avait du mal à savoir où s'arrête un chapitre et où commence le suivant dans un livre géant où les chapitres sont collés les uns aux autres.

5. Pourquoi c'est Important ?

Ce travail est crucial pour l'avenir du travail administratif.

• Dans les hôpitaux : Pour trier automatiquement les dossiers patients mélangés (ordonnances, analyses, comptes-rendus) et éviter les erreurs de traitement.
• Dans les banques : Pour gérer les demandes de prêts avec des dizaines de pièces jointes en vrac.
• Pour les avocats : Pour organiser des preuves de milliers de pages.

En Résumé

Les chercheurs ont créé un nouveau test de conduite pour les voitures autonomes (les IA) : au lieu de juste faire rouler la voiture sur une route droite, ils la mettent sur un circuit avec des embouteillages, des feux rouges et des panneaux de signalisation mélangés.

Ils ont montré que même les meilleures voitures actuelles ont du mal à naviguer dans ce chaos. Mais grâce à ce nouveau test et à ces nouvelles règles de notation, nous savons exactement où elles bloquent, ce qui aidera les ingénieurs à construire des IA plus intelligentes capables de ranger notre monde de papier en désordre.

Et la bonne nouvelle ? Ils ont rendu ce test gratuit et public pour que tout le monde puisse aider à améliorer ces technologies !

Résumé technique

Titre : DocSplit : Un jeu de données de référence complet et une approche d'évaluation pour la reconnaissance et le découpage de paquets de documents

1. Problématique

Dans de nombreuses applications réelles (santé, finance, juridique, logistique), le traitement de documents ne concerne pas des pages isolées, mais des paquets de documents hétérogènes. Ces paquets sont souvent constitués de plusieurs documents distincts assemblés de manière désordonnée, avec des pages mélangées, intercalées ou dupliquées, et sans séparateurs clairs.

Le défi fondamental, appelé découpage de paquets de documents (Document Packet Splitting), consiste à :

1. Identifier les limites entre les différents documents au sein d'un flux de pages.
2. Classer le type de chaque document.
3. Reconstituer l'ordre correct des pages au sein de chaque document.

Bien que les modèles de compréhension visuelle de documents (VDU) aient progressé sur la classification de pages uniques, cette tâche complexe de décomposition logique de paquets entiers reste largement sous-évaluée et manque de benchmarks standardisés.

2. Méthodologie

L'article propose une approche structurée en trois volets principaux : la formalisation de la tâche, la création d'un jeu de données de référence (benchmark) et un nouveau cadre d'évaluation.

A. Formalisation de la tâche (DocSplit)
La tâche est définie comme la transformation d'une séquence d'entrée de $N$ pages (un paquet) en une représentation structurée. Les objectifs sont doubles :

• Détection des limites et classification : Identifier les triplets $(s_i, e_i, t_i)$ représentant le début, la fin et le type de chaque document $i$.
• Réordonnancement : Déterminer l'ordre séquentiel correct des pages à l'intérieur de chaque document identifié.

B. Le Jeu de Données de Référence : DocSplit
Les auteurs ont créé DocSplit, le premier benchmark complet pour cette tâche, dérivé de l'extension multi-pages de RVL-CDIP. Il comprend 5 sous-ensembles de données de complexité croissante pour tester la robustesse des modèles :

1. DocSplit-Mono-Seq : Concaténation séquentielle de documents d'une seule catégorie (détection de limites sans changement de type).
2. DocSplit-Mono-Rand : Même catégorie, mais avec les pages de tous les documents mélangées aléatoirement.
3. DocSplit-Poly-Seq : Concaténation séquentielle de documents de catégories différentes (simule des dossiers médicaux ou juridiques hétérogènes).
4. DocSplit-Poly-Int : Pages de documents de différentes catégories entrelacées (intercalées) de manière cyclique.
5. DocSplit-Poly-Rand : Mélange complet de toutes les pages de toutes les catégories (scénario de pire cas, entropie maximale).

Le jeu de données contient environ 1,55 million de pages provenant de 52 600 documents, couvrant 13 types de documents (factures, lettres, publications scientifiques, etc.) et incluant des métadonnées OCR et de mise en page.

C. Cadre d'Évaluation Proposé
Les auteurs critiquent les métriques binaires classiques (exact match) qui pénalisent excessivement les erreurs partielles. Ils proposent une métrique composite décomposée en deux sous-problèmes :

1. Performance de Clustering (Regroupement) :

   • Utilisation de l'Indice de Rand (RI) pour la précision des paires.
   • Utilisation de la V-mesure (moyenne harmonique d'homogénéité et de complétude).
   • Score de clustering : $S_{clustering} = w \cdot V + (1-w) \cdot RI$.

2. Performance de Réordonnancement (Ordering) :

   • Utilisation du Coefficient Tau de Kendall ($\tau$) pour mesurer la corrélation entre l'ordre prédit et l'ordre réel des pages.

3. Score Global (Packet Score) :

   • Une combinaison pondérée : $S_{packet} = \alpha \cdot S_{clustering} + \beta \cdot S_{ordering}$.
   • Cette approche permet d'attribuer un crédit partiel aux prédictions presque correctes, contrairement aux métriques binaires.

3. Résultats Expérimentaux

Les auteurs ont évalué cinq modèles de langage multimodaux (LLM) de pointe : Claude Sonnet 4.5, Claude Haiku 4.5, DeepSeek, Gemma 3 et Qwen 3.

• Performance Globale : Qwen 3 VL obtient les meilleurs résultats globaux (Score Packet entre 0,92 et 0,95), suivi par la famille Claude. Gemma 3 montre les performances les plus faibles, notamment en matière de clustering.
• Impact de la Complexité :
  • Les scénarios séquentiels (Mono-Seq, Poly-Seq) sont les plus faciles pour les modèles.
  • Les scénarios avec mélange de pages (Rand, Int) dégradent significativement les performances, en particulier pour les modèles moins performants.
• Découplage Clustering vs. Ordre :
  • Les modèles obtiennent généralement de très bons scores de réordonnancement (> 0,97) une fois le regroupement correct.
  • Le goulot d'étranglement principal est la détection des limites (Clustering), avec des scores variant de 0,56 à 0,90. Cela indique que les modèles peinent à comprendre la sémantique globale nécessaire pour séparer les documents, même s'ils peuvent bien réorganiser les pages une fois séparées.
• Comparaison des Métriques : Les métriques classiques (Page+Split+Order) montrent des chutes drastiques (ex: 0,17 pour Gemma sur Poly-Rand) alors que les métriques proposées montrent une performance structurelle raisonnable (0,88), révélant que les modèles ne sont pas un échec total mais souffrent d'erreurs de délimitation.

4. Contributions Clés

1. Premier Benchmark Complet : Introduction de DocSplit, le premier jeu de données systématique couvrant des scénarios réalistes de paquets mélangés, intercalés et hétérogènes.
2. Définition Formelle de la Tâche : Formalisation mathématique du découpage de paquets comme un problème combinant partitionnement (clustering) et réordonnancement.
3. Nouveau Cadre d'Évaluation : Développement de métriques continues (V-mesure, Tau de Kendall) qui offrent une granularité supérieure aux approches binaires, permettant une analyse diagnostique fine des erreurs.
4. Analyse des Limites des LLM : Mise en évidence du fait que les modèles actuels, bien que performants sur la compréhension de contenu, échouent encore à gérer la cohérence structurelle à travers plusieurs pages dans des conditions de bruit élevé.

5. Signification et Impact

Ce travail est crucial pour l'adoption de l'IA dans les industries à forte intensité documentaire.

• Applications Réelles : Il adresse directement les besoins des secteurs de la santé (dossiers patients), de la finance (dossiers de prêt, claims d'assurance) et du juridique, où l'automatisation du tri de documents physiques ou scannés est un goulot d'étranglement majeur.
• Recherche Future : En identifiant la détection de limites comme le défi principal, l'article oriente la recherche vers le développement de modèles capables de modéliser la cohérence à travers plusieurs pages et de représenter des structures hiérarchiques de documents.
• Ressources Ouvertes : Les auteurs publient l'ensemble des données, du code d'évaluation et des configurations, permettant à la communauté de progresser systématiquement sur ce problème.

En résumé, DocSplit établit un nouvel état de l'art pour l'évaluation de la compréhension de documents, passant d'une analyse de page unique à une compréhension holistique de flux de documents complexes.