💬 NLP

Khondo: A Multimodal Benchmark for Document Packet Splitting of Bangla Forms

L'article présente Khondo, le premier benchmark bilingue et natif de la vision pour la division et le réordonnancement de formulaires gouvernementaux bengalis concaténés, révélant que si les grands modèles de langage multimodaux peuvent efficacement regrouper les pages par document, ils éprouvent des difficultés significatives à reconstruire l'ordre original des pages, particulièrement pour les langues à faibles ressources.

Auteurs originaux : Abu Tyeb Azad, Fahim Ahmed, Ishita Sur Apan, Ezharuddin Jubaer, Sumaiya Karim Katha, Armun Alam, Amin Ahsan Ali, Aman Chadha, Md Mofijul Islam, AKM Mahbubur Rahman

Publié 2026-07-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Abu Tyeb Azad, Fahim Ahmed, Ishita Sur Apan, Ezharuddin Jubaer, Sumaiya Karim Katha, Armun Alam, Amin Ahsan Ali, Aman Chadha, Md Mofijul Islam, AKM Mahbubur Rahman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un bibliothécaire dans une bibliothèque magique et chaotique où les livres ne se contentent pas de rester sur les étagères ; ils peuvent parfois être collés ensemble pour former de gigantesques parchemins désordonnés, puis quelqu'un secoue la table, mélangeant les pages de différentes histoires jusqu'à ce qu'elles soient complètement emmêlées. Votre travail consiste alors à regarder ce fouillis, à comprendre quelles pages appartiennent à quelle histoire, puis à les réempiler dans le bon ordre pour que l'histoire retrouve son sens. C'est le problème du monde réel de la « segmentation de paquets de documents ». Dans le monde numérique, les gouvernements et les bureaux scannent souvent des centaines de papiers en un seul gros fichier. Parfois, le scanner s'embrouille, ou un employé mélange accidentellement les pages, mêlant un acte de naissance avec un formulaire fiscal ou un permis avec un rapport médical. Pour les ordinateurs, c'est un cauchemar. Bien que nous ayons construit des IA intelligentes capables de lire du texte, lui apprendre à regarder l'image d'une page, à comprendre les indices visuels, puis à démêler un tas de documents mélangés est un défi bien plus difficile, surtout lorsque les documents sont écrits dans des langues que les ordinateurs voient rarement.

C'est là qu'intervient un nouveau projet appelé Khondo (qui signifie « diviser » ou « segmenter » en bengali). Les chercheurs derrière ce projet ont créé un ensemble de tests spécial, tel une boîte de puzzle géante, spécifiquement conçu pour voir à quel point l'IA moderne peut démêler ces piles de documents désordonnées. Ils n'ont pas utilisé seulement l'anglais ; ils ont utilisé de vrais formulaires gouvernementaux du Bangladesh, qui sont souvent écrits en bengali, en anglais, ou un mélange des deux. Ils ont pris des milliers de pages, les ont collées ensemble en de faux « paquets », puis ont délibérément mélangé les pages de cinq manières différentes : de l'ordre conservé au mélange des pages au sein d'un même document, jusqu'au brassage complet des pages de différents documents. Ils ont ensuite demandé aux modèles d'IA les plus avancés au monde de regarder les images de ces pages et de tenter de les trier.

Les résultats étaient un mélange de « pas mal » et de « oh non ». Les modèles d'IA étaient étonnamment doués pour la première partie du travail : ils pouvaient regarder un tas désordonné et deviner correctement quelles pages allaient ensemble. C'était comme si l'IA pouvait dire : « Hé, ces quatre pages parlent toutes d'agriculture, et ces trois autres concernent les impôts », même quand les pages étaient mélangées. Cependant, l'IA s'est heurtée à un mur massif lors de la seconde partie : remettre les pages dans le bon ordre. Lorsque les pages étaient mélangées, l'IA peinait à déterminer quelle page venait en premier, en deuxième ou en dernier. C'était comme si l'IA pouvait identifier les personnages d'une histoire mais ne pouvait pas se souvenir de la séquence de l'intrigue.

Les chercheurs ont creusé davantage pour comprendre pourquoi cela se produisait. Ils ont essayé deux astuces principales. Premièrement, ils ont donné des instructions très précises à l'IA, en lui disant : « Hé, ces pages sont mélangées, veuillez corriger l'ordre ! » Cela a beaucoup aidé, mais cela n'a pas résolu complètement le problème. L'IA faisait encore des erreurs, suggérant que la difficulté ne venait pas seulement du fait que l'IA n'écoutait pas, mais que la tâche elle-même était réellement difficile. Deuxièmement, ils ont testé l'IA avec des paquets uniquement en anglais et des paquets uniquement en bengali. Ils ont constaté que l'IA était bien meilleure pour ordonner les pages anglaises que les pages en bengali. Il semble que la lecture des indices visuels de l'écriture bengalie soit une couche de difficulté supplémentaire qui ralentit l'IA, même si elle parvient toujours à regrouper les pages correctement.

En résumé, cet article montre que si l'IA devient excellente pour reconnaître de quoi traite un document, elle a encore du mal à agir comme un bibliothécaire humain capable de regarder une pile de papiers mélangés et de connaître instantanément l'ordre de lecture correct, surtout lorsque le texte est dans une langue comme le bengali. Les chercheurs ont maintenant rendu ce puzzle de la « bibliothèque désordonnée » accessible à tous, dans l'espoir qu'en étudiant ces échecs, l'IA future apprendra à démêler les nœuds et à restaurer l'ordre dans nos documents numériques.

Résumé Technique : Khondo – Un Benchmark Multimodal pour le Découpage de Paquets de Documents de Formulaires en Bangla

1. Définition du Problème

Dans les flux de travail gouvernementaux et administratifs, les documents sont fréquemment traités sous forme de « paquets » — des fichiers uniques contenant plusieurs documents concaténés (formulaires et pièces justificatives) qui peuvent apparaître hors de leur ordre d'origine. La récupération des documents constitutifs implique trois tâches : le regroupement (clustering - grouper les pages par document source), le typage (classification des domaines de documents) et l'ordonnancement (reconstruction de la séquence originale des pages).

Bien que des travaux antérieurs aient abordé le découpage de documents, les benchmarks existants se concentrent principalement sur les documents commerciaux en anglais et reposent sur le texte extrait par OCR. Cela laisse une lacune critique pour les langues à faibles ressources comme le bangla, où la Reconnaissance Optique de Caractères (OCR) est souvent peu fiable en raison de la complexité de l'écriture et des polices de caractères obsolètes. De plus, la recherche actuelle traite principalement la segmentation de flux de pages comme un problème de détection de limites supposant une arrivée séquentielle, plutôt que comme un problème de reconstruction où les pages sont mélangées ou entrelacées.

2. Méthodologie

2.1 Le Jeu de Données Khondo

Les auteurs introduisent Khondo (Bangla pour « divisé »), le premier benchmark multimodal pour le découpage de paquets de documents sur les formulaires gouvernementaux bangladais.

Source de Données : 423 formulaires authentiques collectés sur le portail national des formulaires électroniques à travers 14 domaines administratifs (ex. : agriculture, finance, juridique, enregistrement).
Nature Bilingue : Le jeu de données est intrinsèquement bilingue (Bangla–Anglais), reflétant les flux de travail administratifs réels. Au niveau de la page, il comprend 67 % de pages en Bangla, 26 % en Anglais et 5 % de pages mixtes.
Pipeline de Construction :
1. Collecte et Filtrage : Revue manuelle pour écarter les documents non conformes aux formulaires et les scans de faible qualité.
2. Partitionnement : Les formulaires sont divisés en ensembles d'entraînement/validation/test disjoints (55:20:25) stratifiés par domaine pour éviter toute fuite de contenu.
3. Assemblage de Paquets : Les paquets sont générés en échantillonnant des formulaires pour atteindre une longueur cible de 5 à 20 pages.
4. Schémas de Concaténation : Cinq variantes sont créées pour isoler différentes difficultés :
  - MonoSeq/PolySeq : Concaténation séquentielle (ordonnée).
  - MonoRand : Pages mélangées au sein de chaque bloc de document.
  - PolyInt : Entrelacement en mode "round-robin" de pages provenant de différents documents.
  - PolyRand : Mélange global de toutes les pages à travers l'ensemble du paquet.
Échelle : 1 950 paquets totalisant 28 513 pages.

2.2 Formalisation de la Tâche

La tâche est définie comme la récupération d'une partition $\mathcal{D}$ , d'une carte de domaine $t$ et de permutations de pages $\sigma_i$ pour chaque document $i$ à partir d'un paquet d'images de pages $P = \langle p_1, \dots, p_n \rangle$ . Contrairement aux travaux précédents, Khondo opère de manière nativement visuelle (vision-native), traitant les images de pages brutes sans dépendre du texte OCR.

2.3 Protocole d'Évaluation

Modèles Évalués :
- Zero-Shot : Cinq modèles de langage de grande taille multimodaux (MLLM) de référence : Gemini-3.5-Flash, GPT-5.4, Qwen 3.6 Plus, GLM-4.6V, et Kimi K2.5.
- Fine-Tuning (Ajustement Fin) : Trois petits modèles à poids ouverts adaptés via QLoRA (Qwen3-VL-4B, InternVL3.5-4B, Gemma 4 E2B).
Métriques :
- Regroupement ( $S_{clu}$ ) : Moyenne de la mesure V et de l'indice de Rand.
- Ordonnancement ( $S_{ord}$ ) : Moyenne du $\tau_a$ de Kendall sur les sous-documents prédits.
- Typage ($PgAcc$) : Précision de la classification de domaine au niveau de la page.
- Score Global ( $S_{pkt}$ ) : Moyenne pondérée égale du regroupement et de l'ordonnancement.
Prompting : Les expériences comparent un prompt Sensible à l'Ordre (OAw - Order-Aware) (instruisant explicitement le réordonnancement) à un prompt Insensible à l'Ordre (OAg - Order-Agnostic).

3. Résultats Clés

3.1 Performance Zero-Shot

Regroupement vs Ordonnancement : Les MLLM démontrent des capacités de regroupement robustes mais éprouvent des difficultés significatives avec l'ordonnancement des pages lorsque celles-ci sont mélangées.
- Sur les variantes séquentielles, les scores d'ordonnancement sont élevés ( $S_{ord} \approx 0.95$ ), mais cela est trivial car les pages sont déjà ordonnées.
- Sur les variantes mélangées (MonoRand, PolyRand), les scores d'ordonnancement chutent drastiquement (ex. : Gemini-3.5-Flash passe de 0.95 à 0.68 ; les modèles plus faibles tombent à ~0.05).
- Le regroupement reste relativement stable ( $S_{clu} \approx 0.55–0.85$ ) même sous l'effet du mélange.
Comparaison de Modèles : Gemini-3.5-Flash et Qwen 3.6 Plus surpassent les autres modèles, particulièrement pour restaurer l'ordre des pages sur les paquets mélangés.

3.2 Résultats du Fine-Tuning

L'ajustement fin de petits modèles open-source améliore les performances par rapport à leurs bases de référence, mais ne résout pas le goulot d'étranglement.
Bien que le regroupement s'améliore considérablement (atteignant $S_{clu} \approx 0.95$ sur PolySeq), l'ordonnancement sur les variantes mélangées reste médiocre ( $S_{ord} \approx 0.32$ pour le meilleur modèle, Qwen3-VL-4B).
Le passage à l'échelle de la taille du modèle (de 4B à 32B) produit des améliorations monotones sur les variantes mélangées mais ne comble pas l'écart avec les modèles de référence zero-shot.

3.3 Analyses Contrôlées

Sensibilité au Prompt : Les instructions explicites pour réordonner les pages (OAw) améliorent considérablement les scores d'ordonnancement sur les variantes mélangées (gains de 0.43–0.67) par rapport aux prompts OAg, qui conservent souvent l'ordre d'entrée. Cependant, un déficit substantiel persiste même avec des instructions explicites, suggérant que la difficulté est intrinsèque à la tâche, et non un simple artefact de prompting.
Effets Linguistiques : Testés sur des paquets monolingues, les modèles ordonnent les pages anglaises nettement mieux que les pages en bangla ( $\Delta S_{ord} = 0.13–0.36$ sur les variantes mélangées). Le regroupement est moins affecté par la langue. Cela indique que le goulot d'étranglement de l'ordonnancement est partiellement linguistique, exacerbé par la nature de faible ressource du bangla dans la compréhension de documents.

4. Contributions

Benchmark Khondo : Le premier benchmark multimodal pour le découpage de paquets de documents sur des formulaires gouvernementaux dominants en bangla, comprenant 1 950 paquets à travers 5 schémas de concaténation et 14 domaines.
Constats Empiriques : Démonstration que si les MLLM peuvent regrouper les pages efficacement, la reconstruction de l'ordre des pages est le principal goulot d'étranglement, surtout lors de mélanges et pour les langues à faibles ressources.
Aperçus du Fine-Tuning : Preuve que bien que les petits MLLM puissent apprendre la tâche, un écart de performance important persiste sur les variantes mélangées par rapport aux modèles de référence.
Isolation des Facteurs : Études contrôlées révélant que le prompting explicite aide l'ordonnancement mais est insuffisant, et que la langue (Bangla vs Anglais) est un facteur secondaire mais constant qui dégrade la performance d'ordonnancement.

5. Signification et Revendications

L'article positionne Khondo comme établissant la reconstruction de l'ordre des pages comme un problème ouvert majeur dans la compréhension de documents basée sur la vision et à faibles ressources. Les auteurs affirment que :

Les MLLM actuels traitent le découpage de paquets comme un problème "résolu" pour le texte séquentiel, mais échouent lorsqu'ils sont appliqués à des documents visuels natifs, mélangés et à faibles ressources.
La difficulté de l'ordonnancement est intrinsèque à la tâche (nécessitant un raisonnement sur la continuité visuelle et le flux logique) plutôt qu'un simple échec de l'ingénierie de prompt.
L'écart de performance entre l'anglais et le bangla souligne un défi spécifique pour les langues à faibles ressources dans le traitement multimodal de documents, où l'absence d'OCR fiable et de ressources linguistiques aggrave la difficulté d'inférer la structure du document.

Le travail conclut que bien que le fine-tuning et les modèles plus larges offrent des gains incrémentiels, résoudre le goulot d'étranglement de l'ordonnancement pour les paquets de documents mélangés et à faibles ressources reste un défi majeur pour le domaine.