Towards Khmer Scene Document Layout Detection

Cet article présente la première étude complète sur la détection de la mise en page de documents scèniques en khmer, proposant un nouveau cadre incluant un jeu de données annoté, un outil d'augmentation open-source et des modèles de détection basés sur YOLO avec boîtes englobantes orientées pour surmonter les défis spécifiques à l'écriture khmère.

L'essentiel

Imaginez que vous essayez de lire un document khmer (la langue du Cambodge) pris en photo avec votre téléphone dans la rue. Le papier est plié, la photo est de travers, le fond est brouillé, et le texte khmer est très complexe : les lettres s'empilent les unes sur les autres comme des tours de Lego, et il n'y a pas d'espaces clairs entre les mots.

C'est un cauchemar pour les ordinateurs. Jusqu'à présent, les outils intelligents qui comprennent la structure des documents (où est le titre, où est la liste, où est le tableau) fonctionnaient très bien pour l'anglais ou le français, mais ils étaient complètement perdus face au khmer.

Voici ce que cette équipe de chercheurs a fait pour régler le problème, expliqué simplement :

1. Le Problème : Un dictionnaire vide

Les ordinateurs apprennent comme des enfants : ils ont besoin de voir des milliers d'exemples pour comprendre. Pour les langues comme l'anglais, il y a des millions de livres et de documents étiquetés pour les entraîner. Pour le khmer, c'était comme essayer d'apprendre à cuisiner sans aucune recette. De plus, les documents "de la vie réelle" (photos de panneaux, de reçus, de livres posés sur une table) sont déformés par la perspective, ce qui rend la tâche encore plus difficile.

2. La Solution : Une "Boîte à Outils" en trois parties

Les chercheurs ont créé trois choses principales pour aider les ordinateurs à comprendre le khmer :

• A. La Grande Bibliothèque (Le Dataset)
  Imaginez qu'ils ont construit la plus grande bibliothèque de documents khmers jamais vue. Ils ont pris des milliers de pages (livres, présentations, infographies), les ont scannées, et ont demandé à des humains de dessiner des cadres autour de chaque élément important (titres, listes, images, tableaux). C'est comme si on avait étiqueté chaque pièce d'un puzzle géant pour montrer à l'ordinateur comment tout s'assemble. C'est la première fois qu'un tel trésor existe pour le khmer.

• B. L'Atelier de Déformation (L'Outil d'Augmentation)
  Comme il n'y avait pas assez de photos de documents "tordus" ou "de travers", ils ont inventé un robot magique. Ce robot prend les documents normaux et les maltraite gentiment : il les plie, les étire, les fait tourner et ajoute du bruit, exactement comme si vous preniez une photo avec votre téléphone dans la rue.
  L'analogie clé : Imaginez que vous avez un dessin parfait. Ce robot prend ce dessin, le met sur un élastique, le tord, le tourne, et en même temps, il déplace les étiquettes écrites à côté pour qu'elles suivent exactement le mouvement du dessin. Ainsi, l'ordinateur apprend à reconnaître un titre même si le papier est plié en deux.

• C. Le Détective à Lunettes Tournantes (Le Modèle IA)
  Les détecteurs de documents classiques utilisent des cadres rectangulaires droits (comme des cadres photo). Mais si votre document est de travers, un cadre droit ne fonctionne pas bien.
  Les chercheurs ont entraîné un détective spécial (basé sur une technologie appelée YOLO) qui porte des "lunettes tournantes". Au lieu de dessiner un rectangle droit, ce détective sait dessiner un cadre incliné qui épouse parfaitement la forme du texte, même si le document est penché à 45 degrés.

3. Les Résultats : Un Saut de Géant

Quand ils ont testé leur nouveau détective :

• Avant : Les meilleurs outils existants (comme ceux qui fonctionnent bien pour l'anglais) avaient un taux de réussite d'environ 50% sur le khmer. C'était comme essayer de lire un livre avec des lunettes sales : on devinait à moitié.
• Après : Leur nouveau modèle a atteint un taux de réussite de 95%. C'est comme si on avait nettoyé les lunettes et mis un éclairage parfait. Il arrive même à distinguer les listes à puces, les notes de bas de page et les titres, même dans des documents très complexes.

En résumé

Cette équipe a fait le travail de pionnier. Ils ont :

1. Créé la "bible" des données pour le khmer.
2. Inventé un moyen de créer artificiellement des milliers de situations difficiles pour entraîner l'IA.
3. Démontré que l'on peut maintenant numériser et comprendre intelligemment les documents khmers pris dans la rue, ce qui ouvre la porte à une meilleure gestion des archives, des factures et de la culture cambodgienne à l'ère du numérique.

C'est une victoire majeure pour la technologie dans les pays où les ressources numériques sont rares, prouvant que l'intelligence artificielle peut s'adapter à n'importe quelle langue, même la plus complexe.

Résumé technique

1. Problématique

L'analyse de la mise en page de documents (Document Layout Analysis - DLA) a considérablement progressé pour les scripts latins, notamment grâce aux grands modèles multimodaux (LMM). Cependant, le khmer reste un domaine sous-exploité en raison de plusieurs facteurs critiques :

• Complexité scripturale : Le khmer est un système d'écriture abugida complexe, caractérisé par l'empilement de caractères (sous-indices, voyelles dépendantes) et l'absence de séparateurs de mots explicites. Cela rend difficile la délimitation précise des unités sémantiques par les modèles conçus pour le latin.
• Manque de données : Il existe une pénurie de données d'entraînement annotées, en particulier pour les documents de scène (capturés par smartphone dans des environnements réels). Ces images souffrent de distorsions de perspective et de fonds complexes, contrairement aux documents numérisés propres.
• Inadéquation des modèles existants : Les modèles multilingues actuels (Surya-OCR, PaddleOCR, Docling) offrent un support limité pour le khmer et peinent à gérer les déformations géométriques et les structures denses (listes, tableaux) typiques des documents de scène.

2. Méthodologie

Les auteurs proposent une approche complète en trois volets pour résoudre ces défis :

A. Construction d'un Dataset de Référence

• Source : Collecte de documents PDF publics (Open Development Cambodia) couvrant divers domaines (livres, présentations, infographies).
• Stratégie d'annotation hybride :
  1. Pré-annotation : Utilisation de Surya-OCR pour extraire automatiquement des éléments génériques (images, tableaux), réduisant la charge humaine.
  2. Curration humaine : Correction manuelle rigoureuse des erreurs spécifiques au khmer (en-têtes, listes, légendes) à l'aide de l'outil LabelMe avec des annotations polygonales.
• Résultat : Un dataset de 8 990 pages (7 818 pour l'entraînement, 1 178 pour l'évaluation) avec 13 classes de mise en page (texte, liste, tableau, en-tête, pied de page, etc.). C'est le plus grand dataset unique pour l'analyse de mise en page en khmer à ce jour.

B. Outil d'Augmentation de Mise en Page (Layout Augmentor)

Pour simuler les conditions réelles de capture (distorsions, angles), les auteurs ont développé un outil d'augmentation basé sur la composition :

• Pipeline à deux étapes :
  1. Déformations non linéaires : Élasticité (bruit de Perlin), distorsion en grille, effet barillet/pincushion, ondes et tourbillons radiaux.
  2. Transformations affines : Translation, rotation, mise à l'échelle, cisaillement et approximation de perspective.
• Cohérence géométrique : Une contrainte clé est l'application identique des transformations aux pixels de l'image et aux coordonnées des annotations (conversion des boîtes rectangulaires en polygones avant transformation).
• Validation : Une vérification manuelle élimine les augmentations trop extrêmes, aboutissant à 2 258 images supplémentaires annotées avec précision.

C. Entraînement des Modèles (Baselines)

• Architecture : Utilisation de modèles YOLO (YOLO11, YOLO12, YOLO26) adaptés pour la détection de boîtes englobantes orientées (OBB - Oriented Bounding Boxes). Contrairement aux boîtes horizontales standards, les OBB permettent de suivre les angles des documents de scène.
• Configuration : Entraînement sur 100 époques avec une résolution d'entrée de 640x640, utilisant un GPU NVIDIA RTX 6000.

3. Résultats Principaux

Les expériences ont été menées sur le jeu de données d'évaluation avec plusieurs variantes de modèles (Small, Medium, Large, Extra-Large).

• Performance globale : Le modèle YOLO12x a obtenu les meilleurs résultats, avec un mAP@0.5:0.95 de 0,9502, démontrant un équilibre excellent entre précision (0,9528) et rappel (0,9364).
• Comparaison avec l'état de l'art : Les modèles YOLO12 surpassent massivement les solutions existantes :
  • Surya-OCR : mAP@0.5:0.95 = 0,5156
  • DocLayout (DocLayNet) : mAP@0.5:0.95 = 0,2012
  • PaddleOCR-V2 : mAP@0.5:0.95 = 0,5720
  • YOLO12x (Propre) : 0,9502
• Analyse par classe : Le modèle excelle sur les éléments denses comme les listes (list-item, mAP@0.5:0.95 = 0,992) et les tableaux (table, mAP@0.5:0.95 = 0,995). Les performances sont légèrement plus faibles pour les en-têtes de page (page-header), probablement en raison d'erreurs d'annotation dans le jeu de test, et pour les images, souvent confondues avec des figures.
• Évaluation qualitative : Les visualisations montrent que le modèle gère correctement les documents déformés, les colonnes multiples et les légendes verticales, là où les modèles multilingues échouent fréquemment.

4. Contributions Clés

1. Dataset : Création du premier et plus grand dataset de mise en page pour les documents de scène en khmer, incluant des formats modernes (PowerPoint, infographies).
2. Outil d'augmentation : Développement d'un outil open-source capable de synthétiser des documents de scène réalistes tout en préservant la cohérence géométrique des annotations.
3. Modèles de référence : Entraînement et évaluation des premiers modèles de détection de mise en page pour le khmer utilisant des architectures YOLO-OBB, surpassant largement les solutions actuelles.
4. Ressources ouvertes : Mise à disposition des modèles, du code et des datasets dans un dépôt public pour stimuler la recherche communautaire.

5. Signification et Perspectives

Cette étude comble un vide critique dans le domaine de l'analyse et de la reconnaissance de documents (DAR) pour les langues à faibles ressources. Elle démontre que l'adaptation des architectures de détection d'objets (OBB) couplée à une augmentation de données rigoureuse permet de surmonter les défis spécifiques aux scripts complexes comme le khmer.

Limitations identifiées et travaux futurs :

• Le dataset manque encore d'exemples de blocs de code, d'équations mathématiques et de formulaires complexes.
• Le schéma d'annotation actuel ne supporte pas les structures imbriquées (ex: lignes de texte à l'intérieur d'un bloc de texte).
• L'avenir réside dans le développement de modèles spécifiquement optimisés pour la compréhension sémantique profonde du script khmer, au-delà de la simple détection géométrique.

En conclusion, ce travail pose les fondations nécessaires pour la numérisation et l'analyse automatisée efficace des documents khmers dans des environnements réels.