💻 computer science

Complex Layout Classification in the Wild: A Low-Resource Approach with Layout-Preserving Augmentations

Cet article aborde le défi de la classification de mises en page de documents complexes dans des conditions de severe rareté des données en introduisant un ensemble de données préparé manuellement et une nouvelle stratégie d'entraînement basée sur les CNN qui exploite des augmentations sensibles au domaine, telles que le masquage gaussien anisotrope et les transformations de labels induites par réflexion, afin d'améliorer la généralisation du modèle.

Auteurs originaux : Sharva Gogawale, Iddo Hakim, Gal Grudka, Mohammad Suliman, Omer Ventura, Daria Vasyutinsky-Shapira, Berat Kurar-Barakat, Nachum Dershowitz

Publié 2026-06-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sharva Gogawale, Iddo Hakim, Gal Grudka, Mohammad Suliman, Omer Ventura, Daria Vasyutinsky-Shapira, Berat Kurar-Barakat, Nachum Dershowitz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une immense bibliothèque de vieux livres manuscrits. Certaines pages sont simples, avec du texte s'écoulant en lignes nettes de haut en bas. Mais beaucoup de pages sont des chefs-d'œuvre de chaos : du texte enroulé autour d'images, des commentaires écrits dans les marges, ou l'histoire principale entourée de notes de tous les côtés.

Si vous voulez qu'un ordinateur lise ces livres (un processus appelé OCR), il doit d'abord savoir comment la page est organisée. Le texte est-il dans une colonne ? Dans un cercle ? En forme de « L » ? Si l'ordinateur se trompe, il lit le texte dans le mauvais ordre, transformant un récit cohérent en charabia.

Ce document traite du problème consistant à apprendre aux ordinateurs à reconnaître ces formes de pages complexes, mais avec un obstacle majeur : nous n'avons presque aucune donnée d'entraînement. Dans le monde de l'IA, les modèles ont généralement besoin de milliers d'exemples étiquetés pour apprendre. Ici, nous n'avons peut-être que quelques dizaines d'exemples de chaque type de page.

Voici comment les auteurs ont résolu ce casse-tête, expliquée à travers des analogies simples :

1. Le Problème : L'étudiant « les yeux bandés »

Imaginez essayer d'enseigner à un étudiant comment identifier différents plans de maisons (par exemple, « en L », « en U », « en O ») en ne lui montrant que 15 photos au total.

Le Piège : Si vous montrez à l'étudiant la photo d'une maison avec une porte rouge, il pourrait mémoriser « Porte Rouge = Forme en L ». Mais la maison suivante a une porte bleue. L'étudiant échoue parce qu'il a appris la décoration (le texte/la police) au lieu de la structure (la disposition).
La Réalité : Les documents anciens sont désordonnés. Le texte varie en police, en taille et en langue. L'ordinateur ne cesse d'être distrait par les mots au lieu de regarder le « squelette » de la page.

2. La Solution : La stratégie du « Squelette »

Les auteurs ont réalisé que la partie la plus importante de ces pages n'est pas le texte lui-même, mais les espaces vides (ou « séparateurs ») qui divisent le texte en différentes zones. Considérez ces séparateurs comme les murs d'une maison. Le texte n'est que le mobilier ; les murs définissent la pièce.

Pour forcer l'ordinateur à apprendre les murs et à ignorer le mobilier, ils ont inventé une technique d'entraînement spéciale appelée Augmentation Préservant la Disposition (Layout-Preserving Augmentation).

Analogie A : La « Fenêtre Brouillée » (Masquage Gaussien)

Imaginez regarder une page à travers une fenêtre recouverte de bandes épaisses et étroites de brouillard.

Le brouillard est appliqué dans des directions spécifiques (lignes verticales et horizontales).
Ce brouillard floute le texte (le mobilier) pour le rendre illisible.
Crucialement, le brouillard est conçu pour ne pas couvrir les murs (les séparateurs). Les murs restent nets et clairs.
Le Résultat : L'ordinateur est forcé de regarder les murs nets et clairs pour deviner la forme de la pièce, car le mobilier est complètement caché. Il apprend la géométrie de la page, et non son contenu.

Analogie B : Le « Tour du Miroir » (Réflexions)

Comme ils n'avaient pas assez de photos, ils devaient en créer davantage sans mentir.

Ils ont pris une page et ont tenu un miroir devant elle (en la retournant horizontalement ou verticalement).
Le Piège : Si vous retournez une forme en « L », elle devient un « L » inversé (ce qui est une catégorie différente dans leur système).
La Solution : Ils ont créé un carnet de règles. « Si vous retournez cette image, vous devez aussi changer l'étiquette de 'L' à 'L inversé'. »
Cela leur a permis de doubler ou tripler leur minuscule ensemble de données tout en gardant les règles du jeu honnêtes.

3. Le Moteur : Un détective spécialisé

Ils ont utilisé un type spécifique de modèle d'IA appelé ConvNeXt.

Voyez ce modèle comme un détective entraîné à chercher des bords et des lignes plutôt que des objets spécifiques.
Parce que la technique de la « Fenêtre Brouillée » a caché le texte, le détective ne pouvait pas tricher en lisant les mots. Il devait compter sur son talent naturel pour repérer les lignes et les formes.
Ce détective était bien meilleur pour cette tâche que d'autres modèles d'IA populaires (comme ViT ou ResNet), qui essaient généralement de mémoriser les textures et les détails.

4. Les Résultats : De la « Conjecture » à la « Connaissance »

Sans les astuces spéciales : L'IA ne devinait correctement qu'environ 30 % du temps. Elle ne faisait que deviner en se basant sur des motifs aléatoires.
Avec la « Fenêtre Brouillée » et le « Tour du Miroir » : La précision de l'IA a bondi à 90 %.
Le Test en conditions réelles : Ils ont testé cette IA sur une collection massive et inédite de milliers de livres de la Bibliothèque Nationale d'Israël. Même si elle n'avait jamais vu ces livres spécifiques auparavant, elle a correctement identifié la disposition de pages complexes environ 84 % du temps lorsqu'elle était très sûre de sa réponse.

Résumé

Ce document est essentiellement une recette pour apprendre à un ordinateur à reconnaître la forme d'une page lorsque vous n'avez que quelques exemples pour lui enseigner.

Floutez le texte pour que l'ordinateur ne puisse pas tricher en lisant les mots.
Gardez les lignes claires pour que l'ordinateur apprenne la structure.
Retournez les images et mettez à jour les étiquettes pour créer plus de données d'entraînement.
Entraînez un modèle spécialisé qui se concentre sur ces lignes.

Le résultat est un système capable de trier des documents anciens et désordonnés dans les bons pipelines de traitement, même lorsqu'il y a très peu de données disponibles pour lui apprendre comment faire.

Résumé Technique : Classification de Mise en Page Complexe en Milieu Réel

Énoncé du Problème
L'analyse de la mise en page des documents est un prérequis pour les tâches en aval telles que l'OCR, la transcription automatisée et la reconstruction de l'ordre de lecture. Alors que les documents modernes (par exemple, les PDF, les factures) suivent souvent des structures de grille « Manhattan » nettes, les documents historiques — particulièrement les manuscrits médiévaux et les premiers livres imprimés — présentent des mises en page hautement irrégulières et complexes. Ces mises en page comportent des régions de texte non rectangulaires (par exemple, en forme de L, de C, de O, et des arrangements multi-colonnes de type « Talmudique ») séparées par des frontières géométriques distinctes.

L'état de l'art actuel de l'analyse de mise en page repose largement sur des jeux de données annotés à grande échelle (par exemple, PubLayNet, DocLayNet) et des modèles d'apprentissage profond entraînés sur des documents standardisés en langue anglaise. Ces méthodes peinent face aux contextes historiques à faibles ressources pour trois raisons principales :

Rareté des Données : Les collections historiques manquent de jeux de données annotés à grande échelle.
Complexité Structurelle : La segmentation classique basée sur les pixels échoue souvent à distinguer les blocs de texte sémantiquement distincts dans des configurations complexes (par exemple, l'incapacité de séparer un texte principal d'un commentaire environnant dans une forme en C).
Surapprentissage (Overfitting) : Les modèles entraînés sur de petits ensembles de données ont tendance à faire du surapprentissage sur des détails textuels incidents (police, contenu spécifique) plutôt que d'apprendre les arrangements géométriques globaux qui définissent la classe de mise en page.

Méthodologie
Les auteurs proposent une approche à faibles ressources centrée sur une nouvelle stratégie d'entraînement qui privilégie la géométrie des séparateurs plutôt que le contenu textuel.

Curation du Jeu de Données (CLC) :
- Les auteurs ont constitué le jeu de données CLC, un corpus spécialisé de 155 pages hébraïques à haute résolution provenant de la Bibliothèque Nationale d'Israël et de divers livres imprimés.
- Le jeu de données est annoté manuellement en huit classes de mise en page distinctes basées sur les régions de séparation : C (et son miroir), L (et son miroir), U (et son miroir inversé), O, et Y (un terme générique pour les mises en page multi-composants complexes).
- Les annotations ont été vérifiées par un expert paléographe pour garantir l'exactitude de la vérité de terrain (ground-truth).
Augmentations Préservant la Mise en Page :
Pour surmonter la rareté des données sans introduire de bruit d'étiquetage, les auteurs ont développé un pipeline d'augmentation spécifique à la tâche, conçu pour supprimer les détails textuels tout en préservant le « squelette » structurel de la page :
- Masquage Gaussien Anisotrope Étroit : Un filtre gaussien anisotrope multi-orienté est appliqué à l'image du document. En utilisant un écart-type étroit ( $\sigma_x=1$ ) et en filtrant aux orientations horizontale ( $\theta=0$ ) et verticale ( $\theta=\pi/2$ ), la méthode génère une carte de réponse qui met en évidence les régions de séparation (qui sont des lignes continues) tout en supprimant le bruit textuel à haute fréquence. Le masque résultant inverse les pixels non-séparateurs, forçant le modèle à ignorer la police et le contenu.
- Transformations d'Étiquettes par Réflexion : Des réflexions horizontales et verticales sont appliquées pour enrichir la distribution d'entraînement. Crucialement, les auteurs définissent un ensemble d'étiquettes fermé où les réflexions associent les classes asymétriques à leurs homologues (par exemple, $C \leftrightarrow \bar{C}$ , $L \leftrightarrow \bar{L}$ ) ou à la classe $Y$ , garantissant la cohérence des étiquettes. Les rotations et les cisaillements sont explicitement exclus car ils altèrent la sémantique structurelle de la mise en page.
Architecture du Modèle :
- Le système utilise un fond de base (backbone) ConvNeXt-Tiny, choisi pour ses biais inductifs (localité, équivariance par translation, composition hiérarchique) qui s'alignent bien avec la géométrie pilotée par les séparateurs.
- Le modèle est affiné (fine-tuned) via une approche par étapes : l'entraînement de la tête de classification d'abord, puis le dégel du backbone avec un taux d'apprentissage plus faible pour éviter le surapprentissage.
- Les images d'entrée sont redimensionnées en $224 \times 224$ et binarisées par le seuillage d'Otsu.
Protocole d'Apprentissage Actif :
Les auteurs ont évalué l'efficacité de l'étiquetage via une boucle d'apprentissage actif avec trois fonctions d'acquisition (Aléatoire, Entropie et Marge) afin de déterminer le nombre minimal d'échantillons étiquetés requis pour atteindre une performance élevée.

Contributions Clés

Jeu de Données CLC : Un nouveau jeu de données compact de 155 pages hébraïques à haute résolution avec huit classes de mise en page fines définies par les séparateurs, répondant au manque de ressources pour les mises en page historiques non rectangulaires.
Nouvelle Stratégie d'Augmentation : L'introduction du Masquage Gaussien Anisotrope Étroit, qui contraint le modèle à apprendre des arrangements géométriques globaux en supprimant les détails textuels incidents, combiné à des transformations d'étiquettes par réflexion pour élargir la distribution d'entraînement tout en maintenant la cohérence sémantique.
Évaluation Systématique : Une évaluation complète sous une forte rareté de données, incluant des comparaisons de backbones, des études d'ablation, des tests sur un corpus externe aveugle et une analyse d'apprentissage actif.

Résultats

Comparaison de Backbone : Sur l'ensemble de test de 31 pages, ConvNeXt-Tiny a obtenu les meilleures performances avec 90 % de précision et un F1-macro de 0,88. Cela a nettement surperformé EfficientNet-B0, VGG16, ResNet-18 et ViT-B/16 (qui ont obtenu $\le$ 45 % de précision), démontant que les CNN avec des biais inductifs appropriés sont supérieurs aux Transformers dans ce régime de faibles ressources axé sur la géométrie.
Étude d'Ablation :
- Binaire uniquement : 32 % de précision (indiquant qu'une simple binarisation est insuffisante).
- Binaire + Flips (Reflets) : 45 % de précision.
- Binaire + Masquage : 68 % de précision (confirmant que la tâche est pilotée par les séparateurs).
- Pipeline Complet (Masquage + Flips) : 90 % de précision.
- L'étude a confirmé que le masquage agit comme un régularisateur préservant la structure, tandis que les réflexions fournissent la diversité nécessaire.
Évaluation Aveugle Externe : Le modèle a été testé sur un sous-ensemble de 36 215 dossiers de livres de la Bibliothèque Nationale d'Israël (données non vues). Sur un sous-ensemble de 160 échantillons vérifiés manuellement avec un haut niveau de confiance, le modèle a atteint 83,75 % de précision, démontant une forte généralisation aux archives réelles non organisées.
Apprentissage Actif : Le pipeline d'augmentation complet a considérablement amélioré l'efficacité de l'étiquetage. Sous une stratégie d'acquisition par entropie, le pipeline complet a atteint un AULC (Aire sous la courbe d'apprentissage) F1-macro de 0,61, contre 0,30 pour les méthodes de base.

Signification et Revendications
L'article affirme que la classification robuste des mises en page historiques complexes est réalisable malgré une grave pénurie d'annotations en déplaçant le focus de l'apprentissage du contenu textuel vers la structure géométrique globale. Les auteurs soutiennent que l'augmentation de données standard (par exemple, rotation, flou) est insuffisante pour ce domaine ; au contraire, des augmentations conscientes du domaine qui préservent explicitement la topologie des séparateurs sont critiques.

Le travail démontre que :

La classification de mise en page pour les documents historiques peut être découplée de la reconnaissance textuelle, servant d'étape de routage fiable pour les pipelines en aval.
La stratégie de « préservation des séparateurs » permet aux modèles de se généraliser à des mises en page non rectangulaires non vues sans nécessations d'annotations massives.
Le jeu de données CLC et la méthodologie proposée fournissent une base de référence ciblée pour les recherches futures en analyse de documents historiques à faibles ressources, spécifiquement pour les écritures non latines et les structures de manuscrits complexes.

Les auteurs restent modestes quant à la portée actuelle, notant que l'approche est pour l'instant limitée aux pages imprimées en hébreu et que des travaux futurs seront nécessaires pour étendre ces méthodes aux manuscrits écrits à la main et intégrer la reconnaissance du type d'écriture.