SciPostLayoutTree: A Dataset for Structural Analysis of Scientific Posters

1. Problématique

Bien que l'analyse de la structure des documents textuels (DSA) soit un domaine bien établi, les affiches scientifiques restent sous-exploitées dans la recherche sur l'analyse structurelle. Contrairement aux articles académiques traditionnels qui suivent souvent un flux vertical descendant, les affiches scientifiques présentent des défis uniques :

• Relations spatiales complexes : Les éléments de mise en page (boîtes englobantes ou BBoxes) sont souvent disposés de manière non linéaire, avec des relations ascendantes, horizontales et à longue distance.
• Manque de données annotées : Les modèles existants sont entraînés sur des documents textuels et ne parviennent pas à interpréter correctement la structure visuelle et sémantique des affiches, ce qui nuit à des applications comme la synthèse parole-texte, la recherche d'information ou la génération de questions-réponses.
• Complexité visuelle : Les affiches contiennent une densité élevée d'éléments visuels (figures, tableaux) par rapport aux pages de documents, nécessitant une forte dépendance aux caractéristiques visuelles plutôt qu'au seul texte.

2. Méthodologie

A. Le Dataset : SciPostLayoutTree

Les auteurs ont construit SciPostLayoutTree, un nouveau dataset contenant environ 8 000 affiches scientifiques annotées.

• Annotation : Chaque affiche est annotée sous forme d'un arbre ordonné en profondeur (DFS - Depth-First Search).
• Éléments annotés :
  1. Ordre de lecture : La séquence dans laquelle un humain lit les éléments.
  2. Relations parent-enfant : La hiérarchie structurelle (ex: une section contient des paragraphes, une figure a une légende).
• Statistiques clés : Le dataset présente des arbres plus larges et moins profonds que les datasets de documents existants (comme DocHieNet), avec une moyenne de 25 BBoxes par affiche et une fréquence élevée de relations spatiales "défiantes" (vers le haut, horizontales, longues distances).

B. Le Modèle : Layout Tree Decoder

Pour résoudre les défis posés par ce dataset, les auteurs ont développé le Layout Tree Decoder, une extension du modèle existant Document Relation Graph Generator (DRGG).

1. Fusion Multimodale (BBox Embedding) :

   • Le modèle intègre non seulement les caractéristiques visuelles (extraites via un backbone comme ResNet, ViT, ou Swin), mais aussi des caractéristiques de la boîte englobante (BBox).
   • Ces caractéristiques BBox incluent la position normalisée (coordonnées) et la catégorie sémantique (titre, texte, figure, etc.).
   • Cela permet au modèle de mieux comprendre les relations spatiales complexes que les seules images ne peuvent capturer.

2. Décodage par Recherche en Faisceau (Beam Search) :

   • Contrairement aux approches précédentes utilisant un décodage "glouton" (greedy decoding) qui fait des choix locaux optimaux mais peut manquer la cohérence globale, le modèle utilise la recherche en faisceau.
   • Cette technique explore plusieurs séquences d'ordres de lecture et de relations parent-enfant simultanément, permettant de capturer la plausibilité au niveau de la séquence et de corriger les erreurs de relations spatiales rares (ex: un élément situé au-dessus d'un autre).

3. Algorithme de Décodage :

   • Le modèle prédit deux matrices de scores : une pour l'ordre de lecture (matrice "suivant") et une pour la hiérarchie (matrice "parent").
   • Un algorithme de décodage reconstructe l'arbre DFS en utilisant ces scores, en s'assurant que la structure finale est cohérente avec l'ordre de lecture prédit.

3. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs backbones visuels (ResNet-50, ViT, Swin, DiT, InternImage) et comparées à la base DRGG.

• Performance Globale : Le modèle combinant l'embedding BBox et la recherche en faisceau (DRGG-BEBS) obtient les meilleurs résultats sur toutes les métriques :
  • STEDS (Semantic Tree Edit Distance Score) : Amélioration significative (ex: de 68.74 à 88.45 avec ResNet-50).
  • REDS (Reading Edit Distance Score) : Amélioration notable de la précision de l'ordre de lecture.
  • TED (Tree Edit Distance) : Réduction de l'erreur structurelle.
• Impact des Composantes :
  • L'Embedding BBox améliore principalement la prédiction des relations parent-enfant, en aidant le modèle à identifier le bon parent parmi de nombreux candidats, surtout pour les relations spatiales difficiles.
  • La Recherche en Faisceau améliore principalement la prédiction de l'ordre de lecture, en réduisant les biais vers les transitions descendantes et courtes, et en permettant de prédire correctement des séquences complexes (ex: relations ascendantes ou horizontales).
• Analyse des Erreurs : Bien que les performances soient supérieures, le modèle échoue encore parfois sur des affiches très complexes où le regroupement sémantique à longue distance est crucial. L'analyse montre que les erreurs persistent souvent lorsque la structure visuelle ne correspond pas aux attentes statistiques (biais vers le bas).

4. Contributions Clés

1. Dataset SciPostLayoutTree : La première ressource à grande échelle (8k affiches) annotée avec des arbres de structure complets (ordre de lecture + hiérarchie) pour les affiches scientifiques.
2. Identification de nouveaux défis : Démonstration que les affiches présentent des défis structurels uniques (relations ascendantes, horizontales, longues distances) absents ou rares dans les documents textuels classiques.
3. Modèle Layout Tree Decoder : Proposition d'une architecture de référence (baseline) robuste qui combine efficacement des caractéristiques visuelles, des caractéristiques de position/catégorie (BBox) et une stratégie de décodage séquentiel avancée (Beam Search).

5. Signification et Impact

Ce travail est fondamental pour l'avancement de l'analyse de documents visuellement riches (VRD).

• Accessibilité : Il permet de créer des interfaces plus intelligentes pour l'accès à l'information scientifique, facilitant la lecture par synthèse vocale ou la recherche sémantique dans les affiches.
• Évaluation de la conception : Il offre un moyen d'évaluer objectivement la clarté de la mise en page des affiches en comparant la structure prédite par l'IA avec l'intention du concepteur.
• Fondation pour la recherche future : En fournissant un dataset et une baseline solide, l'article ouvre la voie à de nouvelles recherches sur la compréhension de la structure visuelle au-delà des documents textuels standards, en particulier pour les médias académiques visuels.

En résumé, l'article comble un vide majeur dans l'analyse structurelle des documents en traitant spécifiquement la complexité visuelle des affiches scientifiques, démontrant que l'intégration de l'information spatiale explicite et de stratégies de décodage séquentiel est essentielle pour atteindre une haute précision.