SciPostLayoutTree: A Dataset for Structural Analysis of Scientific Posters

1. Problema e Motivação

Os pôsteres científicos são fundamentais para a comunicação acadêmica, apresentando ideias através de resumos visuais complexos. No entanto, a análise estrutural automática (determinar a ordem de leitura e as relações hierárquicas entre elementos) permanece um desafio pouco explorado em comparação com documentos textuais (como artigos científicos).

Os principais problemas identificados são:

• Falta de Dados: Não existiam grandes conjuntos de dados anotados especificamente para a estrutura de pôsteres científicos.
• Complexidade Espacial: Diferente de documentos de texto que seguem predominantemente um fluxo vertical e descendente, os pôsteres apresentam relações espaciais desafiadoras, incluindo movimentos verticais ascendentes (de baixo para cima), horizontais e longas distâncias.
• Limitações de Modelos Atuais: Modelos existentes, projetados para documentos, falham ao tentar inferir a estrutura de pôsteres, especialmente quando dependem apenas de características visuais e decodificação "gananciosa" (greedy decoding), que tende a ignorar relações espaciais raras ou complexas.

2. Metodologia

O trabalho propõe uma solução composta por um novo dataset e um modelo de arquitetura aprimorada.

A. Dataset: SciPostLayoutTree

• Escala: O dataset contém aproximadamente 8.000 pôsteres científicos (7.849 anotados).
• Anotação: Cada pôster foi anotado como uma árvore ordenada por busca em profundidade (DFS), definindo:
  1. Ordem de Leitura: A sequência lógica na qual um humano deve consumir o conteúdo.
  2. Relações Pai-Filho: A hierarquia estrutural (ex: um "Texto" pertence a uma "Seção", uma "Figura" pertence a uma "Seção", etc.).
• Características Estatísticas: Em comparação com datasets de documentos (como DocHieNet), o SciPostLayoutTree possui:
  • Mais elementos de layout por página (~25 caixas delimitadoras ou BBoxes, contra ~12 em documentos).
  • Maior número de figuras.
  • Árvores mais rasas e mais largas.
  • Frequência significativamente maior de transições de leitura ascendentes e horizontais.
• Qualidade: A consistência da anotação foi validada com um alto índice de concordância (0,91) entre anotadores.

B. Modelo: Layout Tree Decoder

O modelo proposto é uma extensão do Document Relation Graph Generator (DRGG), incorporando duas melhorias principais para lidar com as complexidades espaciais:

1. Embedding de BBox (Caixas Delimitadoras): Além das características visuais extraídas por uma rede neural (backbone), o modelo integra explicitamente informações espaciais e categóricas de cada BBox (posição normalizada, tamanho e categoria do elemento). Isso ajuda o modelo a entender a geometria do layout.
2. Busca em Feixe (Beam Search): Substitui a decodificação gananciosa tradicional. Ao prever a ordem de leitura e as relações parentais, o modelo mantém múltiplos candidatos promissores durante a geração da sequência, capturando a plausibilidade em nível de sequência. Isso é crucial para evitar erros locais que quebrariam a estrutura global, especialmente em relações espaciais não convencionais.

3. Resultados Experimentais

Os experimentos foram conduzidos utilizando vários backbones visuais (ResNet-50, ViT, Swin, DiT, InternImage) e comparando o modelo base (DRGG) com suas variantes (com Embedding de BBox, com Beam Search, e a combinação de ambos).

• Desempenho Geral: A combinação de Embedding de BBox e Beam Search (DRGG-BEBS) estabeleceu um novo estado da arte, alcançando os melhores resultados em todas as métricas:
  • STEDS (Semantic Tree Edit Distance Score): Aumentou significativamente (ex: de ~68 para ~88 com ResNet-50), indicando uma reconstrução estrutural muito mais precisa.
  • REDS (Reading Edit Distance Score): Melhorou a precisão da ordem de leitura.
  • TED (Tree Edit Distance): Reduziu o erro de edição necessário para igualar a árvore predita à real.
• Impacto das Melhorias:
  • O Embedding de BBox teve o maior impacto na previsão de relações pai-filho, especialmente para relações espaciais desafiadoras (ascendentes e horizontais).
  • O Beam Search melhorou significativamente a previsão da ordem de leitura, mitigando o viés do modelo em direção a transições descendentes e de curta distância.
• Análise de Erros: Embora o desempenho tenha melhorado, o modelo ainda comete erros em casos onde a agrupamento semântico e a plausibilidade estrutural exigem uma compreensão de longo alcance que vai além das decisões locais.

4. Contribuições Principais

1. Novo Dataset (SciPostLayoutTree): A primeira grande base de dados pública com anotações de ordem de leitura e hierarquia para ~8.000 pôsteres científicos, preenchendo uma lacuna crítica na pesquisa de análise de documentos visuais ricos.
2. Descoberta de Desafios Espaciais: Demonstração empírica de que a estrutura de pôsteres apresenta desafios técnicos únicos (relações ascendentes, horizontais e de longa distância) que não são bem capturados por modelos focados em documentos de texto.
3. Arquitetura de Referência (Baseline): Desenvolvimento do Layout Tree Decoder, que demonstra que a integração de características espaciais explícitas (BBox) e estratégias de decodificação sequencial (Beam Search) é essencial para a análise estrutural de pôsteres.

5. Significado e Impacto

Este trabalho é fundamental para o avanço da Inteligência Artificial em Documentos Visualmente Ricos (VRDs).

• Acesso à Informação: Melhora tecnologias de acesso à informação, como síntese de texto-para-fala (TTS) estruturada, sistemas de perguntas e respostas (QA) e recuperação de informações baseada em sumários de conteúdo.
• Avaliação de Layout: Permite avaliar automaticamente a qualidade do design de pôsteres, identificando layouts confusos onde a intenção do designer diverge da interpretação do modelo.
• Direção Futura: Estabelece uma base sólida para pesquisas futuras, indicando que a simples extração de características visuais não é suficiente; a modelagem explícita da geometria e a busca global são necessárias para compreender a organização estrutural de mídias complexas como pôsteres científicos.

O dataset e o código estão disponíveis publicamente para a comunidade de pesquisa.