💻 computer science

LEGR: Learnable-Edge Graph Refinement for Table Structure Recognition

Este artigo apresenta o LEGR, uma estrutura end-to-end para Reconhecimento de Estrutura de Tabelas que substitui heurísticas geométricas estáticas por características de aresta relacional aprendíveis e um módulo de refinamento de Rede de Atenção em Grafo em cascata para alcançar um desempenho robusto e invariante ao domínio através da correção iterativa de previsões por meio de raciocínio de layout global aprendido.

Autores originais: Saeed Ahmed, Muhammad Mudassir Mehmood, Muhammad Imran Malik, Muhammad Naseer Bajwa, Waheed Ahmed

Publicado 2026-08-25

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Saeed Ahmed, Muhammad Mudassir Mehmood, Muhammad Imran Malik, Muhammad Naseer Bajwa, Waheed Ahmed

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No vasto cenário dos documentos digitais, as tabelas são os trabalhadores silenciosos da informação. Elas organizam relatórios financeiros, dados científicos e registros administrativos em grades organizadas de linhas e colunas. Para um leitor humano, a estrutura é óbvia; as linhas e o espaçamento guiam o olhar, tornando fácil ver como um valor em uma célula se relaciona com outro. Para um computador, no entanto, uma tabela é apenas uma coleção caótica de pixels. Para transformar uma imagem de uma tabela em dados úteis, o software deve realizar uma tarefa difícil chamada reconhecimento de estrutura de tabela. Ele tem que descobrir qual texto pertence à mesma linha, qual pertence à mesma coluna e quais células se estendem por múltiplos espaços. Isso não é meramente sobre ler as palavras; é sobre compreender a lógica invisível que mantém a grade unida. Sem essa compreensão, um computador não consegue extrair os dados para responder perguntas, analisar tendências ou construir bancos de dados.

Durante anos, pesquisadores tentaram ensinar computadores a ver essas estruturas tratando a tabela como um mapa de conexões. Nesta visão, cada pedaço de texto é um ponto em um mapa, e as linhas que os conectam representam relações como "ao lado de" ou "acima de". O desafio sempre foi decidir como desenhar essas linhas. Métodos tradicionais dependiam de regras rígidas e pré-escritas baseadas em geometria. Se duas caixas de texto estivessem próximas uma da outra, o computador assumia que estavam conectadas. Se estivessem longe, a conexão era ignorada. Essa abordagem funcionava bem para tabelas simples e limpas, mas frequentemente falhava quando o layout era complexo, com células mescladas ou bordas ausentes. O computador estava seguindo um mapa estático que não levava em conta o contexto único de cada documento.

Uma equipe de pesquisadores da Universidade Nacional de Ciências e Tecnologia, no Paquistão, propôs um caminho diferente. Eles desenvolveram um sistema chamado LEGR, que significa Learnable-Edge Graph Refinement (Refinamento de Grafo de Arestas Aprendível). Em vez de usar regras fixas para decidir quais segmentos de texto estão relacionados, o LEGR aprende a tomar essas decisões por si mesmo. Imagine um estudante aprendendo a ler um mapa: a princípio, ele pode seguir um conjunto simples de direções, mas com a prática, ele aprende a reconhecer padrões e relações que não estão explicitamente desenhados na página. O LEGR faz algo semelhante. Ele começa com um palpite bruto sobre a estrutura da tabela e depois melhora iterativamente esse palpite, aprendendo quais conexões importam mais.

O núcleo deste sistema é uma mudança de regras estáticas para o aprendizado dinâmico. Em sistemas anteriores, o computador olharia para duas caixas de texto e mediria a distância entre elas. Se a distância fosse pequena, ele desenharia uma linha. O LEGR, no entanto, observa o conteúdo e o contexto das caixas de texto para decidir se elas pertencem juntas. Ele utiliza uma tarefa de treinamento especial onde tenta prever a diferença lógica entre duas partes de texto conectadas. Ao fazer isso, o sistema aprende a reconhecer que um cabeçalho no topo de uma página e um ponto de dados na parte inferior estão relacionados, mesmo que estejam distantes no espaço físico. Isso permite que o sistema compreenda o "substrato relacional" — a lógica subjacente da tabela — em vez de apenas o layout físico.

Uma vez que o sistema aprende essas relações, ele refina sua compreensão através de um processo de duas etapas. Primeiro, ele faz um palpite inicial e amplo sobre onde cada peça de texto pertence na grade. Em seguida, ele passa essa informação por uma rede que permite que as diferentes partes da tabela "conversem" entre si. Esta rede corrige pequenos erros e resolve ambiguidades. Se o sistema inicialmente pensa que duas células estão na mesma linha, mas percebe que elas não se alinham com o restante da tabela, ele pode mudar de ideia. Essa correção iterativa acontece em dois estágios, permitindo que o sistema primeiro corrija grandes erros estruturais e, depois, refine os detalhes.

Os pesquisadores testaram seu sistema em várias coleções de tabelas de artigos científicos e relatórios financeiros. Nos testes padrão, o LEGR teve um desempenho tão bom quanto os melhores métodos existentes, alcançando alta precisidade na reconstrução da estrutura da tabela. No entanto, a descoberta mais significativa ocorreu quando testaram o sistema em um tipo completamente novo de documento que ele nunca havia visto antes. Sem qualquer treinamento adicional, o sistema alcançou uma taxa de sucesso de 98,46 por cento nesses dados inéditos. Isso sugere que o sistema aprendeu princípios gerais de como as tabelas funcionam, em vez de apenas memorizar os layouts específicos dos documentos nos quais foi treinado.

Para provar que sua abordagem era verdadeiramente superior, os pesquisadores realizaram uma série de experimentos onde substituíram seu sistema de aprendizado por métodos tradicionais baseados em regras. Quando substituíram as conexões aprendidas por um conjunto abrangente de regras geométricas criadas manualmente, o desempenho do sistema caiu significamente, cainاً cerca de quatro pontos percentuais. Isso confirmou que a capacidade de aprender as conexões era a chave para o sucesso. Além disso, testaram o que aconteceria se conectassem aleatoriamente os segmentos de texto em vez de usar um mapa lógico. Surpreendentemente, o desempenho do sistema quase não mudou. Isso indica que o sistema é tão bom em aprender as relações a partir do próprio texto que a maneira inicial como as conexões são desenhadas importa muito pouco. O sistema consegue descobrir a estrutura correta independentemente de como o mapa é esboçado inicialmente.

As implicações deste trabalho estendem-se além da leitura de tabelas. Demonstra que, para tarefas que envolvem relações estruturadas complexas, aprender as conexões é mais importante do que projetá-las. Ao permitir que o computador descubra a lógica dos dados em vez de forçá-lo a seguir um mapa pré-definido, os pesquisadores criaram uma ferramenta mais robusta e adaptável. Essa abordagem poderia eventualmente ajudar computadores a compreender outros layouts complexos, como formulários ou documentos hierárquicos, onde as relações entre os elementos nem sempre são óbvias. O estudo mostra que, quando um sistema tem permissão para aprender as regras do jogo, ele pode jogar melhor do que um que é simplesmente instruído sobre como se mover.

Resumo Técnico: LEGR - Refinamento de Grafo de Arestas Aprendíveis para Reconhecimento de Estrutura de Tabelas

1. Definição do Problema

O Reconhecimento de Estrutura de Tabelas (TSR - Table Structure Recognition) visa converter imagens de tabelas visuais em estruturas lógicas legíveis por máquina (índices de linhas/colunas e extensões/spans). Embora a estrutura física (caixas delimitadoras) possa ser obtida via OCR convencional, inferir a estrutura lógica é um problema relacional complexo.

Abordagens de TSR baseadas em grafos existentes tratam células como nós e relações espaciais como arestas. No entanto, esses métodos sofrem de duas limitações primárias:

Construção de Grafo Estática: Eles dependem de heurísticas geométricas manuais (ex: $k$ -vizinhos mais próximos baseados em centroides de caixas delimitadoras) para definir a conectividade do grafo e as características das arestas. Isso fixa o substrato relacional antes do início do aprendizado, impedindo que o modelo capture dependências não locais (ex: alinhamento de cabeçalho-para-célula através de linhas longas) ou lide efetivamente com layouts sem bordas ou com células de extensão (spanning cells).
Predição de Passagem Única: A maioria dos pipelines prevê a estrutura final em uma única passagem direta (forward pass), carecendo de um mecanismo para revisar estimativas iniciais uma vez que uma visão global da tabela é montada.

2. Metodologia: Estrutura LEGR

LEGR (Learnable-Edge Graph Refinement) é uma estrutura end-to-end que aprende a estrutura do grafo relacional e refina as predições iterativamente. A arquitetura consiste em quatro blocos funcionais:

2.1 Codificação Visual e de Nós

Backbone Visual: Um Swin Transformer gera uma pirâmide de características de quatro níveis. Estas são fundidas via uma Rede de Atenção de Núcleo Grande (Large-Kernel Pyramid Attention Network - LKPAN) para produzir um mapa de características unificado de stride-4 ( $FFPN$ ) para preservação fina de bordas e um mapa de contexto global de stride-32 ( $C_4$ ).
Embeddings de Nós: Para cada caixa delimitadora detectada pelo OCR, um embedding inicial ( $h_i^{in}$ $h_{i}^{in}$ ) é construído fundindo:
- Características visuais (via RoIAlign no $FFPN$ ).
- Embeddings geométricos aprendíveis das coordenadas da caixa delimitadora.
- Codificações posicionais senoidais 2D absolutas.
Codificador de Contexto: Um codificador baseado em transformer processa esses embeddings usando autoatenção (para dependências entre segmentos) e atenção cruzada (injetando contexto global de $C_4$ ). Isso produz características de nós contextualizadas ( $H_0$ ).

2.2 Aprendizado de Arestas Relacionais

Em vez de heurísticas estáticas, o LEGR emprega um Aprendiz de Arestas Relacionais:

Construção do Grafo: Durante o treinamento, um vizinhança para cada nó é amostrada, compreendendo tanto vizinhos geometricamente próximos quanto vizinhos de longo alcance aleatórios para evitar o sobreajuste (overfitting) à geometria local.
Características de Aresta: As características das arestas são geradas por um Codificador de Contexto compartilhado e uma Cabeça de Aresta (MLP). O vetor de características para uma aresta $(v_i, v_j)$ concatena os embeddings dos nós, sua diferença e seu produto elemento a elemento.
Supervisão Auxiliar: A Cabeça de Aresta é supervisionada por uma tarefa auxiliar: prever a diferença de coordenada lógica (offsets assinados para início/fim de linha e coluna) entre nós conectados. Isso força a rede a aprender características relacionais conscientes do contexto, em vez de apenas copiar offsets de coordenadas brutos.

2.3 Refinamento Iterativo em Cascata

O LEGR substitui a predição de passagem única por um módulo de refinamento em cascata de dois estágios usando Redes de Atenção de Grafo (GATs):

Estágio 1: Uma Cabeça de Nó produz logits grosseiros iniciais ( $L_0$ ). Estes são fundidos com as características dos nós e passados através de uma GAT ( $GAT_1$ ) para prever um delta corretivo ( $\delta L_1$ ). Os logits refinados são $L_1 = L_0 + \delta L_1$ .
Estágio 2: O processo se repete com uma segunda GAT ( $GAT_2$ ) operando sobre as características do Estágio 1 e a estimativa corrente $L_1$ , produzindo uma correção final $\delta L_2$ e os logits $L_2 = L_1 + \delta L_2$ .
Esta abordagem de grosseiro-para-fino permite que o modelo primeiro resolva ambiguidades estruturais de grande escala e, em seguida, realize ajustes locais finos.

2.4 Objetivo de Treinamento

O modelo é treinado com uma função de perda composta:
$\mathcal{L}_{total} = (1 - \lambda) \mathcal{L}_{coord} + \lambda (\alpha \mathcal{L}_{aux} + \beta \mathcal{L}_{edge})$
Onde $\mathcal{L}_{coord}$ agrega perdas de entropia cruzada para o estágio inicial e para os dois estágios de refinamento, $\mathcal{L}_{aux}$ é uma perda contrastiva de múltiplos positivos para agrupar segmentos que pertencem à mesma célula, e $\mathcal{L}_{edge}$ é a perda de entropia cruzada para a predição de diferença de coordenada.

3. Principais Contribuições

Características de Aresta Aprendíveis: Substitui heurísticas geométricas estáticas por um aprendiz de arestas relacionais supervisionado por uma tarefa auxiliar de diferença de coordenada lógica. Isso permite a captura de dependências não locais e relações conscientes do contexto.
Refinamento em Cascata: Introduz um módulo de refinamento em dois estágios baseado em GAT que corrige iterativamente as predições iniciais, permitindo que o modelo raciocine globalmente e se autocorrija localmente.
Raciocínio Invariante ao Domínio: Demonstra que aprender o substrato relacional gera representações que generalizam bem entre domínios sem necessidade de ajuste fino (fine-tuning).

4. Resultados Experimentais

O LEGR foi avaliado em três benchmarks: PubTabNet (artigos científicos), FinTabNet (relatórios financeiros) e SciTSR (artigos científicos).

Desempenho In-Domain (PubTabNet & FinTabNet):
- No PubTabNet, o LEGR alcançou 97.91 TEDS-S, ficando em segundo lugar apenas atrás do TFLOP (98.38) entre os métodos de estado da arte, apesar de usar uma arquitetura não autorregressiva.
- No FinTabNet, o LEGR alcançou 99.10 TEDS-S, novamente em segundo lugar após o TFLOP (99.56).
- Notavelmente, o LEGR alcança esses resultados sem um decodificador HTML autorregressivo, oferecendo um custo de inferência constante em relação ao tamanho da tabela.
Generalização Cross-Domain (SciTSR):
- Em um cenário zero-shot (treinado no PubTabNet, testado no SciTSR sem ajuste fino), o LEGR alcançou um F1 score de 98.46. Isso está a apenas 0.84 pontos de métodos de estado da arte totalmente supervisionados (ex: LORE com 99.30), demonstrando forte invariância de domínio.
- Com ajuste fino, o LEGR atingiu 99.39 F1, superando métodos baseados em grafos anteriores.
Comparação com Métodos Baseados em Grafos:
- O LEGR supera significativamente métodos baseados em grafos anteriores como NCGM e GraphTSR. No PubTabNet, melhora o TEDS-S em 2.51 pontos sobre o NCGM. No SciTSR, melhora o F1 em 5.99 pontos sobre o GraphTSR.

5. Estudos de Ablação e Análise

Arestas Aprendidas vs. Manuais: Substituir as características de aresta aprendidas por uma linha de base abrangente e manual (PCEF) causou uma queda de aproximadamente 4.0 pontos em TEDS no FinTabNet (de 99.10 para 95.13). Isso confirma que as características relacionais para layouts complexos não são expressáveis como funções fixas de caixas delimitadoras.
Robustez da Adjacência do Grafo: Randomizar a adjacência do grafo de entrada (substituindo $k$ -NN por conexões aleatórias) resultou em uma perda de desempenho negligível (<0.15 pontos). Isso indica que o trabalho pesado ocorre dentro da Cabeça de Aresta aprendida e das GATs, não na escolha específica de vizinhos.
Estágios de Refinamento: O segundo estágio de refinamento consistiu consistentemente em melhorar o desempenho sobre o primeiro, confirmando o valor da correção iterativa.
Predição de Diferença vs. Afinidade: Supervisionar as arestas via diferenças de coordenadas superou uma formulação alternativa de afinidade (prever probabilidades de mesma linha/coluna), atribuído ao fato de evitar conflitos de otimização entre restrições concorrentes.

6. Significância e Alegações

O artigo afirma que aprender o substrato relacional é mais crítico do que projetá-lo. A tese central é que heurísticas geométricas estáticas são insuficientes para capturar as dependências complexas e não locais inerentes às estruturas de tabelas.

Robustez: A capacidade do LEGR de transferir para o conjunto de dados não visto SciTSR em um cenário zero-shot prova que o raciocínio relacional aprendido captura pistas invariantes ao domínio (o que faz dois segmentos compartilharem uma linha/coluna) em vez de memorizar estatísticas de layout específicas de um dataset.
Eficiência: Ao evitar decodificadores autorregressivos, o LEGR oferece um caminho de inferência mais eficiente para tabelas grandes, mantendo uma precisão competitiva.
Mudança de Paradigma: O trabalho sugere que grafos refinados iterativamente com arestas aprendidas oferecem uma alternativa viável para a predição estruturada autorregressiva para dados hierárquicos e tabulares, podendo se estender à análise de layout e compreensão de formulários.

Os autores reconhecem limitações em relação a tabelas ruidosas, digitalizadas ou capturadas por câmeras, assumindo segmentos de OCR confiáveis, identificando estes como áreas para trabalhos futuros.