InstructTable: Improving Table Structure Recognition Through Instructions

1. O Problema

O Reconhecimento de Estrutura de Tabelas (TSR - Table Structure Recognition) é crucial para converter imagens de tabelas em representações estruturadas (como HTML). No entanto, a tarefa enfrenta desafios significativos, especialmente em layouts complexos que envolvem células mescladas (merged cells), células vazias e ambiguidades visuais.

O artigo identifica um desequilíbrio fundamental nas abordagens existentes:

• Modelos Centrados na Visão (VCTSR): Dependem exclusivamente de características visuais, negligenciando associações semânticas. Isso leva a erros na identificação de estruturas finas, como células vazias ou mesclagens complexas.
• Modelos Visão-Linguagem (VLM): Utilizam contexto semântico para melhorar a compreensão, mas frequentemente subestimam a modelagem de informações estruturais visuais, comprometendo detalhes críticos como o alinhamento espacial.

Além disso, a escassez de dados tabulares de alta qualidade e a complexidade da anotação manual são barreiras. Métodos de síntese de dados baseados em templates existentes apresentam limitações de diversidade e, criticamente, introduzem erros sistemáticos (como linhas/colunas implícitas vazias geradas incorretamente por renderizadores), o que prejudica o treinamento dos modelos.

2. Metodologia

Os autores propõem uma abordagem dupla composta pelo framework InstructTable e pelo método de síntese de dados TME.

A. InstructTable: Framework de Treinamento Guiado por Instruções

O InstructTable é um framework de treinamento multi-estágio que alia informações visuais e dependências semânticas através de instruções textuais.

• Estrutura do Modelo: Utiliza um codificador de imagem (baseado em TableResNetExtra) e um codificador de texto (BERT) que se fundem via mecanismos de atenção cruzada. O decodificador gera três saídas simultâneas: matriz de células atômicas, caixas delimitadoras (bounding boxes) e classificação de células vazias.
• Estratégia de Treinamento Multi-estágio:
  1. Inicialização: O modelo é treinado com uma instrução fixa ("Reconhecer todas as células") para adquirir competência básica em TSR.
  2. Pré-treinamento com Instruções: Introduz-se um conjunto diversificado de instruções humanas projetadas para focar em granularidades estruturais específicas (ex: "Reconhecer células vazias", "Células mescladas em múltiplas colunas"). Isso direciona a atenção do modelo para padrões estruturais finos.
  3. Ajuste Fino (Fine-tuning) para TSR: O modelo é ajustado em benchmarks downstream para preservar a modelagem robusta de informações visuais, alinhando-se com paradigmas estabelecidos de TSR.
• Design de Instruções: São definidos quatro grupos de instruções: reconhecimento da estrutura geral, reconhecimento de células em locais específicos, reconhecimento de células vazias e reconhecimento de células mescladas.

B. Table Mix Expand (TME): Síntese de Dados sem Templates

Para superar a escassez de dados e os erros de templates, os autores propõem o TME, um método de síntese livre de templates.

• Processo:
  1. Tabelas reais são parseadas em uma matriz de células atômicas (representação onde células são independentes, mescladas à esquerda, mescladas para cima, etc.).
  2. Essas matrizes são cortadas e mescladas aleatoriamente para criar novas estruturas de tabela de tamanhos arbitrários.
  3. O conteúdo textual é gerado por Grandes Modelos de Linguagem (LLMs) e validado por outro LLM para garantir coerência semântica.
  4. Aumento de dados via CSS e renderização de imagem.
• Vantagem: Elimina viés de templates e erros de renderização (como linhas implícitas), preservando a autenticidade estrutural e permitindo a geração de dados em larga escala.

C. BCDSTab: Novo Benchmark

Os autores introduzem o Balanced Complex Dense Synthetic Tables (BCDSTab), um benchmark composto por 900 imagens de tabelas complexas sintetizadas via TME, projetado para avaliar rigorosamente modelos em cenários de tabelas densas e complexas.

3. Principais Contribuições

1. InstructTable: Um framework inovador que utiliza instruções textuais para guiar o modelo na compreensão de estruturas de tabelas finas, superando o desequilíbrio entre visão e semântica.
2. TME (Table Mix Expand): Um método de síntese de dados que gera tabelas autênticas e diversas sem depender de templates, resolvendo problemas de qualidade e viés em dados sintéticos.
3. BCDSTab: Um novo benchmark rigoroso para tabelas complexas, preenchendo a lacuna entre dados públicos existentes (geralmente simples) e cenários do mundo real.

4. Resultados

Os experimentos foram conduzidos em múltiplos conjuntos de dados públicos (FinTabNet, PubTabNet, MUSTARD) e no novo benchmark BCDSTab.

• Desempenho Geral: O InstructTable alcançou o estado da arte (SOTA) na maioria dos benchmarks.
  • No MUSTARD (diversidade linguística e cenários ricos), superou o método visual SPRINT em 10,11% e o forte VLM Gemini 2.5 Pro em 1,65% (pontuação TEDS de 95,30%).
  • No FinTabNet e PubTabNet, superou modelos visuais e VLMs tradicionais, demonstrando robustez tanto em documentos eletrônicos quanto em cenários complexos.
• Impacto do TME: A adição de dados gerados pelo TME resultou em ganhos consistentes. Em experimentos de ablação, o uso de TME melhorou a métrica TEDS em média 1,2% e S-TEDS em 0,7%.
• Desempenho em Tabelas Complexas (BCDSTab): Inicialmente, o modelo treinado apenas em dados públicos ficou atrás de soluções massivas como o MinerU 2.5 em tabelas longas. No entanto, após o treinamento com dados TME, o InstructTable superou todas as soluções existentes no BCDSTab, estabelecendo um novo recorde de desempenho.
• Análise de Ablação: Estudos confirmaram que tanto o pré-treinamento com instruções quanto o uso de dados TME contribuem positivamente. A remoção de qualquer grupo de instruções causou queda de desempenho, sendo o grupo de "reconhecimento da estrutura geral" o mais crítico.

5. Significado e Impacto

O trabalho representa um avanço significativo no campo de OCR e processamento de documentos estruturados.

• Solução para o Desequilíbrio Semântico-Visual: Demonstra que a integração de instruções textuais específicas pode corrigir as falhas de modelos puramente visuais e a falta de precisão espacial de modelos VLMs gerais.
• Paradigma de Dados Sintéticos: O TME oferece uma nova direção para a geração de dados de treinamento, superando as limitações de métodos baseados em templates e permitindo a criação de conjuntos de dados massivos e realistas para tarefas complexas.
• Aplicabilidade Prática: Ao melhorar a precisão na detecção de células vazias e mescladas, o método facilita tarefas downstream críticas como extração de dados financeiros, construção de grafos de conhecimento e análise automatizada de documentos.

Em resumo, o InstructTable estabelece um novo padrão para o reconhecimento de estrutura de tabelas, combinando arquiteturas de aprendizado profundo guiadas por instruções com uma metodologia robusta de geração de dados sintéticos.