💻 computer science

PubTables-v2: A new large-scale dataset for full-page and multi-page table extraction

O artigo apresenta o PubTables-v2, um novo conjunto de dados em larga escala que aborda a lacuna na extração de tabelas de páginas múltiplas e estabelece benchmarks para modelos de linguagem-vision, demonstrando que um classificador de imagem para fusão de tabelas melhora significativamente o desempenho.

Autores originais: Brandon Smock, Valerie Faucon-Morin, Max Sokolov, Libin Liang, Tayyibah Khanam, Amrit Ramesh, Maury Courtland

Publicado 2026-03-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Brandon Smock, Valerie Faucon-Morin, Max Sokolov, Libin Liang, Tayyibah Khanam, Amrit Ramesh, Maury Courtland

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um bibliotecário em uma biblioteca gigante cheia de documentos científicos. O seu trabalho é pegar essas páginas cheias de texto e transformar as tabelas complexas nelas em arquivos digitais organizados, como planilhas do Excel, para que os computadores possam entendê-las.

Até agora, essa tarefa era feita de um jeito meio "cortado e colado": o computador primeiro tentava achar onde estava a tabela na página, a cortava e depois tentava entender a estrutura dela. Mas isso tinha problemas: se a tabela fosse muito grande ou se ela fosse cortada ao meio entre duas páginas, o computador ficava confuso e perdia o contexto.

É aqui que entra o PubTables-v2, o novo "super-herói" apresentado neste artigo. Vamos entender como funciona com algumas analogias simples:

1. O Problema: O Quebra-Cabeça Incompleto

Antes, os modelos de Inteligência Artificial (IA) eram como crianças aprendendo a montar quebra-cabeças, mas só recebiam as peças de um pequeno canto da imagem (a tabela recortada). Elas não viam a foto inteira da caixa (a página completa).

O desafio: Muitas vezes, uma tabela não cabe em uma só página. Ela começa na página 1 e termina na página 5. Os computadores antigos não sabiam que aquelas duas metades pertenciam à mesma história. Eles tratavam como se fossem duas tabelas diferentes e desconexas.

2. A Solução: PubTables-v2 (A Nova Biblioteca de Treino)

Os pesquisadores criaram um novo conjunto de dados massivo chamado PubTables-v2. Pense nele como um "ginásio de treino" super avançado para essas IAs.

Tamanho: É enorme. Tem mais de meio milhão de tabelas.
O diferencial: Pela primeira vez, eles incluíram 9.492 tabelas que atravessam várias páginas. É como dar ao aluno de IA um quebra-cabeça gigante que exige que ele olhe para várias páginas de uma vez para ver a imagem completa.
Contexto: Eles também ensinaram a IA a entender onde está o "título" da tabela (a legenda) e o "rodapé", como se fosse ensinar a criança a ler a capa do livro antes de abrir as páginas.

3. O Teste: Quem é o Melhor Aluno?

Os autores pegaram vários modelos de IA modernos (chamados VLMs, que são como "olhos e cérebros" combinados) e os colocaram para fazer provas usando esse novo ginásio de treino.

O resultado: A maioria dos modelos ainda tropeçou. Eles eram ótimos em tabelas pequenas e recortadas, mas quando viram aquelas tabelas gigantes que pulam de página em página, eles se perderam. Foi como se um aluno fosse ótimo em matemática básica, mas travasse completamente em um problema de física complexo.
A descoberta: O melhor modelo conseguiu acertar apenas cerca de 57% das tabelas complexas. Isso mostra que ainda temos um longo caminho a percorrer.

4. A "Truque" Inteligente: O Detetive de Continuidade

A parte mais criativa do artigo é o que eles fizeram para ajudar os modelos a não se perderem.

A ideia: Eles criaram um pequeno "detetive" (um classificador de imagens) que olha para duas páginas seguidas e pergunta: "Ei, a tabela que acabou na página 1 continua na página 2?"
O resultado: Esse detetive ficou incrivelmente bom nisso (quase 99% de acerto).
O efeito: Quando eles usaram esse detetive para "colar" as partes da tabela que estavam separadas, o desempenho do sistema principal melhorou muito. Foi como dar uma bússola para quem estava se perdendo no mapa.

Resumo da Ópera

Este artigo não apresenta apenas um novo conjunto de dados; ele expõe uma falha importante na tecnologia atual: as IAs ainda têm dificuldade em entender documentos longos e complexos que atravessam várias páginas.

O PubTables-v2 é a ferramenta que vai forçar os pesquisadores a criarem IAs mais inteligentes, capazes de ler um documento inteiro do início ao fim, entendendo que uma tabela pode ser uma história longa que precisa ser contada em várias páginas, e não apenas pedaços soltos.

Em suma: Eles construíram o maior "campo de treinamento" do mundo para tabelas, descobriram que os robôs ainda são um pouco "desastrados" com documentos grandes, e mostraram um truque simples (o detetive de continuidade) que ajuda muito a consertar esse problema. Agora, a comunidade científica tem os dados e os códigos para continuar melhorando essa tecnologia.

Resumo Técnico: PubTables-v2

1. O Problema

A extração de tabelas (Table Extraction - TE) é um desafio fundamental na compreensão de documentos visuais (VDU). Tradicionalmente, os métodos operam em duas etapas: detecção da tabela na página e, subsequentemente, reconhecimento da sua estrutura (TSR) em imagens recortadas (cropped).
No entanto, essa abordagem apresenta limitações:

Perda de Contexto: Processar tabelas isoladamente ignora o contexto da página inteira, como cabeçalhos, rodapés e a relação hierárquica entre elementos.
Falta de Benchmarks de Nível de Documento: Não existem grandes conjuntos de dados anotados para extração de tabelas em páginas completas ou documentos inteiros.
Desafio de Tabelas Multipágina: A extração de tabelas que se estendem por múltiplas páginas é uma área de pesquisa negligenciada devido à ausência de dados anotados em larga escala.
Vazamento de Dados: Conjuntos de dados anteriores, como PubTables-1M, não mantêm divisões de treino/teste consistentes quando combinados com dados de layout (como PubLayNet), criando vazamento de dados.

2. Metodologia e o Conjunto de Dados PubTables-v2

Os autores introduzem o PubTables-v2, um novo conjunto de dados de grande escala e controle de qualidade, derivado de mais de um milhão de artigos científicos do PubMed publicados após 2021.

Estrutura do Dataset:
O dataset é organizado em três coleções principais para abordar diferentes níveis de contexto:

Tabelas Recortadas (Cropped Tables): Focada em tabelas longas (≥30 linhas) e largas (≥12 colunas), totalizando 135.578 amostras. Mantém o formato tradicional de TSR.
Páginas Únicas (Single Pages): Contém 467.541 páginas com 548.414 tabelas anotadas em seu contexto completo. Inclui caixas delimitadoras (bounding boxes) para tabelas, legendas (captions) e rodapés (footers), além de relações hierárquicas entre eles.
Documentos Completos (Full Documents): O primeiro grande dataset para extração de nível de documento. Contém 9.172 documentos e 9.492 tabelas multipágina (algumas estendendo-se por até 13 páginas).

Controle de Qualidade:

Utiliza alinhamento de sequência entre anotações XML/HTML dos autores e o texto extraído do PDF.
Critérios rigorosos de distância de edição normalizada ( $\alpha = 0.02$ e $\beta = 0.2$ ) para descartar anotações de baixa qualidade.
Se qualquer tabela em um documento falhar no controle de qualidade, todo o documento é descartado, garantindo que não haja tabelas faltando nas anotações de página completa.

Modelos e Métricas:

Modelos Avaliados: O estudo avalia vários Modelos de Linguagem e Visão (VLMs) especializados e menores (ex: SmolDocling, GraniteDocling, Qwen2.5-VL, DeepSeek-OCR, dots.ocr) e adapta o modelo TATR (Table Transformer) para tarefas de página completa, criando o POTATR (Page-Object Table Transformer).
Métricas: Propõem generalizações das métricas padrão GriTS (Grid Table Similarity) e TEDS (Tree-Edit-Distance Similarity) para lidar com conjuntos de tabelas (múltiplas previsões vs. múltiplas ground truths) em uma única entrada, utilizando o algoritmo húngaro para emparelhamento ótimo.

3. Contribuições Principais

Primeiro Benchmark de Extração de Nível de Documento: Estabelece métricas e benchmarks para TE em nível de documento, não apenas em tabelas recortadas.
Dataset de Tabelas Multipágina: Introduz o maior conjunto de dados existente para reconhecimento de estrutura de tabelas que atravessam múltiplas páginas (9.492 instâncias).
Relações Hierárquicas: É o primeiro dataset em larga escala que conecta tabelas às suas legendas e rodapés com anotações de relações hierárquicas.
Abordagem de Continuação de Tabela: Desenvolveu uma tarefa de classificação binária para prever se uma tabela na última página de um par de páginas continua na próxima.
Liberação de Recursos: Disponibilização pública de dados, código e modelos.

4. Resultados Experimentais

Desempenho em Tabelas Recortadas: O modelo dots.ocr (VLM) obteve o melhor desempenho entre os VLMs (GriTSCon de 0.801). O modelo TATR-v1.2-Pub (fine-tuned) com OCR docTR atingiu 0.929, e com extração direta de texto (DT) atingiu 0.980, mostrando que o fine-tuning em grandes volumes de dados melhora significativamente o reconhecimento de tabelas longas/largas.
Desempenho em Páginas Completas: dots.ocr novamente liderou entre os VLMs (GriTSCon de 0.899), mas ainda houve uma lacuna significativa em relação ao desempenho obtido com extração direta de texto.
Desempenho em Documentos Completos: A tarefa é extremamente desafiadora. O melhor VLM (Qwen2.5-VL-3b) processando o documento inteiro teve desempenho muito baixo (GriTSCon de 0.047), devido a limitações de janela de contexto e falhas na geração de texto (loops infinitos). Processando página por página, o dots.ocr alcançou 0.5768.
Classificação de Continuação (Cross-Page): Modelos de classificação de imagem (ViT-B-16) treinados para prever se uma tabela continua na próxima página alcançaram desempenho quase perfeito (Recall de 0.995, Precisão de 0.987).
Impacto da Fusão: Ao usar o classificador ViT para fundir (merger) tabelas detectadas em páginas consecutivas, o desempenho do dots.ocr em documentos completos melhorou significativamente, elevando o GriTSCon de 0.5768 para 0.6844.

5. Significado e Conclusão

O PubTables-v2 preenche uma lacuna crítica na pesquisa de extração de documentos, fornecendo o primeiro benchmark robusto para tabelas em contexto de página completa e multipágina.

Os resultados destacam que:

A reconhecimento de tabelas multipágina é uma lacuna fundamental nas capacidades atuais dos modelos VLMs.
Processar documentos inteiros de uma vez ainda é problemático devido a limitações de contexto e alucinações dos modelos.
Uma abordagem híbrida, onde um modelo de classificação simples prevê a continuidade de tabelas entre páginas para orientar a fusão de saídas de modelos de extração, é uma estratégia eficaz e promissora para superar essas limitações.

Este trabalho estabelece uma nova base para o desenvolvimento de sistemas de extração de documentos end-to-end, permitindo que a comunidade avance além da simples detecção de tabelas isoladas para a compreensão estrutural de documentos complexos.