💬 NLP

PulseBench-Tab: A Multilingual Benchmark for Table Extraction with Graph-Based Evaluation

Este artigo apresenta o PulseBench-Tab, um benchmark multilíngue composto por 1.820 tabelas anotadas por humanos em nove idiomas e quatro sistemas de escrita, juntamente com uma nova métrica de avaliação baseada em grafos chamada T-LAG, para avaliar o desempenho de vários sistemas de extração de tabelas em imagens de documentos complexos do mundo real.

Autores originais: Ritvik Pandey, Sid Manchkanti, Mohammed Wazir Adain, Mohammed Hadi, Dushyanth Sekhar

Publicado 2026-06-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ritvik Pandey, Sid Manchkanti, Mohammed Wazir Adain, Mohammed Hadi, Dushyanth Sekhar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva de documentos — relatórios financeiros, formulários governamentais e divulgações corporativas — impressos em nove idiomas diferentes. Dentro desses documentos existem milhares de tabelas, como planilias, repletas de números e texto. O objetivo deste artigo é ver o quão bem os computadores conseguem "ler" essas tabelas, copiá-las perfeitamente e entender onde cada pedaço de informação pertence.

Aqui está a divisão do PulseBench-Tab e do T-LAG, explicada de forma simples.

1. O Problema: Por que Tabelas são Complicadas

Ler uma tabela não é apenas reconhecer letras (como ler um livro). É sobre entender a geometria.

A Analogia: Imagine que uma tabela é um quebra-cabeça. Se você pegar uma peça com o número "100" e colocá-la no lugar errado, a imagem é arruinada. Em um sistema de computador, se um número acaba na célula errada, não é apenas um erro de digitação; é um desastre que quebra quaisquer cálculos feitos posteriormente.
A Lacuna: Testes anteriores focavam majoritariamente em tabelas em inglês ou tratavam tabelas como longas listas de palavras (achatando-as), o que perde a estrutura 2D (linhas e colunas). Eles também não testaram o suficiente idiomas que escrevem da direita para a esquerda (como o árabe) ou que usam caracteres complexos (como chinês ou japonês).

2. A Solução: Uma Nova "Academia de Tabelas" (O Conjunto de Dados)

Os autores construíram um enorme campo de treinamento chamado PulseBench-Tab.

O Tamanho: Contém 1.820 tabelas do mundo real.
A Variedade: Estas tabelas vêm de 380 documentos diferentes em 9 idiomas (Inglês, Chinês, Árabe, Russo, etc.) e utilizam 4 sistemas de escrita diferentes.
A Dificuldade: Algumas tabelas são minúsculas (apenas 2 células), enquanto outras são monstros com mais de 1.000 células. Cerca de metade delas possui células "mescladas" (onde uma célula grande cobre o espaço de duas ou três menores), o que é como uma peça de quebra-cabeça que cobre vários pontos no tabuleiro.
O Padrão de Ouro: Cada uma das tabelas foi verificada por especialistas humanos que falavam o idioma específico para garantir que a "chave de resposta" estivesse 100% correta.

3. A Nova Régua: T-LAG (A Métrica de Grafo)

Para graduar os computadores, os autores inventaram um novo sistema de pontuação chamado T-LAG.

O Jeito Antigo: Métodos anteriores frequentemente verificavam se o computador acertava as palavras, mas não se importavam o suficiente se essas palavras estavam com os seus vizinhos corretos. Era como dar nota a um aluno em um teste de ortografia, mas ignorar se ele colocou as palavras nas frases certas.
O Novo Jeito (T-LAG): Imagine a tabela como um mapa de cidades conectadas por estradas.
- Nós (Cidades): As células individuais.
- Arestas (Estradas): As conexões entre as células (ex: "A Célula A está à direita da Célula B" ou "A Célula C está abaixo da Célula D").
Como Pontua: O T-LAG observa as "estradas". Ele pergunta: "O computador construiu o mesmo mapa de estradas que o original?"
- Se o computador acerta o texto, mas o coloca na coluna errada, a "estrada" é quebrada e a pontuação cai.
- Utiliza um truque matemático especial (o Algoritmo Húngaro) para encontrar a melhor correspondência possível entre a tabela real e a tabela do computador, garantindo que ele não apenas chute aleatoriamente.
- O Controle de "Rigor": Os autores configuraram a pontuação para ser muito rigorosa (uma configuração "k=7"). No mundo real, se um relatório financeiro diz "$1 milhão" em vez de "$10 milhões", é uma falha, não uma tentativa "próxima o suficiente". Esta métrica trata pequenos erros como grandes falhas para refletir as necessidades do mundo real.

4. A Corrida: Quem Venceu?

Os autores testaram 9 sistemas de computador diferentes (incluindo APIs de grandes empresas de tecnologia, ferramentas de código aberto e o próprio sistema deles) neste conjunto de dados.

O Vencedor: O Pulse Ultra 2 (o próprio sistema dos autores) ficou em primeiro lugar com uma pontuação de 93,5%. Foi o único a obter uma pontuação "perfeita" em mais da metade das tabelas.
O Segundo Lugar: O Gemini 3.1 ficou em segundo lugar com 81,6%.
A Lacuna: Houve uma queda enorme após os dois primeiros. O terço inferior dos sistemas pontuou abaixo de 72%, o que significa que tiveram dificuldades significativas.
O Maior Desafio: Escritas não latinas (como Árabe, Coreano e Chinês) foram as mais difíceis para todos.
- Analogia: Pense nisso como um corredor que é ótimo em uma estrada plana e pavimentada (Inglês), mas tropeça em cada pedra em uma trilha de montanha (Árabe/Coreano). Mesmo os melhores sistemas viram suas pontuações caírem significativamente quando o idioma mudava.
As "Falhas Silenciosas": Alguns sistemas não apenas deram respostas ruins; eles não deram resposta alguma para cerca de 20% das tabelas. Em um negócio real, isso é como um robô que simplesmente para de funcionar quando encontra um documento difícil.

5. A Conclusão

O artigo conclui que, embora os computadores estejam ficando melhores na leitura de tabelas, ainda existe uma enorme lacuna entre os melhores sistemas e o restante do campo, especialmente ao lidar com layouts complexos ou idiomas que não sejam o inglês.

Eles disponibilizaram o conjunto de dados, o código de pontuação e os resultados para o público. Isso é como abrir as portas da academia para todos, para que os pesquisadores possam ver exatamente onde as máquinas estão falhando e tentar consertá-las, em vez de apenas adivinhar.

Em resumo: Eles construíram um percurso de obstáculos multilingue e complexo para a IA de leitura de tabelas, inventaram uma nova régua para medir o quão bem a IA navegou por ele e descobriram que, embora um sistema esteja atualmente liderando o grupo, a maioria dos outros ainda está lutando para manter o equilíbrio em terrenos complexos e não ingleses.

Resumo Técnico: PulseBench-Tab e T-LAG

1. Declaração do Problema

A extração de tabelas de imagens de documentos é uma tarefa fundamental na inteligência de documentos, sendo crítica para análise financeira, conformidade regulatória e processamento de dados empresariais. No entanto, os benchmarks e métricas de avaliação existentes sofrem de limitações significativas:

Conflito entre Estrutura e Formatação: Métricas como o TEDS operam em árvores DOM HTML, confundindo convenções de formatação (ex: wrappers <thead\>) com erros estruturais.
Perda de Topologia 2D: Abordagens de alinhamento de sequências (ex: Needleman-Wunsch) achatam tabelas em sequências 1D, perdendo a distinção entre adjacência horizontal e vertical.
Viés Linguístico: A maioria dos benchmarks foca primordialmente no inglês, deixando o desempenho em scripts não latinos (árabe, cirílico) e línguas CJK (chinês, japonês, coreano) amplamente não mensurado.
Sensibilidade Semântica: Em aplicações de downstream, um número em uma célula errada é uma falha semântica, não meramente um erro de OCR. As métricas atuais frequentemente falham em penalizar erros posicionais de forma suficiente.

2. Metodologia

2.1 Conjunto de Dados PulseBench-Tab

Os autores introduzem o PulseBench-Tab, um benchmark multilíngue aberto projetado para abordar essas lacunas.

Escala e Escopo: O conjunto de dados contém 1.820 imagens de tabelas anotadas por humanos extraídas de 380 documentos de origem únicos (arquivos financeiros, relatórios governamentais, divulgações regulatórias).
Diversidade Linguística: Abrange 9 idiomas em 4 scripts (latino, CJK, árabe, cirílico). O inglês compreende 32,6% das amostras, com o restante distribuído entre chinês, espanhol, russo, francês, japonês, árabe, alemão e coreano.
Complexidade: As tabelas variam de 2 a 1.183 células. Notavelmente, 48,1% das tabelas contêm células mescladas ou de extensão (rowspan/colspan), e o conjunto de dados inclui planilhas densas e cabeçalhos de múltiplos níveis.
Verdade Fundamental (Ground Truth): As anotações foram produzidas via um pipeline de múltiplos estágios envolvendo especialistas de domínio nativos, controle de qualidade translinguístico e auditorias adversariais célula a célula contra as imagens de origem. A verdade fundamental é fornecida como HTML totalmente estruturado.

2.2 Métrica de Avaliação T-LAG

Para avaliar a qualidade da extração, os autores propõem o T-LAG (Table Logical Adjacency Graph), uma nova métrica que modela tabelas como grafos direcionados para capturar tanto a fidelidade estrutural quanto a precisão do conteúdo em um único escore.

Filosofia Central:
Ao contrário de métricas baseadas em nós que verificam o conteúdo da célula independentemente, o T-LAG opera sobre arestas (relações de adjacência). Isso garante que uma célula seja avaliada não apenas pelo seu texto, mas pela sua posição relativa aos seus vizinhos. Uma coluna transposta, por exemplo, resulta em arestas de adjacência diferentes e é, portanto, penalizada.

Pipeline:

Parsing de Grade: Tanto a verdade fundamental quanto o HTML previsto são analisados em uma matriz de grade de posição de célula, preservando atributos de rowspan e colspan.
Extração de Arestas: Arestas direcionadas são emitidas para adjacências DIREITA (RIGHT) e ABAIXO (BELOW) entre células com IDs diferentes. Arestas dentro de células de extensão são suprimidas.
Ponderação (Função $\Psi$ ): Para arestas correspondentes, um peso de similaridade é computado usando um kernel de similaridade de texto.
- Os textos são normalizados (espaços em branco, traços Unicode, marcadores nulos).
- A similaridade é calculada como $1 - \frac{d_{Lev}}{\max(|g|, |p|)}$ , elevada a um expoente $k=7$ .
- Racional para $k=7$ : Este decaimento agressivo garante que um erro próximo de texto (ex: 90% de precisão de caracteres) seja fortemente penalizado ( $\Psi \approx 0,48$ ), refletindo os requisitos empresariais onde um único erro de dígito em um valor financeiro torna os dados inutilizáveis.
Correspondência Ótima: O algoritmo de Hungariano é usado para encontrar a atribuição um-para-um globalmente ótima entre as arestas da verdade fundamental e as previstas, maximizando o peso total correspondido. Isso evita os problemas de alinhamento ganancioso (greedy) de métricas anteriores.
Pontuação: Precisão, Recall e F1 são computados com base nas arestas correspondidas ponderadas.
- Precisão: Penaliza linhas/colunas alucinadas.
- Recall: Penaliza linhas descartadas ou células mescladas ausentes.
- Fallback: Para tabelas de célula única, o escore assume a similaridade direta de texto.

3. Principais Contribuições

Benchmark Multilíngue: Um conjunto de dados de grande escala e alta qualidade cobrindo 9 idiomas e 4 scripts, abordando especificamente a sub-representação de línguas RTL e CJK na pesquisa de extração de tabelas.
Métrica T-LAG: Um método de avaliação baseado em grafos que preserva a topologia estrutural 2D e utiliza correspondência bipartida ótima, distinguindo-se da distância de edição de árvore (TEDS) e métodos de alinhamento de sequência 1D.
Avaliação Abrangente: Um benchmarking rigoroso de 9 sistemas comerciais e de código aberto (incluindo Pulse Ultra 2, Gemini 3.1, LlamaParse, AWS Textract e Azure DI) com liberação pública de todos os outputs e código de pontuação.

4. Resultados

A avaliação de 9 provedores através de 1.820 amostras revela disparidades significativas de desempenho:

Melhor Desempenho: O Pulse Ultra 2 lidera com um escore T-LAG de 0,935, alcançando um escore mediano de 1,0 (extração perfeita) em 57,9% das amostras. Ele supera o segundo sistema classificado em 11,9 pontos percentuais.
Desempenho Geral: Apenas um provedor excede um escore médio de T-LAG de 90%. O terço inferior dos provedores pontua abaixo de 0,72, indicando limitações fundamentais nas capacidades atuais de extração de tabelas multilíngues.
Alucinações Estruturais: Mesmo sistemas de alto desempenho (ex: Gemini 3.1) alcançam extração perfeita em apenas ~28% das tabelas, introduzindo frequentemente linhas fabricadas, conteúdo inventado ou atributos de extensão incorretos.
Variância Linguística:
- Mais Fácil: Francês e Espanhol mostram o maior desempenho entre todos os provedores, provavelmente devido ao compartilhamento de scripts latinos e formatação padrão.
- Mais Difícil: Árabe e Coreano exibem a maior variância entre provedores (espalhamento >75 pontos percentuais).
- Desafios CJK: Provedores com forte desempenho em inglês (ex: AWS Textract com 0,724) caem significativamente em línguas CJK (0,324 em Chinês, 0,254 em Coreano), destacando fraquezas de OCR.
Cobertura: Alguns sistemas "Agênticos" falharam em produzir output para ~20% das amostras, um fator crítico para confiabilidade em produção.

5. Significância e Alegações

O artigo posiciona o PulseBench-Tab e o T-LAG como ferramentas essenciais para o avanço do campo da inteligência de documentos:

Avaliação Realista: Ao impor penalidades estritas para erros posicionais e estruturais (via o expoente $k=7$ e correspondência baseada em arestas), a métrica reflete a realidade operacional do processamento de dados empresariais, onde a extração aproximada é funcionalmente equivalente à falha.
Reprodutibilidade: Os autores enfatizam que o conjunto de dados completo, o código de pontuação e todos os outputs dos provedores estão disponíveis publicamente para apoiar a avaliação reprodutível.
Direção Futura: Os resultados destacam que scripts não latinos continuam sendo um grande desafio não resolvido. Os autores observam que, embora o benchmark seja grande, o escalonamento adicional é necessário para línguas menores (ex: Coreano, Alemão) para estreitar os intervalos de confiança.
Limitações: Os autores reconhecem modestamente as limitações atuais, incluindo a suposição de uma única tabela por imagem e tabelas de página única, observando que layouts de múltiplas tabelas e tabelas de múltiplas páginas ainda não foram avaliados.

Em conclusão, o artigo argumenta que os sistemas atuais de extração de tabelas ainda não são robustos o suficiente para aplicações empresariais de alto risco sem verificação adicional, particularmente em cenários multilíngues e estruturalmente complexos. O PulseBench-Tab fornece a infraestrutura necessária para medir o progresso em direção a esse objetivo.