Resumo Técnico: TABVERSE

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) e os Modelos de Linguagem-Visão (VLMs) estejam sendo cada vez mais avaliados em tarefas de raciocínio sobre tabelas, o papel específico da representação de tabelas permanece subexplorado. Em cenários do mundo real, o conteúdo idêntico de uma tabela pode aparecer em diversos formatos estruturais (ex: HTML, Markdown, LaTeX) ou como imagens renderizadas. Os benchmarks existentes frequentemente permitem que o conteúdo da tabela, o formato, o layout e a modalidade variem simultaneamente, tornando difícil isolar os efeitos da representação propriamente dita. Consequentemente, não está claro se as diferenças de desempenho decorrem da capacidade de raciocínio do modelo ou de sua sensibilidade a formatos de serialização e modalidades de entrada específicos.

Metodologia

Os autores introduzem o TABVERSE, um benchmark multimodal controlado projetado para desvincular os efeitos de representação da variação de conteúdo.

Construção do Dataset

O TABVERSE é construído a partir de divisões de avaliação preservadas de cinco datasets estabelecidos de TableQA: FEVEROUS, HYBRIDQA, TABFACT, SQA e WikiTableQuestions.

• Alinhamento: O benchmark alinha o conteúdo idêntico de tabelas através de três formatos de texto estruturado (HTML, LaTeX, Markdown) e suas imagens renderizadas correspondentes.
• Normalização: Utilitários de conversão foram adaptados para lidar com artefatos de datasets (ex: valores ausentes, caracteres especiais) e garantir a consistência na ordenação de linhas/colunas. As imagens renderizadas foram geradas sob layouts padronizados (tamanho de fonte, preenchimento, largura) para garantir o alinhamento visual entre os formatos.
• Etiquetagem: Cada pergunta é etiquetada com uma categoria (Busca Simples, Busca Condicional, Busca de Múltiplos Itens, Agregação/Aritmética, Comparação/Extremo, Verificação Binária de Passo Único/Multi-passo) e um rótulo de dificuldade (Fácil/Difícil). A dificuldade é estimada via desempenho de QA zero-shot em imagens renderizadas.
• Conjunto de Avaliação: Um conjunto equilibrado de 700 pares pergunta-tabela cobrindo 629 tabelas únicas foi selecionado, garantindo a distribuição igual entre níveis de dificuldade e categorias de perguntas.

Tarefas

O TABVERSE avalia modelos em três tarefas complementares:

1. Question Answering (QA): Predição de uma resposta dado uma pergunta e uma tabela em forma de texto estruturado ou imagem renderizada.
2. Capacidade de Compreensão Estrutural (SUC): Sondagem da compreensão de estrutura através de detecção de limites, estimativa de tamanho, busca de coordenadas e recuperação baseada em índices (linha/coluna).
3. Reconstrução de Estrutura (SR): Reconstrução de uma tabela a partir de uma imagem renderizada para um formato de texto alvo (HTML, Markdown ou LaTeX).

Configuração Experimental

O estudo avalia uma gama diversificada de LLMs e VLMs (incluindo modelos de propósito geral e especializados em tabelas como Qwen, InternVL, Gemma, LLaVA e modelos proprietários como GPT-5.2 e Gemini-3) usando três pipelines:

• VLM-Imagem: Os modelos recebem imagens de tabelas renderizadas.
• VLM-Texto: Os modelos recebem representações de texto estruturado (isolando efeitos de modalidade dentro de VLMs).
• LLM-Texto: Modelos apenas de texto recebem texto estruturado.

As métricas de avaliação incluem precisão de Correspondência Exata (EM) para QA e SUC, e GriTS (Grid Table Similarity) para SR, juntamente com medidas de usabilidade sintática (ex: sucesso de compilação de LaTeX).

Principais Contribuições

1. Framework de Avaliação Controlada: O artigo formula a compreensão de tabelas cross-formato e cross-modalidade como um problema controlado onde o conteúdo da tabela é fixo enquanto o formato estrutural e a modalidade de entrada variam.
2. Benchmark TABVERSE: A introdução de um benchmark multimodal alinhado apresentando representações HTML, LaTeX e Markdown, imagens correspondentes renderizadas e um conjunto de avaliação equilibrado de 700 amostras com tags de categoria e dificuldade.
3. Benchmarking Abrangente: Os autores avaliam LLMs e VLMs através de entradas de texto e imagem correspondentes, revelando como as escolhas de formato e modalidade alteram o comportamento do modelo. Eles analisam especificamente como os erros de SR se separam em qualidade de reconstrução e usabilidade de saída.

Resultados

Question Answering (QA)

• Impacto da Representação: O texto estruturado frequentemente supera as imagens renderizadas, mas a magnitude dessa lacuna depende do modelo e da tarefa. Por exemplo, o Gemma-3 beneficia-se significamente de entradas de texto, enquanto o SmolVLM2 e o InternVL3.5 apresentam desempenho similar ou superior em imagens.
• Sensibilidade ao Formato: Nos pipelines de texto, o formato simbólico importa significamente (com o HTML sendo frequentemente o mais robusto), enquanto o desempenho de imagem renderizada é geralmente consistente entre as fontes HTML, LaTeX e Markdown.
• Dificuldade da Tarefa: Perguntas de verificação são geralmente mais fáceis, enquanto tarefas de busca de múltiplos itens e agregação permanecem desafiadoras. O desempenho cai substancialmente de perguntas Fáceis para Difíceis.

Capacidade de Compreensão Estrutural (SUC)

• Modalidade e Formato: A SUC é geralmente mais forte com texto estruturado do que com imagens renderizadas, particularmente para tarefas envolvendo limites de linha e manipulação de cabeçalhos. No entanto, a entrada de texto não resolve totalmente os gargalos; recuperação de linha e busca de célula continuam sendo difíceis em todos os pipelines.
• Convenções de Indexação: Modelos são altamente sensíveis a convenções de indexação. Prompts explícitos esclarecendo a exclusão de cabeçalhos e indexação baseada em zero melhoram significamente o desempenho na detecção da primeira célula e particionamento de tabela, sugerindo que muitos erros decorrem de modelos tratando o cabeçalho como a primeira linha de dados.
• Recuperação Parcial: Métricas de Precisão de Campo revelam que baixos scores de Correspondência Exata refletem frequentemente localização incompleta ou deslocada, em vez de falha total em entender a estrutura.

Reconstrução de Estrutura (SR)

• Topologia vs. Conteúdo: Modelos recuperam a topologia da tabela (layout) de forma mais confiável do que o texto exato das células. Scores de GriTS-Topology são consistentemente mais altos que os scores de GriTS-Content.
• Desafios de Usabilidade: Altos scores de reconstrução não garantem usabilidade sintática. Embora as saídas HTML e Markdown sejam frequentemente válidas, a reconstrução de LaTeX permanece um gargalo significativo, com muitos modelos produzindo código não compilável mesmo quando a estrutura está parcialmente correta.
• Conversão de Formato: A conversão entre formatos (ex: Imagem para LaTeX) introduz pouca dificuldade adicional em comparação com a reconstrução do mesmo formato para modelos fortes, sugerindo que os erros surgem primariamente da compreensão da tabela e da geração do formato alvo, e não do processo de conversão em si.

Significância e Alegações

O artigo afirma que a representação de tabelas é um fator chave para uma avaliação de tabelas confiável. Os achados demonstram que:

• O escalonamento sozinho não garante uma melhor compreensão de tabelas; o comportamento do modelo varia significamente com base na modalidade de entrada e no formato de serialização.
• O HTML é frequentemente o formato de texto mais robusto para pipelines de entrada de texto, enquanto a reconstrução de LaTeX permanece um desafio persistente devido às restrições sintáticas.
• Tarefas sensíveis a linhas e a geração de LaTeX usável sintaticamente são pontos de falha atuais até mesmo para modelos de última geração.

Os autores concluem que trabalhos futuros devem estender o TABVERSE para configurações mais realistas (ex: PDFs ruidosos, documentos com múltiplas tabelas) e explorar métodos para melhorar a consistência entre formatos e a decodificação consciente da representação. O benchmark destina-se a apoiar a avaliação transparente e reproduzível de LLMs e VLMs em pesquisa acadêmica.