TabularMath: Understanding Math Reasoning over Tables with Large Language Models

1. O Problema

O raciocínio matemático tem sido um dos principais benchmarks para avaliar Grandes Modelos de Linguagem (LLMs). Embora haja progresso significativo em problemas de texto puro (Word Problems), a capacidade de raciocinar sobre dados tabulares em cenários do mundo real foi negligenciada.

• Desafios Reais: Aplicações como inteligência de negócios e finanças exigem não apenas raciocínio numérico multi-etapa, mas também robustez diante de informações incompletas ou inconsistentes.
• Limitações Atuais: Os benchmarks existentes dependem fortemente de anotação manual, o que limita a escalabilidade e a cobertura de cenários complexos. Além disso, a maioria foca apenas na precisão de problemas perfeitamente construídos, ignorando a robustez do modelo quando confrontado com "armadilhas" (dados faltantes ou contraditórios).

2. Metodologia

Os autores propõem uma abordagem em duas partes principais: um framework de geração de dados e um novo benchmark.

A. Framework AUTOT2T (Automatic Text-to-Table)

Para superar a dependência de anotação manual, foi desenvolvido o AUTOT2T, um pipeline neuro-simbólico que converte problemas matemáticos de texto em tarefas de raciocínio tabular escaláveis e verificadas. O processo ocorre em três etapas:

1. Desacoplamento Semântico: O problema de texto é decomposto usando modelagem de linguagem formal (SMT-Lib) para extrair variáveis, restrições e expressões. Um solver formal (ex: Z3) verifica a satisfabilidade e consistência.
2. Transformação em Tabela: O estado formal é convertido em uma estrutura tabular, mapeando variáveis para colunas. Um LLM gera uma descrição textual borrada e uma "tabela semente" (seed table), que é validada novamente pelo solver formal.
3. Aumento de Tabela (Augmentation): A partir da tabela semente, aplicam-se estratégias de aumento para criar variantes:
   • RowAug/ColAug: Adição de linhas/colunas irrelevantes para aumentar a complexidade de recuperação.
   • OrdShf: Embaralhamento de ordem para dificultar a localização.
   • InfMut (Information Modification): Introdução de erros (dados faltantes ou condições contraditórias) para criar problemas insolúveis.

B. O Benchmark TabularMath

Com base no AUTOT2T, foi construído o TabularMath, contendo 6.782 amostras (texto e imagem) divididas em quatro subconjuntos:

• Easy, Medium, Hard: Problemas com complexidade crescente (número de linhas/colunas), derivados das mesmas questões semente para garantir consistência semântica.
• Imperfect: Um conjunto focado em robustez, contendo problemas com informações faltantes ou contraditórias, onde o modelo deve identificar a falha e se recusar a responder, em vez de alucinar.

3. Contribuições Principais

1. Novo Framework de Geração: O AUTOT2T permite a geração automática, controlável e verificada de grandes volumes de dados tabulares para raciocínio matemático, eliminando o gargalo da anotação manual.
2. Benchmark Abrangente: O TabularMath é o primeiro benchmark a avaliar simultaneamente precisão (em tabelas complexas) e robustez (contra dados imperfeitos), cobrindo tanto formatos de texto quanto de imagem.
3. Análise Multidimensional: O estudo investiga sistematicamente três dimensões críticas: complexidade da tabela, qualidade da tabela e representação da tabela (texto vs. imagem).

4. Resultados e Observações Chave

Os experimentos foram realizados em 18 modelos (LLMs de código aberto, modelos especializados em matemática/tabelas e APIs proprietárias). As descobertas principais foram:

• Impacto da Complexidade: Há uma queda significativa de desempenho ao migrar de texto puro para tabelas. A complexidade da tabela e a dificuldade do raciocínio afetam o desempenho conjuntamente. O principal gargalo é a recuperação de informação: a recuperação pura é muito mais fácil do que o raciocínio acoplado à recuperação (lacuna de desempenho média > 20%).
• Impacto da Qualidade (Robustez): Tabelas de baixa qualidade representam um risco severo. Quando confrontados com dados faltantes ou contraditórios, a maioria dos modelos falha em identificar as falhas e produz respostas enganosas (alucinações), com taxas de erro superiores a 50% em alguns casos. Modelos menores tendem a ser mais "robustos" apenas porque rejeitam a maioria das consultas (recusa grosseira), não por um raciocínio real.
• Representação (Texto vs. Imagem): Tabelas baseadas em texto são geralmente mais fáceis para os modelos raciocinarem do que tabelas em formato de imagem, mesmo para modelos multimodais (MLLMs). Formatos estruturados como JSON e serialização superam o Markdown, especialmente em tabelas complexas, devido à clareza da estrutura chave-valor.
• Treinamento: O uso de dados gerados pelo AUTOT2T para fine-tuning resultou em melhorias consistentes (cerca de 15% em média no TabularMath e 4% em outros benchmarks), demonstrando a eficácia da geração de dados controlada.

5. Significado e Conclusão

O trabalho TabularMath representa um passo exploratório crucial para o raciocínio multimodal sobre dados estruturados. Ele revela que, embora os LLMs tenham avançado em raciocínio lógico, eles ainda lutam para integrar a recuperação de informações em tabelas complexas com a execução de raciocínio matemático, especialmente quando os dados não são perfeitos.

A descoberta de que a recuperação de dados é um gargalo maior do que o próprio raciocínio sugere que futuras pesquisas devem focar em melhorar a capacidade dos modelos de localizar e validar informações em grandes volumes de dados estruturados antes de tentar resolver o problema. O framework AUTOT2T oferece uma base escalável para desenvolver e testar essas capacidades, promovendo o desenvolvimento de sistemas de IA mais robustos e seguros para aplicações financeiras e de negócios.