Thinking with Tables: Enhancing Multi-Modal Tabular Understanding via Neuro-Symbolic Reasoning

1. Problema e Contexto

O artigo aborda a tarefa de Compreensão Multi-Modais de Visão e Tabelas (TVMU - Tabular-Vision Multi-Modal Understanding). Embora os Modelos de Linguagem Grandes Multimodais (MLLMs) tenham avançado significativamente no processamento de texto e imagens, a compreensão de dados tabulares (uma modalidade crítica em finanças, saúde e manufatura) permanece subexplorada e desafiadora.

O trabalho identifica três desafios centrais que limitam o desempenho atual dos MLLMs em tarefas TVMU:

1. Variabilidade Estrutural e Incompletude de Dados: Tabelas do mundo real variam enormemente (linhas mescladas, colunas mescladas, tabelas de três linhas) e frequentemente sofrem de dados faltantes ou reconhecimento incorreto devido a baixa resolução ou oclusão em documentos escaneados.
2. Dependências de Recursos Implícitas e Complexas: Os modelos atuais têm dificuldade em identificar e modelar as inter-relações complexas entre diferentes características (features) e o alvo de previsão, muitas vezes ignorando como atributos individuais contribuem para o resultado final.
3. Heterogeneidade Significativa de Tarefas: Existem pipelines de resolução de problemas drasticamente diferentes entre tarefas de Perguntas e Respostas (QA) sobre tabelas (que exigem integração de texto, imagem e lógica) e tarefas de Previsão (que exigem modelagem estatística e engenharia de recursos). Não existe um framework unificado que lide bem com ambas.

2. Metodologia: Thinking with Tables (TWT)

Os autores propõem o TWT, um framework de raciocínio neuro-simbólico auxiliado por programas. A ideia central é tratar a compreensão de tabelas não como uma inferência direta do modelo, mas como um processo de raciocínio interativo dentro de um ambiente externo (sandbox).

Arquitetura e Mecanismo

• Raciocínio Neuro-Simbólico Baseado em Código: O modelo gera código Python para interagir com um ambiente de execução controlado (sandbox). Isso permite a extração dinâmica de informações, modelagem de elementos e execução de cálculos precisos, superando as limitações de cálculo e lógica dos LLMs puros.
• Protocolo de Interação: O modelo opera seguindo um protocolo estrito com quatro componentes:
  1. <analy>: Processo de raciocínio explícito.
  2. <code>: Código executável no sandbox.
  3. <code_results>: Retorno do sandbox (sucesso, erro ou dados processados).
  4. <answer>: Resposta final.

Estratégia de Treinamento em Duas Etapas

Para superar os desafios de heterogeneidade e robustez, o TWT utiliza uma estratégia de treinamento híbrida:

1. Ajuste Fino Supervisionado Orientado a Tarefas (TO-SFT):

   • Objetivo: Ensinar o modelo os pipelines de solução para diferentes tipos de tarefas (QA e Previsão) e como interagir com o ambiente.
   • Síntese de Dados: Como os datasets existentes carecem de trajetórias de raciocínio, os autores criaram um pipeline de síntese de dados usando um MLLM mais capaz (Qwen3-VL-Plus) e um LLM para gerar trajetórias de raciocínio verificáveis (código + resposta) a partir de dados brutos.
   • Máscara de Perda: Durante o treino, as saídas do código são mascaradas para forçar o modelo a aprender a gerar o código e o raciocínio, não apenas memorizar o resultado.

2. Aprendizado por Reforço com Escala de Perda Adaptativa (AL-GRPO):

   • Objetivo: Refinar a capacidade de raciocínio, melhorar a estabilidade do código gerado e otimizar a precisão da resposta final.
   • Mecanismo: Utiliza o GRPO (Group Relative Policy Optimization) adaptado. A função de recompensa foca na correção da resposta final.
   • Escala de Perda Adaptativa: Para evitar recompensas esparsas e instabilidade, apenas os segmentos de código que terminam com sucesso no sandbox são incluídos no cálculo da perda de reforço. Isso incentiva o modelo a gerar código executável e estável sem penalizar excessivamente tentativas complexas que falham.

3. Principais Contribuições

1. Formulação e Análise do Problema TVMU: Uma análise sistemática que define formalmente a tarefa e destaca os três desafios críticos (estrutura, dependências e heterogeneidade).
2. Novo Mecanismo Neuro-Simbólico: Introdução do framework TWT, que permite a modelagem robusta de informações tabulares complexas através de um mecanismo de raciocínio interativo baseado em código.
3. Desempenho Empírico Superior: Validação extensiva mostrando que o TWT supera consistentemente os baselines (incluindo modelos de código aberto e proprietários) em tarefas de QA e previsão.

4. Resultados Experimentais

O TWT foi avaliado em 8 datasets representativos, cobrindo QA multimodal (WikiTQ, TabMWP, FinQA, TAT-QA) e previsão multimodal (Adoption, SkinCA, Pawpularity, Paintings).

• Desempenho Geral: O TWT superou os baselines existentes em uma média de 10% em precisão.
• Comparação com SOTA: O modelo alcançou desempenho comparável ou superior a modelos proprietários de ponta (como GPT-5.1 e Qwen3-VL-Plus) em tarefas de TVMU.
• Robustez:
  • Em tarefas de QA, o TWT demonstrou capacidade superior de lidar com estruturas de tabelas variadas e dados incompletos, onde modelos baseados apenas em visão falhavam.
  • Em tarefas de previsão, a capacidade de executar código para modelar dependências de recursos e integrar dados de imagem (via modelos pré-treinados como ResNet50) resultou em erros (nRMSE) significativamente menores.
• Ablação: Estudos mostraram que tanto o TO-SFT quanto o AL-GRPO são complementares e essenciais; o primeiro estabelece a capacidade de interação, e o segundo refina a lógica e a execução.

5. Significado e Impacto

O trabalho é significativo por várias razões:

• Ponte entre Simbólico e Subsimbólico: Demonstra como integrar a flexibilidade dos MLLMs com a precisão e confiabilidade do raciocínio simbólico (código) para resolver problemas complexos de dados estruturados.
• Unificação de Tarefas: Oferece um framework unificado capaz de lidar tanto com perguntas complexas sobre tabelas quanto com tarefas de previsão estatística, algo que métodos anteriores tratavam separadamente.
• Aplicabilidade Real: Ao lidar com tabelas incompletas e mal formatadas (comuns em documentos reais), o TWT avança a viabilidade de IA em cenários do mundo real como análise financeira e diagnósticos médicos, onde a precisão e a interpretabilidade são cruciais.
• Reprodutibilidade: O código e os modelos estão disponíveis publicamente, fomentando pesquisas futuras em compreensão tabular multimodal.

Em resumo, o "Thinking with Tables" representa um avanço fundamental ao transformar a compreensão de tabelas de uma tarefa de "leitura e adivinhação" para um processo de "planejamento, execução e verificação" assistido por código, elevando o padrão de raciocínio em dados tabulares multimodais.