Resumo Técnico: Raciocínio por Código Comentado para Resposta a Perguntas em Tabelas

Definição do Problema

O Questionamento de Tabelas (TableQA) apresenta um desafio significativo para Grandes Modelos de Linguagem (LLMs) devido ao descompasso fundamental entre o processamento linear de tokens de modelos autorregressivos e a estrutura bidimensional de dados tabulares. Embora os LLMs se destaquem na compreensão de linguagem natural, eles têm dificuldade com o raciocínio de dados estruturados. As abordagens existentes enfrentam limitações específicas:

• Text-to-SQL: Frequentemente assume tipos de dados de colunas homogêneos, falhando quando tabelas do mundo real contêm dados mistos (ex: números com símbolos ou anotações).
• Modelos End-to-End: Dependem da geração implícita de tokens para aritmética, levando a imprecisões numéricas. Eles também sofrem com problemas de escalabilidade e o fenômeno "lost-in-the-middle" à medida que o tamanho da tabela aumenta.
• Métodos Baseados em Programas (Linha Única): Embora ofereçam maior confiabilidade numérica via execução de código, métodos anteriores (ex: Repanda) frequentemente comprimem o raciocínio em expressões de linha única sem comentários. Essa falta de etapas intermediárias explícitas prejudica a interpretabilidade e a análise de erros.

Metodologia

O artigo propõe um framework de geração de código comentado e passo a passo que fundamenta o raciocínio de TableQA diretamente em código Python (Pandas) executável. A inovação central é a integração de comentários de raciocínio em linguagem natural explícitos dentro do próprio processo de geração de código.

1. Instrução Estruturada e Saída

O modelo é instruído a gerar uma única função Python onde cada operação principal do Pandas é precedida por um comentário de raciocínio estruturado. O formato de saída é estritamente padronizado:

• # PLAN: Um resumo de alto nível obrigatório da estratégia.
• Etapas Intermediárias: Comentários opcionais, mas necessários (ex: # FILTER, # PARSING, # AGGREGATE) que explicam a transformação específica do dataframe que está sendo realizada.
• # ANSWER: Um comentário resumindo o resultado final antes da instrução de retorno (return).
• Restrições de Robustez: As instruções guiam explicitamente o modelo para lidar com dados ruidosos (ex: converter números formatados como string usando pd.to_numeric(..., errors='coerce'), analisar datas flexíveis e ignorar linhas de resumo como "Total", a menos que sejam necessárias).

2. Construção de Dados de Treinamento

Como o conjunto de dados WikiTableQuestions (WikiTQ) carece de traços de raciocínio intermediários, os autores construíram um conjunto de dados de treinamento usando um pipeline de autoaperfeiçoamento:

• Geração: Um modelo poderoso (Qwen2.5-Coder-32B-Instruct) gera soluções de Pandas comentadas para pares de tabela-pergunta.
• Refinamento Guiado por Erro: Se o código gerado falhar na execução ou produzir uma resposta incorreta, o modelo é provocado com o erro, a resposta correta (golden answer) e a entrada original para regenerar uma solução corrigida.
• Filtragem: Soluções que apenas memorizam a resposta correta sem lógica de código válida são excluídas.

3. Mecanismo de Seleção de Resposta

Para aproveitar as forças complementares da execução baseada em código e do raciocínio end-to-end, os autores introduzem um Seletor de Respostas leve.

• Para uma determinada tabela e pergunta, dois candidatos são gerados: um do método proposto baseado em código e outro de um modelo end-to-end (Table-R1).
• Um pequeno modelo seletor (ex: Qwen3-4B) é treinado para escolher o candidato correto baseando-se apenas na tabela de entrada e na pergunta, sem gerar novas respostas.

Principais Contribuições

1. Framework de Raciocínio Comentado: Uma abordagem inovadora que alinha o raciocínio tabular passo a passo com código Pandas executável, tornando o processo de raciocínio interpretável e confiável.
2. Design de Instrução Estruturada: Um formato de saída unificado que impõe planejamento explícito, seguimento de instruções e tratamento de dados robusto dentro de um cenário de geração de programa de passagem única.
3. Integração Híbrida: Uma demonstração de que fundamentar o raciocínio em código executável melhora a confiabilidade numérica e pode ser efetivamente combinado com modelos end-to-end via um seletor de respostas para atingir o estado da arte em desempenho.

Resultados Experimentais

O framework foi avaliado no benchmark WikiTableQuestions (WikiTQ) usando a precisão de Correspondência Difusa (Fuzzy Match - FM) como métrica primária.

• Desempenho Base: O método proposto usando Qwen2.5-Coder-7B-Instruct alcançou 70,9% de precisão, superando o baseline Repanda (67,6%), que utiliza um modelo de escala semelhante, mas carece de comentários de raciocínio explícitos.
• Escalabilidade: O desempenho melhorou com o tamanho do modelo, com o Qwen2.5-Coder-14B-Instruct atingindo 72,1%.
• Sistema Combinado: Ao integrar o método baseado em código com o modelo end-to-end Table-R1 (que atinge 81,7% sozinho) via o seletor de respostas, o sistema alcançou uma precisão máxima de 84,3%.
• Análise de Erros: O artigo observa que a abordagem baseada em código se destaca em tarefas de agregação numérica onde modelos end-to-end falham (ex: calcular médias), enquanto modelos end-to-end às vezes têm sucesso onde a geração de código falha devido a células vazias ou instabilidade de raciocínio complexo. O seletor mitiga efetivamente esses modos de falha complementares.

Significância e Alegações

O artigo afirma que fundamentar o raciocínio de tabelas em código comentado passo a passo fornece uma base escalável para lidar com tarefas numéricas intensivas e formatos de tabela não estruturados.

• Interpretabilidade: Ao contrário de consultas de linha única opacas, o método proposto torna as decisões intermediárias explícitas, facilitando a depuração e a análise de erros.
• Exatidão Numérica: Ao delegar a computação a um mecanismo de execução simbólica (Pandas), o método garante resultados numéricos determinísticos, superando os erros de aproximação da aritmética baseada em tokens.
• Praticidade: A abordagem reduz a lacuna de desempenho para modelos menores de código aberto, oferecendo um mecanismo transparente e verificável para aplicações reais de TableQA sem exigir modelos proprietários massivos.

Os autores reconhecem limitações, observando que a avaliação é realizada principalmente no WikiTQ, um benchmark bem adequado para raciocínio executável, e que o método pode ser menos necessário para tabelas muito pequenas que exigem o mínimo de computação. Eles também destacam que o ruído do conjunto de dados (erros de anotação no WikiTQ) continua sendo um fator nos erros residuais.