Resumo Técnico: Aprimorando o Raciocínio em Tabelas com Recompensas Determinísticas de Estado de Tabela

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) e Modelos Visão-Linguagem (VLMs) têm dificuldade com raciocínio multi-etapa sobre tabelas estruturadas. A questão central é a falta de supervisão explícita para estados de raciocínio intermediários. Em agentes que utilizam ferramentas (por exemplo, Cadeia-de-Tabela, Árvore-de-Tabela), o agente manipula uma tabela através de uma sequência de operações (filtrar, projetar, ordenar, agregar, juntar). Sem um sinal para avaliar a qualidade dessas tabelas intermediárias, os erros se acumulam silenciosamente: o agente pode descartar evidências relevantes para a consulta, reter conteúdo irrelevante ou aplicar operações excessivamente.

As soluções existentes não abordam isso de forma limpa:

• Recompensas de resposta final são muito esparsas para guiar transformações intermediárias.
• Verificadores baseados em executor exigem ambientes executáveis (por exemplo, executores SQL) indisponíveis para tarefas complexas como junções de múltiplas tabelas ou análises abertas.
• Modelos de recompensa aprendidos exigem dados de preferência custosos e são frágeis entre domínios.
• Recompensas de similaridade semântica (baseadas em embeddings) frequentemente truncam tabelas serializadas longas, destruindo informações de estado, e falham em capturar diferenças numéricas ou simbólicas exatas.

Metodologia

O artigo introduz o TABROUGE e o framework RE-TAB para abordar essas lacunas usando uma abordagem determinística e sem treinamento.

1. TABROUGE: Uma Recompensa de Estado Determinística

O TABROUGE adapta a métrica da Subsequência Comum Mais Longa (LCS) de sumarização de texto (ROUGE-L) para avaliar estados tabulares.

• Mecanismo: Após cada ação, o estado intermediário da tabela $T_{l+1}$ é serializado em uma sequência textual determinística usando o formato "[cabeçalho] é [valor]".
• Pontuação: A recompensa é calculada como a LCS entre a consulta $Q$ e a tabela serializada, normalizada pelo comprimento da tabela serializada:
  $$r_{\text{TABROUGE}}(a_l, T_{l+1}, Q) = \frac{\text{LCS}(Q, \text{Enc}(T_{l+1}))}{|\text{Enc}(T_{l+1})|}$$
• Racional de Design:
  • Precisão Lexical: Diferentemente de embeddings, preserva strings numéricas e simbólicas exatas sem truncamento.
  • Integridade Estrutural: A LCS que preserva a ordem recompensa o acoplamento nível-linha de cabeçalho-valor, que métricas de saco de palavras (como BM25) ignoram.
  • Anti-hacking: O denominador penaliza "inchaço" (por exemplo, duplicar tokens de consulta), tornando o hacking de "coluna de eco" não lucrativo, pois infla tanto o numerador quanto o denominador na mesma taxa.

2. RE-TAB: Um Framework Sem Treinamento

O RE-TAB utiliza o TABROUGE como um sinal plug-and-play para dois níveis de controle:

• Feedback Nível-Etapa: A recompensa escalar é anexada ao prompt após cada ação, condicionando o próximo passo à qualidade cumulativa do estado, e não apenas à confiança do token. Também serve como critério de parada de variância rolante; quando o sinal de recompensa se estabiliza (a variância cai abaixo de um limite), o agente para de explorar e compromete-se com uma resposta.
• Seleção Nível-Trajetória (Escalonamento em Tempo de Teste): O agente amostra múltiplas trajetórias de raciocínio independentes. O sinal de supervisão de estado agregado (soma das recompensas por etapa) é usado para classificar e selecionar a melhor trajetória ($\tau^*$), substituindo a votação padrão de confiança de ação ou a votação majoritária uniforme.

Principais Contribuições

1. TABROUGE: Uma recompensa determinística de consulta para estado que não requer modelos aprendidos ou executores. Fornece um sinal escalável fundamentado no par consulta-tabela, especificamente projetado para estados de tabela serializados.
2. Framework RE-TAB: Uma implementação em duas fases que integra o TABROUGE tanto para feedback passo a passo quanto para classificação de trajetórias. Opera como um "wrapper" sem treinamento ao redor de agentes existentes que utilizam ferramentas.
3. Validação Empírica: Avaliação abrangente em seis backbones (variando de modelos open-weight pequenos a modelos de fronteira como GPT-5.4) e três benchmarks (WTQ, MMQA, MMTU).
4. Análise de Modo de Falha: Uma caracterização detalhada de onde a supervisão lexical é confiável e onde pode falhar (por exemplo, sub-recompensa de paráfrases, colunas renomeadas), fornecendo limites para sua aplicação.

Resultados

• Ganhos de Precisão: Em seis backbones e três benchmarks, o RE-TAB melhora a precisão em uma média de 26,7 pontos percentuais (pp) sobre baselines sem recompensa.
• Eficiência: O framework reduz o número de amostras de Escalonamento em Tempo de Teste (TTS) necessárias para atingir 95% de precisão em até 33% comparado à votação de confiança de ação.
• Comparação com Modelos Treinados: Apesar de não ter parâmetros aprendidos, o TABROUGE iguala ou supera o desempenho de Modelos de Recompensa de Processo (PRMs) treinados como Qwen2.5-Math-PRM-72B e TaTToo em 4 dos 5 conjuntos de avaliação.
• Viabilidade Pós-Treinamento: Experimentos preliminares usando Otimização de Política Relativa de Grupo (GRPO) com TABROUGE como sinal de recompensa mostram um ganho adicional de 8,34 pp sobre o framework sem treinamento, sugerindo sua utilidade para ajuste fino em nível de política.
• Robustez: O método permanece eficaz em diferentes tamanhos de modelo, incluindo modelos de fronteira onde falhas de estado intermediário persistem.

Significado e Alegações

O artigo posiciona o TABROUGE não como um verificador semântico universal, mas como um sinal de controle determinístico delimitado à supervisão de estado de tabela serializado. Seu significado reside em:

• Escalabilidade: Fornece um sinal fundamentado para raciocínio em tabelas sem a necessidade de executores caros ou coleta de dados de preferência em grande escala.
• Transparência: Torna explícita a visão de "modelo de mundo" do raciocínio em tabelas ao supervisionar a qualidade dos estados intermediários, alinhando agentes de tabela ao raciocínio baseado em estado usado em agentes de visão e linguagem.
• Praticidade: Oferece uma solução "plug-and-play" que melhora a qualidade do raciocínio e reduz custos de tokens para agentes existentes que utilizam ferramentas, sem re-treinar o modelo base.

Os autores reconhecem limitações, observando que o TABROUGE depende de serialização fixa e pode sub-recompensar estados semanticamente corretos, mas lexicalmente incompatíveis (por exemplo, paráfrases ou conversões de unidades). No entanto, argumentam que, como um sinal de classificação relativa dentro de uma trajetória, essas questões não negam os ganhos principais, e o método permanece confiável para a maioria das tarefas de raciocínio em tabelas.