Generalizing Numerical Reasoning in Table Data through Operation Sketches and Self-Supervised Learning

---

1. Problema e Motivação

O raciocínio numérico sobre tabelas em domínios especializados (como finanças, engenharia e biologia) é uma tarefa desafiadora para Modelos de Linguagem (LLMs). Embora os modelos treinados com Fine-Tuning Supervisionado (SFT) em conjuntos de dados específicos alcancem alta precisão dentro desse domínio, eles demonstram baixa robustez frente a mudanças de domínio (domain shift).

Os autores identificam três modos de falha principais que limitam a generalização:

1. Ineficiência de Raciocínio: Os modelos tendem a memorizar associações superficiais entre cabeçalhos de tabelas e operações (ex: associar "Receita" diretamente a "Soma"), em vez de aprender a estrutura lógica subjacente.
2. Escassez de Dados para Supervisão Lógica: A geração de dados baseada em LLMs frequentemente produz programas inconsistentes ou espúrios, reduzindo a qualidade do sinal de aprendizado para padrões de raciocínio gerais.
3. Dependência de Cabeçalhos: Os modelos memorizam correlações frágeis entre cabeçalhos específicos e operações. Quando os cabeçalhos mudam (mudança de vocabulário ou esquema), o desempenho cai drasticamente.

O objetivo é criar um framework que desacople a semântica de domínio (vocabulário específico) da estrutura de operação numérica, permitindo uma generalização mais robusta.

---

2. Metodologia: Framework TaNOS

Os autores propõem o TaNOS (Table Numerical Reasoning with Operation Sketches), um framework de pré-treinamento contínuo que integra três mecanismos complementares para separar formas lexicais de raciocínio estrutural:

A. Esboços de Operação (Operation Sketches)

• Conceito: São pistas simbólicas mínimas que codificam a estrutura computacional central de uma consulta (ex: para "mudança percentual", o esboço seria (x - y) / y).
• Função: Atuam como andaimes leves que aliviam o modelo da necessidade de inferir detalhes aritméticos triviais, permitindo que ele foque em raciocínio contextual e relacional de alto nível.
• Disponibilidade: Assume-se que, no momento da inferência, o usuário pode fornecer implicitamente ou explicitamente essa estrutura (ex: "qual a diferença entre A e B?").

B. Anonimização de Cabeçalhos (Header Anonymization)

• Conceito: Um esquema de anonimização em nível de instância que atribui tokens bijetivos únicos a cada cabeçalho de tabela durante o treinamento (ex: substituir "Receita" por um token arbitrário como "token_A").
• Função: Preserva a integridade estrutural da tabela enquanto enfraquece as correlações estáveis entre cabeçalhos e operações. Isso força o modelo a aprender a estrutura relacional em vez de memorizar o vocabulário específico do domínio.

C. Aprendizado Auto-supervisionado (SSL) com Geração "Program-First"

• Estratégia Reversa: Diferente dos pipelines convencionais (pergunta $\to$ resposta), o TaNOS gera primeiro programas executáveis e respostas corretas a partir de tabelas não rotuladas, e depois usa um LLM apenas para parafrasear esses programas em perguntas naturais.
• Garantia de Correção: Como o programa e a resposta são gerados antes da pergunta, a consistência lógica e aritmética é garantida por construção, eliminando ruídos de raciocínio comuns na geração direta por LLMs.
• Escala: Permite o pré-treinamento em larga escala (usando relatórios da SEC, por exemplo) sem necessidade de anotação manual.

Fluxo de Treinamento:

1. Geração de dados sintéticos (Programa $\to$ Resposta $\to$ Pergunta).
2. Anonimização dos cabeçalhos nas tabelas e perguntas.
3. Pré-treinamento auto-supervisionado com os pares (Contexto Anonimizado + Esboço $\to$ Programa).
4. Fine-tuning supervisionado em dados rotulados do domínio alvo.

---

3. Contribuições Principais

1. Análise de Falhas: Identificação sistemática de três modos de falha (ineficiência, escassez de dados lógicos e dependência de cabeçalhos) que impedem a generalização em raciocínio numérico.
2. Novo Framework (TaNOS): Integração de esboços de operação, anonimização de cabeçalhos e pré-treinamento auto-supervisionado para desacoplar sinais lexicais de sinais estruturais.
3. Eficiência de Dados: Demonstração de que modelos compactos (8B parâmetros) treinados com o TaNOS superam modelos proprietários massivos e baselines de SFT completo, mesmo com apenas 10% dos dados rotulados.
4. Generalização Robusta: Evidência de que o método reduz drasticamente a lacuna de desempenho entre domínios (cross-domain gap), mantendo a estabilidade mesmo com mudanças de vocabulário e esquema.

---

4. Resultados Experimentais

Os experimentos foram realizados em benchmarks financeiros (FinQA), multi-tabela (MultiHiertt) e domínios sintéticos deslocados (Engenharia Mecânica, Biologia, Jurídico, Científico).

• Desempenho In-Domain (FinQA):

  • Um modelo de 8B parâmetros (LLaMA-3.1-8B) com TaNOS alcançou 80,13% de precisão de execução usando apenas 10% dos dados de treinamento.
  • Isso supera a linha de base SFT (73,97%) treinada com 100% dos dados e também supera modelos proprietários como GPT-5 e Gemini-2.5-Pro.
  • Com 100% dos dados, o TaNOS atingiu 85,38%, superando significativamente as baselines.

• Generalização Cross-Domain (Mudança de Domínio):

  • Gap de Desempenho: Enquanto o SFT padrão sofreu uma queda de mais de 10 pontos percentuais (pp) ao mudar de domínio (ex: Finanças para Biologia), o TaNOS manteve uma lacuna quase negligenciável (< 2pp).
  • Análise de Componentes: A combinação de anonimização e esboços foi crucial. O uso de esboços apenas como prompt de inferência (sem treinamento estruturado) trouxe ganhos modestos, mas usá-los como sinal de treinamento estrutural aumentou a precisão em até 26pp em cenários de mudança de domínio.

• Eficiência de Dados:

  • Em cenários de "one-shot" (um exemplo por padrão de operação), o TaNOS alcançou 66,79% de precisão, superando o SFT treinado com 50% dos dados (66,41%).
  • O modelo demonstrou capacidade de generalização de padrões mesmo com dados extremamente limitados.

• Robustez a Variações:

  • O modelo manteve alta performance mesmo quando os esboços de operação foram parafraseados (variação lexical e sintática), indicando que o modelo aprendeu a estrutura lógica e não apenas a forma superficial das palavras.

---

5. Significado e Conclusão

O trabalho TaNOS representa um avanço significativo na aplicação de LLMs a tarefas de raciocínio estruturado em domínios especializados.

• Mudança de Paradigma: Em vez de apenas escalar dados ou modelos, o TaNOS propõe uma mudança na representação do aprendizado, priorizando a estrutura computacional sobre a semântica lexical.
• Viabilidade Prática: A capacidade de atingir desempenho de ponta com modelos menores e menos dados é crucial para setores como finanças e saúde, onde os dados são sensíveis, escassos e regulamentados, dificultando o uso de APIs de modelos proprietários massivos.
• Futuro: O trabalho sugere que a integração de abstrações estruturais leves (como esboços) com pré-treinamento auto-supervisionado é um caminho viável para criar agentes de IA mais generalizáveis e robustos, capazes de lidar com a diversidade de esquemas em tabelas do mundo real.

Em resumo, o TaNOS demonstra que, ao forçar o modelo a aprender a "arquitetura" do raciocínio (através de esboços e anonimização) em vez de apenas o "vocabulário" do domínio, é possível criar sistemas de raciocínio numérico que são tanto eficientes em dados quanto resilientes a mudanças de contexto.