Synthetic Contrastive Reasoning for Multi-Table Q&A

Resumo Técnico: Raciocínio Contrastivo Sintético para Q&A de Múltiplas Tabelas

Definição do Problema
O Questionamento e Resposta (Q&A) de múltiplas tabelas apresenta um desafio significativo para Grandes Modelos de Linguagem (LLMs) porque o conhecimento necessário reside em bancos de dados relacionais externos, e não nos parâmetros do modelo. Diferente do raciocínio de tabela única, as tarefas de múltiplas tabelas exigem que os modelos recuperem evidências de várias tabelas, vinculem esquemas (alinhando chaves primárias e estrangeiras) e realizem raciocínio composicional envolvendo junções (joins), filtros e agregações. À medida que o número de tabelas aumenta, os contextos se alongam e o risco de perder evidências relevantes ou cometer pequenos erros de vinculação de esquema cresce, levando frequentemente a respostas incorretas.

Embora avanços recentes tenham melhorado o raciocínio de tabela única, o Q&A de múltiplas tabelas permanece subdesenvolvido. Existe uma lacuna crítica nos recursos existentes: a maioria dos conjuntos de dados fornece apenas perguntas e respostas finais, carecendo de supervisão de raciocínio explícita (traços) que explique como uma resposta é derivada. Além disso, eles não fornecem exemplos pareados de raciocínios plausíveis, porém incorretos, que são essenciais para técnicas de otimização baseadas em preferência.

Metodologia
Para abordar essas lacunas, os autores propõem um framework para gerar traços de raciocínio contrastivos sintéticos e utilizar a Otimização de Preferência Contrastiva (CPO) para ajuste fino (fine-tuning).

1. Geração de Traços Sintéticos:

   • Traços Positivos ($+y$): Os autores utilizam modelos de fundação fortes (primariamente GPT-4o) para gerar traços de raciocínio passo a passo que derivam a resposta padrão (gold-standard) a partir das tabelas fornecidas. Esses traços são projetados para serem explícitos, referenciando tabelas específicas e usando resumos concisos em vez de copiar linhas de dados completas.
   • Traços Negativos ($-y$): Para cada traço positivo validado, um traço negativo correspondente é sintetizado usando um LLM heterogêneo diferente (Gemini 2.0 Flash). Esses traços são fluentes e plausíveis, mas contêm erros factuais ou lógicos deliberados (ex: trocas de entidades, ordens de junção invertidas ou operações incorretas) que levam a uma resposta errada.
   • Heterogeneidade: Uma escolha de design fundamental é usar modelos diferentes para a geração positiva e negativa. Estudos de ablação sugerem que isso cria um sinal contrastivo mais forte do que usar um único modelo para ambos, pois evita que os "estilos" de raciocínio sejam muito similares, tornando mais fácil para o modelo estudante distinguir a lógica correta dos modos de falha.
   • Validação: Um pipeline de filtragem rigoroso garante a qualidade. Os traços positivos são validados usando um LLM como juiz (Gemini 2.0 Flash) para garantir a equivalência semântica com a verdade fundamental (ground truth). Os traços negativos são restritos a serem estruturalmente consistentes com os positivos, mas factualmente falhos.

2. Otimização de Preferência Contrastiva (CPO):

   • Os autores realizam o ajuste fino de LLMs de pesos abertos (Qwen3-14B, Mistral-8B, Llama-3.1-8B) usando CPO.
   • Ao contrário da Otimização de Preferência Direta (DPO), que requer o carregamento simultâneo de um modelo de política e um modelo de referência (aumentando a memória e retardando o treinamento) e trata todos os pares de preferência igualmente, o CPO remove o modelo de referência (definindo-o como uma priori uniforme) e adiciona um regularizador de aprendizado de comportamento (behavior cloning).
   • Esta abordagem estabiliza o treinamento em longas cadeias de raciocínio e garante que o modelo aprenda a magnitude da diferença de qualidade entre traços corretos e incorretos, em vez de apenas a direção da preferência.

3. Construção do Conjunto de Dados:

   • Os dados de treinamento primários são derivados do benchmark MMQA (subconjunto de duas tabelas), expandidos com traços sintéticos.
   • Um novo conjunto de avaliação é construído a partir do benchmark BIRD. Isso envolve um processo de filtragem de três estágios: filtragem de múltiplas tabelas (selecionando consultas de 2-3 tabelas), extração de evidência de tabela completa (garantindo que as tabelas não sejam truncadas para garantir a derivabilidade da resposta) e verificação de consistência semântica automatizada (usando um juiz LLM para filtrar desalinhamentos pergunta-SQL).

Principais Contribuições

1. Primeiro Conjunto de Dados de Traço de Raciocínio Contrastivo: O artigo introduz o primeiro conjunto de dados para Q&A de múltiplas tabelas que pareia traços de raciocínio positivos validados com traços negativos plausíveis gerados por LLMs heterogêneos.
2. Demonstração da Eficácia do CPO: Através de experimentos abrangentes, os autores mostram que o treinamento CPO nesses pares de preferência melhora significativamente o raciocínio de múltiplas tabelas em três LLMs de pesos abertos diferentes e quatro conjuntos de dados de avaliação.
3. Validação da Geração Sintética: O estudo inclui ablações e avaliações humanas confirmando que geradores de traços heterogêneos fortalecem o sinal contrastivo e que os pares gerados são fiéis, coerentes e significativamente contrastivos.
4. Novo Benchmark de Avaliação: A construção de um conjunto de avaliação rigoroso derivado do BIRD que garante a derivabilidade da resposta através da extração de evidência de tabela completa e verificação semântica automatizada.

Resultados

• Ganhos de Desempenho: Em Qwen3-14B, Mistral-8B e Llama-3.1-8B, o CPO alcançou melhorias absolutas médias sobre o ajuste fino supervisionado (SFT) de Q&A padrão variando de 9,7% a 16,3%. No conjunto de dados MMQA, os ganhos chegaram a até 21 pontos percentuais.
• Comparação com Baselines: O CPO superou consistentemente tanto o SFT de apenas Q&A quanto o SFT de apenas Traço (usando apenas traços positivos). Também superou o DPO nos mesmos pares de preferência na maioria das avaliações, evitando particularmente a degradação de desempenho em tarefas de raciocínio estruturado que o DPO às vezes apresenta.
• Generalização: Modelos treinados em dados de duas tabelas usando CPO generalizaram com sucesso para consultas de três tabelas mais difíceis tanto no MMQA quanto no conjunto de avaliação BIRD, demonstrando que os padrões de raciocínio aprendidos se transferem para o aumento da complexidade.
• Insights de Ablação: O uso de modelos diferentes para a geração de traços positivos e negativos rendeu um desempenho superior ao usar o mesmo modelo. Além disso, embora modelos de código aberto (ex: Qwen-3 30B) pudessem gerar traços úteis, modelos proprietários (GPT-4o e Gemini 2.0) forneceram a supervisão mais forte.

Significância e Alegações
O artigo alega que traços de raciocínio contrastivos sintéticos fornecem um sinal de supervisão eficaz para tarefas de raciocínio complexas. Os autores argumentam que os modelos se beneficiam não apenas da observação de caminhos de raciocínio corretos, mas também de aprender a rejeitar modos de falha plausíveis (como restrições perdidas ou junções incorretas) através do aprendizado contrastivo.

O trabalho destaca que o CPO é uma alternativa mais estável e eficiente em termos de memória do que o DPO para longas cadeias de raciocínio. Além disso, o estudo sugere que a abordagem é eficiente em termos de dados; apesar de um conjunto de treinamento relativamente pequeno de 1.920 pares contrastivos, os ganhos consistentes em diversos modelos e conjuntos de dados indicam que traços contrastivos de alta qualidade podem elicitar fortes sinais de aprendizado contrastivo sem exigir a geração de dados em escala proibitiva. Os autores concluem que a geração de traços de raciocínio sintéticos é uma direção promissora para avançar as capacidades de LLM em Q&A de múltiplas tabelas e outros domínios de raciocínio complexo.