Resumo Técnico: Verificação em Tempo de Teste para Text-to-SQL via Modelos de Recompensa de Resultado

Declaração do Problema

A confiabilidade de Grandes Modelos de Linguagem (LLMs) em tarefas de raciocínio estruturado, especificamente Text-to-SQL, continua sendo um desafio crítico. Embora os LLMs tenham avançado significamente, eles frequentemente enfrentam dificuldades com consultas complexas que envolvem junções de múltiplas tabelas (multi-table joins), subconsultas aninhadas e restrições sutis. Estratégias atuais de inferência em tempo de teste, como a amostragem Best-of-N (BoN) e a Votação por Maioria, tentam mitigar isso gerando múltiplos candidatos de consultas SQL e selecionando o melhor. No entanto, esses métodos dependem de sinais heurísticos — principalmente a sucesso da execução (a consulta roda sem erros?) ou a frequência de saída (múltiplas consultas retornam o mesmo resultado?).

Os autores argumentam que essas heurísticas fornecem apenas proxies grosseiros para a correção semântica. À medida que os conjuntos de candidatos crescem, esses sinais frequentemente saturam e falham em discriminar entre consultas semanticamente válidas e inválidas, particularmente quando múltiplas consultas incorretas são executadas com sucesso, mas retornam resultados errados, ou quando consultas semanticamente equivalentes possuem estruturas sintáticas diferentes. Há uma necessidade de um mecanismo de verificação aprendido que possa pontuar candidatos com base no alinhamento semântico específico da tarefa, em vez de métricas de execução superficiais.

Metodologia: O Framework GradeSQL

Para abordar a escassez de dados rotulados necessária para treinar verificadores em tarefas estruturadas, os autores introduzem o GradeSQL, um framework escalável para o treinamento de Modelos de Recompensa de Resultado (ORMs). Diferente dos Modelos de Recompensa de Processo (PRMs) que pontuam etapas intermediárias, os ORMs atribuem pontuações escalares a saídas finais. O framework opera em três estágios:

1. Geração de Candidatos: Dada uma pergunta em linguagem natural e um esquema de banco de dados, um LLM gerador produz um conjunto diversificado de $N$ consultas SQL candidatas usando estratégias de decodificação estocástica. Essa diversidade é crucial para expor o verificador a uma ampla gama de formulações corretas e erros de "quase acerto" (near-miss).
2. Rotulagem de Dados Automatizada: Em vez de anotação manual, o framework rotula os candidatos via equivalência de execução. Cada candidato é executado contra o banco de dados. Se o conjunto de resultados coincidir com o da consulta padrão ouro ($R(c_j) = R(y_{gold})$), o candidato é rotulado como "Correto"; caso contrário, é rotulado como "Incorreto". Consultas que causam erros de execução são descartadas. Isso cria um conjunto de dados de larga escala, automaticamente rotulado, para o treinamento do verificador.
3. Ajuste Fino Supervisionado (SFT): Um LLM verificador é ajustado (usando LoRA) como um classificador autorregressivo binário. A entrada consiste no esquema, na pergunta e em uma consulta candidata, e o modelo é treado para prever a probabilidade do token "Sim" (indicando correção).

Pipeline de Inferência: No tempo de teste, o gerador produz $N$ candidatos. O ORM treinado pontua cada candidato com base na probabilidade do token "Sim". O candidato com a maior pontuação é selecionado, substituindo a seleção heurística por pontuação semântica aprendida.

Principais Contribuições

O artigo apresenta três contribuições primárias:

• Verificação baseada em ORM para Text-to-SQL: O estudo adapta Modelos de Recompensa de Resultado como pontuadores semânticos aprendidos para a seleção de candidatos em tempo de teste para geração de consultas estruturadas, demonstrando sua aplicabilidade além de seu uso tradicional em tarefas de alinhamento e raciocínio.
• Pipeline de Curadoria de Dados Escalável: Os autores propõem o GradeSQL, um framework automatizado que gera e rotula consultas SQL candidatas via equivalência de execução. Isso permite o treinamento de ORMs específicos para a tarefa sem a necessidade de anotação manual dispendiosa.
• Análise Empírica de Verificação em Tempo de Teste: Uma avaliação sistemática através de múltiplas famílias de LLMs de código aberto (incluindo Qwen, Granite, Llama e OmniSQL) e benchmarks (BIRD e Spider) mostra que a seleção baseada em ORM supera consistentemente as baselines heurísticas.

Resultados Experimentais

A abordagem foi avaliada nos benchmarks BIRD e Spider utilizando múltiplos modelos geradores. As principais descobertas incluem:

• Ganhos de Desempenho: A seleção baseada em ORM alcançou consistentemente uma Acurácia de Execução (EX) superior à Votação por Maioria e ao Best-of-N baseado em execução.
  • No BIRD dev, o ORM alcançou 68,90%, um ganho de +5,01% sobre a baseline ($N=1$) e superando a Votação por Maioria (+3,06%) e o BoN baseado em execução (+2,15%).
  • No Spider test, o ORM atingiu 87,47%, superando a Votação por Maioria (85,47%) e o BoN baseado em execução (85,14%).
• Escalabilidade com Conjuntos de Candidatos: Ao contrário dos métodos heurísticos que saturam cedo, o desempenho do ORM continuou a melhorar conforme o tamanho do pool de candidatos ($N$) aumentava, aproximando-se do limite superior oracle definido pelo Pass@N. Isso indica que os ORMs aproveitam efetivamente o aumento do computação em tempo de teste.
• Robustez: O método mostrou melhorias consistentes em diferentes famílias de geradores e escalas de modelos. Os benefícios da seleção baseada em ORM persistiram mesmo ao utilizar geradores maiores (até 32B de parâmetros).
• Dinâmica de Treinamento:
  • Desbalanceamento de Dataset: Embora os datasets gerados fossem desbalanceados (ex: ~69% corretos no Spider), o treinamento em subconjuntos balanceados (50/50) não degradou o desempenho e, em alguns casos, o melhorou enquanto reduzia os custos de treinamento.
  • Tamanho do Modelo: Aumentar o tamanho do ORM além de 7B de parâmetros rendeu apenas melhorias marginais e inconsistentes, sugerindo que ORMs leves oferecem um equilíbrio favorável entre desempenho e eficiência.
  • Design de Prompt: Prompts que expõem o verificador diretamente à estrutura SQL ("SQL-Only") renderam os melhores resultados em comparação com prompts de estilo instrução ou apenas de dados.

Significância e Alegações

O artigo afirma que a verificação aprendida fornece uma alternativa simples, eficaz e escalável para estratégias de seleção heurística em tempo de teste para Text-to-SQL. A significância deste trabalho reside em demonstrar que:

1. A rotulagem baseada em execução é suficiente para treinar verificadores eficazes para tarefas estruturadas, removendo a barreira da anotação manual.
2. A discriminação semântica é possível no tempo de inferência sem modificar o gerador ou exigir interação adicional com o ambiente além da geração inicial de candidatos.
3. Os ORMs são particularmente eficazes para consultas complexas onde os sinais heurísticos falham, oferecendo uma maneira fundamentada de lidar com a ambiguidade e a complexidade estrutural inerentes ao Text-to-SQL.

Os autores mantêm um tom modesto, reconhecendo que os ganhos absolutos são moderados (2–5%) e que a abordagem depende da equivalência de execução como um proxy para a correção semântica, o que pode não distinguir entre consultas semanticamente equivalentes, mas sintaticamente diferentes, ou recompensar correspondências espúrias. O trabalho foca em melhorar a seleção de candidatos, em vez da capacidade de geração propriamente dita.