🤖 AI

LLM-Based SQL Generation: Prompting, Self-Refinement, and Adaptive Weighted Majority Voting

Este artigo propõe um novo framework para geração de Text-to-SQL baseado em LLM que combina um pipeline de Refinamento Automático de Agente Único com Votação em Conjunto (SSEV) e um sistema colaborativo multiagente (ReCAPAgent-SQL) para alcançar precisão de execução competitiva em benchmarks como Spider e BIRD, ao mesmo tempo que aborda efetivamente as complexidades de bancos de dados empresariais do mundo real sem depender de dados de verdade fundamental.

Autores originais: Yu-Jie Yang, Hung-Fu Chang, Po-An Chen

Publicado 2026-05-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yu-Jie Yang, Hung-Fu Chang, Po-An Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você deseja fazer uma pergunta a uma biblioteca massiva de informações (um banco de dados), mas os bibliotecários só falam uma linguagem muito estrita e robótica chamada SQL. Você fala inglês natural. O objetivo desta pesquisa é construir um tradutor que possa transformar suas perguntas em inglês em comandos SQL perfeitos, para que a biblioteca possa responder a você.

Os autores deste artigo, Yu-Jie Yang e colegas, enfrentaram o problema de que esses tradutores frequentemente ficam confusos, cometem erros ou não entendem a organização da biblioteca. Eles construíram dois sistemas principais para corrigir isso: uma abordagem de "Equipe de Especialistas" e uma abordagem de "Equipe de Agentes Especializados".

Veja como eles fizeram isso, usando analogias simples:

1. O Problema: O Tradutor "Tamanho Único" Falha

Imagine pedir a uma única pessoa para traduzir um documento jurídico complexo para outro idioma. Ela pode perder uma nuance, errar um nome ou usar a gramática errada. No mundo dos bancos de dados, isso acontece quando um único modelo de IA tenta adivinhar o código SQL. Frequentemente, ele se perde no "esquema" (o mapa da biblioteca) ou mal-entende sua pergunta.

2. A Primeira Solução: A "Equipe de Especialistas" (Pipeline SSEV)

Os autores criaram um sistema chamado SSEV (Refinamento Auto-Induzido por Agente Único com Votação em Conjunto). Pense nisso não como um tradutor, mas como um painel de cinco especialistas diferentes sentados ao redor de uma mesa.

Fase de Rascunho (PreSQL): O painel escreve suas suposições iniciais para a resposta.
Verificação do Mapa (Vinculação de Esquema): Eles percebem que estão olhando para um mapa gigante da biblioteca. Em vez de tentar ler todo o mapa, eles usam suas primeiras suposições para destacar apenas os corredores e prateleiras relevantes. Isso elimina o ruído.
Segundo Rascunho (PostSQL): Com o mapa reduzido, eles escrevem um segundo rascunho mais limpo e focado.
Loop de "Auto-Correção": Se um rascunho tiver um erro de digitação ou não funcionar quando tentarem executá-lo, eles não apenas o descartam. Eles analisam a mensagem de erro, corrigem-no e tentam novamente. É como um escritor editando seu próprio trabalho até que faça sentido.
Sistema de Votação (WMA): Este é o segredo. Em vez de apenas realizar uma votação onde todos têm um ponto igual, eles usam um Algoritmo de Maioria Ponderada.
- Imagine um programa de TV onde os juízes têm diferentes níveis de confiança. Se o "Juiz A" acertou 10 vezes seguidas, seu voto vale mais. Se o "Juiz B" continua cometendo erros, seu voto vale menos.
- O sistema atualiza constantemente essas "pontuações de confiança" com base em quem acertou a resposta no passado. Com o tempo, o sistema aprende a ouvir principalmente o especialista mais inteligente na sala.

O Resultado: Em testes padrão (como Spider 1.0 e BIRD), essa abordagem de "Equipe de Especialistas" acertou a resposta correta cerca de 86% das vezes, o que é muito melhor do que qualquer especialista trabalhando sozinho.

3. A Segunda Solução: A "Equipe de Agentes Especializados" (ReCAPAgent-SQL)

Para problemas ainda mais difíceis (como o novo conjunto de dados Spider 2.0, que imita bancos de dados corporativos desorganizados e do mundo real), um painel simples não é suficiente. Os autores construíram o ReCAPAgent-SQL, que é como contratar uma força-tarefa especializada onde cada membro tem um trabalho específico.

O Planejador: Divide sua grande pergunta em pequenos passos lógicos (como um gerente de projetos).
O Recuperador: Sai para encontrar manuais ou documentação extras se a equipe não conhece uma regra específica (como um pesquisador).
O Crítico: Revisa o trabalho e diz: "Espere, essa lógica não faz sentido", ou "Você perdeu um passo".
O Vinculador de Esquema: Lida especificamente com o mapa da biblioteca, garantindo que estejam olhando para as tabelas e colunas corretas.
O Auto-Refinador: Se o código quebrar, este agente o corrige.
O Validador: O inspetor final de controle de qualidade que verifica: "Esta resposta realmente resolve o problema do usuário?"

Esses agentes conversam entre si em um ciclo. Eles planejam, agem, recebem críticas, corrigem o erro e tentam novamente até acertar.

O Resultado: Quando testaram isso nas perguntas mais difíceis e realistas (Spider 2.0-lite), eles pegaram um sistema de referência que acertava apenas 6% das respostas e elevaram isso para 31%. Esse é um salto massivo em um campo onde o progresso é geralmente medido em frações minúsculas.

4. Por Que Isso Importa

O artigo afirma que, ao combinar auto-correção (corrigir seus próprios erros), votação inteligente (ouvir os melhores especialistas) e agentes especializados (ter uma equipe com funções específicas), podemos construir sistemas que lidam com perguntas complexas sobre dados do mundo real muito melhor do que antes.

Eles não apenas chutaram; testaram esses métodos em benchmarks padrão e provaram que:

Votação Ponderada funciona melhor do que a votação de maioria simples porque se adapta a quem é realmente bom na tarefa.
Auto-Refinamento ajuda a corrigir erros que ocorrem quando o banco de dados diz "Não, esse comando está errado".
Sistemas Multi-Agente são necessários para os bancos de dados desorganizados e complicados encontrados em empresas reais.

Em resumo, eles construíram um tradutor mais inteligente e resiliente que aprende com seus erros e ouve seus melhores especialistas, tornando muito mais fácil para pessoas comuns fazerem perguntas complexas a bancos de dados massivos.

Resumo Técnico: Geração de SQL Baseada em LLM com Auto-Refinamento e Votação Majoritária Ponderada Adaptativa

1. Declaração do Problema

A geração de Texto-para-SQL visa reduzir a barreira para análise de dados, permitindo que usuários consultem bancos de dados por meio de linguagem natural. Apesar dos avanços nos Modelos de Linguagem de Grande Porte (LLMs), gerar SQL preciso permanece desafiador devido a:

Ambiguidade: Consultas em linguagem natural frequentemente carecem de intenção precisa.
Vinculação de Esquema: Dificuldade em mapear corretamente tokens de linguagem natural para tabelas e colunas específicas do banco de dados, particularmente no que diz respeito a junções implícitas e referências entre tabelas.
Generalização: Desempenho deficiente em diversos dialetos SQL (por exemplo, BigQuery, Snowflake) e estilos de consulta encontrados em ambientes empresariais reais.
Falta de Robustez: Pipelines existentes frequentemente dependem de um único modelo para a saída final, carecendo de mecanismos de feedback adaptativo, integração de conhecimento externo e estratégias para aprender com erros de execução anteriores.
Complexidade: Cenários empresariais reais (por exemplo, Spider 2.0) exigem raciocínio multi-etapa, interação dinâmica com o ambiente e tratamento de restrições de contexto longo, onde o prompting tradicional de turno único falha (frequentemente alcançando <10% de precisão).

2. Metodologia

O artigo propõe uma abordagem em duas fases, evoluindo de um pipeline de agente único para um framework multiagente, ambos aproveitando a Votação Majoritária Ponderada (WMA) e o Auto-Refinamento Guiado por Execução.

Fase 1: Auto-Refinamento de Agente Único com Votação de Ensemble (SSEV)

Construído sobre o framework PET-SQL, o pipeline SSEV opera sem dados de verdade absoluta (ground-truth) durante a inferência e consiste em duas etapas principais:

Geração de PreSQL e Vinculação de Esquema:
- Múltiplos LLMs (especialistas) geram candidatos SQL preliminares (PreSQL) usando prompts com poucos exemplos (few-shot) contendo o DDL completo do banco de dados, referências a valores de células e regras de otimização.
- Vinculação de Esquema: As strings PreSQL geradas são analisadas para extrair tabelas e colunas referenciadas. Elementos de esquema irrelevantes são podados para criar um prompt focado e informado pelo esquema para a próxima etapa.
Geração de PostSQL e Refinamento:
- O mesmo ensemble de LLMs gera candidatos SQL refinados (PostSQL) usando o esquema podado.
- Auto-Refinamento Guiado por Execução: Se uma consulta falhar (erro de sintaxe ou resultado vazio), ela passa por reescrita iterativa. O modelo é re-promptado com o contexto original, o SQL falho e a mensagem de erro específica. Este loop continua até um número máximo de iterações ( $N$ ).
Votação de Ensemble Adaptativa:
- Em vez de votação majoritária simples, o sistema emprega o Algoritmo Majoritário Ponderado (WMA) e sua variante randomizada (RWMA).
- Mecanismo: Cada especialista (LLM) é atribuído um peso ( $w_i$ ). Os pesos são atualizados com base no desempenho histórico (correção ou sucesso de execução). Previsões incorretas resultam em uma penalidade multiplicativa ( $1-\epsilon$ ).
- Seleção: O SQL final é selecionado com base no peso total mais alto (WMA) ou amostrado probabilisticamente com base nos pesos (RWMA). Isso permite que o sistema priorize dinamicamente especialistas mais confiáveis sem exigir rótulos de verdade absoluta no momento da inferência.

Fase 2: ReCAPAgent-SQL (Refinamento-Crítica-Ação-Planejamento)

Para abordar a complexidade dos bancos de dados empresariais (Spider 2.0), os autores propõem um framework multiagente que encapsula os principais insights do SSEV em agentes especializados e colaborativos:

PlannerAgent: Decompõe a consulta do usuário em um plano de raciocínio passo a passo (formato JSON) antes de gerar o SQL.
RetrieverAgent: Utiliza Geração Aumentada por Recuperação (RAG) para buscar conhecimento de domínio externo e sintaxe específica de dialeto SQL (por exemplo, BigQuery) de um banco de dados vetorial.
CritiqueAgent: Avalia tanto o plano de raciocínio quanto o SQL gerado quanto à coerência lógica, conformidade com o dialeto e consistência com o plano. Ele aciona revisões se falhas forem detectadas.
SchemaLinkerAgent: Filtra e formata dinamicamente as informações do esquema quando ocorrem erros de execução (por exemplo, TableNotFound), garantindo que o prompt contenha apenas o contexto relevante.
ActionAgent: Prevê a próxima ação executável (geração de SQL, comando Bash ou terminação) com base no estado atual e no feedback.
SelfRefinerAgent: Gerencia o loop de correção iterativa para consultas SQL falhas, integrando mensagens de erro e contexto de esquema.
ValidatorAgent: Realiza a garantia de qualidade final, verificando se o resultado corresponde à intenção do usuário, não está vazio e não contém colunas redundantes.

O framework opera em um loop Planejar-Executar-Criticar-Refinar-Validar, terminando apenas após validação bem-sucedida ou atingindo um limite máximo de etapas.

3. Contribuições Principais

Pipeline SSEV: Um pipeline inovador de agente único que integra geração PreSQL/PostSQL, auto-refinamento guiado por execução e votação adaptativa WMA/RWMA, alcançando forte desempenho no Spider 1.0 e BIRD sem supervisão de verdade absoluta.
ReCAPAgent-SQL: Um framework multiagente abrangente projetado para cenários empresariais complexos e reais. Integra sistematicamente planejamento, recuperação de conhecimento externo, vinculação dinâmica de esquema e crítica/refinamento iterativo.
Mecanismos de Votação Adaptativa: A aplicação de WMA e RWMA ao Texto-para-SQL, demonstrando que ponderar dinamicamente especialistas LLM com base no desempenho histórico supera significativamente métodos de ensemble estáticos e baselines de modelo único.
Refinamento Guiado por Execução: Um loop de auto-refinamento leve que corrige erros de sintaxe e execução sem depender de módulos complexos de categorização de erros externos.

4. Resultados Experimentais

Os experimentos foram conduzidos no Spider 1.0 (Dev/Test), BIRD (Dev) e nas primeiras 100 consultas do Spider 2.0-lite.

Desempenho do SSEV (Spider 1.0 & BIRD)

Spider 1.0 Dev: A melhor configuração (Estágio 6.1: WMA + Auto-Refinamento + Vinculação de Esquema) alcançou 85,5% de precisão de execução, superando baselines individuais (por exemplo, Gemini-2.5-Pro em 84,9%).
Spider 1.0 Test: A mesma configuração alcançou 86,4% de precisão de execução.
BIRD Dev: O framework alcançou 66,3% de precisão de execução, aproximando-se do desempenho do melhor modelo individual (Gemini-2.5-Pro em 66,56%).
Estudos de Ablação:
- A vinculação de esquema forneceu ganhos modestos, mas consistentes, particularmente para modelos mais fracos.
- O auto-refinamento guiado por execução mostrou melhorias significativas no complexo conjunto de dados BIRD (até +2,28% para modelos específicos), mas resultados mistos no Spider 1.0.
- O WMA demonstrou consistentemente taxas de erro e arrependimento menores em comparação com RWMA e votação ingênua, convergindo efetivamente para os especialistas mais fortes.

Desempenho do ReCAPAgent-SQL (Spider 2.0-lite)

Comparação com Baseline: O Spider-Agent oficial usando GPT-4.1 alcançou apenas 6% de precisão nas primeiras 100 consultas.
Melhoria do ReCAPAgent-SQL: Integrar o ReCAPAgent-SQL com GPT-4.1 aumentou a precisão para 31% (um ganho absoluto de 25%).
Grok-3-beta: O ReCAPAgent-SQL melhorou o desempenho do Grok-3-beta de 23% para 29%.
Impacto da Votação: O WMA alcançou a maior precisão total (31%), enquanto o RWMA mostrou uma ligeira vantagem em consultas "Difíceis" (12,5% vs. 8,3%), indicando uma compensação entre precisão geral e robustez em instâncias difíceis.

5. Significado e Alegações

O artigo alega que seu trabalho facilita a implantação de sistemas escaláveis de Texto-para-SQL em configurações práticas ao:

Preencher a Lacuna: Avançar de benchmarks sintéticos para ambientes empresariais realistas e sensíveis a dialetos (Spider 2.0).
Custo e Eficiência: Apoiar a tomada de decisão baseada em dados com menor custo e maior eficiência, reduzindo a dependência de expertise especializada em SQL.
Robustez: Demonstrar que combinar auto-refinamento guiado por execução com votação de ensemble adaptativa (WMA) cria sistemas robustos à ambiguidade de esquema e erros de execução.
Fundamentação Teórica: Fornecer um método fundamentado teoricamente (WMA) que alcança desempenho próximo ao de especialistas com baixo arrependimento, mesmo sem supervisão de verdade absoluta durante a inferência.

Os autores concluem que a integração de refinamento, raciocínio de esquema e votação adaptativa é crítica para avançar a confiabilidade dos sistemas de Texto-para-SQL em cenários complexos e reais.