An Agentic System for Schema Aware NL2SQL Generation

Resumo Técnico: Um Sistema Agente Consciente de Esquema para Geração NL2SQL

1. O Problema

A tarefa de Tradução de Linguagem Natural para SQL (NL2SQL) é fundamental para democratizar o acesso a dados, permitindo que usuários não especialistas interajam com bancos de dados relacionais. Embora os sistemas baseados em Modelos de Linguagem Grandes (LLMs) tenham melhorado a precisão, eles enfrentam três desafios críticos para implantação em produção:

• Custo Computacional Elevado: O uso exclusivo de LLMs (como GPT-4) gera custos operacionais proibitivos.
• Privacidade e Conformidade: A dependência de LLMs proprietários na nuvem viola regulamentações de dados que exigem processamento local (on-premise).
• Desempenho em Esquemas Complexos: Sistemas atuais ainda lutam com esquemas empresariais complexos, joins múltiplos e ambiguidades de domínio, muitas vezes gerando erros de alinhamento com o esquema do banco de dados.

2. Metodologia

Os autores propõem um sistema agênico híbrido que integra Modelos de Linguagem Pequenos (SLMs) como motor principal de inferência, com LLMs atuando apenas como um mecanismo de fallback inteligente para recuperação de erros. O sistema é dividido em quatro agentes especializados coordenados por um pipeline:

• Agente Extrator (Schema-Aware):
  • Utiliza uma estratégia de recuperação multi-fonte combinando metadados do banco de dados, contextos de RAG (Retrieval-Augmented Generation) de documentação e mapeamentos de evidências históricas.
  • Emprega embeddings vetoriais para mapear consultas do usuário e documentação do banco no mesmo espaço semântico, reduzindo alucinações e melhorando o reconhecimento de entidades.
• Agente Decompositor:
  • Quebra perguntas complexas em etapas menores usando raciocínio guiado.
  • Identifica entidades, analisa condições/filtros, planeja a ordem de execução e determina o formato de saída, criando um "plano de execução" estruturado antes da geração do SQL.
• Agente Gerador:
  • Fase Primária: Utiliza um SLM (Llama-3.1-8B) para gerar a consulta SQL inicial baseada no plano de decomposição e no contexto do esquema.
  • Fallback Inteligente: Se a consulta falhar na validação, um LLM (GPT-4o) é acionado para analisar a mensagem de erro, o SQL falho e o prompt original, regenerando a consulta. O sistema permite até três tentativas antes de relatar falha.
• Agente Validador e Executor:
  • Realiza validação em quatro etapas: baseada em evidências (correção de valores), sintaxe, execução (em ambiente seguro) e semântica (verificação se o resultado atende à intenção).
  • Se erros forem detectados, diagnostica o problema e aciona o mecanismo de fallback para o Gerador.

3. Principais Contribuições

1. Arquitetura Híbrida Agênica: Design de um sistema onde SLMs são o motor primário, minimizando o uso de LLMs caros apenas para casos de erro, equilibrando custo e desempenho.
2. Mecanismo de Fallback Seletivo: Uma abordagem inovadora onde o LLM é invocado apenas após a detecção de erros no SLM, reduzindo drasticamente a dependência de modelos grandes.
3. Abordagem Consciente de Esquema (Schema-Aware): Integração profunda de metadados, documentação e mapeamentos de evidências para garantir que as consultas geradas respeitem estritamente as restrições e a semântica do banco de dados.
4. Estudo Comparativo Abrangente: Avaliação detalhada contra sistemas de ponta (MAC-SQL, DAIL-SQL, DIN-SQL) em termos de precisão, eficiência de validação e custo por consulta.

4. Resultados Experimentais

O sistema foi avaliado no benchmark BIRD (1.534 pares de texto-para-SQL em 11 bancos de dados):

• Precisão de Execução (Execution Accuracy - EX): O sistema alcançou 47,78%. Embora inferior aos sistemas baseados puramente em LLM (ex: MAC-SQL com 59,59%), representa um desempenho competitivo considerando o uso majoritário de SLMs.
• Pontuação de Eficiência de Validação (VES): Alcançou 51,05%.
• Eficiência de Custos:
  • Redução de Custos: Mais de 90% de redução em comparação com sistemas baseados apenas em LLM.
  • Custo por Consulta: Média de $0,0085 para o sistema proposto vs. $0,094 para sistemas LLM-only.
  • Taxa de Sucesso Local: Aproximadamente 67% das consultas foram resolvidas exclusivamente pelo SLM local, incurring custos operacionais próximos de zero para esses casos.

5. Significado e Conclusão

O trabalho demonstra que é possível construir sistemas NL2SQL viáveis para ambientes corporativos que priorizam privacidade de dados (devido à capacidade de execução local) e sustentabilidade financeira, sem sacrificar totalmente a precisão.

• Viabilidade de Implantação: O sistema permite a implantação on-premise, atendendo a regulamentações rigorosas de proteção de dados que impedem o uso de APIs de LLMs públicas.
• Trade-off Otimizado: Os autores reconhecem que, embora haja uma lacuna de precisão em consultas extremamente complexas (devido às limitações de raciocínio dos SLMs), o ganho massivo em eficiência de custo e a capacidade de resolver a maioria das consultas padrão tornam a abordagem híbrida superior para aplicações do mundo real.
• Futuro: Trabalhos futuros focarão em refinar a latência nos cenários de fallback, analisar padrões de uso de tokens por complexidade de consulta e desenvolver técnicas para mascarar informações sensidas antes de enviar consultas ao LLM de fallback.

Em suma, o artigo propõe uma mudança de paradigma: em vez de confiar cegamente em LLMs caros para todas as tarefas, um sistema agênico inteligente que delega o trabalho pesado para SLMs e usa LLMs apenas como "médicos de emergência" oferece a melhor relação custo-benefício para a democratização de dados.