Resumo Técnico: AgentNLQ – Um Agente de Propósito Geral para Linguagem Natural para SQL

1. Declaração do Problema

A conversão de perguntas em linguagem natural (NL) em consultas SQL executáveis (NL2SQL) permanece um desafio crítico para empresas, apesar dos avanços rápidos nos Grandes Modelos de Linguagem (LLMs). Embora os LLMs tenham automatizado muitos aspectos da autoria de SQL, frequentemente falham em alcançar paridade com escritores especialistas humanos em termos de precisão. Essa lacuna decorre de várias limitações nas abordagens atuais de LLM de instância única:

• Falta de Contexto: Modelos padrão frequentemente carecem de conhecimento profundo sobre esquemas de banco de dados específicos, relacionamentos entre tabelas e regras de negócios.
• Déficits de Raciocínio: Eles lutam com o raciocínio multi-etapa necessário para junções e agregações complexas.
• Problemas de Verificação: Frequentemente não conseguem verificar de forma confiável suas próprias saídas ou se autocorrigir com base no feedback de execução.
• Complexidade do Esquema: Bancos de dados empresariais do mundo real envolvem requisitos em evolução, caminhos de junção complexos e solicitações ambíguas que levam a uma precisão menor em comparação com ambientes de referência otimizados.

O artigo postula que a geração de consultas SQL precisas em ambientes de produção exige ir além da simples engenharia de prompts em direção a um sistema multiagente capaz de planejar, refletir e se autocorrigir.

2. Metodologia: O Framework AgentNLQ

O AgentNLQ é uma solução agênica que unifica orquestração multiagente, geração automatizada de metadados e configuração multi-modelo. O sistema opera em duas etapas principais: Geração de Metadados (offline) e Inferência (online).

2.1 Geração de Metadados Offline

Antes da inferência, um pipeline offline processa o esquema do banco de dados do usuário para criar uma "representação rica do esquema". Este processo envolve:

• Agregação Estatística: Cálculo de características de dados, como contagens de nulos, valores distintos e valores de exemplo.
• Extração de Chaves: Recuperação ou derivação de chaves primárias e estrangeiras.
• Enriquecimento Orientado por LLM: Uso de um LLM para gerar descrições densas e ricas em informações para tabelas e colunas, integrando conhecimento de domínio fornecido pelo usuário e regras de negócios.
• Indexação Vetorial: Incorporação desses metadados enriquecidos para facilitar a busca semântica durante a inferência.

2.2 Etapa de Inferência

O processo de inferência começa extraindo entidades da pergunta em NL do usuário e recuperando elementos relevantes do esquema via busca vetorial. Se o esquema for pequeno o suficiente para caber na janela de contexto do modelo, todo o esquema enriquecido é utilizado; caso contrário, a busca vetorial recupera as k principais colunas relevantes.

O núcleo do sistema é um Orquestrador Personalizado que gerencia um fluxo de trabalho multiagente com as seguintes características:

• Raciocínio em Duplo Loop (Sistema 1 e Sistema 2):
  • Sistema 1 (Loop Rápido): O próprio orquestrador tenta resolver consultas usando uma "ficha de fatos" compacta e feedback de execução podado. Ele realiza validação sintática e execução rápidas. Se falhar dentro de um número configurável de tentativas (padrão: 2), ele escala.
  • Sistema 2 (Loop Lento): Um agente Gerador de SQL dedicado ativado para consultas complexas. Ele utiliza um processo detalhado de Cadeia de Pensamento (CoT), acessando os metadados enriquecidos completos e um histórico de tentativas falhas para construir uma consulta refinada.
• Feedback Fundamentado na Execução: Em vez de depender de autoavaliação abstrata, o sistema valida cada consulta candidata através de sinais concretos: análise sintática (via SQLGlot), execução em banco de dados ao vivo e heurísticas de conjunto de resultados (por exemplo, verificações de contagem de linhas).
• Compressão de Contexto Estruturada: Para evitar "apodrecimento do contexto" durante retentativas iterativas, o agente comprime o histórico bruto de conversação em um resumo estruturado contendo a pergunta original, um histórico de tentativas com resultados, o erro mais recente e instruções para evitar estratégias falhas. Os metadados do esquema são renderizados em um formato DDL compacto com comentários inline.
• Guardrails: Guardrails funcionais previnem estritamente operações de Linguagem de Manipulação de Dados (DML) (INSERT, UPDATE, DELETE, etc.), garantindo que o agente possa gerar apenas consultas de leitura.

2.3 Ferramentas e Arquitetura

O sistema aproveita servidores do Protocolo de Contexto de Modelo (MCP) para definir ferramentas atômicas para busca de similaridade vetorial e execução de SQL. Ferramentas agênicas de nível superior lidam com tarefas como pesquisa por palavras-chave e execução de consultas com lógica personalizada. A arquitetura suporta uma configuração multi-modelo, atribuindo LLMs específicos (por exemplo, OpenAI GPT-4o para planejamento, Anthropic Claude Opus 4.1 para geração de código) a tarefas onde eles performam melhor.

3. Contribuições Principais

O artigo identifica três contribuições principais:

1. Orquestrador Multiagente Otimizado: Um orquestrador especializado em domínio e orientado por ledger que emprega uma estratégia de duplo loop (Sistema 1/Sistema 2). Ele usa um "ledger de tarefas" para planejamento de objetivos imutável e um "ledger de progresso" para raciocínio dinâmico, permitindo planejamento eficiente, reflexão e autocorreção sem a sobrecarga de orquestradores de propósito geral como o Magentic One.
2. Enriquecimento Avançado de Esquema: Um método para criar metadados conscientes do contexto que combinam dados estatísticos, mapeamentos de chaves e descrições geradas por LLM com regras de negócios fornecidas pelo usuário. Esse enriquecimento melhora significativamente a compreensão do modelo sobre esquemas complexos.
3. Generalização Demonstrada: O método foi avaliado no benchmark BIRD-SQL em 11 domínios diversos (incluindo finanças, saúde e esportes), demonstrando precisão robusta e generalização além do domínio de treinamento.

4. Resultados

O sistema foi avaliado no benchmark BIRD-SQL (especificamente no Conjunto de Desenvolvimento Completo de 11 domínios e no Conjunto de Desenvolvimento Financeiro).

• Precisão: O AgentNLQ alcançou uma precisão semântica de 78,1% no benchmark BIRD. Isso representa uma melhoria significativa sobre configurações de base:
  • Base (GPT-4o, sem orquestração/enriquecimento): 60,2%
  • Com orquestração dinâmica e busca vetorial: ~68–72%
  • Com agentes multi-modelo (GPT-4o + Opus 4.1): 76,4%
  • Com orquestrador personalizado e compressão de contexto estruturada: 78,1%
• Comparação com Especialistas Humanos: Embora especialistas humanos no leaderboard do BIRD alcancem ~93% de precisão, o AgentNLQ reduz significativamente a lacuna em comparação com abordagens padrão de LLM.
• Latência: O orquestrador personalizado reduziu significativamente a latência em comparação com iterações anteriores (por exemplo, a latência P50 caiu de ~134s para ~10s para configurações do Claude Opus 4.1) ao otimizar o gerenciamento de contexto e reduzir iterações desnecessárias.
• Eficiência de Tokens: A compressão de contexto estruturada reduziu o uso de tokens em aproximadamente 19,8% no conjunto de dados financeiro.

5. Significado e Alegações

O artigo afirma que o AgentNLQ representa uma mudança de soluções ad-hoc e específicas de tarefas para um framework generalizável e de nível empresarial para NL2SQL. Seu significado reside em:

• Preenchimento da Lacuna de Precisão: Ao integrar enriquecimento de esquema, busca vetorial e um loop de raciocínio multiagente especializado, o sistema alcança níveis de precisão que se aproximam do desempenho de especialistas humanos em cenários complexos e do mundo real.
• Escalabilidade e Robustez: O sistema lida com esquemas de grande escala e domínios diversos sem exigir reajuste manual para cada novo banco de dados, abordando o problema da "agulha no palheiro" através de compressão de contexto estruturada e recuperação.
• Segurança e Confiabilidade: A implementação de guardrails funcionais e feedback fundamentado na execução garante que o sistema seja seguro para implantação empresarial, prevenindo modificações de dados e reduzindo alucinações.

Os autores concluem que, embora os LLMs ainda enfrentem limitações na produção de código preciso para consultas extremamente complexas, a combinação de orquestração agênica, contexto enriquecido e supervisão humana no loop (para aplicações críticas) oferece um caminho viável para a automação da geração de SQL em ambientes de produção.