Resumo Técnico: EntSQL – Um Benchmark para o Grounding de Text-to-SQL em Conhecimento Corporativo de Longo Contexto

1. Definição do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado nas capacidades de Text-to-SQL, os benchmarks existentes (ex: Spider, BIRD, Spider 2.0) avaliam primariamente a generalização de esquema, o manuseio de bancos de dados de larga escala e fluxos de trabalho baseados em documentação pública. Esses benchmarks negligenciam amplamente os cenários específicos de empresas, onde a geração de SQL depende de conhecimento de negócio privado.

Em configurações realistas de Business Intelligence (BI) corporativo, responder a uma consulta frequentemente exige a interpretação de definições internas de métricas, convenções de relatórios, regras de ano fiscal e mapeamentos organizacionais que não são recuperáveis apenas através do conhecimento público ou do esquema do banco de dados. O desafio central não é meramente gerar um SQL sintaticamente válido, mas sim fundamentar (grounding) a construção do SQL em documentos corporativos privados de longo contexto.

2. Metodologia: O Benchmark EntSQL

Para abordar essa lacuna, os autores introduzem o EntSQL, um benchmark orientado ao setor corporativo projetado para avaliar se os modelos conseguem fundamentar a geração de SQL em conhecimento de negócio privado de longo formato.

Construção de Dados

O benchmark foi construído a partir de dados operacionais reais de empresas através de um pipeline de quatro estágios:

1. Coleta de Dados: Logs reais de perguntas e respostas de usuários foram coletados de cinco domínios de negócios principais: Tesouraria, Finanças, Gestão de Negócios, Construção de Partido (Sindicato) e Recursos Humanos.
2. Síntese de Contexto e Anotação de Especialistas: Especialistas do domínio anotaram cada instância com:
   • Gold SQL: Refletindo a lógica de negócio pretendida.
   • Snippets de Evidência: Identificação concisa de regras de negócio fundamentais.
   • Documentos de Domínio: Documentos de longo formato sintetizados que descrevem o contexto de negócio relevante.
3. Anonimização e Tradução: Entidades sensíveis (datas, valores monetários, unidades organizacionais) foram substituídas por mapeamentos curados para preservar a estrutura enquanto protegiam a privacidade. Os materiais originais em chinês foram traduzidos e validados para o inglês, criando entradas bilíngues alinhadas.
4. Garantia de Qualidade: Revisão manual em múltiplos estágios por especialistas e especialistas de área garantiu a consistência entre perguntas, SQL, evidências e documentos.

Composição do Benchmark

• Escala: 1.066 exemplos semânticos alinhados entre chinês e inglês.
• Complexidade: 9ográficos 96,0% dos exemplos exigem conhecimento de domínio externo além da pergunta e do esquema. As consultas Gold SQL possuem uma média de 388,7 tokens, utilizando frequentemente Expressões de Tabela Comum (CTEs), joins e subconsultas aninhadas.
• Níveis de Dificuldade: Categorizados pelo comprimento do token SQL: Fácil (<200), Médio (200–400) e Difícil (>400). A maioria das consultas recai nas categorias Médio e Difícil.

Configuração Experimental

• Modelos Avaliados: Oito sistemas, incluindo sete LLMs autônomos (ex: Claude Opus/Sonnet 4.6, GPT-5.4, Gemini 3.1 Pro, Qwen 3.6 Max, Kimi K2.6, GLM 5.1) e um agente de codificação interativo (Claude Code).
• Configurações de Entrada:
  • Base: Pergunta + Esquema.
  • w/Doc: Pergunta + Esquema + Documento de Domínio de longo formato.
  • w/Evidence: Pergunta + Esquema + Evidência concisa curada por especialistas.
• Métrica: Acurácia de Execução (EX), comparando o conjunto de resultados do SQL previsto contra o Gold SQL no banco de dados alvo.

3. Resultados Principais

A avaliação revela desafios significativos para os sistemas de estado da arte atuais em contextos corporativos:

• Baixo Desempenho Geral: Mesmo com o fornecimento de documentos de longo formato, o melhor sistema (Claude Code) alcançou apenas 15,9% de acurácia de execução no benchmark completo em inglês.
• Impacto da Complexidade: O desempenho cai drasticamente conforme a complexidade do SQL aumenta. Na configuração "Base" (apenas Pergunta), a melhor acurácia em consultas Difíceis foi de meros 0,8%.
• O Valor da Evidência: Fornecer evidências concisas e curadas por especialistas supera significativamente o fornecimento de documentos de longo formato completos.
  • w/Doc: Melhor Acurácia Média = 15,9%.
  • w/Evidence: Melhor Acurácia Média = 21,4%.
  • Isso indica que, embora o conhecimento corporativo seja útil, os modelos atuais têm dificuldade em identificar e aplicar informações relevantes de documentos longos sem localização explícita.
• Lacuna de Especialista: Uma comparação com especialistas humanos em um subconjunto amostral mostrou uma lacuna substancial. Especialistas alcançaram 84,0% de acurácia com evidência, comparado a 20,3% para o melhor agente (Claude Code), destacando limitações no grounding de regras de negócio e composição de múltiplos passos.
• Variância de Domínio: O desempenho é altamente enviesado. Consultas de Recursos Humanos apresentaram maior acurácia (até 30,4% com evidência), enquanto consultas de Finanças permaneceram próximas de zero, sugerindo que a dificuldade é impulsionada por padrões de consulta específicos do domínio e complexidade de regras, não apenas pelo comprimento do SQL.
• Análise de Erros: O modo de falha dominante (54,6%) foi Filtro Incorreto (Wrong Filter), onde os modelos falharam em fundamentar corretamente as restrições de filtragem a partir da pergunta e dos documentos. Outros erros principais incluíram Escopo Incorreto (14,4%) e Agregação Incorreta (10,0%).

4. Significância e Alegações

O artigo afirma que o EntSQL complementa os benchmarks existentes ao deslocar o foco da generalização de esquema para o grounding de longo contexto corporativo.

• Lacuna Prática Distinta: O benchmark expõe uma lacuna específica onde fundamentar fielmente a geração de SQL em conhecimento privado de empresa permanece um desafio substancial, distinto das dificuldades de correspondência de esquema ou raciocínio de curto contexto.
• Limitações Atuais: Os resultados sugerem que simplesmente aumentar o comprimento do contexto é insuficiente; o gargalo principal é a seleção e o grounding eficaz de conhecimento. Os agentes atuais lutam para traduzir regras de negócio localizadas em SQL executável, mesmo quando fornecidas com evidências relevantes.
• Direções Futuras: Os autores propõem que pesquisas futuras devem focar em representações intermediárias explícitas para planejamento de consulta, grounding mais forte em regras específicas de domínio e módulos de validação pós-geração para verificar o uso de esquema e restrições de documentos.

Os autores mantêm uma postura modesta, observando que, embora o EntSQL seja construído a partir de cargas de trabalho reais, ele cobre apenas cinco domínios de um único cenário empresarial e pode não representar todos os cenários de Text-to-SQL corporativos. Eles enfatizam que o benchmark foi desenhado para apoiar a pesquisa em sistemas mais confiáveis e fundamentados em conhecimento para cenários corporativos realistas.