Resumo Técnico: BEAVER: Um Benchmark Empresarial para Texto-para-SQL

Declaração do Problema

Os benchmarks existentes de texto-para-SQL (por exemplo, Spider, BIRD) são construídos a partir de bancos de dados públicos com esquemas bem estruturados, relações de junção explícitas e consultas relativamente simples. Embora os Modelos de Linguagem de Grande Escala (LLMs) alcancem alta precisão nesses benchmarks, sua eficácia em ambientes empresariais privados permanece não comprovada. Os data warehouses empresariais apresentam desafios distintos:

• Complexidade do Esquema: Os esquemas são grandes, heterogêneos e em evolução contínua, frequentemente contendo centenas de tabelas com nomes de colunas criptográficos e documentação limitada.
• Relações Implícitas: As relações de junção são frequentemente implícitas, em vez de declaradas via chaves estrangeiras.
• Conhecimento de Domínio: A resolução de consultas em linguagem natural frequentemente requer a extração de conhecimento específico do domínio (por exemplo, mapear "Edifício Stata" para um ID interno) que não está explicitamente codificado no esquema.
• Sofisticação da Consulta: As consultas empresariais são altamente analíticas, envolvendo aninhamento profundo, Expressões de Tabela Comuns (CTEs), funções de janela avançadas e múltiplas junções.
• Limitações de Avaliação: Métricas padrão de "precisão de execução" (tudo ou nada) falham em diagnosticar modos de falha específicos quando múltiplos desafios compostos existem simultaneamente.

Metodologia

1. Construção do Conjunto de Dados (BEAVER)

Os autores introduzem o BEAVER, o primeiro benchmark de texto-para-SQL derivado de data warehouses empresariais privados.

• Dados de Origem: O conjunto de dados é construído a partir de três data warehouses empresariais anonimizados (DW, NW, SP) cobrindo 19 domínios diversos (por exemplo, educação, instalações, redes). Inclui 812 tabelas e 9.128 pares pergunta-SQL provenientes de logs reais de consultas de usuários e relatórios de produção.
• Síntese de Dados (Recomposição de Modelo Estrutural): Para superar a escassez de logs empresariais acessíveis devido a restrições de privacidade, os autores propõem um pipeline sistemático:
  1. Extração de Modelos: Padrões analíticos recorrentes (Base SELECT-FROM-JOIN-WHERE-AGGREGATION, Aninhamento, CTEs e predicados de Conhecimento de Domínio) são extraídos de logs reais.
  2. Composição Iterativa: Esses modelos são instanciados com valores concretos (tabelas, colunas, instâncias) e compostos iterativamente usando LLMs.
  3. Isolamento de Desafios: O pipeline gera consultas que isolam desafios específicos: alta complexidade sem conhecimento de domínio, baixa complexidade com conhecimento de domínio e combinações de ambos.
  4. Verificação: Todas as consultas sintetizadas passam por verificação de especialistas quanto à executabilidade e correção.

2. Framework de Avaliação

O BEAVER vai além da precisão de execução binária introduzindo cinco subtarefas críticas com anotações humanas e métricas específicas:

1. Recuperação de Múltiplas Tabelas: Identificar o subconjunto correto de tabelas (pontuação F1).
2. Detecção de Chave de Junção: Inferir condições de junção implícitas entre tabelas (pontuação F1).
3. Mapeamento de Colunas: Mapear conceitos em linguagem natural para nomes de colunas obscuros (pontuação F1).
4. Extração de Conhecimento de Domínio: Identificar valores de instância e fatos de domínio não presentes no SQL final (pontuação F1).
5. Decomposição de Consulta: Quebrar perguntas complexas em subproblemas (CTEs/Subconsultas) (Pontuação 0-100).

Principais Contribuições

1. Benchmark BEAVER: Um conjunto de dados em grande escala (9.128 consultas) refletindo a "desordem" de ambientes empresariais privados, apresentando esquemas com média de 101,5 tabelas e 869,4 colunas por banco de dados, significativamente maiores que benchmarks existentes como Spider 2.0 ou BIRD.
2. Recomposição de Modelo Estrutural: Um método principiado para expandir conjuntos de dados empresariais sob restrições estritas de privacidade, mantendo alta fidelidade a cargas de trabalho do mundo real.
3. Avaliação de Alta Granularidade: Um framework fornecendo anotações humanas para cinco subtarefas, permitindo análise diagnóstica de falhas de modelos além da precisão de execução grosseira.
4. Taxonomia Abrangente de Erros: Uma análise detalhada de erros residuais, categorizando falhas em erros analíticos/estruturais, erros de vinculação de esquema e erros de predicado.

Resultados Experimentais

Os autores avaliaram sete LLMs recentes (incluindo GPT-5.2, Claude-4.5, Qwen3) e quatro métodos de texto-para-SQL (ReFoRCE, DIN-SQL, DAIL-SQL, Few-shot) no BEAVER.

• Lacuna de Desempenho: Há uma queda significativa no desempenho em comparação com benchmarks existentes. O framework agêntico de última geração (ReFoRCE) usando GPT-5.2 alcançou apenas 10,8% de precisão de execução no BEAVER, comparado a ~80% no BIRD/Spider.
• Análise de Subtarefas:
  • Os modelos tiveram o pior desempenho em Detecção de Chave de Junção, Conhecimento de Domínio e Decomposição de Consulta.
  • A detecção de chaves de junção é particularmente difícil devido à falta de chaves estrangeiras explícitas e nomenclatura criptográfica.
• Dicas de Oráculo: Quando fornecidas anotações para as cinco subtarefas como "dicas de oráculo", a precisão de execução melhorou para 30,1%. Isso confirma que resolver corretamente essas subtarefas é um grande gargalo, embora erros residuais significativos permaneçam.
• Categorias de Consulta: Os modelos tiveram mais dificuldade com consultas que combinam alta complexidade estrutural e conhecimento de domínio. Consultas puramente complexas (sem conhecimento de domínio) foram ligeiramente mais fáceis, enquanto consultas específicas de domínio com baixa complexidade foram as mais gerenciáveis.

Análise de Erros

Mesmo com dicas de oráculo para subtarefas, erros residuais persistem, categorizados como:

• Erros Analíticos e Estruturais (46,8%): Erros em agrupamento, ordenação, funções avançadas (janela, escalar, agregação) e decomposição de consulta (por exemplo, uso incorreto de ROLLUP).
• Erros de Vinculação de Esquema (35,2%): Seleção incorreta de tabelas/colunas e tipos de junção, frequentemente devido a convenções de nomenclatura opacas.
• Erros de Predicado (18,0%): Valores literais incorretos ou filtros omitidos, refletindo uma falha em aplicar convenções específicas de domínio.

Significado

O artigo posiciona o BEAVER como um passo crítico para o desenvolvimento de agentes SQL robustos e prontos para empresas. Ele demonstra que os métodos atuais de texto-para-SQL, embora bem-sucedidos em benchmarks públicos simplificados, ainda não são capazes de lidar com os esquemas intrincados, o conhecimento de domínio implícito e as construções analíticas sofisticadas exigidos em ambientes empresariais privados do mundo real. Ao fornecer um conjunto de dados desafiador e um framework de diagnóstico de alta granularidade, o BEAVER identifica gargalos específicos (particularmente na resolução de subtarefas e na construção avançada de SQL) que devem ser abordados para avançar o campo.