Agent-Agnostic Evaluation of SQL Accuracy in Production Text-to-SQL Systems

1. Declaração do Problema

O artigo aborda uma lacuna crítica na implantação de sistemas Text-to-SQL (T2SQL) em ambientes de produção. Enquanto benchmarks acadêmicos (por exemplo, Spider, BIRD) dependem de consultas SQL de verdade fundamental e esquemas de banco de dados fixos para avaliação, sistemas de produção do mundo real enfrentam restrições diferentes:

• Sem Verdade Fundamental: As consultas dos usuários chegam dinamicamente sem "padrão ouro" SQL pré-anotado.
• Dependência de Esquema: Bancos de dados de produção são frequentemente proprietários, multi-inquilino ou sujeitos a evolução frequente de esquema, tornando o acesso a esquemas estáticos um passivo.
• Vácuo de Avaliação: Sem consultas de referência ou acesso ao esquema, os desenvolvedores não podem monitorar sistematicamente a precisão, detectar degradação de qualidade ou comparar versões de agentes após a implantação. Isso leva a uma "erosão silenciosa da qualidade", onde erros passam despercebidos.

Métodos existentes (correspondência de strings ou precisão baseada em execução) falham nesse contexto porque exigem consultas de referência ou uma instantânea de banco de dados ao vivo e consultável, que muitas vezes estão indisponíveis ou são impraticáveis em ambientes empresariais.

2. Metodologia: O Framework STEF

Os autores propõem o STEF (Framework de Avaliação Text-to-SQL Agnóstico de Esquema), um sistema nativo de produção que avalia agentes T2SQL usando apenas entradas em linguagem natural e o SQL gerado, sem necessidade de esquemas de banco de dados ou consultas de referência.

O framework opera através de um pipeline de cinco estágios:

A. Especificação de Entrada

O STEF aceita quatro entradas por instância de consulta:

1. $Q_u$: A pergunta original do usuário.
2. $Q_e$: A pergunta enriquecida/reformulada pelo agente (saída de pré-processamento).
3. $S$: A consulta SQL gerada.
4. $R_{app}$: Uma configuração JSON para regras específicas da aplicação (por exemplo, mapeamentos de colunas, filtros benignos).

B. Extração e Normalização de Características Semânticas

O sistema extrai especificações semânticas estruturadas tanto da linguagem natural ($Q_u, Q_e$) quanto do SQL ($S$) independentemente.

• Dimensões: Decompõe consultas em Projeções (colunas), Agregações (SUM, AVG), Filtros (cláusulas WHERE) e Agrupamento (GROUP BY).
• Normalização: Para lidar com variações de forma superficial, o STEF normaliza os dados durante a extração:
  • Resolve aliases SQL para significados semânticos.
  • Normaliza valores de filtro (maiúsculas/minúsculas, espaços em branco).
  • Mapeia termos de linguagem natural (por exemplo, "total") para funções SQL (por exemplo, SUM).
  • Aplica mapeamentos de colunas específicos da aplicação a partir de $R_{app}$.

C. Alinhamento de Especificação e Classificação de Filtros

As características extraídas são alinhadas para determinar o Status de Alinhamento de Filtros. O sistema classifica o alinhamento em quatro categorias:

1. Totalmente Aplicado: Todos os filtros necessários presentes, sem extras.
2. Totalmente Aplicado com Extras: Filtros necessários presentes, mas existem filtros extras (verificados contra regras "benignas").
3. Parcialmente Aplicado: Alguns filtros ausentes ou incorretos.
4. Não Aplicado: Filtros críticos ausentes.

D. Veredito Semântico Baseado em LLM

Um avaliador LLM atua como um "juiz" para avaliar o alinhamento semântico holístico que a lógica baseada em regras não consegue capturar (por exemplo, aritmética de datas complexa, equivalências implícitas de métricas).

• Escala de Veredito: O LLM produz uma pontuação ordinal de 4 pontos: Correto, Provavelmente Correto, Potencialmente Incorreto, Incorreto.
• Pontuação de Confiança: O LLM fornece uma pontuação de confiança ($\gamma \in [0, 1]$) para quantificar sua certeza, o que é crucial para lidar com a variância do avaliador.

E. Regras de Normalização de Produção

Para evitar falsos negativos em SQL estruturalmente correto, mas idiomático diferente, o STEF aplica quatro regras universais de normalização:

1. Inferência de GROUP BY Obrigatória: Se um SELECT mistura agregados e não agregados, o GROUP BY necessário é assumido como correto mesmo que não seja explicitamente solicitado.
2. GROUP BY Benigno: Agrupamento em uma coluna já restringida a um único valor por uma cláusula WHERE é ignorado.
3. Tolerância ORDER BY: Ordenação padrão (por exemplo, por métrica agregada descendente) é aceita se o usuário não solicitou explicitamente uma ordem de classificação.
4. Tolerância LIMIT: Limites de alta cardinalidade (por exemplo, LIMIT 10000) usados como guardas de segurança não são penalizados como restrições top-k, a menos que explicitamente solicitados.

3. Mecanismo de Pontuação Composta

O STEF produz uma única pontuação interpretável ($\Phi$) em uma escala de 0–100. A pontuação é calculada como:
$$\Phi = \frac{B}{10} \times 100 \times \Gamma$$
Onde:

• $B$ (Pontuação Base): Soma da Pontuação de Alinhamento de Filtros (0–5) e da Pontuação de Veredito Semântico (0–5), mais um Impulso de Leniência (+1) se filtros extras forem confirmados como benignos.
• $\Gamma$ (Multiplicador de Confiança): Um fator de penalidade baseado na confiança do LLM ($\gamma$).
  • $\gamma \ge 0.85 \rightarrow \Gamma = 1.0$
  • $0.65 \le \gamma < 0.85 \rightarrow \Gamma = 0.8$
  • $\gamma < 0.65 \rightarrow \Gamma = 0.5$
  • Significado: Isso transforma a incerteza do avaliador em um sinal de pontuação, penalizando avaliações de baixa confiança para evitar falsos positivos.

4. Principais Contribuições

1. Avaliação Agnóstica de Esquema: O primeiro framework para avaliar a precisão T2SQL em produção sem exigir esquemas de banco de dados, consultas de referência ou infraestrutura de execução.
2. Validação de Pergunta Enriquecida: Trata a reformulação interna do agente da pergunta do usuário como um sinal de primeira classe para avaliação.
3. Injeção de Regras Configurável: Permite que empresas injetem lógica específica de implantação (mapeamentos de colunas, filtros benignos) via modelagem de prompts sem alterações de código ou re-treinamento de modelos.
4. Normalização Robusta de Produção: Lida explicitamente com idiomatismos comuns de SQL de produção (inferência de GROUP BY, ORDER BY padrão, LIMITs de segurança) para reduzir falsos negativos.
5. Pontuação Calibrada por Confiança: Integra a incerteza do LLM diretamente na pontuação final de precisão, fornecendo uma métrica mais confiável para monitoramento contínuo.

5. Resultados

Os resultados empíricos (Seção 7) demonstram a viabilidade do framework em três agentes de produção:

• Agente-A: Pontuação Média 87,4, Pontuação P90 96,2, Cobertura 98,7%.
• Agente-B: Pontuação Média 82,1, Pontuação P90 93,5, Cobertura 97,2%.
• Agente-C: Pontuação Média 91,3, Pontuação P90 98,1, Cobertura 99,1%.
  A alta cobertura e pontuações indicam que o STEF pode monitorar e diferenciar efetivamente o desempenho dos agentes em um ambiente ao vivo.

6. Significado

Este trabalho preenche a lacuna entre a pesquisa acadêmica T2SQL e a realidade industrial. Ao remover a dependência de dados de verdade fundamental e esquemas estáticos, o STEF permite:

• Melhoria Contínua: As organizações agora podem monitorar a qualidade do agente em tempo real e identificar regressões.
• Comparação de Agentes: Diferentes versões de modelos ou agentes podem ser comparados objetivamente com base apenas na qualidade de sua saída.
• Escalabilidade: O framework é implantável em tecnologias de banco de dados heterogêneas e ambientes multi-inquilino sem modificação.

Limitações: Os autores observam que a variância residual do avaliador LLM persiste em casos limítrofes e que subconsultas profundamente aninhadas ou funções de janela complexas permanecem desafiadoras, sugerindo uma direção futura para análise sintática simbólica-neural híbrida.