Resumo Técnico: Síntese de Dados para Text-to-SQL Baseada em Lógica de Negócio para Business Intelligence

Declaração do Problema

A avaliação de agentes Text-to-SQL em ambientes privados de Business Intelligence (BI) é dificultada pela escassez de dados realistas e específicos de domínio. Embora a geração de dados sintéticos ofereça uma alternativa escalável à anotação manual, os métodos existentes (ex: OmniSQL, SQL-Factory) otimizam primariamente a cobertura ampla de esquemas e a diversidade sintática de SQL. Consequentemente, esses métodos falham em capturar o realismo de negócio: as perguntas geradas carecem do contexto dos fluxos de trabalho do mundo real, funções profissionais e lógica de negócio. Esse descompasso resulta em conjuntos de dados de avaliação que não refletem fielmente como usuários não técnicos (analistas, gestores) realmente consultam dados corporativos, limitando a confiabilidade da avaliação de agentes em configurações de BI privado. Além disso, os benchmarks atuais costumam definir a dificuldade da consulta via características sintáticas de SQL (ex: contagem de joins), o que correlaciona mal com a complexidade real do raciocínio de negócio necessária para responder a uma pergunta.

Metodologia

Os autores propõem um framework de Síntese de Dados Baseado em Lógica de Negócio projetado para gerar dados de avaliação Text-to-SQL de alta fidelidade fundamentados em contextos de negócios estruturados. O framework opera através de quatro módulos primários:

1. Modelagem de Lógica de Negócio

Em vez de partir de um esquema de banco de dados, o framework modela a lógica de negócio hierarquicamente para refletir como as perguntas surgem em fluxos de trabalho reais de BI:

• Personas: Papéis profissionais realistas (ex: Gerente de Desenvolvimento de Vendas) definidos por responsabilidades, objetivos e pontos de dor.
• Cenários de Trabalho: Situações de negócio recorrentes onde uma persona interage com os dados (ex: revisão de ritmo de pipeline).
• Workflows (Fluxos de Trabalho): Uma sequência de tarefas analíticas que decompõe um cenário em etapas concretas (ex: filtrar dados, comparar métricas), o que naturalmente dá origem a perguntas analíticas específicas.

2. Seleção de Esquema Baseada em Lógica de Negócio

Dado que bancos de dados em escala de produção (frequentemente contendo centenas de tabelas) são vastos, o framework mimetiza o comportamento de um analista humano ao selecionar apenas as tabelas relevantes. Ele pontua as tabelas (0–3) com base na sua relevância ao contexto de lógica de negócio específico (persona, cenário, workflow). Apenas tabelas de alta relevância são retidas, reduzindo a complexidade do esquema enquanto preserva as entidades necessárias para a geração de consultas realistas.

3. Geração de Dados Text-to-SQL

O processo de geração segue uma estratégia SQL-first, onde consultas SQL executáveis são geradas primeiro e depois convertidas para linguagem natural.

• Controle de Complexidade de Raciocínio de Negócio: O framework introduz uma estratégia para diversificar a dificuldade das consultas baseando-se em etapas de raciocínio de negócio em vez de sintaxe SQL. Ele define quatro níveis de complexidade:
  1. Análise de Métrica Única: Filtragem simples e agregação.
  2. Análise de Métrica Comparativa: Comparação de métricas entre dimensões (tempo, região).
  3. Análise de Métrica Derivada: Computação de razões, porcentagens ou aplicação de subconjuntos baseados em regras.
  4. Análise de Tarefa Composicional: Combinação de múltiplas operações (ranking, segmentação, comparação) em uma única consulta.
• Refinamento Baseado em Execução: As consultas SQL geradas passam por um loop de refinamento iterativo usando feedback de execução de banco de dados para garantir a executabilidade enquanto preserva a intenção de negócio original.
• Conversão SQL-para-Pergunta: O SQL executável é convertido em perguntas de linguagem natural condicionadas à persona e ao cenário. As perguntas utilizam terminologia orientada ao negócio, evitando referências explícitas a tabelas ou construtos de SQL.

4. Avaliação de Qualidade de Dados

O framework emprega uma abordagem de LLM-as-a-Judge (LLM como Juiz) para avaliar os dados sintetizados em duas dimensões:

• Alinhamento Pergunta–SQL: Mede a correção semântica (completude de resultado, consistência de restrições, alinhamento estrutural).
• Realismo da Pergunta: Mede a plausibilidade de negócio (relevância para objetivos de negócio, uso de linguagem de domínio, naturalidade e valor de decisão).
• Alinhamento Persona–Pergunta: (Usado em análise) Avalia se a pergunta está alinhada ao escopo e responsabilidades do papel profissional específico.

Principais Contribuições

1. Proposta de Framework: Um novo framework de síntese que fundamenta a geração de dados em uma estrutura hierárquica de personas, cenários de trabalho e workflows, deslocando o foco da cobertura de esquema para o realismo de negócio.
2. Estratégia de Controle de Complexidade: Um método para definir e controlar a dificuldade das consultas via etapas e padrões de raciocínio de negócio, permitindo a geração sistemática de dados através de variados níveis de complexidade analítica.
3. Validação Empírica: Um estudo em um banco de dados de produção em escala da Salesforce demonstrando que os dados sintetizados alcançam alto realismo de negócio e correção semântica, ao mesmo tempo em que revelam lacunas significativas de desempenho em modelos state-of-the-art de Text-to-SQL.

Resultados Experimentais

O framework foi avaliado em um banco de dados privado da Salesforce em escala de produção (710 tabelas) no domínio de análise de vendas.

• Comparação de Qualidade de Dados:

  • Realismo de Negócio: O método proposto alcançou 98,44% de realismo de pergunta (avaliado pelo Gemini-3-Pro), superando o OmniSQL (+19,5%) e o SQL-Factory (+54,7%).
  • Alinhamento Pergunta–SQL: O método manteve um forte alinhamento de 98,59%, comparável ou superior aos métodos existentes.
  • Avaliação Humana: Em uma avaliação humana de 100 amostras, 98% foram julgadas como realistas e 89% passaram no critério de alinhamento Pergunta–SQL.

• Desempenho de Modelos nos Dados Sintéticos:

  • Modelos state-of-the-art (incluindo GPT-5, Claude-4.5 e Gemini-3-Pro) foram avaliados no conjunto de dados sintetizado.
  • Mesmo os modelos mais fortes mostraram degradação significativa de desempenho em consultas complexas. O melhor modelo (excluindo o GPT-5, que foi usado na geração) alcançou apenas 65,79% de precisão de execução geral.
  • No nível mais complexo (Análise de Tarefa Composicional), o melhor modelo alcançou apenas 42,86% de precisão de execução, indicando que o conjunto de dados é desafiador e não trivialmente solucionável.

• Estudo de Ablação:

  • A remoção da orientação de lógica de negócio (w/o BL) causou a queda do realismo da pergunta de 97,34% para 63,38%, confirmando que a geração baseada em esquema sem contexto de negócio produz consultas irreais.
  • A remoção do controle de complexidade (w/o CC) reduziu a diversidade dos níveis de complexidade de raciocínio, mostrando que a estratégia de controle é essencial para gerar um conjunto de dados equilibrado.

Significância e Alegações

O artigo afirma que os métodos atuais de avaliação Text-to-SQL em ambientes de BI privado são insuficientes porque priorizam a diversidade sintática sobre o realismo de negócio. Ao modelar explicitamente a lógica de negócio (personas, cenários, workflows) e controlar a complexidade do raciocínio, o framework proposto gera dados que são tanto semanticamente corretos quanto de negócio realistas.

Os autores sustentam que seu conjunto de dados sintético serve como um benchmark mais rigoroso para ambientes de BI privado. Os resultados experimentais revelam que até LLMs avançados lutam com o raciocínio de negócio complexo e de múltiplos passos, sugerindo que o campo deve ir além do simples pareamento de padrões SQL para abordar as nuances da tomada de decisão empresarial do mundo real. O artigo conclui que o trabalho futuro deve estender este framework para suportar tarefas analíticas interativas de múltiplos turnos para melhor espelhar os fluxos de trabalho iterativos de BI.