A Cost-Aware Agentic Architecture for NL-to-SQL over Nested Enterprise Schemas, with a New Benchmark
Este artigo apresenta o benchmark DevRev NL2SQL, apresentando 900 consultas com estruturas aninhadas e verificadas por execução e um novo Semantic Depth Score, juntamente com uma arquitetura de agente consciente de custos que alcança uma correção de resposta significativa de 91,7% neste benchmark e permanece competitiva no Spider 2.0.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um mundo onde você pudesse fazer perguntas complexas ao computador sobre o seu negócio e receber respostas precisas em linguagem clara, sem precisar conhecer a linguagem secreta dos bancos de dados. Durante anos, pesquisadores têm ensinado computadores a traduzir perguntas humanas em comandos de banco de dados, um campo conhecido como natural-language-to-SQL (linguagem natural para SQL). Os sucessos iniciais foram impressionantes, mas dependiam de testar os computadores com listas simples e planas de dados, como uma planilha com linhas e colunas. No mundo real, no entanto, os dados empresariais raramente são tão organizados. Os sistemas corporativos modernos são construídos em torno de fluxos de trabalho complexos, onde um único item, como um ticket de suporte ao cliente, está conectado a uma teia de outros itens, aninhados dentro de listas e enterrados em camadas de informações. Essas estruturas são frequentemente descritas como semelhantes a grafos, o que significa que se assemelham a um mapa de conexões em vez de uma tabela simples. Quando os pesquisadores tentaram aplicar suas melhores ferramentas a esses dados desordenados do mundo real, os sistemas falharam, incapazes de navegar pelos caminhos profundos e emaranhados da informação.
Uma equipe de pesquisadores abordou esse desafio específico construindo um novo campo de teste e um sistema de computador mais inteligente projetado para lidar com ele. Eles criaram um benchmark chamado DevRev, que contém 900 perguntas do mundo real baseadas em um banco de dados empresarial real. Diferente de testes anteriores, este banco de dados é repleto de estruturas profundamente aninhadas, onde a informação é armazenada em listas que contêm outras listas, e onde os itens estão ligados entre si de maneiras complexas que mudam dependendo do contexto. Para medir o quão bem um sistema compreende essas perguntas, a equipe introduziu um novo método de pontuação chamado Semantic Depth Score (Pontuação de Profundidade Semântica). Esta pontuação não apenas conta o comprimento de uma pergunta; em vez disso, ela mede quantas camadas de raciocínio são necessárias para encontrar a resposta, como precisar comparar diferentes períodos de tempo, calcular novos valores a partir de valores antigos ou seguir uma cadeia de conexões entre diferentes tipos de objetos de negócio.
Os pesquisadores descobriram que os sistemas mais avançados disponíveis na época, que tiveram bom desempenho em testes mais simples, tiveram dificuldades significativas com este novo conjunto de dados complexos. Esses sistemas, que frequentemente tentam gerar muitas respostas possíveis e depois escolhem a melhor, não conseguiram navegar corretamente pelas listas aninhadas ou compreender as regras específicas para vincular diferentes tipos de registros empresariais. Sua taxa de sucesso no novo benchmark ficou em torno de um terço, o que significa que eles deram a resposta errada para a maioria das perguntas. Os pesquisadores argumentaram que o problema não era apenas a falta de prática, mas uma incompatibilidade fundamental entre a forma como esses sistemas foram construídos e como os dados estavam estruturados. Os sistemas estavam tentando forçar uma abordagem plana e simples sobre uma realidade profundamente estratificada.
Para resolver isso, a equipe projetou uma nova arquitetura de computador que trabalha mais como um investigador cuidadoso do que como um adivinhador. Em vez de gerar dezenas de respostas possíveis e torcer para que uma esteja certa, este sistema segue um caminho único e focado. Ele começa pedindo a um coordenador central para olhar para o banco de dados e descobrir quais peças específicas de informação são necessárias. Se o sistema ficar travado porque não consegue encontrar uma tabela ou uma coluna, ele não apenas adivinha; ele volta, pede mais detalhes sobre a estrutura e tenta novamente com a nova informação. Esse processo é guiado por um mapa detalhado do banco de dados que inclui não apenas os nomes das colunas, mas também descrições do que os dados dentro delas realmente significam. O sistema também mantém um registro contínuo de cada erro que comete, aprendendo com cada falha para evitar repetir o mesmo erro. Ele verifica o próprio trabalho antes de enviá-lo ao banco de dados, garantindo que a lógica seja sólida e que não esteja acidentalmente criando uma confusão massiva de dados.
Quando testado nas 900 perguntas complexas, este novo sistema alcançou uma taxa de sucesso de 91,7%, um enorme avanço em relação às tentativas anteriores mais bem-sucedidas. Ele foi capaz de responder corretamente a perguntas que exigiam seguir múltiplos passos, calcular valores derivados e navegar através de listas de dados aninhadas. Os pesquisadores também mostraram que essa abordagem foi muito mais eficiente, custando significativamente menos para rodar, pois não desperdiçou recursos gerando e testando dezenas de respostas incorretas. Em um teste separado e de larga escala com dados mais simples, o sistema teve um desempenho tão bom quanto os principais concorrentes, provando que seu design especializado para dados complexos não veio à custa do tratamento de dados padrão.
O estudo sugere que o futuro de fazer perguntas aos computadores não reside em fazê-los tentar com mais força ou gerar mais opções, mas em dar-lhes melhores ferramentas para entender a estrutura dos dados com os quais estão trabalhando. Ao construir sistemas que podem explorar iterativamente um banco de dados, aprender com seus erros e entender as conexões profundas entre diferentes partes da informação, os pesquisadores criaram um caminho para interfaces inteligentes e confiáveis para os dados complexos e aninhados que alimentam os negócios modernos. O trabalho destaca que, para os computadores realmente compreenderem nossas perguntas, eles devem primeiro compreender o mundo intrincado e estratificado onde nossos dados vivem.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.