Bounded Semantic Planning and Deterministic Compilation for Reliable Enterprise Text-to-SQL

No mundo dos negócios modernos, os dados muitas vezes ficam trancados em vastos e complexos armazéns digitais. Fazer uma pergunta simples como "Quantas apólices o agente dois vendeu no ano passado?" exige navegar por um labirinto de tabelas, relacionamentos e regras que definem como a empresa opera. Durante anos, pesquisadores tentaram ensinar computadores a traduzir essas perguntas em linguagem natural diretamente para o código específico necessário para extrair as respostas. Este é o promessa do text-to-SQL: uma máquina que entende a intenção humana e escreve as instruções corretas para recuperar os dados. No entanto, um problema significativo permanece. Quando um computador escreve essas instruções por conta própria, ele frequentemente produz um código que roda perfeitamente, mas retorna a resposta errada. Ele pode conectar as peças de informação erradas ou contar as coisas da maneira errada, criando um resultado que parece plausível, mas é fundamentalmente falho. Isso é perigoso em um ambiente corporativo, onde um número errado pode levar a decisões de negócios ruins.

Um novo estudo explora uma abordagem diferente para resolver este problema de confiabilidade. Em vez de pedir a uma inteligência artificial que escreva todo o código do zero, os pesquisadores construíram um sistema onde a IA atua como um guia, em vez de um construtor. O trabalho da IA é limitado a entender a pergunta e selecionar de uma lista pré-aprovada de caminhos e relacionamentos válidos. Uma vez que a IA faz sua seleção, um programa de computador separado e rígido assume o controle. Este programa traduz a seleção em o código final, garantindo que as conexões sejam feitas corretamente e que as regras de contagem sejam seguidas exatamente. Os pesquisadores testaram este método contra a abordagem tradicional de "escrever tudo" usando um conjunto de dados de seguros complexo. Eles descobriram que o sistema guiado era muito mais confiável, produzindo respostas corretas quase todas as vezes, enquanto o sistema tradicional frequentemente gerava código que rodava, mas dava resultados errados.

O cerne desta pesquisa reside na mudança de onde a incerteza reside. Em um sistema padrão, o modelo de inteligência artificial deve decidir tudo: quais tabelas unir, como vinculá-las e como agregar os números. Como esses modelos geram texto baseados em probabilidade, eles podem, às vezes, escolher um caminho que é tecnicamente possível, mas semanticamente errado. O novo sistema, que o autor chama de Compilação de Caminho Semântico (Semantic Path Compilation), traça uma linha rígida na areia. A inteligência artificial tem permissão para fundamentar as palavras da pergunta em conceitos de negócios específicos e escolher de um conjunto finito de opções fornecidas por um mapa de dados curado por humanos. Ela não pode inventar novas conexões ou escrever fragmentos de código. Uma vez que a IA faz sua escolha, um motor determinístico assume o volante. Este motor é um software que segue regras fixas para transformar a seleção da IA no código final. Ele verifica erros, garante que a lógica se sustente e só libera o código se ele passar em todas as verificações. Se a escolha da IA for obscura ou violar uma regra, o sistema se recusa a responder em vez de adivinhar.

Para testar isso, os pesquisadores usaram um benchmark baseado nos dados de uma seguradora, que envolve muitos relacionamentos complexos, como os diferentes papéis que uma pessoa pode desempenhar (como segurado, agente ou subscritor) e como esses papéis se conectam a apólices e sinistros. Eles executaram dois sistemas diferentes no mesmo conjunto de trinta e oito perguntas. O primeiro sistema era a abordagem tradicional, onde a IA gerava o código diretamente da estrutura do banco de dados. O segundo sistema era a nova abordagem guiada. Eles executaram cada pergunta três vezes para ver quão consistentes eram os resultados. O sistema tradicional obteve sucesso em obter a resposta correta para todas as três execuções em apenas vinte e um das trinta e oito perguntas. Em contraste, o sistema guiado obteceu sucesso em trinta e sete das trinta e oito perguntas. Mais importante ainda, o sistema tradicional produziu vinte e nove instâncias onde o código rodou com sucesso, mas a resposta estava errada. O sistema guiado produziu zero dessas ocorrências de erro. Quando falhou, ele simplesmente se recusou a dar uma resposta, em vez de fornecer um número enganoso.

O estudo também analisou o que acontece quando os dados são levemente alterados para expor erros ocultos. Em um conjunto de dados de seguros, algumas perguntas exigem a contagem de itens em um nível específico de detalhe. Se o computador unir as tabelas incorretamente, ele pode acidentalmente multiplicar os números, criando um resultado muito alto. Os pesquisadores criaram versões "contrafatuais" do banco de dados onde esses erros de multiplicação se tornariam óbvios. Eles descobriram que o sistema tradicional frequentemente falhava em detectar esses erros, retornando números inflados que pareciam corretos no dado original, mas estavam errados no dado modificado. O sistema guiado, porque foi forçado a seguir as regras estritas do mapa semântico, evitou essas armadilhas. Ele produziu consistentemente a contagem correta, mesmo quando os dados foram ajustados para enganar um sistema menos cuidadoso.

Os pesquisadores fizeram questão de notar que o sucesso deles veio do trabalho conjunto de todo o sistema, não apenas do novo motor de software. O sistema guiado tinha acesso a um mapa detalhado das regras de negócio escrito por humanos, o qual o sistema tradicional não possuía. Isso significa que a melhoria é o resultado da combinação de um melhor conhecimento com um processo mais cuidadoso. O estudo não afirma que o novo método funcionará para qualquer pergunta possível ou que remove toda a incerteza. A inteligência artificial ainda precisa fazer a escolha inicial e, se as regras de negócio não estiverem devidamente definidas no mapa, o sistema se recusará a responder. No entanto, para o tipo específico de perguntas complexas e ricas em regras encontradas neste domínio de seguros, a combinação de uma IA guiada e um compilador rígido provou ser uma forma poderosa de garantir a confiabilidade.

As descobertas sugerem uma mudança na forma como podemos construir essas ferramentas para o futuro. Em vez de esperar que um modelo de linguagem de grande escala acerte a lógica complexa todas as vezes, podemos construir sistemas que restringem o modelo a fazer escolhas seguras e usar software determinístico para executá-las. Esta abordagem troca um pouco de flexibilidade por um grau muito maior de confiança. Em um mundo onde os dados impulsionam decisões de negócios críticas, a capacidade de dizer "eu não sei" em vez de "aqui está uma resposta errada" é uma vantagem significativa. O estudo mostra que, ao mover o trabalho pesado de lógica e conexão do modelo probabilístico para um motor baseado em regras, podemos alcançar um nível de consistência que era anteriormente difícil de atingir. O resultado é um sistema que não é apenas inteligente, mas também confiável.