Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline

O Detetive vs. O Calculador: Por que Estar Certo Importa Mais do que Ser Rápido

Imagine que você está em uma biblioteca gigante e caótica onde milhões de livros estão sendo constantemente reescritos, movidos ou descartados. Você pergunta a um bibliotecário: "Quantos livros vermelhos foram vendidos na última terça-feira?". Um programa de computador tradicional age como uma calculadora super-rápida: ele começa imediatamente a pesquisar, extrai um número e o grita de volta para você. Se a matemática estiver perfeita, o computador se sente orgulhoso. Mas e se "vermelho" significasse "carmesim" para você, mas "escarlate" para o bibliotecário? Ou se os livros vermelhos tivessem sido movidos para outro prédio na semana passada, tornando a pergunta impossível de responder? A calculadora ainda lhe daria um número, mas seria o número errado, e ninguém saberia até que fosse tarde demais.

Este é o mundo dos agentes de análise de LLM. Estes são sistemas de IA projetados para conversar com bancos de dados (as bibliotecas) e responder a perguntas de negócios. Durante muito tempo, cientistas mediram seu sucesso verificando se a IA escrevia o "código" correto (SQL) para fazer uma pergunta à biblioteca. É como avaliar um aluno apenas pelo uso da gramática correta, ignorando se ele realmente entendeu a história. Mas, no mundo real, uma frase "perfeita" que leva a um número errado é um desastre. É como um GPS que dá direções perfeitas para uma casa que pegou fogo no ano passado. O verdadeiro desafio não é apenas escrever o código; é saber quando não responder, quando pedir esclarecimentos e quando dizer: "Não posso ajudar com isso". Este artigo mergulha nesse problema real e bagunçado, perguntando: é melhor ter um cérebro gigante e caro que adivinha com confiança, ou um detetive menor, que segue regras e duplica tudo?

A História do QueryProof: O Detetive que Segue Regras

Neste estudo, um pesquisador chamado Morris Lee construiu um novo tipo de agente de IA chamado QueryProof. O objetivo era testar uma ideia ousada: talvez não precisemos de um cérebro massivo de 32 bilhões de parâmetros para sermos inteligentes. Talvez precisemos apenas de um cérebro menor, de 7 bilhões de parâmetros, que seja forçado a seguir regras estritas e verificar seu próprio trabalho.

Para testar isso, o pesquisador criou um playground especial chamado WarehouseReliabilityBench. Imagine duas bibliotecas falsas (uma para uma loja online, outra para uma empresa de software) cheias de armadilhas complicadas. De 400 perguntas, cerca de metade foram projetadas para serem impossíveis de responder corretamente com um número simples. Algumas perguntas eram ambíguas (como perguntar por "receita" sem dizer se você se referia ao valor "bruto" ou "líquido"), algumas pediam dados que não existiam e algumas tentavam enganar a IA para que ela quebrasse as regras. Nesses casos, a resposta correta não era um número; era uma recusa educada, um pedido de mais detalhes ou uma mensagem de "Eu não posso fazer isso".

O experimento comparou três personagens principais:

1. O Cérebro Gigante (32B): Um modelo enorme que é instruído diretamente a responder a tudo. Não tinha rede de segurança, não tinha regras e não havia ninguém verificando seu trabalho.
2. O Detetive que Segue Regras (QueryProof): Um modelo menor de 7B, mas este foi envolvido por uma "máquina de estados determinística". Pense nisso como um supervisor rigoroso que força a IA a consultar um livro de regras antes de falar. Se a pergunta for ambígua, o supervisor diz: "Pare! Peça esclarecimentos". Se os dados estiverem faltando, o supervisor diz: "Pare! Recuse-se a responder". A IA só pode falar se passar por essas verificações.
3. A Linha de Base de Custo Equivalente: Um modelo menor com alguns exemplos extras (few-shot) para ver se apenas dar mais dicas ajudaria.

A Grande Revelação: Regras Vencem o Poder Bruto

Os resultados foram surpreendentes e muito claros. O Cérebro Gigante era confiante, mas frequentemente errado. Ele tentava responder a todas as perguntas, mesmo as impossíveis, e acabava fornecendo números de negócios errados na maioria delas. Sua "Taxa de Sucesso Falso" (a proporção de respostas erradas em relação a todas as respostas retornadas) foi de impressionantes 0,754. Era como um aluno que chuta em todas as questões da prova e obtém uma pontuação alta em "tentativa", mas reprova no exame real.

O QueryProof, o detetive menor com o livro de regras, superou completamente o gigante.

• Precisão: O QueryProof alcançou uma Taxa de Verdade de Negócios de 0,537 (significando que acertou a resposta certa ou o comportamento certo 53,7% das vezes), enquanto o Cérebro Gigante conseguiu apenas 0,300.
• Segurança: Quando o QueryProof realmente retornava uma resposta, ela era menos errada do que a do Cérebro Gigante. Especificamente, 35,1% das respostas retornadas pelo QueryProof estavam incorretas, comparado a 75,4% das respostas retornadas pelo Cérebro Gigante. Crucialmente, nas perguntas específicas que podiam ser respondidas, o Cérebro Gigante retornou zero números errados que passaram despercebidos, enquanto o QueryProof retornou 13 respostas para perguntas que na verdade exigiam esclarecimento ou recusa. A grande vitória foi que o QueryProof interrompeu as "falhas silenciosas", onde um número errado é retornado sem qualquer aviso, garantindo que nenhum número de negócio errado fosse retornado em uma tarefa passível de resposta.
• Custo: Aqui está o detalhe. O QueryProof foi 71,0% mais barato por resposta correta do que o Cérebro Gigante. Ele não precisou de um modelo massivo para ser confiável; ele precisou de um bom sistema de verificações.

O artigo descobriu que a "magia" não estava no tamanho do cérebro da IA. Estava na camada determinística — as regras rígidas que verificavam a pergunta contra a estrutura real do banco de dados antes que a IA falasse. Essa camada agiu como um segurança de uma boate, impedindo que perguntas ruins causassem problemas.

O Que Não Funcionou (E Por Que Isso é Importante)

Os pesquisadores também tentaram adicionar alguns recursos "inteligentes" ao QueryProof, esperando torná-lo ainda melhor, mas estes falharam.

• O Modelo de Confiança: Eles tentaram ensinar a IA a "sentir" o quão confiante ela estava e a pular perguntas das quais não tinha certeza. Isso não funcionou. No teste, a confiança aprendida pela IA foi, na verdade, pior do que uma regra simples escrita à mão. Era como um aluno que acha que sabe a resposta, mas está apenas chutando, enquanto a regra simples estava apenas sendo honesta.
• O Sistema de Roteamento: Eles tentaram um sistema que enviaria perguntas difíceis para um modelo maior. Isso teve o efeito contrário no conjunto de testes, fazendo com que a IA recusasse muitas perguntas que ela poderia ter respondido.

O artigo é muito cuidadoso ao dizer que esses fracassos são reais. As partes "inteligentes" não se generalizaram da prática para o teste real. A única coisa que funcionou foi a verificação entediante e rígida baseada em regras.

A Ressalva: Quão Certos Estamos?

Os pesquisadores são honestos sobre os limites de sua história.

• O Playground: As bibliotecas eram sintéticas (falsas), construídas a partir de uma única semente. Embora isso torne o teste justo e reproduzível, não sabemos com certeza se isso funciona em uma empresa real e bagunçada com décadas de dados ruins.
• O "Vazamento": Os pesquisadores admitiram que, durante a configuração, acidentalmente encontraram algumas frases específicas que correspondiam às perguntas do teste. Eles as removeram antes do teste final, mas reconhecem que o teste não é perfeitamente "limpo" porque eles conheciam as perguntas enquanto construíam as regras. Eles tratam os resultados como uma "avaliação congelada" com uma falha conhecida, não como uma prova perfeita.
• As Estatísticas: Quando eles refizeram os cálculos usando "famílias" de perguntas em vez de perguntas individuais, os intervalos de confiança ficaram mais amplos. Isso significa que a direção do resultado (Regras > Poder Bruto) provavelmente é verdadeira, mas o tamanho exato da vitória pode ser um pouco impreciso.

A Conclusão

A principal lição aqui é que, para análise de negócios, a confiabilidade vem da estrutura, não apenas do tamanho. Uma IA menor, quando envolta em um sistema estrito de regras que verifica os dados e a pergunta antes de responder, pode ser mais precisa, segura e barata do que uma IA massiva que apenas adivinha.

O artigo sugere que, se você quer uma IA que não minta para o seu chefe, você não deve apenas comprar um modelo maior. Você deve construir um melhor "livro de regras" e um "segurança" para verificar o trabalho. As partes de aprendizado "inteligentes" (como pontuações de confiança) podem ser boas de se ter, mas, neste caso específico, elas não ajudaram. O verdadeiro herói foi a verificação determinística e entediante que dizia: "Espere, vamos garantir que esta pergunta faça sentido antes de respondermos".