LEDGER: Deterministic Checks and Auditable Evaluation for Business AI Systems
O artigo apresenta o LEDGER, uma plataforma de avaliação que permite às empresas criar testes determinísticos, auditáveis e conscientes de custos para seus sistemas de IA de negócios usando dados proprietários, demonstrando como um modelo de pesos abertos auto-hospedado pode alcançar precisão de nível de fronteira por uma fração do custo das alternativas proprietárias.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No ambiente de trabalho moderno, as empresas dependem cada vez mais da inteligência artificial para responder perguntas sobre seus próprios dados internos. Um gerente de engenharia pode perguntar quantas alterações de código foram revisadas na semana passada, ou um analista financeiro pode solicitar o tempo médio que levou para resolver um tipo específico de erro. Esses sistemas não são apenas um único programa de computador pensando no vácuo; são montagens complexas onde um modelo de linguagem é conectado aos bancos de dados privados da empresa, guiado por regras estritas sobre o que pode ou não revelar, e gerenciado por um software que decide quais ferramentas utilizar. O desafio para qualquer negócio é que esses sistemas são frágeis. Uma pequena mudança no modelo, nas regras ou na forma como o software conversa com o banco de dados pode, de repente, tornar as respostas erradas. Embora existam testes públicos para classificar o quão inteligente são diferentes modelos de inteligência artificial em tarefas gerais, essas pontuações não preveem o quão bem o sistema de uma empresa específica funcionará com seus próprios dados e regras únicos. As empresas precisam de uma maneira de testar seus próprios sistemas repetidamente após cada mudança, garantindo que as respostas permaneçam corretas e que o custo de obtê-las permaneça gerenciável.
Uma equipe de pesquisadores na Interval, uma empresa que constrói ferramentas de inteligência de negócios, criou um novo método chamado LEDGER para resolver este problema. Em vez de depender de pontuações públicas, o LEDGER transforma os próprios dados, perguntas e regras de uma empresa em um teste rigoroso e repetível. O sistema funciona criando cenários específicos: uma pergunta é feita, uma resposta correta específica é definida antecipadamente e um conjunto de evidências é preparado para provar se a resposta está certa. Essa evidência pode ser um instantâneo congelado de uma consulta ao banco de dados, uma regra de política específica ou uma alteração registrada em um painel de software. Quando o sistema de inteligência artificial tenta responder à pergunta, a plataforma LEDGER verifica o resultado. Se a resposta for um número simples ou um fato claro, uma verificação determinística — um programa de computador que segue uma lógica estrita sem adivinhar — o pontua imediatamente. Se a resposta for escrita em prosa complexa que o computador não consegue processar facilmente, um inteligência artificial separada revisa o conteúdo, mas apenas após uma verificação determinística confirmar que a evidência sustenta a afirmação. Cada pontuação é vinculada à evidência específica que a produziu, criando um rastro claro e auditável que mostra exatamente por que uma resposta foi marcada como correta ou incorreta.
Os pesquisadores usaram essa plataforma para construir e testar um assistente de inteligência de negócios alimentado pelo DeepSeek V4 Flash, um poderoso modelo de pesos abertos que a empresa hospeda em seus próprios servidores privados. Eles compararam esse sistema construído sob medida contra outros sete modelos líderes, incluindo cinco sistemas proprietários de grandes empresas de tecnologia e outro modelo de pesos abertos. A comparação foi rigorosa: cada sistema recebeu exatamente as mesmas ferramentas, os mesmos dados e o mesmo conjunto de perguntas. Os resultados mostraram que, quando o modelo de pesos abertos era envolvido pelas ferramentas e regras específicas da empresa, ele performava tão bem quanto os modelos proprietários mais avançados. Em um conjunto de testes de 97 cenários cuidadosamente selecionados, o sistema customizado respondeu 96 corretamente, enquanto os outros modelos de elite responderam entre 94 e 97 corretamente. Isso demonstrou que o "harness" (o conjunto de ferramentas) de ferramentas e regras que circunda o modelo é tão importante quanto o próprio modelo. Sem essas ferramentas e definições específicas, o modelo aberto performou ligeiramente pior, mas com elas, atingiu o mesmo nível de precisão dos sistemas proprietários mais caros.
A descoberta mais significativa, no entanto, diz respeito ao custo. Embora a precisão tenha sido semelhante em todos os casos, o preço para obter uma resposta correta variou drasticamente. Os pesquisadores calcularam o custo por resposta correta para cada sistema. Os modelos proprietários, que são acessados através de caros serviços de nuvem, custaram entre seis e setenta e sete vezes mais por resposta correta do que o modelo de pesos abertos auto-hospedado usado pela Interval. Mesmo quando os pesquisadores aplicaram os níveis de preços mais baratos disponíveis para os modelos proprietários, eles ainda custavam significativamente mais do que a configuração privada da própria empresa. Isso sugere que, para empresas com necessidades de dados específicas, a escolha do modelo é menos sobre encontrar o cérebro único mais "inteligente" e mais sobre encontrar o equilíbrio certo entre precisão, controle e custo. O estudo argumenta que, ao usar um sistema de teste rigoroso e auditável como o LEDGER, as empresas podem escolher confiantemente modelos auto-hospedados mais baratos sem sacrificar o desempenho, desde que invistam nas ferramentas e regras certas para guiá-los.
Os pesquisadores foram cuidadosos ao notar que seus resultados são específicos para sua própria carga de trabalho e para a maneira particular como estruturaram seus testes. Eles não alegaram que este modelo de pesos abertos é universalmente superior a todos os outros em qualquer situação, nem sugeriram que a economia de custos seria idêntica para todas as empresas. O estudo mediu o desempenho em um conjunto específico de perguntas de negócios e descobriu que, para este tipo de trabalho, um sistema bem desenhado em torno de um modelo mais barato pode igualar os resultados das opções mais caras. A principal conclusão é que a precisão em aplicações de negócios não é uma propriedade exclusiva do modelo de inteligência artificial em si, mas de todo o sistema construído ao seu redor. Ao tornar o processo de teste transparente e repetível, as empresas podem tomar decisões de engenharia informadas, afastando-se de pagar cegamente pelos modelos mais caros e movendo-se em direção à construção de sistemas que sejam tanto precisos quanto economicamente sustentáveis.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.