One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows

No mundo da inteligência artificial, que evolui rapidamente, surgiu uma nova geração de programas de computador conhecidos como "agentes". Diferente dos chatbots anteriores, que simplesmente respondiam perguntas ou escreviam textos, esses agentes foram projetados para agir. Eles podem navegar na web, executar códigos de software ou recorrer a ferramentas digitais para realizar tarefas, de forma muito semelhante a um funcionário humano. Durante anos, pesquisadores testaram esses agentes pedindo-lhes que resolvessem problemas com respostas claras e fáceis de verificar, como corrigir uma linha de código quebrada ou encontrar um fato específico em um site. O sucesso nessas áreas era medido pelo fato de o agente produzir um resultado final correto ou um comando válido. No entanto, o mundo real dos negócios raramente é tão simples. Em um escritório corporativo, o trabalho frequentemente envolve uma longa cadeia de eventos onde o sistema de computador deve ser atualizado corretamente, políticas devem ser seguidas e o estado de um banco de dados deve mudar de uma maneira específica. Se um agente cometer um erro no meio de um processo, ou se alterar o registro errado, as consequências podem ser reais e dispendiosas. A questão crítica para o futuro desta tecnologia não é apenas se um agente consegue encontrar um caminho para o sucesso uma vez, mas se ele pode fazê-lo de forma confiável, todas as vezes, sem causar danos não pretendidos.

Uma equipe de pesquisadores da Universidade de Pittsburgh, da Universidade Northwestern, da Universidade da Califórnia, Irvine, e da Microsoft construiu um novo campo de testes para responder a esta pergunta. Eles criaram um ambiente digital chamado ThinkingBox, que atua como um ambiente isolado e seguro (sandbox) onde esses agentes de IA podem interagir com usuários simulados e ferramentas de negócios complexas. Dentro deste sandbox, os agentes recebem tarefas realistas, como processar um reembolso para um pedido online, alterar uma reserva de hotel, atualizar um sinistro de seguro ou lidar com a solicitação de suporte de TI de um funcionário. O ambiente foi projetado para imitar a realidade desordenada do trabalho de escritório, onde a informação é frequentemente incompleta, as regras são rígidas e cada ação deixa uma marca permanente em um registro digital. Os pesquisadores não pediram apenas que os agentes conversassem; eles exigiram que eles realmente alterassem o estado do sistema. Para garantir que os testes fossem justos e repetíveis, o sandbox se reinicia completamente após cada tentativa, garantindo que dois testes não compartilhem os mesmos dados ou histórico oculto.

Os pesquisadores então povoaram este ambiente com 507 tarefas distintas em cinco setores diferentes: varejo, viagens e hospitalidade, seguros de automóveis, bancário e consultoria. Eles convidaram uma ampla gama dos modelos de inteligência artificial mais avançados disponíveis, incluindo tanto sistemas proprietários de grandes empresas de tecnologia quanto modelos de código aberto, para tentar realizar essas tarefas. Cada modelo recebeu vinte chances de resolver cada problema. A avaliação foi rigorosa. Um agente não passava simplesmente porque dava uma resposta educada ou fazia uma chamada de ferramenta que parecia correta superficialmente. Em vez disso, o sistema verificava o resultado final em relação ao resultado exigido. O reembolso realmente apareceu no banco de dados? O quarto de hotel foi corretamente marcado como alterado? A reivindicação de seguro foi atualizada sem alterar acidentalmente a apólice de outro cliente? O sistema também verificava os "efeitos colaterais", ou seja, observava se o agente havia alterado acidentalmente algo que não deveria tocar, um erro comum e perigoso em softwares do mundo real.

Os resultados revelaram uma lacuna significativa entre o que os agentes conseguem fazer ocasionalmente e o que conseguem fazer de forma dependente. O modelo com melhor desempenho conseguiu resolver a tarefa corretamente na primeira tentativa cerca de 65 por cento das vezes. Embora isso possa parecer impressionante, o cenário mudou quando os pesquisadores verificaram a confiabilidade. Quando verificaram com que frequência um modelo conseguia resolver a tarefa com sucesso em todas as vinte tentativas, o número caiu drasticamente para apenas 25 por cento. Isso significa que, embora um agente inteligente pudesse frequentemente encontrar um caminho de sucesso se recebesse tentativas suficientes, ele não conseguia repetir esse sucesso de forma consistente sem cometer erros. Os pesquisadores descobriram que muitas falhas não se deviam à incapacidade dos agentes de compreender a solicitação ou de falar com o usuário. Em vez disso, o problema mais comum era que os agentes falhavam em se recuperar quando uma ferramenta exibia uma mensagem de erro, ou realizavam a ação correta no dado errado. Por exemplo, um agente poderia chamar com sucesso uma ferramenta para atualizar um registro, mas aplicar a alteração ao cliente errado, ou poderia interromper o processo antes de completar uma etapa necessária, deixando o sistema em um estado quebrado.

O estudo também destacou que diferentes modelos enfrentavam dificuldades com diferentes tipos de trabalho. Alguns modelos eram muito bons em lidar com pedidos de varejo, mas tinham um desempenho ruim ao lidar com apólices de seguro complexas ou regulamentações bancárias. Isso sugere que o alto desempenho em uma área não garante que um agente será confiável em outra. Os pesquisadores observaram que, mesmo quando um agente produzia uma mensagem final perfeita para o usuário, o banco de dados subjacente muitas vezes permanecia inalterado ou estava corrompido. Essa descoberta desafia a forma atual como muitos sistemas são avaliados, que frequentemente foca na qualidade da conversa ou na validade da chamada da ferramenta, em vez do resultado real. O artigo conclui que, para que a inteligência artificial seja confiada com trabalhos de negócios consequentes, ela deve ir além de simplesmente encontrar um caminho de sucesso uma vez e aprender a executar esse caminho com precisão consistente e repetível. O sandbox ThinkingBox e seu benchmark estão agora disponíveis ao público, fornecendo um novo padrão para medir se esses trabalhadores digitais estão verdadeiramente prontos para o mundo real.