StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments

No mundo da computação moderna, existe uma classe crescente de programas inteligentes conhecidos como agentes. Estes não são apenas ferramentas simples que seguem um único comando; são sistemas projetados para raciocinar, analisar informações e tomar ações para resolver problemas complexos, de forma muito semelhante a um funcionário humano. Para funcionar, esses agentes dependem de duas partes distintas. A primeira é o cérebro, um modelo de linguagem de grande escala que fornece o raciocínio e o conhecimento. A segunda é o suporte (harness), que atua como as mãos, olhos e ouvidos do agente. O suporte define como o agente vê o mundo, quais ferramentas tem permissão para usar e como verifica o seu próprio trabalho. Durante anos, os cientistas focaram-se quase inteiramente em tornar o cérebro maior e mais inteligente. No entanto, na realidade desordenada e regida por regras dos ambientes de negócios, um cérebro brilhante ainda pode falhar se as suas mãos forem desajeitadas ou se não compreender as regras específicas do escritório onde está a trabalhar. Isto levanta uma questão prática: se não podemos mudar o cérebro, podemos melhorar as mãos e as regras para fazer o agente trabalhar melhor?

Uma equipa de investigadores da ServiceNow, juntamente com colaboradores de instituições académicas, decidiu responder a esta questão com um novo framework chamado StarHarness. Eles focaram-se num desafio específico encontrado em ambientes empresariais, onde o software deve gerir coisas como sistemas de TI, fluxos de trabalho financeiros e registos de atendimento ao cliente. Nestes ambientes, o software deve interagir com bases de dados e ferramentas que possuem regras estritas e, muitas vezes, ocultas. Os investigadores queriam ver se conseguiam melhorar automaticamente o suporte do agente sem sequer tocar no cérebro subjacente. Eles trataram o suporte como um pedaço de código que poderia ser evoluído, ou melhorado, através de um processo de tentativa e erro. O objetivo era encontrar uma forma melhor de o agente estruturar as suas tarefas, utilizar as suas ferramentas e verificar os seus resultados, tudo isto mantendo os pesos internos do modelo completamente congelados.

Para testar a sua ideia, os investigadores criaram um sistema que podia procurar por melhorias de uma forma controlada. Começaram por executar o agente num grande conjunto de tarefas para ver onde ele tipicamente falhava. Em seguida, dividiram estas tarefas em três grupos. Um grupo foi utilizado para propor alterações, outro foi mantido oculto para testar se as alterações realmente funcionavam, e um terceiro grupo foi guardado para uma verificação final imparcial. O sistema sugeriria uma pequena alteração ao suporte, como corrigir a forma como uma ferramenta era chamada ou adicionar uma regra para prevenir um erro comum. Em seguida, testaria esta alteração no grupo oculto. Se a alteração fizesse o agente desempenhar melhor, o sistema mantinha-a; se não, descartava-a. Este processo repeti-se, permitindo que o suporte evoluísse lentamente para uma versão mais capaz de si mesmo. Os investigadores utilizaram este método em três tipos diferentes de desafios de negócio: analisar falhas de rede de computadores, gerir pedidos de serviço de TI e lidar com fluxos de trabalho financeiros.

Os resultados foram impressionantes. Após o sistema realizar apenas um pequeno número de alterações aceites — tipicamente entre quatro e doze ajustes por ambiente — o desempenho do agente saltou significativamente. Nos benchmarks, o desempenho do benchmark completo melhorou entre 20 a 35 pontos percentuais em relação ao suporte padrão. Especificamente, a taxa de sucesso melhorou 35 pontos percentuais nas tarefas de análise de rede, subiu 20 pontos percentuais nos testes de gestão de serviços de TI e subiu 26 pontos percentuais nos fluxos de trabalho financeiros. Crucialmente, estas melhorias não foram apenas o resultado da memorização dos problemas específicos que o sistema tinha visto durante o treino. Quando os investigadores testaram o suporte evoluído em novas tarefas não vistas, o agente ainda assim desempenhou muito melhor do que antes. Mais surpreendente ainda, as melhorias transferiram-se para diferentes tipos de modelos de IA. Um suporte evoluído utilizando uma família de modelos específica funcionou tão bem quando entregue a uma família de modelos completamente diferente, sem necessidade de qualquer treino ou ajuste adicional.

Os investigadores analisaram as alterações para compreender o que o sistema tinha efetivamente aprendido. Descobriram que as melhorias se dividiam em três categorias claras. Primeiro, o sistema reparou as interfaces entre o agente e as suas ferramentas, corrigindo erros que faziam com que o agente chamasse as ferramentas incorretamente. Segundo, aprendeu as convenções ocultas do ambiente, tais como a ordem específica em que certas etapas devem ser tomadas ou como lidar com datas e prioridades corretamente. Terceiro, comprimiu o processo de busca ao adicionar conhecimento operacional, permitindo que o agente saltasse etapas desnecessárias e se focasse nas causas mais prováveis de um problema. Por exemplo, nas tarefas financeiras, o suporte evoluído aprendeu a verificar violações de segurança antes de realizar qualquer alteração, o que reduziu drasticamente o número de erros. Nas tarefas de análise de rede, o agente aprendeu a parar a busca assim que encontrava uma causa provável, em vez de perder tempo à procura de mais evidências que não eram necessárias.

Estas descobertas sugerem que, para muitas aplicações de negócio do mundo real, a maior barreira ao sucesso não é a inteligência do modelo, mas o design do sistema que o guia. Ao evoluir o suporte, os investigadores foram capazes de reduzir o número de diagnósticos falsos, encurtar o tempo de conclusão das tarefas e baixar o custo de execução do agente. O estudo demonstra que um cérebro fixo e imutável pode tornar-se extraordinariamente mais eficaz quando as suas ferramentas e regras circundantes são cuidadosamente ajustadas ao ambiente específico em que opera. Isto oferece um caminho prático para organizações que precisam de agentes de IA fiáveis hoje, sem terem de esperar pelo desenvolvimento da próxima geração de modelos maiores. O trabalho mostra que, por vezes, a atualização mais poderosa não é uma nova mente, mas uma melhor forma de trabalhar.