No mundo digital moderno, grandes organizações dependem de programas de software que agem em seu nome. Durante décadas, esses programas eram previsíveis: um engenheiro humano escrevia o código, instalava o programa e dava a ele um conjunto específico de instruções. Se o programa precisasse enviar um e-mail ou movimentar dinheiro, ele faria exatamente o que lhe foi dito, nada mais e nada menos. Para manter esses programas seguros, as empresas construíram sistemas para verificar sua identidade e registrar suas ações, de forma muito semelhante a um segurança verificando um crachá em uma porta. No entanto, um novo tipo de software chegou e mudou as regras. Estes são os agentes autônomos, programas que não apenas seguem um roteiro fixo, mas usam inteligência artificial para decidir por conta própria o que fazer a seguir. Eles podem aparecer e desaparecer em segundos, podem escolher entre uma vasta gama de ações possíveis que nenhum humano escreveu antecipadamente e qualquer pessoa com uma conexão à internet pode criar um. Como esses agentes são tão diferentes dos antigos programas previsíveis, os sistemas de segurança projetados para o passado falham em protegê-los.

Uma equipe de pesquisadores da Aurite AI passou um tempo construindo uma nova maneira de gerenciar esses agentes imprevisíveis enquanto eles estão em execução. Eles argumentam que tentar controlar esses agentes fixando seu código antes de começarem é impossível, porque o agente decide suas próprias ações no último momento. Em vez disso, eles propõem um sistema que observa cada ação que o agente tenta realizar e o interrompe se ela não for permitida. Para fazer isso funcionar, eles identificaram cinco perguntas essenciais que devem ser respondidas para cada ação. Primeiro, o sistema deve saber que o agente existe. Segundo, deve provar quem é o agente. Terceiro, deve decidir se o agente tem permissão para fazer o que está pedindo. Quarto, deve criar um registro permanente e imutável do que aconteceu que qualquer pessoa possa verificar mais tarde. Quinto, deve verificar do que o agente é feito para garantir que ele não tenha sido secretamente alterado. Os pesquisadores construíram um sistema que responde às quatro primeiras perguntas em tempo real e está desenvolvendo a quinta como uma ferramenta separada. Eles descobriram que, embora essa abordagem seja necessária, ela tem um custo: retarda ligeiramente o sistema e requer um pequeno programa auxiliar para rodar junto ao agente.

O problema central que os pesquisadores enfrentaram é que a segurança tradicional depende de saber exatamente o que um programa fará antes de começar. Se um funcionário humano é contratado, ele recebe um crachá e uma lista de regras. Se um serviço é instalado, ele recebe uma descrição de cargo específica. Mas um agente autônomo é diferente. É como um viajante que chega sem visto, afirma ser um cidadão e depois decide na hora qual país visitar e o que fazer lá. Os pesquisadores descobriram que as antigas ferramentas de segurança, que foram construídas para pessoas e serviços fixos, não conseguem lidar com isso. Uma verificação de segurança padrão pode verificar se o agente é quem diz ser, mas não pode impedir o agente de escolher uma ação perigosa que ninguém antecipou. Da mesma forma, um segurança que apenas verifica a lista de ações aprovadas não pode impedir um agente de inventar uma nova ação prejudicial de improviso. Os pesquisadores concluíram que a única maneira de governar esses agentes é intervir no exato momento em que tentam agir, verificando seu pedido contra um conjunto de regras antes de deixá-los prosseguir.

Para resolver isso, a equipe projetou um sistema construído em torno de cinco partes distintas, ou primitivos, que trabalham juntos. A primeira parte é a descoberta. Como os agentes podem aparecer em qualquer lugar e a qualquer momento, o sistema deve ser capaz de encontrá-los. Os pesquisadores perceberam que simplesmente listar agentes conhecidos não é suficiente, porque os agentes mais perigosos são aqueles que ainda não foram registrados. O sistema deles é projetado para notar quando um agente tenta fazer algo que o sistema não reconhece. Em vez de apenas bloqueá-lo, o sistema registra a tentativa e alerta um operador humano, que pode então decidir se essa nova ação deve ser permitida no futuro. Isso transforma uma falha potencial em uma maneira de aprender e atualizar as regras.

A segunda parte é a identidade. No passado, um programa poderia alegar ser um serviço específico, mas os pesquisadores descobriram que os agentes podem mentir sobre quem são. O sistema deles exige que o agente prove sua identidade usando uma credencial digital que é gerada automaticamente com base em onde o agente está rodando e do que ele é feito. Essa prova é verificada no exato momento em que o agente tenta se conectar, garantindo que o sistema está falando com o agente real e não com um impostor. Essa prova é de curta duração e muda constantemente, de modo que, mesmo que um hacker roube uma credencial, ela expirará rapidamente.

A terceira parte é a governança, que é o processo de tomada de decisão propriamente dito. Antes de um agente poder enviar um e-mail ou transferir fundos, ele deve pedir permissão. O sistema verifica o pedido contra um conjunto de regras que são específicas para aquela organização. Se a ação for permitida, o agente prossegue. Se não for, o pedido é bloqueado imediatamente. Isso acontece antes da ação ocorrer, o que é a única maneira de realmente controlar o agente. Os pesquisadores também incluíram um "botão de desligamento" (kill switch) que pode interromper um agente instantaneamente se ele começar a se comportar mal, sem esperar que suas credenciais digitais expirem.

A quarta parte é a atestação, que trata de criar um registro confiável. No passado, as empresas mantinham registros do que seus programas faziam, mas esses registros eram escritos pelos próprios programas que estavam sendo vigiados. Se um programa se tornasse rebelde, ele também poderia alterar os registros para esconder seus rastros. Os pesquisadores construíram um sistema que escreve cada decisão em uma cadeia de registros especial e imutável. Esta cadeia é assinada com uma chave secreta que apenas a organização possui, e é projetada de modo que qualquer pessoa, mesmo fora da empresa, possa verificar se o registro é real e se não foi adulterado. Isso fornece uma maneira de provar o que aconteceu em um tribunal ou durante uma investigação.

A quinta parte é a verificação da cadeia de suprimentos, que pergunta do que o agente é realmente feito. Mesmo que um agente seja identificado e suas ações sejam aprovadas, ele pode estar rodando em uma versão comprometida de seu software. Os pesquisadores construíram ferramentas para verificar os ingredientes do agente — seu código, seus dados e suas dependências — mas essas ferramentas operam atualmente separadamente das verificações de segurança em tempo real. Embora os pesquisadores argumentem que essa verificação é essencial porque um agente perfeitamente identificado construído sobre partes quebradas ainda é perigoso, esta verificação específica ainda não bloqueia as ações no momento em que ocorrem; ela permanece como uma etapa de desenvolvimento separada, em vez de uma parte integrada do processo de autorização imediata.

Os pesquisadores testaram seu sistema em testes privados com algumas organizações. Eles descobriram que quatro das cinco partes estão totalmente construídas e funcionando, enquanto a quinta ainda está sendo desenvolvida como uma ferramenta separada. Eles foram honestos sobre os custos dessa nova abordagem. Como o sistema verifica cada pedido antes que ele aconteça, ele adiciona um pequeno atraso ao processo. Também requer um pequeno programa auxiliar, chamado sidecar, para rodar junto a cada agente para gerenciar sua identidade. Mais importante ainda, se o próprio sistema de segurança cair, os agentes devem parar de funcionar para permanecerem seguros. Isso significa que uma falha no sistema de segurança causa uma interrupção nos negócios, um compromisso que os pesquisadores acreditam ser necessário para evitar danos.

Uma das descobertas mais surpreendentes foi que o sistema também deve governar a si mesmo. Os pesquisadores perceberam que as ferramentas que construíram para gerenciar os agentes são, elas mesmas, programas automatizados. Eles decidiram passar suas próprias ferramentas de gerenciamento pelos mesmos controles de segurança que os agentes dos clientes. Isso significa que o sistema verifica sua própria identidade, decide se suas próprias ações são permitidas e registra suas próprias decisões na mesma cadeia imutável. Isso garante que as pessoas que construíram o sistema de segurança não possam contornar as regras que criaram para os outros.

Os pesquisadores enfatizam que o trabalho deles não é sobre mudar como os modelos de inteligência artificial pensam ou se comportam. Eles assumem que os modelos estão funcionando conforme o pretendido e focam, em vez disso, nas regras que governam o que os modelos podem acessar ou alterar. Eles argumentam que tentar resolver o problema apenas melhorando os modelos não é suficiente, pois mesmo um modelo bem comportado precisa de limites sobre o que pode acessar e mudar. Sua solução é um framework prático que as organizações podem usar para gerenciar esses novos e imprevisíveis agentes hoje. Ao decompor o problema em cinco perguntas claras, eles fornecem um roteiro para qualquer pessoa que tente trazer essas ferramentas poderosas para um ambiente seguro e controlado. O trabalho não terminou, e a quinta parte do sistema ainda está sendo integrada, mas a ideia central — que esses agentes devem ser monitorados e verificados em tempo real — foi proposta como uma abordagem arquitetônica necessária, com o racional de design validado através da implementação, em vez de resultados mensurados em uma população de implantação ampla.