No moderno ambiente de trabalho digital, um novo tipo de trabalhador surgiu: o agente de software. Estes são programas alimentados por modelos de linguagem de grande escala que podem ler documentos, enviar e-mails, mover dados entre sistemas e até chamar outros programas para realizar tarefas. Eles agem em nome de funcionários humanos, recebendo instruções e transformando-as em uma série de ações. A promessa é de uma eficiência imensa, mas o risco é igualmente alto. Se um funcionário humano for enganado para enviar um arquivo secreto para a pessoa errada, o dano fica contido ao julgamento dessa única pessoa. Mas quando um agente de software é enganado, ele pode executar esse erro com perfeição de velocidade e em todos os sistemas que lhe é permitido acessar. O desafio central para os especialistas em segurança não é apenas tornar esses agentes mais inteligentes para que não sejam enganados, mas construir um sistema onde não importe se eles forem enganados, porque o dano seja fisicamente impossível de realizar.

Este é o problema central abordado em um novo estudo do pesquisador independente Xabier Muruaga, que propõe uma forma de proteger esses trabalhadores digitais não tentando tornar o cérebro do agente mais robusto, mas sim apertando as regras do que o agente tem permissão para fazer. A pesquisa argumenta que o perigo de um agente de software ser manipulado é primariamente um problema de arquitetura de permissões, não um problema do modelo de inteligência artificial em si. Mesmo que um agente seja perfeitamente seguro contra truques, ele ainda pode causar danos se lhe for dada muita liberdade para combinar ações inofensivas em um resultado perigoso. Por exemplo, um agente pode ter permissão para ler um documento confidencial e permissão para enviar um e-mail. Individualmente, ambas as ações são seguras. Mas se o agente for enganado para ler o documento e, imediatamente, enviá-lo para um endereço externo, a combinação cria uma violação de dados que nenhuma das permissões isoladas pretendia permitir.

Para resolver isso, Muruaga desenvolveu um sistema chamado Cadeia de Princípio Agêntica (Agentic Principal Chain). Imagine uma cadeia de comando onde um chefe humano delega uma tarefa a um gerente, que então passa uma parte dessa tarefa para um assistente júnior. Nos sistemas de segurança tradicionais, uma vez que o chefe concede a permissão, essa permissão viaja pela cadeia sem mudar. O assistente júnior pode acabar com os mesmos poderes amplos do chefe, criando um enorme risco se esse assistente for comprometido. A Cadeia de Princípio Agêntica muda isso ao garantir que, a cada passo descendente na cadeia, a permissão se torne menor e mais específica. Ela atua como um porteiro rigoroso que senta fora do processo de pensamento do agente. Antes que o agente possa realizar qualquer ação, este porteiro verifica não apenas se o agente tem o direito de fazer aquilo especificamente, mas também o que o agente fez no passado durante esta mesma sessão.

O sistema funciona rastreando um "estado da sessão", que é um registro contínuo de cada ação tomada pelo agente. Se um agente está autorizado a ler um arquivo e autorizado a enviar um e-mail, o sistema analisa o histórico. Se o agente acabou de ler um arquivo secreto, o sistema bloqueará a próxima tentativa de enviar um e-mail, mesmo que enviar e-mails seja geralmente permitido. Isso evita que o agente combine duas ações seguras em uma perigosa. Os pesquisadores chamam isso de "fechamento de composição" (composition closure). É uma regra que diz que certas combinações de ações são proibidas, independentemente de os passos individuais serem permitidos. O sistema também limita o "raio de explosão" de qualquer agente individual. Se um subagente for comprometido, o dano que ele pode causar é matematicamente limitado pelas permissões que herdou, que são estritamente menores do que as permissões do agente que o criou. Isso garante que uma violação em uma parte do sistema não possa sair do controle para destruir toda a organização.

Para testar se essa abordagem realmente funciona, os pesquisadores construíram uma versão funcional do sistema e a submeteram a uma série de testes rigorosos. Eles o testaram contra milhares de ataques simulados usando benchmarks de segurança estabelecidos. Em um conjunto de testes envolvendo mais de 1.000 cenários projetados para roubo de dados, o sistema bloqueou todas as tentativas. Em outro conjunto de testes onde os pesquisadores simularam uma situação em que o próprio modelo de inteligência artificial estava completamente comprometido e sob total controle de um atacante, o sistema ainda assim interrompeu os ataques. Quando o modelo tentou enviar dados roubados, o porteiro negou a solicitação porque a combinação de ações violava as regras da sessão. O sistema também impediu com sucesso que o agente destruísse arquivos ou manipulasse dados de maneiras que não faziam parte da tarefa original, reduzindo a taxa de sucesso de tais ataques de mais de 90 por cento para apenas 12 por cento.

O estudo também mediu o quanto essa camada extra de segurança retardava os agentes. Os resultados mostraram que o sistema é incrivelmente rápido, adicionando menos de um quarto de milissegundo ao tempo que leva para tomar uma decisão. Isso significa que as verificações de segurança acontecem quase instantaneamente, sem atraso perceptível para o usuário. No entanto, os pesquisadores descobriram que existe uma compensação. Em alguns casos, as regras estritas impediram o agente de completar uma tarefa legítima porque o sistema era cauteloso demais sobre a combinação de ações. Em seus testes, a taxa de sucesso de tarefas legítimas caiu cerca de 8,6 pontos percentuais quando as regras mais estritas foram aplicadas. Isso sugere que, embora o sistema seja altamente eficaz em deter ataques, ele requer um ajuste cuidadoso para garantir que não se torne tão restritivo que prejudique o trabalho normal.

Os pesquisadores foram cuidadosos ao definir o que o seu sistema faz e o que não faz. Eles provaram matematicamente que, se as regras forem configuradas corretamente, é impossível para um agente realizar uma combinação proibida de ações. Eles também provaram que o dano potencial de um agente comprometido não pode crescer à medida que a tarefa é passada adiante na cadeia de comando. No entanto, observaram que o seu sistema não resolve todos os problemas possíveis. Ele não pode impedir um agente de fazer algo prejudicial se essa ação única já for permitida pelas regras, como excluir um arquivo se o agente tiver permissão para excluir arquivos. Também não pode impedir um agente de ser enganado para fazer uma escolha ruim dentro de seu escopo permitido. Essas questões exigem soluções diferentes, como um melhor treinamento para a inteligência artificial ou verificações mais detalhadas sobre os dados específicos que estão sendo manipulados.

Em última análise, o artigo apresenta uma mudança na forma como pensamos em proteger a inteligência artificial. Em vez de tentar construir uma mente inquebrável, o foco muda para construir uma gaiola inquebrável. Ao impor regras estritas sobre quais ações podem ser combinadas e garantir que as permissões diminuam conforme as tarefas são delegadas, o sistema cria uma rede de segurança que se mantém mesmo quando o julgamento do agente falha. A pesquisa demonstra que, com os controles arquitetônicos certos, podemos permitir que esses poderosos trabalhadores digitais operem em ambientes complexos sem o medo de que um único momento de confusão leve a uma catástrofe. As descobertas sugerem que o caminho para uma inteligência artificial segura reside não apenas em modelos mais inteligentes, mas em sistemas mais inteligentes que saibam dizer não, mesmo quando o modelo diz sim.