Agent Guard: Kernel-Enforced Damage Boundaries for AI Agents via Human-Authorized Contracts

No cenário digital moderno, a inteligência artificial evoluiu de um simples gerador de texto para um trabalhador proativo capaz de planejar tarefas complexas, executar programas e interagir com os arquivos e redes de um computador. Essa nova autonomia, entretanto, traz um tipo específico de risco: se a IA cometer um erro, for enganada por um comando malicioso ou simplesmente alucinar uma instrução perigosa, ela pode executar comandos que danifiquem o próprio sistema que deveria ajudar. As medidas de segurança tradicionais muitas vezes agem como um segurança na porta de uma boate, verificando o nome de uma ferramenta antes de deixá-la entrar, mas elas têm dificuldade em rastrear o que acontece depois que essa ferramenta abre um shell, gera um processo filho ou escreve um arquivo que é lido posteriormente por outro programa. Uma vez que a IA passa pela verificação inicial, suas ações podem repercutir pelo sistema operacional, deixando as equipes de segurança incapazes de distinguir qual parte da execução foi autorizada e qual parte causou o dano.

Para resolver isso, pesquisadores desenvolveram um sistema chamado Agent Guard, que atua como um monitor contínuo e vigilante dentro do núcleo do computador, ou kernel. Em vez de confiar que a IA seguirá as regras ou depender que a IA sugira o que deve ser permitido, este sistema exige que um humano confirme os limites antes que a IA seja permitida a rodar. O humano autoriza um conjunto específico de regras para as ações da IA, e o sistema operacional do computador então aplica essas regras com absoluta certeza. Se a IA tentar fazer algo fora de seu escopo autorizado, o sistema a interrompe instantaneamente, muito antes que qualquer dano possa ocorrer. Essa abordagem desloca o foco de tentar prever cada possível erro que a IA possa cometer para a criação de uma cerca rígida e inquebrável ao redor dos ativos específicos que o humano decidiu que são seguros para serem tocados.

Os pesquisadores construíram este sistema criando um portão especial que se situa entre a autorização do humano e a execução da IA. Antes que a IA seja permitída a executar qualquer código, um humano deve revisar um plano proposto e confirmar exatamente quais arquivos e conexões de rede a IA está permitida a acessar. Esta confirmação não é apenas uma sugestão; é um contrato formal que o sistema operacional do computador trava no lugar. O sistema então vincula este contrato à tarefa específica que a IA está prestes a realizar. Se a IA tentar executar um comando que viole este contrato, o sistema operacional nega a solicitação imediatamente. Crucialmente, o sistema não verifica apenas o comando inicial; ele observa toda a cadeia de eventos. Se a IA escrever um arquivo, e esse arquivo for lido posteriormente por outro programa, a restrição viaja com o arquivo. Se a IA abrir uma conexão de rede, o sistema garante que nenhum dado possa sair do computador se o contrato o proibir, mesmo que a conexão tenha sido estabeleada antes que a restrição fosse totalmente aplicada.

Para alcançar este nível de controle, os pesquisadores utilizaram uma tecnologia que permite ao sistema anexar-se diretamente aos ganchos internos do sistema operacional. Eles criaram um plano de dados que etiqueta cada processo, arquivo e canal de comunicação com um status específico. Quando um processo lê um arquivo restrito, ele herda a restrição. Quando ele escre ao um pipe ou socket, a restrição passa para a outra extremidade. Esta propagação é monotônica, o que significa que, uma vez aplicada uma restrição, ela não pode ser removida pela IA simplesmente reiniciando um programa ou renomeando um arquivo. O sistema garante que o status de "proibido" se espalhe pela rede de processos como uma mancha que não pode ser lavada, impedindo que a IA realize a lavagem de suas ações através de etapas intermediárias para contornar as regras.

A equipe testou este sistema rigorosamente para ver se ele poderia realmente impedir o dano que foi projetado para prevenir. Eles executaram centenas de testes formais de segurança cobrindo dezenove cenários diferentes, incluindo casos onde a IA tentou acessar arquivos que não deveria, enviar dados pela rede após ser restringida ou passar restrições para outros programas. Em cada um dos 570 registros de teste, o sistema funcionou exatamente como pretendido. Ele negou com sucesso ações não autorizadas, propagou restrições corretamente através de diferentes tipos de arquivos e canais de comunicação, e garantiu que não ocorressem efeitos colaterais fora dos limites acordados. O sistema provou que poderia manter um limite de dano estrito e autorizado por humanos sem nunca precisar confiar no próprio julgamento ou nas sugestões de política da IA.

Além de apenas provar que funcionava, os pesquisadores mediram o quanto esta camada extra de segurança retardava o computador. Eles compararam o seu sistema com um método anterior chamado ActPlane, que é uma ferramenta de segurança semelhante. Em testes envolvendo leitura e escrita de arquivos, o novo sistema adicionou um atraso de aproximadamente 12 por cento em comparação com um computador sem medidas de segurança. Em contraste, o sistema antigo retardou o computador entre 33 e 61 por cento, dependendo da tarefa. Esta diferença significativa sugere que a nova abordagem não é apenas mais segura, mas também muito mais eficiente, tornando-a prática para o uso no mundo real, onde a velocidade importa. Os pesquisadores descobriram que o custo de verificar as regras e rastrear o fluxo de dados era mínimo, especialmente quando comparado ao pesado overhead das ferramentas da geração anterior.

O estudo também destacou o que o sistema não faz, o que é tão importante quanto o que ele faz. O sistema não afirma corrigir todos os possíveis problemas com a segurança da IA, nem garante que a decisão inicial do humano tenha sido perfeita. Ele simplesmente garante que, o que quer que o humano decida que é a regra, o computador siga essa regra sem falhas. Ele não protege contra ativos que nunca foram declarados, nem impede que uma IA cause danos se o humano autorizar explicitamente uma ação perigosa. O sistema é uma ferramenta de aplicação, não um substituto para o julgamento humano. Ele pega a ideia complexa e frequentemente vaga de "IA segura" e a transforma em uma realidade técnica concreta, onde os limites são definidos por uma pessoa e aplicados pela máquina.

No fim, o trabalho demonstra que é possível criar uma rede de segurança para a inteligência artificial que seja tanto estrita quanto eficiente. Ao separar o papel da IA, que sugere ações, do papel do humano, que as autoriza, e então usar o sistema operacional para aplicar essas autorizações, os pesquisadores criaram um modelo onde o dano é limitado e previsível. O sistema não depende da IA para se comportar bem; ele depende do sistema operacional para impedir que a IA se comporte mal. Esta mudança da confiança no agente para a aplicação do contrato representa uma mudança fundamental em como podemos assegurar o futuro da computação autônoma, garantindo que, mesmo que a IA cometa um erro, as consequências sejam contidas dentro das paredes que o humano construiu.