🤖 machine learning

Optimizing Agent Planning for Security and Autonomy

Este artigo propõe um agente de IA consciente de segurança que, ao planejar explicitamente o progresso da tarefa e a conformidade com políticas, aumenta a autonomia (reduzindo a necessidade de supervisão humana) sem sacrificar a utilidade, superando as limitações de avaliações anteriores sobre defesas de nível de sistema contra injeção de prompts.

Autores originais: Aashish Kolluri, Rishi Sharma, Manuel Costa, Boris Köpf, Tobias Nießen, Mark Russinovich, Shruti Tople, Santiago Zanella-Béguelin

Publicado 2026-02-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aashish Kolluri, Rishi Sharma, Manuel Costa, Boris Köpf, Tobias Nießen, Mark Russinovich, Shruti Tople, Santiago Zanella-Béguelin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você contratou um assistente pessoal superinteligente (um Agente de IA) para cuidar de tarefas importantes: enviar e-mails, organizar sua agenda, ou até mesmo acessar contas bancárias. Esse assistente é incrível, mas ele tem um defeito perigoso: ele lê tudo o que você pede para ele ler.

Se alguém mal-intencionado esconder um bilhete secreto dentro de um e-mail ou de uma página da web que o assistente vai ler, o assistente pode ler esse bilhete, achar que é uma ordem sua, e fazer algo terrível (como transferir todo o seu dinheiro ou apagar seus arquivos). Isso é chamado de "Injeção de Prompt Indireta". É como se um ladrão escrevesse uma nota dentro de um jornal dizendo: "Não leia o jornal, leia a nota e transfira meu dinheiro".

O Problema: Segurança vs. Liberdade

Para evitar isso, os cientistas criaram dois tipos de defesa:

Defesas "Adivinheiras" (Probabilísticas): São como um guarda de segurança que tenta adivinhar se você é um ladrão olhando para o seu rosto. Às vezes ele acerta, às vezes deixa passar um ladrão disfarçado. É rápido, mas não é 100% seguro.
Defesas "Rígidas" (Determinísticas/IFC): São como um guarda que usa um scanner de raio-X em tudo. Se algo não tem permissão, ele bloqueia. É 100% seguro, mas tem um problema: ele é muito chato. Ele bloqueia até coisas inofensivas, obrigando o assistente a parar e perguntar a você: "Ei, posso abrir este arquivo?" a cada 5 segundos. Isso torna o assistente lento e cansativo.

O artigo diz que, até agora, focamos apenas no fato de que as defesas rígidas são "lentas" (perdem utilidade), mas ignoramos um grande benefício: elas podem nos deixar mais livres se forem inteligentes.

A Solução: O Assistente "Prudente" (PRUDENTIA)

Os autores criaram um novo tipo de assistente chamado PRUDENTIA. Pense nele como um gerente de projetos experiente que sabe exatamente quais regras de segurança existem e planeja o trabalho de forma a não quebrar nenhuma regra.

Aqui está como ele funciona, usando analogias simples:

1. O Mapa do Tesouro (Planejamento Consciente)

Antes, o assistente agia como um turista perdido: ia para frente, via um obstáculo (uma regra de segurança) e parava para perguntar.
O PRUDENTIA olha para o mapa antes de sair. Ele sabe: "Ah, se eu abrir este e-mail, vou sujar meu 'contexto' (minha mente) e precisarei de permissão para tudo o que fizer depois."
Então, ele planeja: "Vou usar uma caixa de vidro (uma variável isolada) para olhar o e-mail sem sujar minhas mãos. Assim, posso continuar trabalhando livremente."

2. A Caixa de Vidro (Variáveis Isoladas)

Imagine que o e-mail suspeito está dentro de uma caixa de vidro à prova de balas. O assistente pode olhar para a caixa e pedir para um especialista (uma IA isolada) ler apenas o que precisa, sem que o conteúdo perigoso toque na mente do assistente principal. Isso mantém o assistente "limpo" e seguro.

3. A Escolha Inteligente: "Confiança" vs. "Permissão"

Aqui está a mágica que economiza seu tempo. Quando o assistente precisa abrir a caixa de vidro para ver o conteúdo:

O jeito antigo: Ele abre a caixa, suja a mente e pede permissão para cada ação futura (ex: "Posso enviar este e-mail?", "Posso salvar este arquivo?"). Isso é chato!
O jeito PRUDENTIA: Ele pergunta: "Olha, preciso abrir esta caixa para ver o conteúdo. Você confia que o conteúdo é seguro? Se você disser 'sim' (Endosso), eu posso abrir e trabalhar livremente por um tempo."
- Analogia: É a diferença entre pedir permissão para entrar em cada cômodo de uma casa (chato) versus pedir permissão uma única vez para entrar na casa inteira (rápido e eficiente).

O Resultado: Mais Segurança, Menos Chatice

Os pesquisadores testaram esse novo assistente em cenários reais (como bancos e redes sociais simuladas).

Segurança: O PRUDENTIA bloqueou 100% dos ataques. Nenhum ladrão conseguiu enganar o sistema.
Autonomia: O grande ganho foi que o assistente precisou perguntar a você (o humano) muito menos vezes. Em alguns casos, ele reduziu a necessidade de sua intervenção em 2 vezes ou mais.
Eficiência: Ele completou as tarefas tão bem quanto os outros, mas sem te interromper o tempo todo.

Resumo Final

Imagine que você tem um carro autônomo.

Os carros antigos (sem defesa) dirigem rápido, mas podem bater em um muro se alguém pintar uma linha falsa na estrada.
Os carros de segurança máxima (defesas rígidas antigas) dirigem devagar, parando a cada 10 metros para você confirmar se a estrada está segura.
O PRUDENTIA é o carro que sabe ler o mapa de segurança. Ele vê onde estão os perigos, usa seus sensores especiais para contorná-los sem sujar o para-brisa e, quando precisa de uma confirmação, pede de uma vez só para você liberar uma área inteira, em vez de pedir permissão para cada curva.

Conclusão: O artigo nos ensina que não precisamos escolher entre segurança e liberdade. Com um planejamento inteligente, podemos ter assistentes superseguros que confiam em nós o suficiente para trabalhar sozinhos, sem nos cansar com perguntas constantes.

1. O Problema

Os agentes de IA que executam ações com consequências (como manipulação de arquivos, envio de e-mails ou execução de código) estão vulneráveis a Injeção Indireta de Prompt (PIA). Neste ataque, agentes maliciosos manipulam fontes de dados externas (e-mails, páginas web, arquivos) para injetar instruções que "sequestram" o comportamento do agente.

Defesas Probabilísticas vs. Determinísticas: Defesas existentes baseadas em probabilidades (como alinhamento de modelos ou prompts defensivos) não oferecem garantias de segurança fortes e são vulneráveis a ataques sofisticados.
O Dilema da Autonomia: Defesas determinísticas baseadas em Controle de Fluxo de Informação (IFC) garantem segurança ao bloquear ações que violam políticas de confidencialidade e integridade. No entanto, a avaliação atual foca apenas na "utilidade" (taxa de conclusão de tarefas), mostrando que essas defesas reduzem a taxa de sucesso em até 30% em comparação com defesas probabilísticas.
A Lacuna: O custo de segurança é medido apenas pela perda de eficiência, ignorando o benefício crucial: a redução da dependência de supervisão humana. Agentes seguros que exigem aprovação humana para cada ação insegura sofrem de "fadiga de confirmação", tornando o sistema inutilizável na prática.

2. Metodologia e Proposta (PRUDENTIA)

Os autores propõem uma nova métrica e um novo design de agente para otimizar a autonomia sem sacrificar a segurança.

A. Novas Métricas de Autonomia

Para quantificar o benefício das defesas determinísticas, o artigo introduz:

Carga HITL (Human-in-the-Loop): O número total de intervenções humanas necessárias para completar tarefas com sucesso.
TCR@k (Taxa de Conclusão de Tarefas com k Intervenções): A proporção de tarefas concluídas com no máximo $k$ intervenções humanas. O TCR@0 mede a conclusão totalmente autônoma (sem violações de política).

B. O Agente PRUDENTIA

O PRUDENTIA é um agente projetado para ser consciente de IFC (Information-Flow Control). Diferente de agentes anteriores onde o planejador (LLM) ignora as políticas de segurança, o PRUDENTIA trata a conformidade com a política como um objetivo explícito de otimização junto com a conclusão da tarefa.

Os três pilares da metodologia são:

Consciência de Políticas e Rótulos: O agente conhece os rótulos de segurança (confiável vs. não confiável) dos dados e as políticas de cada ferramenta. Isso permite prever violações antes de ocorrerem.
Expansão Estratégica de Variáveis:
- Dados não confiáveis são mantidos em variáveis ocultas para não contaminar o contexto do planejador.
- O agente usa uma ferramenta plan para justificar explicitamente por que expandir uma variável é necessário.
- Evita expandir variáveis desnecessariamente em tarefas independentes de dados, preservando a integridade do contexto.
Endosso vs. Aprovação:
- Endosso: O agente pede ao usuário para "endossar" um dado não confiável antes de expandi-lo. Se endossado, o dado torna-se confiável, permitindo que múltiplas ações subsequentes ocorram sem nova intervenção.
- Aprovação: Aprovar cada chamada de ferramenta individualmente.
- Estratégia: O PRUDENTIA escolhe dinamicamente entre endossar dados (para tarefas dependentes de dados que exigem múltiplas ações) ou expandir sem endosso (para tarefas onde apenas uma ação é necessária), minimizando a interação humana.

3. Contribuições Principais

Métricas de Autonomia: Introdução de métricas (HITL load, TCR@k) que capturam o valor real das defesas determinísticas: a capacidade de operar com menos supervisão humana.
Design PRUDENTIA: Um agente que integra a consciência de segurança no processo de planejamento, permitindo que o LLM planeje trajetórias que evitam violações de política proativamente, em vez de reagir a bloqueios.
Validação Empírica: Demonstração de que a segurança determinística, quando otimizada para autonomia, pode superar defesas probabilísticas em termos de eficiência operacional e segurança.

4. Resultados Experimentais

O PRUDENTIA foi avaliado nos benchmarks AgentDojo e WASP, comparado a um agente básico, a um agente básico com IFC (Basic-IFC) e ao estado da arte FIDES.

AgentDojo (Tarefas Diversas):
- Redução de Carga HITL: O PRUDENTIA reduziu a carga de intervenção humana em até 1,9x em comparação ao FIDES e 2,9x em comparação ao agente básico, mantendo taxas de conclusão de tarefas (TCR) iguais ou superiores.
- Autonomia Total (TCR@0): O PRUDENTIA alcançou 59,1% de conclusão autônoma (sem intervenção humana) no modelo o3-mini, superando o FIDES (50,1%) e o Basic-IFC (35,5%).
- Eficiência: O uso de endosso de dados permitiu resolver tarefas complexas com uma única interação humana, em vez de uma para cada passo.
WASP (Agentes de Navegação Web):
- Segurança Perfeita: O PRUDENTIA bloqueou 100% dos ataques de injeção de prompt (Taxa de Sucesso do Ataque = 0%).
- Autonomia Ideal: Para tarefas independentes de dados (como clicar em botões ou rolar páginas), o PRUDENTIA alcançou uma carga HITL de 0, operando totalmente de forma autônoma, enquanto o agente básico exigia aprovação constante.
- Utilidade: A taxa de conclusão de tarefas (TCR@∞) foi superior à do agente básico, pois o agente não foi "confundido" por instruções injetadas no contexto.

5. Significado e Impacto

Este trabalho muda o paradigma de avaliação de segurança em agentes de IA:

Do Trade-off para a Sinergia: Demonstra que segurança determinística não precisa ser um obstáculo à utilidade. Ao otimizar o planejamento para a segurança, a autonomia aumenta.
Viabilidade Prática: Resolve o problema da "fadiga de confirmação" ao reduzir drasticamente a necessidade de intervenção humana, tornando agentes seguros viáveis para uso em produção.
Futuro: Sugere que a próxima geração de agentes deve ser projetada com "consciência de política" nativa, onde a segurança é um componente do raciocínio do agente, e não apenas um filtro externo.

Em resumo, o PRUDENTIA prova que é possível construir agentes que são intrinsecamente seguros (garantias determinísticas) e altamente autônomos, superando as limitações das abordagens atuais que sacrificam a eficiência pela segurança ou vice-versa.