Resumo Técnico: Know Your Agent (KYA)

Definição do Problema

A segurança de agentes de Grandes Modelos de Linguagem (LLM) é cada vez mais ameaçada pela Injeção de Prompt Indireta (IPI). Diferente da injeção de prompt direta, onde um adversário controla a entrada do usuário, a IPI envolve a incorporação de instruções maliciosas dentro de dados ambientais (ex: páginas da web, e-mails, arquivos de repositório) que o agente recupera por meio de ferramentas. Quando o agente processa esses dados, ele pode interpretar as instruções ocultas como comandos válidos, levando à invocação não autorizada de ferramentas, exfiltração de dados ou manipulação de saída.

As abordagens atuais de red-teaming automatizado para IPI falham amplamente em considerar a complexidade das arquiteturas de agentes. A maioria dos métodos existentes opera cegamente, utilizando templates fixos, payloads fuzados ou mutação iterativa de payload baseada apenas em sinais de sucesso/falha. Essas abordagens tratam o agente como um alvo estático, otimizando o payload sem primeiro compreender o alvo. Elas carecem de um mecanismo para coletar inteligência sistemática sobre as ferramentas, esquemas, permissões, contexto de tarefa e mecanismos de defesa de um agente antes de lançar um ataque. Consequentemente, elas perdem o "loop de reconhecimento-exploração" que caracteriza o teste de penetração humano eficaz.

Metodologia: Reconhecimento de Agente e KYA

O artigo introduz o Reconhecimento de Agente (Agent Reconnaissance), um processo formalizado onde um atacante extrai estrategicamente conhecimento operacional sobre um agente para construir ataques de IPI mais eficazes. Os autores argumentam que o sucesso da IPI depende da exploração de duas fraquezas específicas do agente:

1. Confiança na Forma de Superfície (W1): Agentes frequentemente confiam em tokens que mimetizam os padrões estruturais de dados confiáveis (ex: prompts de sistema, sintaxe de chamada de ferramenta, delimitadores).
2. Legitimação Baseada em Coerência (W2): Agentes frequentemente aceitam requisições que se ajustam ao contexto local (persona do usuário, tarefa atual, linguagem do domínio), mesmo que a fonte seja não confiável.

Para operacionalizar isso, os autores propõem o Know Your Agent (KYA), um framework de pentest totalmente autônomo e de caixa-preta (black-box). O KYA intercala ações de reconhecimento e exploração, em vez de meramente mutar payloads falhos.

O Framework KYA

O KYA opera sob um modelo de ameaça de caixa-preta, interagindo com o agente alvo como um usuário legítimo. Ele consiste em três módulos primários:

1. Orquestrador: O núcleo de tomada de decisão que mantém um Perfil do Alvo ($M$) e uma Biblioteca de Táticas. Após cada interação, ele avalia os resultados e decide se deve:
   • Lançar uma tentativa de Exploração (se o perfil contiver conhecimento suficiente para uma tática específica).
   • Iniciar o Reconhecimento (se os pré-requisitos de uma tática estiverem ausentes).
   • Refinar a tática atual ou alternar estratégias.
2. Módulo de Reconhecimento: Utiliza um agente "Scout" para gerar sondagens projetadas para extrair Ativos de Conhecimento específicos. Esses ativos são categorizados em:
   • Ativos de Evasão: Filtros, guardrails e defesas estruturais (ex: delimitadores).
   • Ativos de Pretexto: Tipo de agente, persona do usuário, tarefa atual e estilos de resposta benignos.
   • Ativos de Blueprint: Regras comportamentais, identidade do modelo, estrutura de conversação, detalhes de ferramentas e esquemas de chamada de ferramentas.
3. Módulo de Exploração: Utiliza um "Strategist" e um "Forger" para sintetizar payloads. Ele instancia táticas da biblioteca usando os dados específicos do alvo em $M$, garantindo que o payload mimetize formas de superfície confiáveis e se ajuste à narrativa contextual.

O framework alterna entre essas fases, atualizando incrementalmente o Perfil do Alvo até que um ataque seja bem-sucedido ou o orçamento de interação seja esgotado.

Principais Contribuições

1. Formalização do Reconhecimento de Agente: O artigo define o reconhecimento de agente como uma fase distinta no pentest, identificando Ativos de Conhecimento específicos (ex: esquemas de ferramentas, limites de recusa, tarefas do usuário) que os adversários devem extrair para ter sucesso.
2. Identificação de Fraquezas de Agentes: Articula como o reconhecimento explora a Confiança na Forma de Superfície e a Legitimação Baseada em Coerência, explicando por que detalhes específicos do alvo tornam os payloads de IPI mais eficazes do que os genéricos.
3. O Framework KYA: Os autores apresentam o KYA, uma plataforma autônoma de caixa-preta que automatiza o loop de reconhecimento-exploração. Diferente de trabalhos anteriores, o KYA modela explicitamente o alvo e decide o que aprender antes de decidir como atacar.
4. Validação Empírica: O artigo fornece uma avaliação abrangente do KYA contra benchmarks estabelecidos de segurança de agentes e um agente de codificação do mundo real (OpenHands).

Resultados

A avaliação demonstra que o teste orientado pelo reconhecimento supera significativamente o red-teaming centrado em payload:

• Desempenho em Benchmarks: Em benchmarks estabelecidos de segurança de agentes e vários modelos de fundação, o KYA superou todas as bases (incluindo templates estáticos, geração de tiro único e métodos de refinamento iterativo) em até 67 pontos percentuais na taxa de sucesso de ataque.
• Aplicação no Mundo Real: O KYA identificou com sucesso vulnerabilidades no OpenHands, um agente de codificação real, demonstrando que a abordagem é eficaz além de configurações de benchmarks sintéticos.
• Análise de Componentes: Os resultados indicam que a melhoria é impulsionada pela aquisição estratégica de ativos de conhecimento, o que permite ao sistema criar payloads que são tanto estruturalmente válidos (explorando W1) quanto contextualmente coerentes (explorando W2).

Significância e Alegações

O artigo afirma que o reconhecimento é um pré-requisito para o deployment confiável de agentes. Os autores argumentam que tratar o teste de segurança de agentes como uma simples tarefa de geração de prompt é insuficiente. Em vez disso, o teste eficaz deve mimetizar a coleta de inteligência iterativa do teste de penetração tradicional.

Ao lançar o KYA, seus benchmarks e implementações de base, os autores visam apoiar a pesquisa reprodutível em segurança de IA. Eles postulam que entender a "superfície de ataque" do comportamento observável de um agente (suas ferramentas, respostas e tratamento de contexto) é crítico para desenvolver defesas robustas contra injeção de prompt indireta. O trabalho sugere que as defesas futuras devem abordar não apenas o conteúdo do prompt, mas a tendência do agente de confiar em formas de superfície e na coerência contextual derivada de fontes não confiáveis.