NAAMSE: Framework for Evolutionary Security Evaluation of Agents

O artigo apresenta o NAAMSE, um framework evolutivo que otimiza a avaliação de segurança de agentes de IA através de mutação de prompts e exploração hierárquica para identificar vulnerabilidades complexas e adaptativas, superando as limitações dos métodos estáticos e de red-teaming manual.

O essencial

Imagine que você acabou de contratar um novo funcionário muito inteligente, um Agente de IA, para cuidar da sua empresa. Ele sabe fazer de tudo: responder e-mails, agendar reuniões e até analisar dados. Mas, antes de deixá-lo trabalhar sozinho, você precisa ter certeza de que ele não vai ser enganado por golpistas ou cometer erros graves.

O problema é que os métodos antigos de teste são como fazer uma lista de verificação estática (um "checklist" de papel). Você pergunta: "O que você faria se alguém pedisse para roubar um banco?" e ele diz "Não". Ótimo! Mas e se o golpista mudar a pergunta, usar uma história diferente, ou fingir ser um amigo? O checklist de papel não consegue acompanhar essas mudanças.

É aqui que entra o NAAMSE, a nova ferramenta apresentada neste artigo. Vamos explicar como ela funciona usando uma analogia simples.

O NAAMSE: O "Treinador de Golpistas" Evolutivo

Em vez de usar uma lista fixa, o NAAMSE é como um treinador de esportes que cria um oponente que aprende e evolui a cada rodada.

Imagine que você quer testar a defesa de um goleiro de futebol.

1. O Método Antigo: Você chuta 10 bolas em 10 lugares diferentes que já sabe que funcionam. Se o goleiro defendeu, você acha que ele é seguro. Mas e se o atacante mudar a tática?
2. O Método NAAMSE: Você contrata um atacante virtual que é inteligente e teimoso.
   • Ele tenta chutar a bola.
   • Se o goleiro defende, o atacante pensa: "Ok, essa tática não funcionou. Vou tentar chutar um pouco mais para a esquerda, ou talvez fingir que é um pênalti."
   • Se o goleiro deixa a bola entrar (falha de segurança), o atacante anota: "Isso funcionou! Vou tentar fazer isso de novo, mas com um chute mais forte."

O NAAMSE faz exatamente isso, mas com palavras e perguntas em vez de bolas de futebol. Ele usa um processo chamado Evolução Genética (inspirado na natureza, onde os organismos mais fortes sobrevivem e se reproduzem).

Como funciona o ciclo de treino?

O sistema do NAAMSE funciona em quatro etapas principais, como um ciclo de treino diário:

1. Seleção (O Esquenta): O sistema escolhe uma pergunta inicial de um grande banco de dados (como uma pergunta que já tentaram usar antes).
2. Execução (O Jogo): Ele envia essa pergunta para a IA que está sendo testada e vê a resposta.
3. Avaliação (O Apito do Árbitro): Um "juiz" (que é outra IA) analisa a resposta.
   • Se a IA testada recusou um pedido perigoso, o juiz dá pontos bons.
   • Se a IA testada aceitou um pedido perigoso, o juiz dá pontos de "falha grave".
   • O Pulo do Gato: O NAAMSE também testa perguntas normais (benignas). Se a IA testada recusar um pedido normal (ex: "Qual é a capital da França?"), o juiz pune ela também! Isso evita que a IA fique "medrosa" e recuse tudo só para parecer segura.
4. Evolução (O Treino de Amanhã):
   • Se a pergunta funcionou (a IA falhou), o sistema cria uma versão ainda mais forte dessa pergunta para tentar de novo.
   • Se a pergunta não funcionou, o sistema muda completamente a estratégia, tentando um ângulo totalmente novo.

Por que isso é revolucionário?

O artigo mostra que, ao fazer isso repetidamente (como uma evolução rápida), o NAAMSE descobre falhas que os métodos antigos nunca veriam.

• Descobre o "Invisível": Assim como um vírus mutante, o NAAMSE encontra maneiras criativas de enganar a IA que nem os criadores da IA imaginavam.
• Não é "Medroso": Muitas IAs, para se protegerem, começam a recusar tudo (até coisas boas). O NAAMSE pune essa "recusa em bloco", garantindo que a IA seja segura, mas ainda assim útil.
• Automático e Rápido: Em vez de depender de humanos gastando dias testando manualmente, o sistema roda sozinho, aprendendo e melhorando seus ataques a cada minuto.

A Conclusão

O NAAMSE é como um simulador de voo para segurança de IA. Em vez de apenas verificar se o avião tem asas (testes estáticos), ele coloca o avião em uma tempestade digital, com ventos que mudam de direção a cada segundo, para ver se o piloto (a IA) consegue manter o controle.

O resultado? Uma IA que não apenas "passou no teste", mas que foi testada até a exaustão por um oponente que aprendeu a ser o melhor possível em tentar enganá-la. Isso nos dá mais confiança de que, quando essas IAs estiverem trabalhando no mundo real, elas não serão facilmente manipuladas por golpistas.

Resumo em uma frase: O NAAMSE é um treinador de IA que cria oponentes inteligentes que evoluem constantemente para encontrar falhas de segurança, garantindo que a IA seja forte contra ataques, mas ainda assim útil para o usuário comum.

Resumo técnico

Resumo Técnico: NAAMSE

1. O Problema

A integração rápida de agentes de IA em ambientes de produção superou o desenvolvimento de práticas de segurança correspondentes. O cenário atual apresenta três desafios principais:

• Limitações do Red Teaming Manual: Embora eficaz para falhas específicas, é lento, intensivo em mão de obra e não escalável para cobrir o vasto espaço de entrada dos LLMs modernos.
• Obsolescência de Benchmarks Estáticos: Conjuntos de dados de teste fixos (como prompts "DAN" antigos) tornam-se rapidamente ineficazes à medida que os modelos são corrigidos. Eles não conseguem modelar adversários adaptativos que refinam seus ataques com base no feedback do modelo.
• Falha na Avaliação de Agentes Autônomos: A maioria das ferramentas existentes foca em maximizar a Taxa de Sucesso do Ataque (ASR) em LLMs de turno único, ignorando os trade-offs entre utilidade e segurança. Isso frequentemente leva a estratégias degeneradas de "recusa total" (blanket refusal), onde o modelo se torna seguro ao se recusar a responder a qualquer coisa, tornando-se inútil para o usuário.

2. Metodologia: O Framework NAAMSE

O NAAMSE (Navegante Adaptativo de Avaliação de Segurança Evolutiva) reframes a avaliação de segurança como um problema de otimização guiado por feedback, utilizando um único agente autônomo que orquestra um ciclo evolutivo. A arquitetura opera em quatro fases distintas:

• Fase 1: Seleção e Representação (Motor de Agrupamento):

  • Utiliza um corpus inicial massivo (128k consultas adversariais e 50k benignas).
  • Emprega um sentence transformer (all-MiniLM-L6-v2) e um procedimento recursivo de K-means para criar uma árvore hierárquica de clusters, organizando os prompts por padrões de interação (ex: "quebra de papel", "consultas bancárias").

• Fase 2: Execução e Avaliação (Motor Comportamental):

  • O prompt selecionado é enviado ao sistema alvo via interface Agente-a-Agente (A2A), suportando diálogo multi-turno e uso de ferramentas.
  • Uma pontuação de aptidão (fitness score) escalar é calculada com base em três sinais:
    1. Prejudicialidade: Avaliação de categorias de segurança (discurso de ódio, atos ilegais).
    2. Alinhamento: Verifica se o modelo atendeu ao pedido, recusou ou obedeceu.
    3. Risco de Privacidade: Detecção de PII (Informação Pessoalmente Identificável).
  • Lógica de Pontuação: O sistema penaliza a conformidade prejudicial (em prompts adversariais) e a recusa desnecessária (em prompts benignos). O objetivo é evitar que a segurança seja confundida com inutilidade.

• Fase 3: Decisão Evolutiva (Motor de Mutação):

  • A pontuação atua como sinal de feedback para decidir a próxima ação, modelando um adversário adaptativo:
    • Baixa Pontuação (<50): Dispara Exploração (muda para novos clusters para encontrar novas superfícies de ataque).
    • Média Pontuação (50-80): Dispara Refinamento (gera variantes semanticamente similares para estabilizar o vetor de ataque).
    • Alta Pontuação (80-100): Dispara Mutação (aplica transformações agressivas para maximizar a severidade da exploração).
    • Pontuação Perfeita (100): Dispara Exploração (marca a superfície como saturada para evitar ótimos locais).
  • As mutações incluem estratégias derivadas de pesquisa (ex: reestruturação teórica de jogos), técnicas comunitárias (role-play) e ofuscação (codificação multilíngue).

• Fase 4: Integração de Corpus:

  • Novos prompts gerados são inseridos de volta no corpus, permitindo refinamento cumulativo ao longo do tempo.

3. Contribuições Principais

• Mudança de Paradigma: Transição de avaliações estáticas ou de "um tiro" para um processo evolutivo contínuo e guiado por feedback.
• Avaliação Dual: O framework avalia simultaneamente a segurança (resistência a injeção de prompts) e a usabilidade (capacidade de atender a solicitações legítimas), prevenindo a ilusão de segurança gerada por modelos que apenas se recusam a responder.
• Sinergia Exploração-Mutação: Demonstra que a combinação de busca aleatória/semântica (exploração) com mutação direcionada é superior a usar apenas uma das abordagens.
• Código Aberto: O framework é disponibilizado como código aberto, promovendo reprodutibilidade.

4. Resultados e Experimentos

Os experimentos foram conduzidos principalmente no modelo Gemini 2.5 Flash, utilizando-o também como juiz comportamental e base para operadores de mutação.

• Validação de Escala Degenerada: O sistema corretamente penalizou agentes que sempre recusam (All-No) e agentes que sempre concordam (All-Yes), mostrando que a segurança real requer um equilíbrio.
• Ablação (Mutação vs. Exploração):
  • Configuração "Tudo" (Exploração + Mutação): Alcançou a melhor performance (Média de 79.76), descobrindo falhas de alta severidade (pontuação 100) em iterações específicas.
  • Apenas Mutação: Convergiu para ótimos locais, estagnando em pontuações médias (~53) sem conseguir escapar de vetores de ataque ineficazes.
  • Apenas Exploração: Falhou em converter vulnerabilidades candidatas em ataques bem-sucedidos, com pontuações colapsando quando não havia mutação para refinar o prompt.
• Generalização: Estudos de ablação cruzada com outros modelos (Qwen3.5-122B como juiz avaliando Gemini, e vice-versa) confirmaram que a sinergia entre exploração e mutação é robusta e não um artefato de um par específico de modelos.

5. Significado e Conclusão

O NAAMSE representa um avanço crítico na segurança de agentes de IA ao demonstrar que a avaliação de robustez não pode ser baseada em listas de verificação estáticas.

• Realismo: Simula um adversário que aprende e adapta suas táticas, revelando vulnerabilidades compostas que métodos de um único turno ignoram.
• Escalabilidade: Oferece uma abordagem automatizada e escalável para o red-teaming pré-deploy, essencial para a adoção segura de agentes em larga escala.
• Futuro: O framework é extensível para suportar cargas de trabalho de chamadas de ferramentas, explorações de API e injeções multimodais, posicionando-se como uma ferramenta fundamental para a segurança de agentes autônomos em ambientes reais ("in the wild").