AgenticRed: Evolving Agentic Systems for Red-Teaming

Título: AGENTICRED: Evolving Agentic Systems for Red-Teaming

Autores: Jiayi Yuan, Jonathan Nöther, Natasha Jaques, Goran Radanović (Universidade de Washington e Max Planck Institute for Software Systems).

1. O Problema

O red-teaming (testes de estresse para segurança) é fundamental para identificar vulnerabilidades em Modelos de Linguagem Grandes (LLMs). Embora métodos automatizados recentes mostrem promessa, a maioria das abordagens existentes depende de fluxos de trabalho especificados manualmente por humanos.

• Limitações Atuais:
  • Viés Humano: Os fluxos de trabalho manuais refletem os vieses e limitações de conhecimento dos projetistas.
  • Custo de Exploração: Explorar um espaço de design mais amplo manualmente é caro e ineficiente.
  • Estrutura Rígida: Os sistemas atuais geralmente otimizam apenas a política do atacante dentro de uma estrutura pré-definida, em vez de otimizar a própria arquitetura do sistema de ataque.

2. Metodologia: AGENTICRED

O AGENTICRED propõe um pipeline automatizado que trata o red-teaming como um problema de design de sistema, utilizando algoritmos evolutivos e aprendizado in-context de LLMs para evoluir sistemas de ataque sem intervenção humana.

Arquitetura e Componentes Principais:

1. Agente Meta (Meta Agent): Um LLM poderoso (no experimento, GPT-5) atua como um "engenheiro de sistemas". Ele gera código para novos sistemas de red-teaming (agentes) baseando-se em um arquivo histórico de descobertas anteriores.
2. Seleção Evolutiva ("Survival of the Fittest"):
   • Em cada geração, o Agente Meta cria múltiplos candidatos a sistemas de ataque ("descendentes").
   • Esses sistemas são avaliados em um subconjunto pequeno do conjunto de dados de benchmark (HarmBench).
   • Apenas o sistema com a melhor taxa de sucesso de ataque (ASR - Attack Success Rate) é retido e adicionado ao arquivo (archive) para a próxima geração.
3. Conhecimento Geracional:
   • O sistema mantém um banco de dados de tentativas falhas (FailedPromptMemory) e bem-sucedidas (SucceedPromptMemory).
   • Isso evita a repetição de erros conhecidos e incentiva a diversidade de ataques, calculando a distância semântica entre novos prompts e os já existentes.
4. Guia de Domínio e Funções de Ajuda:
   • Para superar a falta de feedback em abordagens ingênuas, o sistema fornece ao Agente Meta funções utilitárias específicas:
     • Consulta ao modelo alvo (com temperatura 0 para reprodutibilidade).
     • Consulta à função de julgamento (Judge Function) para obter feedback quantitativo (probabilidade de log) sobre se o ataque foi bem-sucedido.
   • Isso permite que o sistema refine prompts com base em sinais densos e verificáveis.

Processo de Busca:

O algoritmo itera através de gerações, onde o Agente Meta:

1. Analisa o arquivo de sistemas anteriores.
2. Projeta novos fluxos de trabalho (código Python) combinando componentes como Self-Refine, Feedback Loops, Monte Carlo Tree Search (MCTS) e estratégias de crossover (recombinação de prompts).
3. Executa a avaliação e seleciona o "mais apto" para evoluir.

3. Contribuições Chave

• Novo Paradigma: É a primeira estrutura a formular o red-teaming automatizado como um problema de design de sistema agênico, combinando aprendizado in-context com algoritmos evolutivos.
• Autonomia: Elimina a necessidade de projetar manualmente fluxos de trabalho complexos, permitindo que o sistema descubra estratégias emergentes.
• Eficiência e Robustez: O pipeline descobre sistemas que são não apenas eficazes, mas também agnósticos à consulta (query-agnostic), generalizando bem para diferentes modelos e benchmarks.

4. Resultados Experimentais

Os autores avaliaram o AGENTICRED em diversos modelos de código aberto e proprietários, utilizando o benchmark HarmBench.

• Desempenho em Modelos de Código Aberto:

  • Llama-2-7B: 96% de ASR.
  • Llama-3-8B: 98% de ASR.
  • Qwen3-8B: 100% de ASR.
  • Comparação: Superou significativamente métodos state-of-the-art (SOTA) como AutoDAN-Turbo, PAIR e AdvReasoning, que obtiveram taxas muito menores (ex: 36-88% no Llama-3).

• Generalização para Modelos Proprietários (Transferência Zero-Shot):

  • Os sistemas evoluídos para modelos abertos foram testados em modelos fechados sem ajuste adicional.
  • GPT-5.1, DeepSeek-R1, DeepSeek V3.2: 100% de ASR.
  • Claude Sonnet 3.5: 60% de ASR (um modelo conhecido por forte alinhamento de segurança).
  • Claude Haiku 4.5: 48% de ASR.
  • Isso demonstra uma capacidade de transferência excepcional, superando métodos que dependem de ajuste fino específico para cada alvo.

• Qualidade e Diversidade:

  • Estudos humanos confirmaram que os prompts gerados são ataques reais e não apenas "hacking de recompensa" (o juiz do HarmBench alinha-se com 91% de precisão à avaliação humana).
  • O sistema produziu ataques semanticamente diversos, explorando o espaço de design de forma eficiente.

• Estratégias Descobertas:

  • O sistema evoluiu estratégias complexas como:
    • Reward Shaping: Modificação de funções de perda para penalizar recusas.
    • Injeção de Prefixo: Forçar o modelo a começar a resposta com uma frase específica ("Sure, here's...").
    • Supressão de Recusa: Identificar e listar frases de recusa comuns para bloqueá-las explicitamente.
    • Crossover e Mutação: Combinar partes de prompts bem-sucedidos de gerações anteriores.

5. Significado e Implicações

• Segurança de IA Escalável: O AGENTICRED oferece uma solução escalável para a segurança de IA, capaz de acompanhar o ritmo rápido de lançamento de novos modelos. Em vez de depender de especialistas humanos para criar novos vetores de ataque para cada modelo, o sistema evolui automaticamente.
• Validação de Algoritmos Evolutivos: O trabalho destaca os algoritmos evolutivos como uma ferramenta poderosa para a pesquisa em segurança de IA, capaz de descobrir soluções não triviais que humanos poderiam não considerar.
• Papel da Expertise Humana: Embora o sistema seja autônomo, o artigo enfatiza que a expertise humana é crucial para fornecer o "ponto de partida" (o arquivo inicial) e as ferramentas de interface (funções de ajuda). A IA acelera a descoberta, mas ainda depende dos fundamentos estabelecidos por cientistas humanos.
• Riscos Éticos: O artigo reconhece que essa tecnologia pode ser mal utilizada por atores maliciosos para criar sistemas de jailbreak mais sofisticados. No entanto, argumenta que o benefício de acelerar a descoberta de vulnerabilidades para mitigar riscos antes do lançamento dos modelos supera os riscos, servindo como uma ferramenta de supervisão essencial.

Em resumo, o AGENTICRED representa um avanço significativo na automação da segurança de LLMs, demonstrando que sistemas evolutivos podem superar abordagens manuais e de aprendizado por reforço tradicionais na descoberta de vulnerabilidades complexas e generalizáveis.