Resumo Técnico: AUTORISE

Evolução de Estratégia Impulsionada por Agentes para Red-Teaming de Grandes Modelos de Linguagem (LLMs)

1. O Problema

Atualmente, as técnicas de red-teaming (testes de invasão/segurança) automatizadas para LLMs focam na otimização de prompts individuais dentro de uma estratégia fixa desenhada por humanos. Isso significa que, embora o ataque possa mudar de palavras, a metodologia do ataque (como ele é estruturado, como os componentes são combinados e como o fluxo de controle funciona) permanece estática.

O problema central é que essa abordagem limita a capacidade de descoberta de novas classes de ataques. Se a estratégia fixa não prevê, por exemplo, o uso de cifras ou ataques de múltiplas etapas, o otimizador de prompts nunca conseguirá explorar esses vetores, deixando vulnerabilidades críticas sem serem detectadas.

2. Metodologia

Os autores propõem o AUTORISE (Autonomous Red-teaming via Iterative Strategy Evolution), que eleva o espaço de busca do nível de "texto do prompt" para o nível de "código de estratégia executável".

• Espaço de Busca (Código Python): Em vez de apenas ajustar palavras, um agente de IA (um agente de codificação) edita um arquivo strategy.py. Este arquivo define como os prompts são gerados, quais técnicas são usadas, como os alvos são selecionados e como os componentes são combinados. Isso permite mudanças estruturais, como a criação de novos "construtores de prompts programáticos".
• Loop de Evolução Baseado em Hipóteses: O sistema opera em um ciclo de:
  1. Edição: O agente modifica o código da estratégia.
  2. Execução: O código é executado contra um conjunto de modelos alvo.
  3. Avaliação: Um ensemble de três juízes (modelos de diferentes famílias, como GPT, Grok e DeepSeek) avalia o sucesso usando uma métrica composta (taxa de sucesso, diversidade, novidade e cobertura de categorias).
  4. Diagnóstico e Hipótese: O agente lê diagnósticos detalhados (por que um ataque falhou ou funcionou) e escreve em um "caderno de pesquisa" (scratchpad) para formular a próxima hipótese.
• Configuração Black-box: O método funciona apenas via chamadas de API, não exigindo treinamento de modelos, computação de GPU local ou anotação humana.

3. Principais Contribuições

1. Busca no Espaço de Programas: Demonstra que permitir que a IA escreva código de ataque permite descobrir técnicas que métodos baseados apenas em templates de texto não conseguem expressar.
2. Ablação do Espaço de Busca: O estudo isolou três regimes: Paramétrico (ajuste de números), Biblioteca de Estratégias (adição de novos templates de texto) e Irrestrito (busca total em código). O regime irrestrito superou significativamente os outros.
3. Benchmarks Competitivos: Lançamento de dois novos conjuntos de dados: AUTORISE-Standard (para modelos de nível médio) e AUTORISE-Frontier (para modelos de ponta com forte alinhamento de segurança).
4. Eficiência de Custo: Demonstrou que é possível realizar um red-teaming robusto com um custo extremamente baixo (cerca de $116 para os dois benchmarks completos).

4. Resultados

• Desempenho Superior: Em modelos não testados durante o treinamento (held-out models), o AUTORISE melhorou a Taxa de Sucesso de Ataque (ASR) em 17 pontos percentuais em relação ao melhor baseline.
• Descobertas em Modelos de Fronteira: Em modelos de ponta (como GPT-5.4 e o4-mini), onde os ataques tradicionais falham, o AUTORISE conseguiu aumentar o sucesso em até 16 pontos.
• Invenções de Ataques: O agente descobriu técnicas estruturais inéditas, como:
  • Cifra de Bijetão: Ensinar o modelo a usar uma cifra de substituição de caracteres via exemplos no contexto para contornar filtros de entrada.
  • Inundação de Contexto (Many-shot): Preencher o contexto com dezenas de exemplos benignos para sobrecarregar o alinhamento de segurança do modelo.
  • Construtores Programáticos: Funções que combinam múltiplos estilos (ex: revisão acadêmica + personificação de personagem) de forma algorítmica.

5. Significância

O trabalho altera o paradigma do red-teaming de "ajuste de prompts" para "pesquisa autônoma de segurança". Ele prova que adversários reais não apenas mudarão suas palavras, mas mudarão suas metodologias de ataque de forma programática.

Para os defensores, a conclusão é clara: a segurança de LLMs não pode ser testada apenas com ataques estáticos; é necessário modelar adversários que possuem a capacidade de evoluir suas estratégias de forma autônoma e estrutural.