Resumo Técnico: Adversários Adaptativos: Um Benchmark de Múltiplos Turnos e Múltiplos LLMs para a Segurança de Agentes de LLM

Declaração do Problema

Os benchmarks de segurança atuais para agentes de Large Language Models (LLMs) frequentemente dependem de pools de ataques estáticos e pré-coletados (conjuntos fixos de prompts ou jailbreaks) avaliados contra defensores em interações de turno único ou múltiplos turnos fixos. Essa abordagem falha em capturar a natureza dinâmica das ameaças adversárias do mundo real, onde um atacante pode observar as respostas de um defensor, adaptar sua estratégia ao longo de múltiplos turnos e mudar de direção quando as tentativas iniciais falham. Além disso, os benchmarks existentes tipicamente avaliam um único modelo atacante contra um defensor, potencialmente perdendo vulnerabilidades que apenas arquiteturas ou capacidades específicas de atacantes podem descobrir. Os autores argumentam que os pools estáticos congelam o adversário antes da medição, levando a uma compreensão incompleta da segurança de agentes, particularmente em relação à injeção de prompt indireta e ao jailbreaking de múltiplos turnos.

Metodologia

O artigo introduz um novo benchmark construído sobre a plataforma de avaliação multi-agente AgentBeats, projetada para operacionalizar ataques adaptativos de múltiplos rounds contra defensores sem memória.

Princípios Fundares de Design

1. Batalhas de Agente-contra-Agente de Múltiplos Turnos: Cada cenário de avaliação consiste em um diálogo de 15 rodadas. O atacante é um agente de LLM autônomo que observa as respostas anteriores do defensor e condiciona seu próximo turno com base nesse histórico.
2. Defensor Sem Memória: O defensor é avaliado como uma interação "fresca" em cada rodada, recebendo apenas o input formatado atual sem acesso ao histórico da conversa anterior. Isso isola a robustez por input sob pressão adaptativa sustentada, simulando um adversário que reseta a sessão para evitar o acúmulo de suspeita enquanto o atacante aprende através das tentativas.
3. Regeneração de Ataque por Batalha: Ao contrário dos benchmarks que usam pools de ataques fixos, o LLM atacante gera cada turno ao vivo durante a batalha. Isso garante que os ataques se adaptem a comportamentos específicos do defensor, em vez de depender de conjuntos estáticos pré-computados.
4. Pontuação de Saída Estruturada: Os defensores produzem saídas em JSON estruturado. O sucesso é determinado por uma função check_success que verifica campos específicos e relevantes para o cenário (ex: um vazamento de senha em um campo de código, uma ação insegura aprovada em um campo de decisão). Isso evita ambiguidades em prosa de formato livre e impede o "reward hacking", onde um atacante satisfaz uma métrica proxy (como ecoar uma palavra-chave) sem alcançar a ameaça real.

Construção do Benchmark

• Conjunto de Cenários: O benchmark compreende 21 cenários de avaliação retidos cobrindo cinco classes de ameaças: injeção indireta (11), vazamento de PII/dados (6), saída insegura (2), cadeia de suprimentos (1) e extração de prompt (1).
• Calibragem: Os cenários passaram por um processo de calibração de três estágios (geração de conceito, implementação de plugin e filtragem quantitativa) usando modelos fortes (GPT-5.2) e fracos (GPT-4o-mini) para garantir que os cenários fossem discriminativos (nem trivialmente fáceis, nem impossivelmente difíceis) e exigissem interação de múltiplos turnos.
• Matriz de Avaliação: Uma avaliação de fronteira 3×3 controlada foi conduzida usando três modelos atacantes de alto nível (Claude Opus 4.6, GPT-5.4, Gemini 2.5 Pro) e os mesmos três como defensores, resultando em 945 batalhas (N=5 por célula).
• Competição Aberta: Uma competição aberta no backbone gpt-oss-20b envolveu 21 equipes de ataque e 20 equipes de defesa, gerando 18.422 batalhas em cenários retidos para validar que o protocolo captura a descoberta de estratégias além do ruído de amostragem de baseline.

Principais Resultados

1. Ataques Adaptativos Revelam Vulnerabilidades Significativas

Restringir a avaliação ao primeiro turno do atacante resulta em uma Taxa de Sucesso de Ataque (ASR) de 0–1%. No entanto, permitir 15 rodadas de ataque adaptativo aumenta a ASR para 5,4–14,0%. Isso demonstra que a adaptação de múltiplos turnos é o principal motor do sucesso, não meramente a repetição de amostragem independente. Estudos de ablação confirmam que remover o acesso do atacante às respostas anteriores do defensor reduz a ASR para 0% em cenários de alto risco.

2. Fraquezas Específicas de Modelo vs. Rankings Agregados

Embora o Claude Opus 4.6 e o GPT-5.4 tenham empatado em ASR agregada (5,4% cada), seus modos de falha foram drasticamente distintos:

• O Opus foi unicamente vulnerável no cenário memleak (60% ASR vs. 7% para outros), falhando quando um pretexto de "depuração de parser-regex" contornou sua recusa em compartilhar credenciais.
• O GPT-5.4 e o Gemini mantiveram-se firmes em memleak, mas o Gemini foi unicamente vulnerável em paperaccept (53% ASR vs. 0% para outros), sucumbindo a uma nota fabricada de "Nota Oficial do Area Chair" que anulou suas regras de pontuação.
• O Gemini teve a maior ASR agregada (14,0%), impulsionada por essas fraquezas específicas de cenário.

3. Avaliação de Múltiplos Atacantes Revela Ataques Únicos

O agrupamento de três modelos atacantes de fronteira revelou 1,4–2,2× mais ataques bem-sucedidos únicos do que o melhor atacante individual sozinho. Os ataques gerados mostraram baixa similaridade de cosseno (0,02–0,14) com ataques em benchmarks existentes, indicando que representam estratégias novas em vez de paráfrases de ataques conhecidos. Nenhuma trajetória de ataque única teve sucesso contra todos os três defensores de fronteira, destacando a heterogeneidade das vulnerabilidades.

4. Baixa Concordância nos Rankings de Defensores

Usando o W de Kendall para medir a concordância nos rankings de defensores entre os cenários, o benchmark rendeu W = 0,19 (95% CI [0,02, 0,58]). Isso é significativamente menor do que benchmarks como o b3 (W = 0,712), indicando que as fraquezas de defensores de fronteira não se alinham em um único eixo de "segurança". Um modelo que é robusto em um cenário pode ser frágil em outro, e a ASR agregada pode obscurecer esses hiatos críticos e específicos de cada cenário.

Significância e Alegações

O artigo alega que os pools de ataques estáticos são insuficientes para avaliar a segurança de agentes porque congelam o adversário antes que o defensor seja medido. Ao operacionalizar a avaliação adaptativa como um protocolo repetível, o benchmark:

• Expõe Vulnerabilidades Ocultas: Revela que pontuações de segurança agregadas podem mascarar fraquezas severas e específicas de modelos que só aparecem sob condições adaptativas de múltiplos turnos.
• Valida a Necessidade de Pools de Múltiplos Atacantes: Demonstra que confiar em um único modelo atacante subestima a superfície de ataque, pois diferentes modelos descobrem modos de falha distintos e não sobrepostos.
• Fornece um Framework Repetível: A liberação inclui o orquestrador, 21 cenários, harnesses de baseline e um CLI de múltiplos atacantes, permitindo que a comunidade avalie novos defensores contra ataques vivos e adaptativos, em vez de listas estáticas.
• Destaca os Limites da Segurança de Dimensão Única: A baixa concordância (W de Kendall) sugere que a segurança não é uma propriedade escalar única; um modelo "mais seguro" pode não existir em todos os vetores de ameaça, necessitando de defesas específicas para cada cenário.

Os autores afirmam explicitamente que suas descobertas baseiam-se no conjunto específico de cenários calibrados e que, embora forneçam um protocolo robusto, os resultados não constituem um ranking definitivo de leaderboard de modelos, mas sim uma demonstração de como a avaliação adaptativa altera o objeto de medição. Eles liberam os dados e o código para apoiar extensões para defensores com estado (stateful), pools de atacantes mais amplos e modelos de ameaça adicionais.