Resumo Técnico: AdversaBench

Declaração do Problema

Escalar a avaliação adversarial de Grandes Modelos de Linguagem (LLMs) apresenta um desafio duplo: gerar entradas difíceis e confirmar de forma confiável que as falhas resultantes são genuínas. Embora um único juiz automatizado seja rápido, ele carece da capacidade de detectar sua própria leniência ou resolver casos limítrofes. Além disso, métricas padrão de concordância entre anotadores, como o $\kappa$ de Cohen, podem ser enganosas em configurações adversariais onde as taxas de falha são altas (distribuições enviesadas), potencialmente mascarando desacordos substantivos em casos difíceis. O red-teaming atual frequentemente depende de prompting ingênuo ou verificação por juiz único, o que falha em capturar a nuance de violações de instrução, erros de raciocínio ou uso indevido de ferramentas em escala.

Metodologia

O AdversaBench é um pipeline de red-teaming automatizado e um estudo de confiabilidade projetado para abordar essas lacunas. O sistema opera em um loop envolvendo um atacante, um modelo alvo e um painel de múltiplos juízes.

Arquitetura do Sistema

• Pipeline: Construído usando LangGraph para orquestração e LangChain para chamadas de modelo, o sistema suporta retomada de checkpoint e tratamento robusto de limites de taxa de API (rate-limit).
• Modelo Alvo: Llama 3.1 8B Instant (selecionado intencionalmente como um alvo fraco para estressar as métricas de avaliação e garantir alta prevalência de falhas).
• Atacante: Primariamente Llama 3.3 70B, escalando para GPT-4o-mini a partir da iteração 2 se uma falha ainda não for confirmada.
• Juízes: Um painel de três modelos (Llama 3.3 70B, Cerebras GPT-OSS 120B e Qwen3 32B) vota se uma resposta viola uma especificação de verdade fundamental (ground-truth). O consenso unânime salva o resultado; divisões são resolvidas por um meta-juiz GPT-4o-mini.

Construção de Sementes e Mutação

O estudo utilizou 45 prompts semente distribuídos em três categorias: Raciocínio (15), Seguimento de Instrução (15) e Uso de Ferramentas (15). Estas foram expandidas a partir de um piloto inicial para cobrir raciocínio temporal, formatação estrita (ex: chaves JSON exatas), restrições negativas e casos de borda de ferramentas. Cada semente inclui um prompt base, uma especificação de comportamento_esperado inequívoca e uma resposta de referência.

Cinco operadores de mutação estruturados são aplicados iterativamente (até 5 iterações por semente) usando uma estratégia de seleção $\epsilon$-greedy ($\epsilon=0.2$):

1. rephrase (refrasear): Reafirmação superficial da semente.
2. inject_distractor (injetar_distrator): Adiciona uma restrição plausível, mas enganosa.
3. role_flip (inversão_de_papel): Reenquadra a tarefa sob uma persona adversarial.
4. constraint_add (adicionar_restrição): Anexa requisitos conflitantes.
5. jailbreak_wrap (envoltório_de_jailbreak): Incorpora a semente em um template de estilo jailbreak.

Principais Contribuições

1. Pipeline Reproduzível: Um sistema baseado em LangGraph apresentando seleção de operador $\epsilon$-greedy, escalonamento de atacante e um painel de três juízes com um meta-juiz para desempate na confirmação de falha.
2. Métrica de Custo de Iteração: Uma proposta para relatar o número médio de iterações do atacante necessárias para quebrar uma semente juntamente com taxas binárias de falha. Esta métrica revela níveis de dificuldade que taxas agregadas de passar/falhar obscurecem.
3. Estudo de Confiabilidade: Uma adaptação da análise de confiabilidade inter-juiz ( $\kappa$ de Cohen) para vereditos binários de resposta única. O estudo demonstra como uma alta concordância bruta pode coexistir com um $\kappa$ próximo de zero ou negativo em distribuições enviesadas, argumentando que taxas de desacordo estratificadas por categoria são uma métrica mais informativa.
4. Evidência de Transferibilidade: Um experimento de transferência zero-shot mostrando que prompts adversariais gerados contra um modelo 8B fraco conseguem quebrar com sucesso um modelo 70B substancialmente mais forte, sugerindo que as mutações exploram padrões comportamentais gerais em vez de fraquezas específicas do modelo.

Resultados

• Taxa de Sucesso: Todas as 45 sementes produziram falhas confirmadas.
• Eficácia do Operador: A eficácia varia drasticamente por categoria. Por exemplo, inject_distractor alcançou uma recompensa média de 1.00 em sementes de raciocínio e uso de ferramentas, mas apenas 0.33 em sções de seguimento de instrução. Contagens agregadas mascararam essas dependências específicas de categoria.
• Custo de Iteração: As sementes de seguimento de instrução exigiram significativamente mais esforço (média de 2.4 iterações) comparadas às de raciocínio e uso de ferramentas (média de 1.1 iterações). Uma curva de sobrevivência mostrou que 60% das sementes de instrução permaneceram não quebradas após a primeira iteração, contra apenas 10% das outras categorias.
• Confiabilidade do Juiz: A concordância pareada entre juízes foi alta (80–87%), porém o $\kappa$ de Cohen foi próximo de zero ou ligeiramente negativo (−0.05 a −0.11) devido à alta prevalência de vereditos de "falha" (90–97%). As taxas de desacordo foram mais altas em seguimento de instrução (33% dos casos), enquanto as falhas de raciocínio foram unânimes (0% de desacordo).
• Transferibilidade: Uma revisão manual preliminar de 15 prompts adversariais verificados indicou que armadilhas lógicas e mutações baseadas em restrições transferiram-se com sucesso do Llama 3.1 8B para o Llama 3.3 70B.

Significância e Alegações

O artigo alega que o AdversaBench fornece uma visão mais matizada da avaliação adversarial ao ir além das simples taxas de falha binárias. Argumenta-se que:

• A seleção de operadores deve ser dependente da categoria: Nenhum operador único domina através de todos os tipos de tarefas; o relatório agregado esconde ineficiências críticas.
• O custo de iteração é uma métrica crítica: Ele revela a "dificuldade" de quebrar um modelo, o que é invisível quando se reporta apenas as taxas de sucesso finais.
• Painéis de múltiplos juízes são essenciais para seguimento de instrução: Juízes únicos perdem falhas que outros juízes aprovam, e as taxas de desacordo nesta categoria destacam a necessidade de arbitragem em casos ambíguos.
• $\kappa$ requer contexto: Em configurações adversariais enviesadas, um $\kappa$ próximo de zero é um sinal de prevalência, não de falta de alinhamento entre juízes; o desacordo estratificado por categoria é um indicador melhor de onde os juízes divergem.
• Generalização: As mutações expõem padrões comportamentais gerais (ex: dificuldade em resolver restrições conflitantes) em vez de fraquezas específicas de modelos pequenos, como evidenciado pela transferência bem-sucedida para modelos maiores.

Os autores concluem que o código, o conjunto de dados e os scripts de análise são liberados para facilitar o red-teaming reproduzível e estudos adicionais sobre a confiabilidade do avaliador.