A Red-Team Study of Anthropic Fable 5 & Opus 4.8 Models

Resumo Técnico: Medindo a Superfície de Jailbreak Residual de Modelos de Linguagem de Grande Escala de Fronteira

Declaração do Problema
À medida que os Modelos de Linguagem de Grande Escala (LLMs) passam por um treinamento de segurança e filtragem de políticas rigorosos, os jailbreaks ingênuos de prompt único tornam-se cada vez mais ineficazes. No entanto, a persistência de adversários adaptativos — que refinam iterativamente os prompts com base nas recusas do modelo — permanece uma ameaça crítica. O artigo aborda a necessidade de quantificar a "superfície de jailbreak residual" de modelos de ponta: especificamente, quanta vulnerabilidade permanece após o endurecimento da segurança, quais vetores de ataque são eficazes e quais categorias de danos estão mais expostas. O estudo foca em dois modelos da Anthropic de fronteira, Opus 4.8 e Fable 5, avaliando sua robustez contra campanhas automatizadas de red-teaming.

Metodologia
O estudo utiliza o framework HackAgent, um kit de ferramentas de red-teaming de código aberto, para orquestrar ataques automatizados contra os modelos alvo via suas APIs padrão (acesso black-box).

• Benchmark: A avaliação cobre 7.826 intenções prejudiciais distintas organizadas em uma taxonomia de 10 categorias de dano (variando de Ético/Social a Segurança Infantil) e 55 subcategorias.
• Famílias de Ataque: Quatro estratégias de ataque distintas foram empregadas:
  1. TAP (Tree of Attacks with Pruning): Uma busca adaptativa de múltiplos passos que expande uma árvore de prompts candidatos, crescendo ramos promissores com base em pontuação em tempo real.
  2. PAIR (Prompt Automatic Iterative Refinement): Um loop iterativo onde um modelo atacante reescreve prompts em resposta às recusas do modelo alvo (até 12 iterações).
  3. PAP (Persuasive Adversarial Prompts): Reenquadramento de disparo único (single-shot) usando estratégias de persuasão humana (autoridade, dramatização de papéis/role-play) sem feedback iterativo.
  4. h4rm3l: Uma família de técnicas de ofuscação estática (Base64, cifras, divisão de carga útil, role-play "DAN") aplicadas sem feedback.
• Adjudicação: Para mitigar o "ruído do juiz" comum em avaliações de segurança automatizadas, um processo de adjudicação de dois estágios foi implementado. A pontuação inicial no loop guiou o ataque, mas cada sucesso candidato foi reavaliado offline por um painel independente de três modelos de juiz diversos (Qwen3.7 Max, Gemini 3.5 Flash e GPT 5.5). Uma tentativa foi contada como um jailbreak confirmado apenas se a maioria (≥2/3) do painel classificasse a resposta como genuinamente prejudicial.

Resultados Principais
O estudo gerou centenas de milhares de tentativas adversariais, resultando nas seguintes descobertas:

• Dominância de Ataques Adaptativos: A vulnerabilidade residual está quase inteiramente concentrada em ataques adaptativos e iterativos.
  • TAP foi o mais eficaz, quebrando o Opus 4.8 em 11,5% das intenções e o Fable 5 em 6,1%.
  • PAIR alcançou 7,98% (Opus 4.8) e 4,30% (Fable 5, dados parciais).
  • Em contraste, a ofuscação estática (h4rm3l) foi quase totalmente neutralizada, com taxas de sucesso confirmadas de 0,18% para o Opus 4.8 e 0,04% para o Fable 5 em cerca de 50.000 tentativas cada.
• Exposição de Categorias de Dano: A vulnerabilidade é distribuída de forma desigual.
  • O Opus 4.8 mostrou fraqueza significativa em Segurança Infantil (27,6% ASR sob TAP), Cibersegurança (16,6% sob PAIR, 11,4% sob TAP) e danos Criminais/Econômicos.
  • O Fable 5 teve um desempenho melhor no geral, permanecendo em dígitos únicos para todas as categorias, com sua maior exposição em Segurança Infantil (13,7%) e Ético/Social (10,2%).
• Eficiência dos Ataques: Os jailbreaks bem-sucedidos são "front-loaded" (concentrados no início). Para ataques iterativos, a maioria dos sucessos ocorreu nas primeiras uma ou duas etapas de refinamento. Iterações adicionais renderam retornos decrescentes, sugerindo que os comportamentos de recusa mais profundos dos modelos são estáveis uma vez que o enquadramento inicial é contornado.
• Volume Absoluto: Apesar da alta resistência, as campanhas automatizadas produziram 1.620 conclusões prejudiciais confirmadas pelo painel para o Opus 4.8 e 702 para o Fable 5. Estas abrangeram todas as categorias de dano, incluindo riscos severos como geração de malware, promoção de automutilação e exploração infantil.

Significância e Alegações
O artigo argumenta que taxas de sucesso agregadas (ex: "89% de resistência") não devem ser interpretadas como uma garantia de segurança. Em vez disso, os resultados caracterizam os limites de robustez de modelos de fronteira sob pressão adversária sustentada.

• Falha Contextual vs. Lexical: Os bypasses sobreviventes dependem de reenquadramento contextual em vez de ofuscação lexical. Isso indica que o treinamento de segurança fechou efetivamente os buracos estáticos (codificação, cifras), mas permanece vulnerável à manipulação semântica, onde a intenção é preservada, mas o empacotamento é alterado para contornar os filtros.
• Automação e Escala: As descobertas demonstram que um atacante totalmente automatizado, sem especialistas humanos no loop, pode descobrir jailbreaks reprodutíveis e de alta severidade de forma rápida e barata. Em escalas de implantação envolvendo milhões de interações diárias, mesmo taxas de sucesso de um dígito representam um fluxo constante de saídas prejudiciais.
• Conclusão: Os autores concluem que mesmo os modelos de fronteira mais intensamente treinados para segurança permanecem "confiavelmente quebráveis" sob ataque adaptativo. A "superfície residual" não é um erro de arredondamento, mas uma vulnerabilidade estrutural que requer mitigação direcionada e específica por categoria, em vez de garantias gerais de segurança. O estudo serve como uma caracterização de robustez, destacando que a lacuna entre "seguro para uso casual" e "seguro para uso adversário" permanece ampla.