Jailbreak Foundry: From Papers to Runnable Attacks for Reproducible Benchmarking

O artigo apresenta o JAILBREAK FOUNDRY (JBF), um sistema baseado em agentes múltiplos que traduz automaticamente artigos sobre jailbreaks em módulos executáveis padronizados, permitindo a reprodutibilidade precisa e a avaliação unificada de ataques em modelos de linguagem.

O essencial

Imagine que o mundo da Inteligência Artificial (IA) é como uma cidade em constante construção, onde novos prédios (modelos de linguagem) são erguidos todos os dias. Mas, infelizmente, ladrões (atacantes de segurança) também estão sempre inventando novas formas de entrar nesses prédios sem permissão, usando "chaves mestras" digitais chamadas Jailbreaks (quebra de prisão).

O problema é que os "seguranças" (pesquisadores e benchmarks) demoram muito para atualizar seus manuais de segurança. Enquanto eles terminam de escrever um novo guia, os ladrões já inventaram três novas chaves. Isso torna as avaliações de segurança desatualizadas e difíceis de comparar.

É aqui que entra o Jailbreak Foundry (JBF), a "Fábrica de Quebra de Prisão". Vamos explicar como ela funciona usando analogias simples:

1. O Problema: A Cozinha Caótica

Antes do JBF, cada pesquisador que descobria uma nova "chave" (ataque) tinha que:

• Ler o artigo científico (a receita).
• Tentar cozinhar o prato sozinho na cozinha deles.
• Usar panelas e fogões diferentes de todos os outros.
• Tentar explicar por que o prato deles ficou diferente do que o autor original disse.

Isso era lento, propenso a erros e impossível de comparar. Era como tentar julgar quem faz o melhor bolo quando cada um usa uma receita diferente, ingredientes diferentes e fornos diferentes.

2. A Solução: A Fábrica Automatizada (Jailbreak Foundry)

Os autores criaram o Jailbreak Foundry, que funciona como uma linha de montagem robótica superinteligente. Em vez de humanos tentarem cozinhar cada receita, a fábrica faz o trabalho pesado em três etapas principais:

A. O Tradutor Robô (JBF-FORGE)

Imagine um time de robôs especialistas que leem o artigo científico (a receita complexa) e transformam automaticamente em um código de computador pronto para uso.

• O Planejador: Lê a receita e desenha o mapa passo a passo.
• O Cozinheiro (Codificador): Segue o mapa e monta o código.
• O Inspetor de Qualidade (Auditor): Checa se o código montado é idêntico à receita original. Se algo estiver errado, ele manda o Cozinheiro consertar.
• O Resultado: Em cerca de 28 minutos (menos de uma hora!), a fábrica transforma um artigo acadêmico em um "módulo de ataque" pronto para ser testado, sem que um humano precise escrever uma única linha de código manualmente.

B. A Cozinha Padronizada (JBF-LIB)

Para que todos os robôs trabalhem juntos, eles usam uma cozinha padrão.

• Em vez de cada ataque ter sua própria panela, todos usam o mesmo fogão, as mesmas medidas e os mesmos utensílios.
• Isso significa que 82,5% do código é "comum" (a infraestrutura da cozinha) e apenas 17,5% é a "receita especial" do ataque.
• Analogia: É como se todos os carros de corrida usassem o mesmo chassi e motor base, e os engenheiros só precisassem ajustar a pintura e o aerofólio para cada corrida. Isso economiza muito tempo e dinheiro.

C. A Arena de Testes Justa (JBF-EVAL)

Agora que temos os ataques prontos, precisamos ver quem é o melhor. O JBF-EVAL é uma arena de testes padronizada.

• Todos os 30 ataques são testados contra 10 modelos de IA diferentes (vítimas) ao mesmo tempo.
• Todos usam o mesmo juiz (um sistema automático) e as mesmas perguntas.
• Resultado: Você pode ver exatamente qual IA é mais fraca contra qual tipo de ataque, sem dúvidas sobre quem usou qual regra.

3. O Que Eles Descobriram?

Ao testar 30 ataques diferentes, a "Fábrica" mostrou que:

• Precisão: Os robôs conseguiram recriar os ataques com quase 100% de precisão (a diferença foi de apenas 0,26% em relação aos resultados originais).
• Velocidade: O que antes levava semanas para um humano fazer, agora leva menos de 30 minutos.
• Surpresas: Eles descobriram que alguns modelos de IA são "fortes" contra a maioria dos ataques, mas têm "pontos cegos" específicos. Por exemplo, um modelo pode ser invencível contra chaves de madeira, mas cair facilmente para uma chave de metal muito específica.

4. Por Que Isso é Importante?

O Jailbreak Foundry transforma a segurança da IA de um "álbum de fotos estático" (que fica velho assim que é tirado) em um "sistema vivo".

• Assim que um novo artigo de ataque é publicado, a fábrica o processa, o testa e atualiza o mapa de segurança em tempo real.
• Isso permite que as empresas de IA saibam exatamente onde estão vulneráveis agora, e não no mês passado.

Em resumo: O Jailbreak Foundry é como um sistema de defesa automatizado que lê as novas táticas dos inimigos, monta réplicas perfeitas delas e as testa contra nossos guardiões digitais, tudo em tempo recorde, para que possamos nos proteger antes que os ladrões reais atuem.

Resumo técnico

Título: Jailbreak Foundry: De Artigos para Ataques Executáveis para Benchmarking Reprodutível

1. O Problema

As técnicas de jailbreak (quebra de segurança) para Modelos de Linguagem de Grande Escala (LLMs) evoluem mais rapidamente do que os benchmarks e ferramentas de avaliação existentes. Isso cria um ciclo vicioso onde:

• Desatualização Rápida: As estimativas de robustez tornam-se obsoletas rapidamente, pois novos ataques não são incorporados e ataques antigos são retunados ou combinados em variantes mais fortes.
• Falta de Padronização: Diferentes artigos utilizam conjuntos de dados, configurações de execução e protocolos de julgamento (judging protocols) distintos, tornando a comparação direta entre trabalhos quase impossível.
• Gargalo Manual: A integração de novos ataques em frameworks de avaliação existentes (como EasyJailbreak ou HarmBench) requer um esforço manual intensivo de engenheiros para entender o papel, adaptar o código e validar a fidelidade dos resultados. Isso resulta em atrasos de semanas ou meses na inclusão de novos métodos e em inconsistências na qualidade da implementação.

2. Metodologia: O Sistema JAILBREAK FOUNDRY (JBF)

Os autores propõem o JAILBREAK FOUNDRY (JBF), um sistema automatizado que traduz artigos de pesquisa sobre jailbreak em módulos de ataque executáveis e os avalia sob um harness (ambiente de teste) unificado. O sistema é composto por três componentes principais:

A. JBF-LIB (Núcleo de Framework Compartilhado)

• É uma biblioteca Python que define contratos estáveis para ataques e defesas (interfaces de classe base, esquemas de I/O e ganchos de parâmetros tipados).
• Fornece utilitários reutilizáveis para formatação de prompts, normalização de requisições/respostas, cache e logging.
• Permite que novos métodos de ataque sejam implementados como módulos concisos e específicos, enquanto herdam a infraestrutura comum de execução.

B. JBF-FORGE (Tradução de Artigo para Módulo Executável)

• É um fluxo de trabalho baseado em agentes multi-IA que converte a descrição textual de um artigo em código funcional compatível com o JBF-LIB.
• Agentes e Papéis:
  1. Planejador (Planner): Analisa o artigo (e repositórios oficiais, se disponíveis) para criar um plano estruturado de implementação, mapeando algoritmos e prompts para o contrato do framework.
  2. Codificador (Coder): Implementa o módulo de ataque baseado no plano, expondo parâmetros tipados e evitando lógica de avaliação externa.
  3. Auditor (Auditor): Realiza uma verificação estática rigorosa (linha por linha) comparando o código gerado com o plano e o contrato. Se houver discrepâncias, gera um relatório de revisão para o codificador corrigir.
• Refinamento: O processo ocorre em um loop limitado. Se a avaliação inicial mostrar uma queda significativa na taxa de sucesso (ASR) em relação ao artigo original, um "passo de refinamento aprimorado" é acionado, utilizando um agente de IA mais capaz (Claude Code) para análise de lacunas mais profunda e correção de detalhes de infraestrutura (scaffolding).

C. JBF-EVAL (Avaliação Padronizada)

• É a camada de avaliação que executa os módulos gerados pelo JBF-FORGE.
• Fixa os conjuntos de dados (ex: AdvBench), os protocolos de execução, as configurações de decodificação e as interfaces de julgamento (usando um juiz unificado, como GPT-4o).
• Gera artefatos padronizados (logs, matrizes de calor) que permitem comparações justas ("apple-to-apple") entre diferentes ataques e modelos vítimas.

3. Contribuições Principais

1. Tradução Automatizada de Papel para Código: O JBF-FORGE consegue converter artigos em ataques executáveis compatíveis com o benchmark em média em 28,2 minutos, sem intervenção humana direta na codificação.
2. Núcleo de Implementação Reutilizável: O JBF-LIB abstrai a infraestrutura comum, reduzindo o código específico de cada ataque em 42% em comparação com repositórios originais. O sistema alcança uma taxa de reutilização de código de 82,5%, onde apenas 17,5% do código é específico do método de ataque.
3. Benchmarking Padronizado e Vivo: O sistema permite a avaliação de múltiplos ataques contra múltiplos modelos vítimas sob condições idênticas, transformando benchmarks estáticos em sistemas "vivos" que evoluem com a pesquisa.

4. Resultados e Análise

Os autores reproduziram 30 ataques de jailbreak de alto perfil (22 com código oficial, 8 apenas do texto do artigo) e avaliaram em 10 modelos vítimas diferentes.

• Fidelidade na Reprodução: O JBF-FORGE alcançou alta fidelidade, com uma média de desvio na Taxa de Sucesso do Ataque (ASR) de apenas +0,26 pontos percentuais em relação aos resultados reportados nos artigos originais. A faixa de desvio foi de -16,0% a +20,0%, sendo a maioria das discrepâncias pequena e simétrica.
• Eficiência: A síntese de ponta a ponta é rápida (média de 28,2 minutos), com 82% das execuções concluídas em menos de 60 minutos.
• Impacto do Código Oficial: A presença de repositórios oficiais de código aumentou a fidelidade, especialmente para métodos complexos que dependem de muita infraestrutura (scaffolding), elevando a ASR média de 66,5% (apenas texto) para 86,3% (com código).
• Análise de Interação Ataque-Modelo:
  • A robustez é altamente dependente do mecanismo de ataque. Modelos fortes como o GPT-5.1 podem ter uma ASR média baixa (29,5%), mas falhar catastróficamente (0% de resistência) contra ataques específicos (ex: JAILCON-CIT com 94% de sucesso).
  • O formato do "carreador" (como o ataque é embalado) é um fator crítico. Wrappers formais (código, equações) foram os mais eficazes em geral, mas a sensibilidade a esses formatos varia drasticamente entre modelos comerciais e de pesquisa.
  • Muitos ataques têm baixa transferibilidade entre modelos, indicando que conclusões baseadas em um único modelo não generalizam.

5. Significado e Impacto

O Jailbreak Foundry representa um avanço significativo na segurança de LLMs ao resolver o problema da reprodutibilidade e da obsolescência dos benchmarks.

• Mudança de Paradigma: Move a comunidade de uma abordagem manual e estática para um fluxo de trabalho automatizado e contínuo ("living benchmarks").
• Transparência e Comparabilidade: Permite que pesquisadores comparem diretamente a eficácia de novos métodos contra o estado da arte sob condições controladas, eliminando variáveis de confusão como diferentes conjuntos de dados ou juízes.
• Dual-Use e Responsabilidade: Os autores reconhecem o risco de dual-use (o sistema pode ser usado para facilitar ataques maliciosos), mas argumentam que a capacidade de reproduzir e avaliar ataques de forma rápida e padronizada é essencial para desenvolver defesas mais robustas e entender as vulnerabilidades reais dos modelos.

Em suma, o JBF fornece uma infraestrutura escalável para manter o ritmo com a evolução rápida das ameaças de segurança em LLMs, garantindo que as métricas de robustez sejam atualizadas, confiáveis e comparáveis.