JailbreakSkill: Scaling Automated Red-Teaming with Reusable and Ever-Evolving Skills

No mundo em rápida expansão da inteligência artificial, os grandes modelos de linguagem tornaram-se ferramentas poderosas capazes de escrever código, compor histórias e responder a perguntas complexas. No entanto, como esses sistemas são treinados em vastas quantidades de dados humanos, eles podem, às vezes, ser enganados para ignorar suas regras de segurança e gerar conteúdo prejudicial. Para garantir que essas ferramentas sejam seguras antes de serem lançadas ao público, pesquisadores empregam uma prática chamada red-teaming (teste de intrusão). Imagine uma equipe de segurança tentando invadir um edifício para encontrar pontos fracos antes que um ladrão o faça; no reino digital, isso significa usar sistemas automatizados para testar constantemente modelos de IA com perguntas astutas para ver se eles acidentalmente revelam informações perigosas. Durante anos, esses testes automatizados dependeram da geração de perguntas inteligentes e isoladas para contornar filtros de segurança. Mas, à medida que os modelos de IA se tornam mais inteligentes e seus guardiões de segurança mais sofisticados, essas tentativas únicas frequentemente falham, forçando os pesquisadores a tentar novamente e novamente, ajustando sua abordagem a cada vez.

Uma equipe de pesquisadores introduziu agora uma nova abordagem chamada JailbreakSkill, que muda o foco da criação de perguntas únicas e intermináveis para a construção de uma biblioteca reutilizável de estratégias de ataque. Em vez de tratar cada tentativa fracassada como um beco sem saída, seu sistema trata essas falhas como oportunidades de aprendizado. A estrutura organiza diferentes maneiras de enganar uma IA em "habilidades" distintas e modulares. Algumas habilidades podem envolver a reescrita de uma solicitação prejudicial como uma investigação histórica, enquanto outras podem disfarçá-la como uma tarefa de codificação ou uma história de ficção. Quando uma habilidade específica falha em romper as defesas de um modelo, o sistema não apenas segue em frente; ele analisa por que falhou. Ele então usa essa análise para refinar a habilidade existente, combiná-la com outra ou inventar uma completamente nova. Isso cria um ciclo de autoaperfeiçoamento onde a biblioteca de métodos de ataque cresce mais forte e diversa ao longo do tempo, muito parecido com um biólogo criando plantas para melhores características, mas aqui as características são a capacidade de contornar barreções de segurança digital.

Os pesquisadores testaram este sistema contra uma grande variedade de modelos de IA avançados, incluindo alguns das versões mais poderosas e alinhadas à segurança disponíveis hoje. Eles descobriram que, ao organizar ataques em essas habilidades reutilizáveis e permitir que o sistema as evolua com base em falhas passadas, eles podiam aumentar significamente a taxa de sucesso de seus testes. Em seus experimentos, o sistema melhorou a taxa de sucesso média em 17,5 pontos percentuais em um grande benchmark de segurança e em 13,4 pontos em outro. Talvez o mais impressionante seja que, ao ser testado contra um modelo específico e altamente avançado conhecido como GPT-5.4, as habilidades evoluídas aumentaram a taxa de sucesso em quase 49 pontos, transformando um sistema que era anteriormente muito difícil de ser violado em um que poderia ser comprometido na maioria das tentativas. Isso sugere que a capacidade de aprender com o fracasso e adaptar estratégias é um fator crítico para entender as verdadeiras vulnerabilidades da IA moderna.

O que torna esta descoberta particularmente significativa é que o sistema não encontrou apenas um único "truque de mágica" que funcionasse em tudo. Em vez disso, construiu uma coleção de ferramentas especializadas. Algumas das novas estratégias que inventou foram bastante criativas, como reenquadrar um pedido direto de informação prejudicial como uma tarefa inacabada em um documento, forçando a IA a completar o pensamento para que a frase fizesse sentido. Os pesquisadores observaram que muitas dessas novas habilidades descobertas não eram apenas eficazes contra os modelos específicos nos quais foram testadas, mas também podiam ser transferidas para outros modelos de IA não vistos sem a necessidade de novos ajustes. Isso indica que os mecanismos subjacentes desses ataques são robustos e podem se generalizar através de diferentes tipos de inteligência artificial.

O estudo também destacou as limitações das medidas de segurança atuais. Os pesquisadores descobriram que, embora alguns modelos fossem muito bons em recusar pedidos diretos, eles eram frequentemente menos eficazes quando o mesmo pedido era envolvido em uma narrativa complexa ou em um formato técnico, como um esquema JSON ou uma tarefa de conclusão de código. Ao explorar sistematicamente esses diferentes ângulos, a estrutura JailbreakSkill revelou que os filtros de segurança frequentemente lutam para manter sua guarda quando o contexto de um pedido muda, mesmo que a intenção central permaneça a mesma. A capacidade do sistema de diagnosticar por que uma abordagem específica falhou — se o modelo recusou porque detectou a intenção prejudicial ou porque o pedido se tornou muito confuso — permitiu que ele pivotasse rapidamente para uma estratégia mais eficaz.

No fim, o trabalho demonstra que o red-teaming automatizado está evoluindo de um jogo de azar para uma ciência estruturada de adaptação. Ao tratar métodos de ataque como componentes modulares e reutilizáveis que podem ser continuamente melhorados, os pesquisadores podem construir uma imagem mais abrangente de onde a segurança da IA pode falhar. As descobertas sugerem que, à medida que os modelos de IA se tornam mais capazes, suas defesas de segurança também devem se tornar mais dinâmicas, capazes de reconhecer não apenas as palavras usadas em um prompt, mas os padrões estruturais e contextuais que podem esconder uma intenção prejudicial. Os pesquisadores disponibilizaram seu código e a biblioteca de habilidades em evolução para o público, permitindo que outros cientistas construam sobre este trabalho e continuem a tarefa essencial de tornar a inteligência artificial mais segura para todos.