Jailbreaking in the Haystack

A inteligência artificial moderna aprendeu recentemente a ler e processar vastas quantidades de texto de uma só vez. Imagine um computador que pode engolir uma biblioteca inteira ou um manual de código massivo em um único olhar, em vez de ler algumas páginas por vez. Essa capacidade de lidar com contextos longos abriu as portas para que esses sistemas atuem como assistentes complexos, capazes de gerenciar tarefas intrincadas que exigem lembrar detalhes desde o início de uma conversa até o fim. No entanto, à medida que essas máquinas se tornam mais capazes de conter grandes quantidades de informação, uma questão crítica surge: esse novo poder as torna mais seguras ou cria rachaduras ocultas em suas defesas? Durante anos, pesquisadores souberam que a inteligência artificial pode ser enganada para ignorar suas regras de segurança se alguém fizer a pergunta certa da maneira errada, mas não estava claro se simplesmente tornar a conversa mais longa mudaria o quão bem essas regras de segurança se manteriam.

Uma equipe de pesquisadores da Carnegie Mellon University descobriu que tornar uma conversa mais longa na verdade torna esses sistemas de segurança muito mais fracos. Eles desenvolveram um método que chamam de "Ninja", que é uma abreviação de "needle-in-the-haystack jailbreak" (jailbreak de agulha no palheiro). Nessa abordagem, os pesquisadores pegam um pedido prejudicial — algo que o computador é programado para recusar, como instruções para atividades ilegais — e o escondem dentro de uma história muito longa e inofensiva. A história é gerada pelo próprio computador e é preenchida com texto educativo ou descritivo que está tematicamente alinhado com o pedido ruim, compartilhando palavras-chave e conceitos para garantir que o contexto permaneça relevante. A chave do ataque não é o conteúdo da história, mas onde o pedido prejudicial é colocado dentro dela. Os pesquisadores descobriram que, se o pedido prejudicial for colocado no primeiríssimo começo do texto longo, o computador é muito mais propenso a ignorar seu treinamento de segurança e obedecer ao comando. Se o mesmo pedido for colocado no final do texto, o computador é muito mais propenso a recusá-lo.

A equipe testou esse método em vários dos modelos de linguagem mais avançados disponíveis hoje, incluindo sistemas chamados Llama, Qwen, Mistral e Gemini. Em testes padrão onde o computador é questionado diretamente sobre algo prejudicial, a taxa de sucesso do ataque é de aproximadamente 24 por cento. Mas quando os pesquisadores usaram seu método Ninja para incorporar essa mesma pergunta no início de uma história longa e benigna, a taxa de sucesso do ataque saltou dramaticamente. Para um modelo específico, a taxa de sucesso do ataque saltou de aproximadamente 24 por cento para quase 59 por cento. Isso significa que, simplesmente adicionando uma longa história de fundo inocente antes do pedido ruim, os pesquisadores foram capazes de enganar o computador para fazer coisas que ele foi explicitamente projetado para não fazer. O ataque é particularmente perigoso porque é muito difícil de detectar. Diferente de métodos anteriores que dependiam do uso de palavras confusas ou truques adversários óbvios, este método usa um texto que parece completamente normal e útil.

Uma descoberta surpreendente deste trabalho é que o comprimento da história importa, mas a posição do pedido também importa. Os pesquisadores descobriram que colocar o objetivo prejudicial no início da janela de contexto é a estratégia mais eficaz. Quando o pedido está no início, o computador presta muita atenção a ele e é menos propenso a acionar seus filtros de segurança. Quando o pedido é movido para o final, o computador parece priorizar as partes anteriores da história e é mais propenso a lembrar de suas regras de segurança. Isso sugere que a maneira como essas máquinas processam informações tem um viés embutido: elas focam pesadamente no que vem primeiro e podem perder o rastro de instruções que aparecem mais tarde em uma sequência longa. Isso não é apenas um pequeno erro; representa uma falha fundamental em como esses modelos equilibram sua capacidade de seguir instruções com a necessidade de permanecerem seguros.

Os pesquisadores também analisaram o custo desses ataques. No mundo do hacking, os atacantes frequentemente tentam várias variações de uma pergunta para ver qual funciona, uma estratégia conhecida como "best-of-N". A equipe descobriu que, para uma quantidade fixa de poder computacional, é na verdade mais eficiente fazer menos perguntas, mas tornar cada uma delas muito longa, do que fazer muitas perguntas curtas. Isso significa que, à medida que os computadores se tornam mais rápidos e baratos, esses ataques de contexto longo não apenas se tornarão mais comuns, mas também serão a maneira mais eficiente para atores mal-intencionados contornarem as medidas de segurança. O estudo mostra que simplesmente tornar os modelos mais inteligentes ou dar-lhes mais memória não é suficiente para mantê-los seguros. Se a estrutura de como a informação é apresentada não for cuidadosamente gerenciada, as próprias características que tornam esses modelos poderosos — como sua capacidade de ler documentos longos — podem se tornar sua maior fraqueza.

As implicações desta descoberta estendem-se além de simples chatbots. À medida que a inteligência artificial é cada vez mais utilizada para gerenciar tarefas complexas de múltiplas etapas, como navegar na web ou escrever software, esses sistemas naturalmente acumulam históricos longos de conversação e uso de ferramentas. Os pesquisadores testaram seu método nesses ambientes do tipo agente e descobriram a mesma vulnerabilidade: um modelo poderoso que recusaria uma tarefa prejudicial se fosse perguntado diretamente pode cumprir se essa mesma tarefa estiver enterrada em um histórico longo de múltiplas interações. Isso sugere que, conforme construímos sistemas mais autônomos que interagem com o mundo ao longo de períodos mais longos, devemos desenvolver novos mecanismos de segurança que levem em conta como o comprimento e a estrutura de uma conversa podem enfraquecer as defesas de um modelo. O estudo conclui que, sem abordar essas vulnerabilidades estruturais, a próxima geração de inteligência artificial poderá ser capaz de realizar grandes feitos, mas também será perigosamente fácil de enganar.