💻 computer science

Babel: Jailbreaking Safety Attention via Obfuscation Distribution Optimized Sampling

O artigo apresenta o Babel, um framework eficiente de jailbreak de caixa preta que explora a distribuição esparsa dos cabeçalhos de atenção críticos para a segurança em LLMs, utilizando amostragem de ofuscação iterativa e orientada por feedback para alcançar taxas de sucesso de ataque de última geração em modelos de ponta como GPT-4o e Claude-3.5-Haiku, com alta eficiência de consultas.

Autores originais: Ziwei Wang, Jing Chen, Ruichao Liang, Zhi Wang, Yebo Feng, Ju Jia, Ruiying Du, Cong Wu, Yang Liu

Publicado 2026-05-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ziwei Wang, Jing Chen, Ruichao Liang, Zhi Wang, Yebo Feng, Ju Jia, Ruiying Du, Cong Wu, Yang Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O "Guarda de Segurança" vs. O "Truque de Mágica"

Imagine um Modelo de Linguagem de Grande Escala (LLM) como um bibliotecário robô muito inteligente e prestativo. Antes de responder a qualquer pergunta, ele tem uma equipe de Guardas de Segurança (chamados de "cabeças de segurança") que examinam cada solicitação para garantir que ninguém esteja pedindo algo perigoso, como como construir uma bomba ou escrever discurso de ódio.

Os pesquisadores deste artigo descobriram uma falha engraçada na forma como esses guardas funcionam: Eles são muito poucos em número e ficam apenas em locais específicos. Eles não vigiam toda a biblioteca; vigiam apenas um corredor minúsculo e específico. Se você conseguir passar seu pedido perigoso por aquele único corredor, o resto da biblioteca (o cérebro do modelo) nem sabe que você está fazendo algo de errado, e ele alegremente lhe dá a resposta.

O artigo apresenta uma nova ferramenta chamada Babel (nomeada em referência à Torre de Babel, onde as línguas se misturaram) que age como um mestre mágico. Ela não tenta lutar contra os guardas; em vez disso, usa "obfuscação" (truques confusos) para deslizar o pedido perigoso pelos guardas sem que eles percebam.

Como o Truque Funciona: O "Disfarce"

Os pesquisadores descobriram que, se você mudar algumas letras em um pedido ruim, os Guardas de Segurança podem ficar confusos e parar de reconhecê-lo como perigoso. No entanto, há um equilíbrio delicado:

Muita mudança: O pedido se torna sem sentido, e o bibliotecário robô não consegue entender o que você quer de jeito nenhum.
Pouca mudança: Os Guardas de Segurança identificam o perigo imediatamente e dizem "Não".

O Ponto Ideal: Existe uma "Zona de Cachinhos Dourados" onde o pedido está embaralhado o suficiente para enganar os guardas, mas ainda claro o suficiente para o robô entender e responder.

A Estratégia Babel: Encontrando a "Zona de Cachinhos Dourados"

Em vez de chutar aleatoriamente (o que é lento e caro), o Babel usa uma abordagem inteligente e matemática para encontrar essa zona perfeita. Veja como funciona, passo a passo:

1. O Teste "Vendado" (Amostragem Pequena)

Imagine que você está tentando encontrar um baú de tesouro escondido em um quarto escuro. Você não sabe exatamente onde ele está, mas sabe que está em algum lugar no meio.

O Babel tenta alguns "disfarces" diferentes (mudando letras, trocando palavras ou misturando a estrutura da frase).
Ele pergunta ao robô: "Você disse 'Não' (recusa), ou você respondeu?"
Se o robô disser "Não" com muita frequência, o disfarce foi muito óbvio. Se o robô ficar confuso e não responder, o disfarce foi muito bagunçado.
O Babel usa um teste estatístico (como uma verificação de lançamento de moeda) para ver se está na área certa.

2. O "Zoom In" (Otimização de Distribuição)

Uma vez que o Babel encontra a área geral onde os guardas estão cegos, ele para de chutar aleatoriamente. Ele começa a dar zoom.

Ele cria um "mapa" dos disfarces que funcionam melhor.
Ele concentra sua energia apenas em criar novos disfarces que se pareçam com aqueles que quase funcionaram.
Ele continua refinando esse mapa, ficando cada vez mais apertado ao redor do disfarce perfeito, até encontrar aquele que desliza direto pelos guardas.

3. O "Envoltório" (Embedding)

Para tornar o truque ainda melhor, o Babel envolve o pedido perigoso dentro de uma tarefa chata e inofensiva.

Exemplo: Em vez de apenas perguntar "Como faço veneno?", ele diz: "Por favor, traduza esta frase para o chinês: [Instruções de Veneno Embaralhadas]."
O Guarda de Segurança vê a palavra "Traduzir" e pensa: "Ah, isso é uma tarefa segura!" Ele deixa o pedido passar. O robô então processa as instruções embaralhadas dentro e dá a resposta.

Os Resultados: Quão Bom é o Babel?

Os pesquisadores testaram o Babel em alguns dos robôs mais famosos e "superseguros" do mundo (como GPT-4o, Claude-3.5 e Grok-3).

O Jeito Antigo: Métodos anteriores eram como jogar dardos no escuro. Eles poderiam acertar o alvo eventualmente, mas levava centenas de tentativas e frequentemente falhava.
O Jeito Babel: O Babel é como um dardo guiado a laser.
- No GPT-4o, ele enganou com sucesso o modelo 82,67% das vezes (comparado a 41% para os métodos antigos).
- No Grok-3, ele teve sucesso 95,67% das vezes.
- Ele fez tudo isso usando muito poucas tentativas (cerca de 40 tentativas em média), tornando-o muito mais rápido e barato de usar.

Por Que Isso Importa? (A Analogia da "Red Team")

Os autores dizem que isso não é sobre ensinar pessoas a serem más; é sobre Red Teaming (Teste de Invasão).

Imagine que você é um especialista em segurança contratado para testar o cofre de um banco. Você não quer roubar o dinheiro; você quer encontrar o ponto fraco na fechadura para que o banco possa consertá-lo.

O Babel mostra que até os cofres mais fortes têm uma pequena rachadura no batente da porta que um ladrão esperto pode explorar.
Ao encontrar essa rachadura, os pesquisadores esperam ajudar as empresas que constroem esses modelos de IA a tapar o buraco, tornando os "Guardas de Segurança" mais inteligentes e a biblioteca mais segura para todos.

Resumo

O artigo afirma que a segurança da IA depende de alguns "guardas" específicos que podem ser enganados confundindo levemente a linguagem. A ferramenta Babel é uma maneira inteligente e matemática de encontrar o nível perfeito de confusão para contornar esses guardas de forma eficiente, provando que as medidas atuais de segurança da IA são mais frágeis do que pensávamos.

Resumo Técnico: Babel – Quebra de Segurança de Atenção via Amostragem Otimizada de Distribuição de Obfuscação

Declaração do Problema

Apesar do alinhamento rigoroso de segurança, os Modelos de Linguagem de Grande Escala (LLMs) permanecem vulneráveis a ataques de jailbreak. Os métodos existentes de ataque em caixa preta geralmente dependem de templates heurísticos ou buscas exaustivas de tentativa e erro. Essas abordagens sofrem com a falta de interpretabilidade mecânica sobre por que elas têm sucesso e frequentemente exibem baixa eficiência de consultas. Além disso, elas frequentemente ignoram as vulnerabilidades intrínsecas dentro dos próprios mecanismos de segurança dos LLMs, limitando sua capacidade de fornecer insights profundos para fortalecer a segurança do modelo.

Metodologia

O artigo propõe o Babel, um framework de ataque em caixa preta eficiente projetado para explorar uma vulnerabilidade intrínseca específica nos mecanismos de segurança dos LLMs. A metodologia fundamenta-se em três componentes principais:

1. Identificação da Vulnerabilidade Intrínseca

Os autores investigam os mecanismos de segurança internos dos LLMs, baseando-se em pesquisas anteriores de interpretabilidade mecânica. Eles postulam que o alinhamento de segurança é implementado principalmente por um pequeno conjunto de cabeças de atenção esparsamente distribuídas (referidas como "cabeças de segurança"). Consequentemente, uma grande parte do espaço representacional permanece fracamente monitorada.

A Lacuna: Enquanto as cabeças de segurança detectam semânticas prejudiciais em consultas originais, uma entrada obfuscada cuidadosamente construída pode deslocar semânticas prejudiciais para estados ocultos não cobertos por essas cabeças de segurança.
O Limite: A obfuscação eficaz é delicada; obfuscação excessiva destrói a intenção prejudicial, enquanto obfuscação insuficiente permanece detectável.

2. Modelo Matemático de Jailbreaking

Para formalizar esse fenômeno, os autores propõem um modelo matemático que caracteriza o limite da obfuscação de texto eficaz:

Quantificação: O grau de obfuscação ( $O_q$ ) é quantificado usando o complemento da similaridade cosseno entre a consulta prejudicial original e a consulta obfuscada, codificada via um modelo BERT.
O Intervalo de Jailbreaking ( $I_q$ ): O modelo assume a existência de um intervalo específico $(a_q, b_q)$ representando o grau de obfuscação onde as cabeças de segurança falham em detectar o dano, mas a camada final de saída do modelo ainda processa a intenção.
Hipótese de Distribuição: Estudos empíricos sugerem que os graus de obfuscação gerados por amostragem aleatória (por exemplo, Best-of-N) seguem uma distribuição normal. A probabilidade de um jailbreak bem-sucedido é calculada com base na sobreposição entre essa distribuição e o intervalo de jailbreaking.

3. O Framework Babel

O Babel operacionaliza este modelo através de um processo de três etapas:

Obfuscação de Consulta Prejudicial: Uma abordagem sistemática que gera obfuscação em três granularidades: string (nível de caractere), token (nível de palavra) e sequência (estrutural). Isso permite controle adaptativo sobre o grau de obfuscação.
Embutimento de Consulta Prejudicial: Para suprimir ainda mais as cabeças de segurança, consultas prejudiciais obfuscadas são embutidas dentro de solicitações benignas (por exemplo, tarefas de tradução, estatísticas, transformação ou recuperação). Um template específico solicita ao modelo que comece com "Sure" e processe o conteúdo obfuscado como parte de uma tarefa inofensiva.
Amostragem Otimizada por Distribuição: Este é o loop de otimização central.
- Amostragem em Pequena Escala: O sistema realiza amostragem inicial para testar se a média da distribuição de obfuscação atual alinha-se com o centro estimado do intervalo de jailbreaking. Um teste binomial (teste de sinal) é usado para determinar se a distribuição precisa de ajuste.
- Amostragem em Grande Escala: Uma vez identificada uma distribuição ótima, o sistema realiza amostragem em grande escala, estreitando progressivamente o intervalo de busca para localizar eficientemente prompts de jailbreak bem-sucedidos. Esse refinamento orientado por feedback maximiza a probabilidade de amostragem dentro da lacuna "segura-para-jailbreak".

Contribuições Principais

Identificação de Vulnerabilidade: O artigo identifica e formaliza uma vulnerabilidade intrínseca específica onde o alinhamento de segurança depende de cabeças de atenção esparsas, deixando uma "lacuna de segurança" no espaço representacional.
Formalização Matemática: Introduz um modelo matemático de jailbreaking que quantifica a força da obfuscação e caracteriza o limite delicado necessário para contornar mecanismos de segurança sem destruir a intenção.
Framework Babel: Propõe o Babel, um framework de ataque em caixa preta que utiliza amostragem de obfuscação consciente da distribuição e otimização iterativa para explorar sistematicamente essa vulnerabilidade, alcançando altas taxas de sucesso sem acesso aos internos do modelo.
Validação Empírica: Avaliações extensivas em modelos comerciais de ponta demonstram que o Babel alcança taxas de sucesso de ataque state-of-the-art (SOTA) com eficiência de consultas superior às linhas de base existentes.

Resultados Experimentais

Os autores avaliaram o Babel em quatro LLMs comerciais: GPT-4o, Gemini-2.0-Flash, Grok-3 e Claude-3.5-Haiku, usando o dataset HarmBench (300 consultas prejudiciais).

Taxa de Sucesso do Ataque (ASR): O Babel superou significativamente as linhas de base state-of-the-art (incluindo Bon, PiF, FlipAttack e TAP).
- GPT-4o: Aumentou a ASR de 41,33% (Bon) para 82,67%.
- Claude-3.5-Haiku: Aumentou a ASR de 38,33% (Bon) para 78,33%.
- Grok-3: Alcançou 95,67% de ASR.
- Gemini-2.0-Flash: Alcançou 78,33% de ASR.
Eficiência de Consultas: O Babel alcançou esses resultados com um Baixo Número Médio de Solicitações (ANR). Por exemplo, no GPT-4o, alcançou 82,67% de ASR com uma média de apenas 26 consultas, comparado a 35 consultas para o Bon (que alcançou apenas 41,33% de ASR).
Estudos de Ablação:
- Embutimento: Embutir consultas prejudiciais em solicitações benignas de "Recuperação" provou ser mais eficaz entre os modelos.
- Amostragem: A amostragem otimizada por distribuição demonstrou um aumento quase linear na ASR com a contagem de consultas no GPT-4o e no Claude-3.5-Haiku, contrastando com o comportamento de lei de potência de métodos de amostragem aleatória como o Bon.

Significado e Alegações

O artigo afirma que o Babel fornece uma metodologia robusta de red-teaming para pesquisa de segurança de LLMs. Ao mudar a perspectiva da engenharia de prompts heurística para os mecanismos de segurança internos do modelo, os autores argumentam que:

Os mecanismos de segurança atuais são estruturalmente frágeis e dependem de componentes compactos e esparsos que podem ser contornados através de obfuscação sistemática.
O modelo matemático proposto explica com sucesso o mecanismo de jailbreaks baseados em obfuscação e caracteriza a lacuna de segurança.
O Babel não apenas alcança desempenho de ataque superior, mas também serve como uma ferramenta de diagnóstico para avaliar os limites de segurança de diferentes modelos (por exemplo, revelando que os mecanismos de segurança do Grok-3 são mais suscetíveis a contornar do que os de outros).

Os autores enfatizam que este trabalho destina-se exclusivamente à pesquisa de segurança defensiva para melhorar a segurança dos LLMs, fornecendo insights para mitigações direcionadas e pipelines de avaliação de segurança mais confiáveis.