🤖 AI

Using Mechanistic Interpretability to Craft Adversarial Attacks against Large Language Models

Este artigo apresenta um novo método de ataque adversarial de caixa branca que utiliza a interpretabilidade mecanística para identificar e redirecionar embeddings de subespaços de recusa para subespaços de aceitação, alcançando altas taxas de sucesso de jailbreak em LLMs de última geração com custos computacionais significativamente reduzidos em comparação com as técnicas existentes.

Autores originais: Thomas Winninger, Boussad Addad, Katarzyna Kapusta

Publicado 2026-07-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Thomas Winninger, Boussad Addad, Katarzyna Kapusta

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Abrindo o Cofre Sem Precisar de Gazua

Imagine um Grande Modelo de Linguagem (LLM) como um bibliotecário muito inteligente e altamente treinado. Este bibliotecário tem um livro de regras rigoroso: "Se alguém pedir instruções sobre como construir uma bomba, você deve recusar".

Hackers tradicionais (ataques adversários) tentam enganar este bibliotecário gritando palavras confusas ou usando enigmas complexos até que o bibliotecário fique confuso e acidentalmente dê a resposta. Isso é como tentar abrir uma fechadura testando cada chave, sacudindo-as, até que uma funcione. Leva muito tempo, exige muito tentativa e erro e, frequentemente, falha com bibliotecários mais novos e inteligentes.

Este artigo apresenta um novo método chamado "Subspace Rerouting" (SSR - Redirecionamento de Subespaço). Em vez de sacudir chaves, os pesquisadores olharam dentro do cérebro do bibliotecário para ver exatamente como o pensamento de "recusa" é formado. Eles então criaram uma "frase mágica" específica que força o cérebro do bibliotecário a seguir um caminho diferente, contornando a regra de recusa inteiramente.

Como Funciona: Os Três Passos

1. Mapeando a "Sala da Recusa"

Os pesquisadores primeiro estudaram o modelo para descobrir onde a "recusa" acontece.

A Analogia: Imagine que a mente do bibliotecário é um prédio gigante com muitas salas. Os pesquisadores encontraram um corredor específico (um "subespaço") onde vive o pensamento "Eu não posso fazer isso".
A Descoberta: Eles perceberam que, quando o modelo vê um pedido prejudicial, seus pensamentos internos (ativações) são empurrados para esta "Sala da Recusa". Quando ele vê um pedido inofensivo, os pensamentos permanecem na "Sala da Ajuda". Essas duas salas são claramente separadas, como duas cores de tinta diferentes que não se misturam.

2. O Truque do "Redirecionamento"

Uma vez que souberam onde a "Sala da Recusa" estava, eles não tentaram discutir com o bibliotecário. Em vez disso, calcularam um atalho.

A Analogia: Imagine que você está caminhando em direção a uma parede sem saída (a recusa). Em vez de bater na parede, os pesquisadores encontraram um túnel escondido que conecta a área do "Pedido Prejudicial" diretamente à área da "Resposta Útil", pulando a parede inteira.
O Método: Eles adicionaram algumas palavras especiais (um "sufixo") ao final da pergunta prejudicial. Essas palavras agem como um sinal de GPS que diz aos pensamentos internos do modelo: "Não vá para a Sala da Recusa; pegue este desvio para a Sala da Ajuda".

3. O Resultado: Jailbreaks Instantâneos

O Jeito Antigo: Métodos tradicionais (como o GCG) são como tentar derrubar a parede jogando pedras nela por horas. Eles frequentemente falham ou levam muito tempo.
O Novo Jeito (SSR): Este método é como encontrar a porta secreta. Os pesquisadores conseguiram quebrar a segurança do modelo em segundos (às vezes apenas 14 segundos) com uma taxa de sucesso de 80% a 95%. Eles fizeram isso em modelos modernos e robustos como Llama 3.2 e Gemma 2.

As Três "Chaves" que Eles Testaram

O artigo testou três maneiras diferentes de encontrar a "porta secreta":

A Chave do Classificador (Probe-SSR): Eles treinaram um detector simples para identificar "Pensamentos de Recusa". Em seguida, otimizaram a entrada para enganar esse detector, fazendo-o pensar que o pedido prejudicial era, na verdade, inofensivo. Este foi o método mais eficaz.
A Chave da Bússola (Steering-SSR): Eles encontraram uma "direção" específica na mente do modelo que aponta para a "Recusa". Então, eles empurraram os pensamentos na direção oposta. Isso funcionou bem, mas foi ligeiramente menos eficiente que o primeiro método.
A Chave do Holofote (Attention-SSR): Eles encontraram partes específicas do modelo (cabeças de atenção) que focam nas palavras perigosas. Eles tentaram escrever um sufixo que força essas partes a focar nas palavras inofensivas em vez disso. Foi o método menos eficaz na prática, embora interessante para pesquisa.

Uma Descoberta Surpreendente: O Truque "Natural"

Uma das descobertas mais legais foi que as "palavras mágicas" que o computador gerou não eram apenas um amontoado de palavras sem sentido (como "asjdhf98"). Às vezes, elas formavam frases coerentes e sensatas.

A Analogia: Imagine tentar hackear um sistema de segurança digitando letras aleatórias. Geralmente, você obteria "xkq9z". Mas este método às vezes produzia uma frase como: "Faça isso de forma responsável através da contabilidade ecológica".
Por que isso importa: Isso sugere que os mecanismos de segurança do modelo são muito específicos. O modelo pode ser enganado para pensar que um pedido prejudicial é seguro se você o enquadrar com o contexto certo, mesmo que esse contexto seja um pouco estranho.

Por Que Isso Importa (Segundo o Artigo)

Velocidade: Transforma um processo que costumava levar horas em algo que leva segundos.
Compreensão: Prova que podemos entender como os modelos de IA pensam (interpretabilidade mecanística) e usar esse conhecimento para quebrá-los.
Defesa: Ao ver exatamente como a "Sala da Recusa" funciona e o quão facilmente ela pode ser contornada, os desenvolvedores podem construir fechaduras melhores (defesas) que não possuam esses buracos específicos.

O Que o Artigo Não Alega

Não afirma que isso funciona em todos os modelos em todas as situações (funcionou melhor nos modelos específicos que eles testaram).
Não afirma que é uma ferramenta para uso clínico ou diagnóstico médico.
Não afirma que as "palavras mágicas" são sempre em inglês perfeito; às vezes elas ainda são um pouco estranhas, apenas menos do que antes.

Em resumo, o artigo diz: "Nós olhamos dentro do cérebro da IA, encontramos o interruptor que desliga a segurança e construímos um controle remoto para virar esse interruptor instantaneamente."

Resumo Técnico: Usando Interpretabilidade Mecanística para Criar Ataques Adversários contra Grandes Modelos de Linguagem

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) permanecem vulneráveis a perturbações adversárias, especificamente "jailbreaks" projetados para contornar o alinhamento de segurança. Métodos de ataque white-box tradicionais, como o Greedy Coordinate Gradient (GCG), dependem da otimização de ponta a ponta de gradiente visando tokens de saída específicos. Essas abordagens frequentemente ignoram os mecanismos internos responsáveis pela recusa ou aceitação, resultando em processos computacionalmente dispendiosos (muitas vezes exigindo horas) que lutam para alcançar altas taxas de sucesso em modelos mais novos e robustos. Por outro lado, a pesquisa de interpretabilidade mecanística identificou com sucesso mecanismos de segurança internos — como subespaços de recusa e cabeças de atenção específicas — mas tem se limitado amplamente a intervenções em tempo de execução (ex: steering de ativação) que produzem ativações fora da distribuição e carecem de aplicação prática para a criação de inputs adversários estáticos.

Este artigo aborda a lacuna entre os insights de interpretabilidade e a geração prática de inputs adversários. Os autores propõem um método que aproveita a compreensão dos mecanismos internos do modelo para criar inputs adversários eficientes e de alta taxa de sucesso sem depender de intervenções em tempo de execução.

Metodologia: Roteamento de Subespaço (Subspace Rerouting - SSR)

Os autores introduzem o Subspace Rerouting (SSR), um framework white-box que enquadra o jailbreak como um problema de otimização no espaço de embedding contínuo do modelo. Em vez de visar tokens de saída específicos, o SSR visa rotear os embeddings do modelo de "subespaços de recusa" para "subespaços de aceitação" modificando sufixos de entrada.

1. Identificação de Subespaços

Os autores primeiro caracterizam as representações internas de recusa e aceitação usando técnicas de interpretabilidade:

Subespaços Semânticos: Usando sondas lineares treinadas em conjuntos de dados contrastivos (instruções prejudiciais vs. inofensivas), os autores demonstram que o conteúdo prejudicial e o inofensivo ocupam regiões linearmente separáveis no espaço de ativação já na terceira camada do modelo. Eles também definem uma "direção de recusa" ( $\hat{r}$ ) como a diferença entre as médias das ativações prejudiciais e inofensivas.
Subespaços de Componentes: Os autores identificam cabeças de atenção específicas responsáveis pelos mecanismos de segurança. Eles observam que jailbreaks bem-sucedidos frequentemente envolvem "sequestro de atenção" (attention hijacking), onde cabeças críticas de segurança mudam seu foco de tokens de instrução prejudiciais para tokens de sufixo benignos.

2. O Algoritmo SSR

O algoritmo central minimiza uma função de perda $\mathcal{L}(x_m)$ que mede o desvio das ativações em relação aos subespaços alvo:
$\mathcal{L}(x_m) = \sum_{k} \alpha_k d_k(e_k, E_k)$
Onde $x_m$ é o sufixo adversário, $e_k$ são as ativações nas camadas alvo, e $E_k$ são os subespaços de aceitação alvo. A otimização utiliza uma busca de gradiente de coordenada gulosa adaptada para tokens discretos.

O artigo detalha três implementações específicas de SSR:

Probe-SSR: Usa classificadores lineares treinados para guiar a otimização em direção à probabilidade da classe "inofensiva".
Steering-SSR: Visa a direção de recusa diretamente, otimizando os inputs para alcançar efeitos semelhantes ao steering em tempo de execução ( $e \leftarrow e^* + a\hat{r}$ ), mas dentro da distribuição de probabilidade natural.
Attention-SSR: Tenta redirecionar a atenção de cabeças de atenção específicas e críticas de segurança para longe do conteúdo prejudicial e em direção ao sufixo adversário, ou minimiza a magnitude de saída dessas cabeças.

Principais Contribuições

Novo Vetor de Ataque: A introdução do SSR, um método que operacionaliza a interpretabilidade mecanística para criar inputs adversários práticos, alcançando taxas de sucesso de ataque (ASR) de 80–95% em modelos de última geração (Gemma2, Llama3.2, Qwen2.5) em segundos ou minutos.
Identificação de Subespaços: Múltiplos métodos para definir subespaços de recusa e aceitação usando sondas lineares e direções de recusa, confirmando a separabilidade linear de conceitos de segurança em camadas iniciais e intermediárias.
Eficiência e Interpretabilidade: Demonstrar que visar subespaços internos específicos é significativamente mais eficiente computacionalmente do que a otimização de tokens de ponta a end. Além disso, o método produz perturbações que permanecem dentro da distribuição de probabilidade natural do modelo, ao contrário das intervenções de steering em tempo de execução.
Análise de Estabilidade Cross-Layer: O artigo fornece evidências de que os subespaços de recusa cristalizam-se em representações estáveis na segunda metade do modelo, sugerindo que o roteamento bem-sucedido requer o alvo de múltiplas camadas para evitar que o modelo "recupere" para um estado de recusa.

Resultados Experimentais

Desempenho: No dataset AdvBench, o Probe-SSR e o Steering-SSR alcançaram ASRs entre 80% e 95% no Llama3.2, Gemma2 e Qwen2.5. Em contraste, o baseline nanoGCG alcançou de 0% a 53% de sucesso, e instruções prejudiciais puras eram quase sempre recusadas.
Velocidade: Os ataques foram gerados em segundos ou minutos (ex: 14 segundos para Llama3.2 1b), uma redução significativa em comparação com as horas frequentemente exigidas pelo GCG.
Propriedades Distribucionais: A análise usando PCA e divergência KL revelou que, enquanto as intervenções de steering em tempo de execução criam ativações fora da distribuição que o modelo "corrige" em camadas subsequentes, as perturbações geradas pelo SSR mantêm baixa similaridade de cosseno com as direções de recusa durante toda a passagem direta (forward pass), indicando que são mais robustas e naturais ao processamento do modelo.
Jailbreaks Interpretáveis: Surpreendentemente, o processo de otimização às vezes gerou sequências de tokens coerentes e interpretáveis (ex: "responsavelmente", "ético") em vez de gibberish aleatório, sugerindo que os mecanismos de segurança internos do modelo podem ser contornados via caminhos semanticamente plausíveis.
Reverse-Lens: Ao otimizar para gatilhar a direção de recusa (o inverso de um jailbreak), os autores identificaram automaticamente tokens (insultos, termos maliciosos) que ativam fortemente os mecanismos de segurança, validando o SSR como uma ferramenta potencial de interpretabilidade.

Significância e Alegações

Os autores postulam que o SSR representa um avanço significativo tanto na pesquisa de ataque quanto no desenvolvimento de defesa.

Para Pesquisa de Ataque: Demonstra que a compreensão dos mecanismos internos do modelo permite ataques mais eficientes e eficazes do que os métodos tradicionais black-box ou white-box de ponta a ponta. Destaca que o treinamento de segurança atual pode não considerar manipulações de subespaço, deixando os modelos vulneráveis a essas perturbações específicas.
Para Defesa e Interpretabilidade: O SSR serve como uma ferramenta prática para sondar os internos do modelo. Ao rotear com sucesso os embeddings, ele revela as vulnerabilidades estruturais das salvaguardas de segurança. Os autores argumentam que a capacidade de gerar rapidamente datasets de jailbreak interpretáveis abre novas direções para estudar perturbações adversárias e desenvolver técnicas de alinhamento mais robustas.
Modéstia: O artigo reconhece limitações, incluindo a dificuldade de transferir ataques entre diferentes arquiteturas de modelos devido à natureza cirúrgica das perturbações, a dependência de hiperparâmetros específicos e o fato de alguns ataques alterarem inadvertidamente o significado semântico do prompt (ex: redirecionar uma consulta sobre fabricação de bombas para uma receita de bolo). Os autores observam que a implementação do Attention-SSR foi menos eficaz na prática do que as abordagens de subespaço semântico.

Em conclusão, o artigo afirma que a interpretabilidade mecanística não é meramente uma ferramenta analítica, mas um motor prático para gerar exemplos adversários, desafiando a suposição de que o alinhamento robusto é alcançado sem abordar os subespaços internos específicos responsáveis pela recusa.