💬 NLP

STACK: Adversarial Attacks on LLM Safeguard Pipelines

Este artigo introduz o procedimento de ataque adversário STACK, que compromete com sucesso um novo pipeline de salvaguarda de LLM baseado em few-shot prompting com uma taxa de sucesso de ataque de 71%, destacando, assim, vulnerabilidades críticas nos atuais sistemas de defesa de IA de fronteira e propondo mitigações específicas.

Autores originais: Ian R. McKenzie, Oskar J. Hollinsworth, Tom Tseng, Xander Davies, Stephen Casper, Aaron D. Tucker, Robert Kirk, Adam Gleave

Publicado 2026-02-06

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ian R. McKenzie, Oskar J. Hollinsworth, Tom Tseng, Xander Davies, Stephen Casper, Aaron D. Tucker, Robert Kirk, Adam Gleave

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está construindo um assistente robô muito poderoso e útil. Você quer que ele seja inteligente, mas tem um medo terrível de que ele possa, acidentalmente (ou de propósito), dar instruções a alguém sobre como construir uma bomba ou criar um vírus perigoso.

Para impedir isso, os criadores do robô não confiam apenas em uma placa de "pare". Em vez disso, eles constroem um pipeline de segurança, como uma fortaleza de múltiplas camadas. Este artigo, intitulado STACK, investiga o quão bem essas fortalezas realmente resistem a hackers astutos.

Aqui está a divisão da história do artigo, usando analogias simples:

1. A Fortaleza: "Defesa em Profundidade"

Pense no sistema de segurança da IA como um castelo com três guardas posicionados em linha:

Guarda 1 (Classificador de Entrada): Verifica a carta que você envia antes que ela chegue ao robô. Se a carta parecer suspeita, eles a interrompem imediatamente.
O Robô (O Modelo): Se a carta passar pelo Guarda 1, o robô a lê e escreve uma resposta.
Guarda 2 (Classificador de Saída): Verifica a resposta do robô antes que ela chegue até você. Se a resposta contiver instruções perigosas, este guarda toma a carta de volta.

A ideia é que, para um malfeitor ter sucesso, ele precisa enganar ambos os guardas e o robô. Isso é chamado de "Defesa em Profundidade" (ou o modelo do "Queijo Suíço"), onde mesmo que uma camada tenha um buraco, as outras devem detectar a ameaça.

2. O Problema: Os Guardas Estão Sonolentos

Os pesquisadores construíram uma versão de teste desta fortaleza usando ferramentas de código aberto (como um projeto público). Eles descobriram que os "guardas" (os classificadores de segurança) eram frequentemente fáceis demais de enganar.

Eles testaram truques padrão (como reformular uma pergunta ou adicionar erros de digitação aleatórios) e descobriram que muitos guardas de segurança falharam em deter esses truques, especialmente quando a solicitação era verdadeiramente perigosa (como pedir receitas de armas químicas).
No entanto, eles também descobriram que um truque simples — dar ao guarda alguns exemplos do que procurar (chamado de "few-shot prompting") — tornou o guarda muito mais aguçado. Esse guarda simples era melhor do que os modelos pré-treinados sofisticados.

3. O Novo Ataque: STACK (Staged AttaCK)

Esta é a principal descoberta do artigo. Os pesquisadores perceberam que, embora a fortaleza seja forte, os guardas estão olhando para as coisas separadamente. Eles não conversam entre si durante o ataque.

Eles inventaram um novo método de hacking chamado STACK (Staged AttaCK). Em vez de tentar quebrar todo o castelo de uma vez, eles o quebraram uma camada por vez, como um ladrão arrombando fechaduras em uma ordem específica:

Passo 1: Enganar o Robô. Primeiro, eles usaram uma técnica de persuasão para convencer o robô a responder à pergunta perigosa, ignorando suas próprias regras de segurança internas.
Passo 2: Enganar o Guarda 1. Eles encontraram uma "frase mágica" (um jailbreak universal) que, quando adicionada ao início da mensagem, fez o Guarda 1 pensar que a mensagem era inofensiva.
Passo 3: Enganar o Guarda 2. Esta foi a parte mais difícil. Eles precisavam que o robô escrevesse uma resposta que incluísse uma "frase mágica" ao final, que enganaria o Guarda 2 fazendo-o pensar que a resposta era segura.

A Analogia: Imagine que você quer contrabandear um bilhete proibido para dentro de uma escola.

Primeiro, você escreve o bilhete de uma forma que o professor (o robô) o leia e responda.
Depois, você envolve o bilhete em uma embalagem que a câmera de segurança na porta (Guarda 1) pensa ser apenas uma lancheira.
Finalmente, você adiciona um carimbo específico no verso do bilhete que a câmera de segurança na saída (Guarda 2) pensa ser uma autorização.

Ao combinar esses três truques específicos, os pesquisadores conseguiram burlar toda a fortaleza.

4. Os Resultados: O Quão Bem Funcionou?

A Fortaleza se Sustentou (Mais ou Menos): Quando usaram ataques padrão, a fortaleza funcionou muito bem. O guarda "few-shot" interrompeu 100% dos ataques no conjunto de dados mais perigoso.
STACK Quebrou a Fortaleza: Quando usaram o novo método STACK, eles burlaram a fortaleza 71% das vezes.
A Surpresa da "Caixa Preta": Mesmo quando os hackers não conseguiam ver a lógica interna dos guardas (um cenário de "caixa preta") e tinham que adivinhar qual guarda os interrompeu, eles ainda tiveram sucesso 33% das vezes. Isso é assustador porque significa que você não precisa ser um infiltrado para quebrar o sistema; basta ser astuto.

5. O Teste do Mundo Real

Os pesquisadores não testaram isso apenas em seu próprio modelo de brinquedo. Eles tentaram o método deles nos modelos reais de alto nível de grandes empresas (como o Opus 4 da Anthropic e o GPT-5 da OpenAI).

Eles descobriram que esses sistemas do mundo real também vazam informações (como quanto tempo uma solicitação leva para ser processada ou mensagens de erro específicas) que dizem a um hacker qual guarda o interrompeu.
Usando essa informação, eles conseguiram burlar esses sistemas de alta segurança para obter respostas perigosas. As empresas reconheceram os problemas e corrigiram as falhas.

6. A Conclusão

O artigo conclui com algumas lições simples para os construtores dessas fortalezas de IA:

Não revele seus segredos: Se o seu sistema diz a um hacker "O Guarda de Entrada o interrompeu" versus "O Guarda de Saída o interrompeu", você está dando a ele um mapa. Faça todas as recusas parecerem iguais.
Não deixe os hackers espreitarem: Se você lançar um modelo "irmão" (uma versão ligeiramente menor do seu guarda de segurança) ao público, os hackers podem treinar seus ataques nele e depois usá-los contra o seu sistema principal.
Defesa em Profundidade é boa, mas não é perfeita: Ter camadas de segurança é melhor do que não ter nenhuma, mas se as camadas não se comunicarem ou se os guardas forem muito previsíveis, um ataque em etapas e astuto pode passar direto por elas.

Em resumo: O artigo mostra que, embora as camadas de segurança de IA sejam uma boa ideia, elas são atualmente vulneráveis a um tipo específico de ataque de "dividir para conquistar". Se você atacar as camadas uma a uma, pode derrotar o sistema inteiro.

Resumo Técnico: STACK: Ataques Adversários em Pipelines de Salvaguarda de LLM

Declaração do Problema

Desenvolvedores de IA de fronteira dependem cada vez mais de pipelines de "defesa em profundidade" — sistemas em camadas de classificadores de entrada, modelos generativos e classificadores de saída — para evitar o uso indevido catastrófico de Grandes Modelos de Linguagem (LLMs). Embora empresas como Anthropic e OpenAI tenham implementado tais pipelines para modelos como Opus 4 e GPT-5, a segurança dessas defesas de múltiplos estágios permanece incerta. Trabalhos anteriores avaliaram majoritariamente esses pipelines usando ataques não adaptativos e ingênuos, projetados para sistemas de modelo único, o que pode superestimar sua robustez. Existe uma lacuna crítica em entender se ataques em estágios podem contornar sistematicamente salvaguardas sequenciais, particularmente em modelos de ameaça black-box realistas onde os atacantes não podem acessar diretamente os componentes individuais, mas podem inferir qual estágio bloqueou uma consulta.

Metodologia

Construção do Pipeline de Defesa

Os autores construíram um pipeline de defesa em profundidade de código aberto para servir como banco de testes. Este pipeline envolve um modelo generativo alvo ( $m$ ) com dois classificadores:

Classificador de Entrada ( $f_q$ ): Avalia a consulta do usuário.
Classificador de Saída ( $f_r$ ): Avalia a resposta do modelo.
O pipeline rejeita qualquer consulta ou resposta que pontue acima de um limite específico. Os autores avaliaram vários modelos de salvaguarda de pesos abertos (ex: Llama Guard, ShieldGemma) e introduziram um novo classificador baseado em prompting de poucos disparos (few-shot-prompted) usando o modelo base Gemma 2, que superou os modelos de salvaguarda especializados como o ShieldGemma.

O Ataque STACK

O artigo introduz o STaged AttaCK (STACK), uma metodologia projetada para derrotar pipelines de defesa em profundidade ao quebrar seus componentes um por um. O ataque procede em três estágios:

Jailbreak do Modelo Generativo: Usar um ataque não adaptativo (ex: Prompts Adversários Persuasivos, ou PAP) para transformar uma consulta nociva em uma forma que o modelo alvo responda.
Jailbreak do Classificador de Entrada: Otimizar uma string adversária universal (Jailbreak do Classificador de Entrada, ICJ) que, quando prefixada à consulta transformada, contorna o filtro de entrada.
Jailbreak do Classificador de Saída: Otimizar uma string adversária universal (Jailbreak do Classificador de Saída, OCJ) que o modelo é instruído a repetir em sua saída. Isso é alcançado construindo um prompt que força o modelo a emitir a string OCJ antes de responder à consulta do usuário.

O payload final do ataque concatena o ICJ, uma instrução de repetição e a consulta transformada.

Modelos de Ameaça

O estudo avalia o STACK sob dois modelos de ameaça primários:

Black-Box Semi-Separável: O atacante tem acesso black-box ao pipeline completo, mas pode inferir qual componente (classificador de entrada, modelo ou classificador de saída) rejeitou uma consulta (ex: via mensagens de recusa distintas ou tempo de resposta). Isso reflete comportamentos atuais de API (ex: Claude Opus 4).
Transferência (Proxy White-Box para Alvo Black-Box): O atacante tem acesso total white-box a um proxy de pipeline (configuração diferente de modelo/classificador) para treinar o ataque, e então transfere os jailbreaks resultantes para o pipeline alvo sem acesso direto aos pesos internos de seus componentes.

Principais Contribuições

Pipeline de Defesa de Código Aberto: Os autores criaram um pipeline de ponta de código aberto. Eles descobriram que um simples classificador de poucos disparos (Gemma2) superou significativamente os modelos de salvaguarda de pesos abertos existentes (como ShieldGemma), reduzindo a Taxa de Sucesso de Ataque (ASR) para 0% no dataset ClearHarm contra ataques padrão.
O Procedimento STACK: Eles desenvolveram uma implementação concreta da metodologia de ataque em estágios.
- STACK Black-Box: Alcançou uma ASR de 71% no dataset ClearHarm contra o robusto pipeline Gemma2, demonstrando que mesmo defesas fortes podem ser contornadas se os componentes forem atacados sequencialmente.
- Transfer-STACK: Alcançou uma ASR de 33% em um cenário de transferência zero-shot, provando que ataques podem ser projetados contra um proxy e transferidos com sucesso para um pipeline alvo sem interação direta.
Avaliação de Modelos de Fronteira: Os autores aplicaram a metodologia STACK aos modelos Opus 4 da Anthropic e GPT-5 da OpenAI. Eles identificaram vulnerabilidades em ambos os sistemas, validando que a abordagem de ataque componente a componente é eficaz contra implantações de fronteira.

Resultados

Ataques de Linha de Base (Baseline): Ataques black-box padrão (PAP, ReNeLLM, Best-of-N) falharam contra o pipeline Gemma2 de poucos disparos no dataset ClearHarm (0% ASR), confirmando a eficácia do princípio de defesa em profundidade contra ameaças não adaptativas.
Desempenho do STACK:
- Contra o pipeline Gemma2, o STACK contornou as salvaguardas, alcançando 71% de ASR.
- O ataque custou aproximadamente 507 horas de GPU H100 para a versão black-box e 15 horas de GPU H100 para a versão de transferência.
- O ataque de transferência demonstrou que os atacantes não precisam de acesso direto aos componentes do pipeline alvo para ter sucesso, desde que possam treinar em um proxy suficientemente similar.
Vulnerabilidades de Modelos de Fronteira: Os autores obtiveram respostas nocivas do Opus 4 e GPT-5 usando variações do ataque componente a componente (ex: usando codificação ROT13 para contornar o classificador de saída do Opus 4 e entradas baseadas em imagem para o classificador de entrada do GPT-5). Após a divulgação, ambas as empresas reconheceram os achados e implementaram mitigações.

Significância e Alegações

O artigo alega que, embora a defesa em profundidade seja uma estratégia válida e necessária, os modelos de salvaguarda de pesos abertos existentes são insuficientes quando confrontados com ataques adversários adaptativos e em estágios. Os autores enfatizam que:

A defesa em profundidade funciona contra ataques ingênuos: O classificador de poucos disparos bloqueou com sucesso todos os ataques de linha de base, validando a abordagem em camadas.
Ataques em estágios são uma ameaça crítica: O procedimento STACK demonstra que, se um atacante puder identificar o componente de bloqueio (acesso semi-separável) ou treinar em um proxy, poderá contornar até mesmo os pipelines mais fortes atuais.
A mitigação é possível: Os autores sugerem contramedidas específicas, tais como:
- Ocultar a identidade do componente: Garantir que as respostas de recusa pareçam idênticas, independentemente de qual componente (classificador de entrada, modelo ou classificador de saída) tenha disparado o bloqueio.
- Eliminar canais laterais (side-channels): Executar as consultas através de todas as etapas do pipeline mesmo se uma etapa inicial as rejeitar, para evitar inferência baseada em tempo.
- Controlar o acesso: Evitar o lançamento de modelos de pesos abertos que sejam muito similares às salvaguardas proprietárias usadas em produção, reduzindo assim a viabilidade de ataques de transferência.

O artigo conclui que, embora a defesa em profundidade seja essencial, a segurança desses pipelines é atualmente frágil contra estratégias adversárias sofisticadas e em estágios, necessitando de designs de classificadores mais robustos e controles de acesso mais rigorosos.