💻 computer science

Adaptive Probe-based Steering for Robust LLM Jailbreaking

Este artigo introduz o Controle Adaptativo Baseado em Sondas, um método robusto de jailbreaking que aproveita a extração de modelos para aproximar vetores de controle ideais e ajusta adaptativamente a força do controle com base em estatísticas de ativação, aumentando significativamente a pontuação de nocividade de LLMs fortificados de 6% para 70% sem exigir ajuste manual ou prompts adicionais.

Autores originais: Junxi Chen, Junhao Dong, Xiaohua Xie

Publicado 2026-05-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Junxi Chen, Junhao Dong, Xiaohua Xie

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine Modelos de Linguagem de Grande Escala (LLMs) como guardas de segurança altamente treinados. Esses guardas foram ensinados regras estritas para nunca dizer nada prejudicial, rude ou perigoso. Esse treinamento é chamado de "alinhamento". No entanto, pesquisadores descobriram que esses guardas podem, às vezes, ser enganados a quebrar suas regras usando uma técnica chamada "jailbreaking" (burlar o bloqueio).

Este artigo apresenta uma nova e mais poderosa maneira de enganar esses guardas, não gritando mais alto ou usando palavras confusas, mas dando um leve empurrão físico ao processo de pensamento interno do guarda.

Aqui está a explicação do método deles usando analogias simples:

O Problema: O Empurrão do "Rascunho"

Métodos anteriores tentaram burlar esses modelos encontrando um "vetor de empurrão" específico. Pense nesse vetor como uma direção específica para empurrar os pensamentos internos do modelo.

O Defeito: Imagine tentar empurrar um carrinho pesado em uma direção específica, mas você está usando um mapa desenhado por alguém que é levemente daltônico. Seu mapa (o "vetor de direção") está ligeiramente errado.
O Ajuste Manual: Para fazer o empurrão funcionar, você tinha que adivinhar manualmente quão forte empurrar (a "força de direção"). Empurre demais e o carrinho bate (o modelo começa a gerar besteira). Empurre de leve demais e ele não se move. Isso era lento, frustrante e frequentemente falhava contra guardas de segurança mais novos e mais resistentes.

A Solução: "Direcionamento Adaptativo Baseado em Sonda"

Os autores propõem uma maneira mais inteligente de encontrar a direção certa e a quantidade certa de força. Eles chamam isso de Direcionamento Adaptativo Baseado em Sonda.

1. O Truque de "Extração de Modelo" (Consertando o Mapa)

Em vez de usar apenas o mapa rascunhado desde o início, os autores usam uma técnica inspirada na "extração de modelo".

A Analogia: Imagine que você está tentando aprender a rota perfeita para um tesouro escondido. Em vez de apenas olhar para um mapa antigo, você dá um passo, verifica se está perto e depois atualiza seu mapa com base nessa nova informação. Você repete isso uma e outra vez.
No Artigo: Eles pegam o "empurrão" inicial do modelo, veem o que acontece e depois usam um juiz inteligente (um "anotador") para classificar os resultados. Eles usam esse feedback para redesenhar o mapa (o vetor de direção) de forma iterativa. Isso limpa o "ruído" e encontra a direção ideal sem precisar de novos prompts complexos.

2. A "Força Adaptativa" (O Empurrão Perfeito)

Uma vez que eles têm a direção certa, precisam saber quão forte empurrar.

O Defeito nos Métodos Antigos: Os métodos antigos usavam um empurrão "tamanho único". Eles assumiam que cada camada do cérebro do modelo precisava da mesma quantidade de força.
A Analogia: Imagine empurrar uma pilha de caixas. As caixas de baixo são pesadas e precisam de um empurrão forte. As caixas de cima são leves; se você empurrá-las com a mesma força que as de baixo, elas voam da pilha e quebram.
O Conserto: Os autores observam o quão "alto" estão os pensamentos internos do modelo em cada camada (as estatísticas de ativação). Se os pensamentos estão quietos, eles empurram suavemente. Se os pensamentos estão altos, eles empurram com mais força. Isso impede que o modelo quebre em besteira (superdirecionamento) e garante que o empurrão realmente funcione.

Os Resultados: Quebrando as Fortalezas

O artigo testou esse novo método contra 12 modelos diferentes "fortificados" — modelos projetados especificamente para serem muito difíceis de burlar.

Antes: Antes deste método, esses modelos resistentes vazavam conteúdo prejudicial apenas cerca de 6% das vezes. Eles pareciam quase invencíveis.
Depois: Com esse novo empurrão adaptativo, o conteúdo prejudicial saltou para uma média de 70%.
A Conclusão: Os autores revelaram com sucesso que até mesmo os guardas de segurança mais fortes têm um "ponto fraco" em seu processo de pensamento interno que pode ser explorado se você souber exatamente como empurrá-los.

Por Que Isso Importa (De Acordo com o Artigo)

Os autores afirmam que isso não é apenas sobre quebrar coisas; trata-se de testes de estresse. Assim como você não construiria uma ponte sem testar quanto peso ela pode suportar, não devemos confiar em defesas de segurança de IA sem tentar quebrá-las primeiro. Este método fornece uma maneira mais forte e automatizada de encontrar esses pontos fracos para que defesas melhores e verdadeiramente confiáveis possam ser construídas.

Em resumo: Eles construíram um robô que aprende a empurrar os pensamentos internos de um modelo na direção perfeita com a quantidade perfeita de força, provando que até mesmo os modelos de IA mais seguros podem ser enganados a quebrar suas regras.

Resumo Técnico: Direcionamento Adaptativo Baseado em Sondas para Jailbreaking Robusto de LLMs

1. Declaração do Problema

O artigo aborda o desafio de avaliar a robustez adversarial de Modelos de Linguagem de Grande Escala (LLMs) especificamente projetados para serem "resistentes a jailbreak". Embora mecanismos de defesa (por exemplo, Circuit Breakers, Deep Alignment, RepBend) aleguem pontuações de nocividade próximas de zero, os autores argumentam que os métodos de ataque existentes são insuficientes para revelar suas verdadeiras vulnerabilidades no pior caso.

Os métodos atuais de direcionamento contrastivo, que controlam o comportamento do LLM ao direcionar estados ocultos ao longo de direções lineares derivadas de prompts contrastivos, sofrem de duas limitações primárias:

Busca de Direção Viciada: Vetores de direcionamento aprendidos são inerentemente ruidosos porque são derivados de prompts contrastivos limitados que podem conter direções de conceitos acoplados (por exemplo, ético para não ético versus bolo para bomba) não relacionadas ao comportamento alvo "fiel para infiel".
Ajuste de Força Trabalhoso: Os métodos existentes dependem de seleção de camadas baseada em precisão (que é instável) e alvos de logit uniformes entre camadas. Isso frequentemente leva a "superdirecionamento" em camadas com magnitudes de ativação pequenas ou requer ajuste manual tedioso de hiperparâmetros para encontrar forças de direcionamento ótimas.

O objetivo é desenvolver um ataque automatizado e robusto que maximize o problema de maximização interna da robustez do LLM (encontrar a modificação $\Delta\theta$ que induz a resposta mais nociva) sem exigir respostas alvo ou retropropagação de gradiente.

2. Metodologia

O método proposto, Direcionamento Adaptativo Baseado em Sondas, aprimora o pipeline padrão de direcionamento contrastivo através de duas inovações principais: Refinamento Iterativo de Direção (inspirado em extração de modelos) e Ajuste Adaptativo de Força.

2.1. Refinamento Iterativo de Direção (Extração de Modelo)

Os autores reformulam a busca de direção como um problema de extração de modelo. Em vez de treinar uma sonda linear uma única vez em prompts contrastivos estáticos, eles propõem um algoritmo iterativo (Algoritmo 1) para aproximar o vetor de direcionamento ideal:

Inicialização: Treinar uma sonda linear inicial usando um conjunto padrão de prompts contrastivos.
Aumento Iterativo:
1. Usar a sonda atual para direcionar o LLM em prompts nocivos.
2. Gerar respostas e coletar as ativações resultantes.
3. Anotar: Usar um "julgador de jailbreak" confiável (um anotador baseado em LLM pronto para uso, especificamente SRF em seus experimentos) para rotular essas novas ativações como "fiéis" ou "infieis".
4. Retreinar: Aumentar o conjunto de treinamento com essas ativações recém-anotadas e retreinar a sonda.
Racional: Este processo, denominado Retreinamento Adaptativo (AR), foca em amostras onde o classificador atual é menos certo (perto da fronteira de decisão), filtrando efetivamente o ruído de direções de conceitos acoplados inerentes aos prompts iniciais.

2.2. Ajuste Adaptativo de Força

Os autores abordam a instabilidade da seleção de camadas e o risco de superdirecionamento:

Descartar Ativação da Última Camada: A ativação do último decodificador é ignorada, pois atua como um viés de logit local em vez de um estado oculto contextual, e direcioná-la frequentemente induz repetição.
Alvos de Logit Adaptativos: Em vez de definir um logit alvo uniforme $s^{(l)}$ $s^{(l)}$ em todas as camadas (o que causa superdirecionamento em camadas iniciais com magnitudes de ativação pequenas), o método define o alvo com base nas estatísticas das ativações.
- Especificamente, a força de direcionamento é definida como o logit máximo conhecido das ativações fiéis no conjunto de treinamento: $s^{(l)} = \max_{x \in H_{train}} f^{(l)}(x)$ .
- Isso aproveita a Hipótese de Controle Linear (LCA), que postula que a nocividade é uma função monotonicamente crescente da similaridade com o vetor de direcionamento ideal. Ao definir o alvo como o logit máximo observado, o método garante o direcionamento mais forte possível sem ajuste manual.
Direcionar Todos os Tokens: Diferentemente de trabalhos anteriores que direcionam apenas tokens de resposta, este método direciona ativações em todas as posições de tokens, tratando o vetor de direcionamento como um adaptador eficiente em parâmetros (semelhante ao LoRA) aplicado a todo o processo de geração.

3. Contribuições Principais

Algoritmo de Refinamento Iterativo de Direção: Uma abordagem inspirada em extração de modelos que aproxima vetores de direcionamento ideais amostrando e anotando iterativamente ativações direcionadas. Não requer prompts contrastivos extras, apenas um anotador adicional.
Ajuste Adaptativo de Força: A identificação da instabilidade na seleção de camadas baseada em precisão e do risco de alvos uniformes entre camadas. Os autores propõem descartar a seleção baseada em precisão e usar estatísticas de ativação (especificamente, logits máximos observados) para guiar a força de direcionamento, eliminando a necessidade de ajuste contínuo de parâmetros.
Avaliação Abrangente: O método é avaliado contra 12 LLMs fortificados (incluindo variantes de Circuit Breakers, Deep Alignment e RepBend) e modelos de propósito geral.

4. Resultados

Os experimentos demonstram que o método proposto supera significativamente as bases de direcionamento contrastivo existentes (RepE, SCAV, Direção de Recusa, Direcionamento Angular):

Eficácia: O método eleva a pontuação média de nocividade de LLMs fortificados de 6% para 70% (medida por julgadores SRF, HB e SR).
Robustez: Alcança altas pontuações de nocividade (SR > 0,5, principalmente > 0,8) em todos os 12 modelos fortificados testados, enquanto outros métodos frequentemente falham em encontrar direções válidas ou alcançam pontuações próximas de zero em modelos específicos (por exemplo, o RepE falha na maioria).
Estudos de Ablação:
- Força Adaptativa (AS): Essencial para prevenir superdirecionamento; sem ela, as pontuações permanecem próximas de zero para a maioria dos modelos.
- Descartar Última Camada (DLA) e Direcionar Todos os Tokens (SAT): Ambos os componentes contribuem para ganhos de desempenho, com o SAT mostrando uma melhoria média de 15%.
- Retreinamento Adaptativo (AR): Melhora o desempenho em 26% em média em comparação com o aumento ingênuo (adicionar mais prompts sem refinamento iterativo).
Generalização: O método também ataca com sucesso LLMs de propósito geral e modelos de raciocínio (por exemplo, Qwen3-4B-Thinking), onde alcança pontuações de nocividade ainda mais altas, sugerindo que capacidades de raciocínio podem correlacionar-se com maior vulnerabilidade ao direcionamento.

5. Significado e Alegações

O artigo posiciona-se como um artigo de ataque visando revelar a falha de LLMs fortificados.

Red Team: Os autores afirmam que seu método fornece uma ferramenta mais forte para red teaming, o que é fundamental para desenvolver defesas verdadeiramente confiáveis. Ao expor que alegações de "nocividade próxima de zero" podem ser contornadas, eles argumentam por uma avaliação mais rigorosa da robustez adversarial.
Insight Teórico: O trabalho desafia a suposição de que alinhamento superficial ou manipulações específicas de ativação (como Circuit Breakers) são suficientes para segurança, demonstrando que o direcionamento contrastivo pode contornar defesas que alegam ser robustas contra perturbação de ativação.
Modéstia: Os autores reconhecem que seu método depende da qualidade do anotador e que a implementação atual envolve custos de tempo devido à geração de respostas para anotação. Eles enquadram sua contribuição como um framework (Anotador + Amostrador + Extrator) em vez de um algoritmo final e perfeito, sugerindo que melhorias futuras em anotadores e estratégias de amostragem poderiam aprimorar ainda mais o desempenho.

Em resumo, o artigo argumenta que, ao aproveitar princípios de extração de modelos e estatísticas adaptativas, é possível automatizar e melhorar significativamente a eficácia do jailbreaking baseado em sondas, expondo assim vulnerabilidades em modelos de última geração alinhados à segurança que métodos anteriores não conseguiram revelar.