Resumo Técnico: Os LLMs Conhecem Seus Cenários Vulneráveis?

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) alinhados para segurança são treinados para recusar solicitações prejudiciais, mas permanecem vulneráveis a ataques de jailbreak. Uma estratégia prevalente envolve envolver solicitações prejudiciais em cenários contextuais específicos (ex: pesquisa acadêmica, geração de código ou narrativas ficcionais) para obscurecer a intenção prejudicial e contornar as salvaguardas de segurança.

Embora os esforços de red-teaming tenham identificado empiricamente cenários eficazes por meio de tentativa e erro ou mineração de prompts existentes, a razão mecanística pela qual cenários específicos enfraquecem a recusa permanece obscura. Estudos de interpretabilidade mecanística existentes caracterizaram direções de "recusa" e características de "jailbreak" separadamente, mas não estabeleceram um vínculo causal entre a ativação de uma representação de cenário específica e a supressão da direção de recusa. Além disso, esses estudos não traduziram essas relações internas em cenários de linguagem natural interpretáveis e acionáveis para um red-teaming sistemático.

Metodologia: Concept2Scenario

Os autores propõem o Concept2Scenario, um framework de atribuição baseado em conceitos que descobre cenários vulneráveis ao rastrear o comportamento de jailbreak através do espaço de conceitos interno de um modelo. O método opera sob a hipótese de que o encapsulamento de cenários exerce seu efeito ao ativar representações internas que causalmente suprimem a tendência de recusa do modelo.

O framework consiste em quatro estágios principais:

1. Instanciando Conceitos e Recusa:

   • Conceitos: Os autores utilizam um Autoencoder Esparso (SAE) treinado em uma mistura de dados de pré-treinamento e de segurança para decompor as representações do fluxo residual interno do modelo em um dicionário esparso e de alta dimensão de conceitos semanticamente coerentes ($c$).
   • Recusa: Um Vetor de Ativação de Conceito (CAV) é treinado em um conjunto de dados supervisionado de pares de recusa vs. não-recusa para quantificar a tendência de recusa interna do modelo ($r$) como um score escalar derivado da representação da camada final.

2. Atribuição de Vulnerabilidade de Recusa:

   • Atribuição Individual: O método intervém no fluxo residual do modelo ao realizar o steering ao longo de direções específicas de decodificador SAE ($d_i$) correspondentes a conceitos individuais. Ele mede o efeito causal ($\Delta_i$) do aumento da ativação de um conceito no score de recusa. Conceitos que reduzem significamente o score de recusa são identificados como "supressores de recusa".
   • Atribuição de Interação: Para encontrar efeitos sinérgicos, o método realiza intervenções conjuntas em pares de conceitos. Ele calcula o termo de interação não-aditivo ($\Gamma_{i,j}$), identificando pares onde o efeito combinado na supressão da recusa é mais forte do que a soma de seus efeitos individuais.

3. Traduzindo Conceitos em Cenários:

   • Para cada conceito supressor de recusa identificado, o framework coleta os textos que mais fortemente o ativam.
   • Um LLM de análise (Gemini-3.1-Pro) resume o padrão unificador desses textos e o traduz em um cenário de linguagem natural interpretável (incluindo um nome, mecanismo de gatilho e descrição).
   • Um loop de verificação garante que o cenário gerado reative o conceito de origem antes de ser adicionado à biblioteca de cenários específica do modelo ($S$).

4. Aplicação:

   • Os cenários descobertos são injetados como priors ou contexto em métodos de jailbreak de caixa-preta existentes (ex: X-Teaming, PAIR, Tree-Attack) para guiar a geração de prompts adversários.

Principais Resultados

Os autores avaliaram o Concept2Scenario em três modelos de código aberto (Qwen3.5-9B, LLaMA-3.1-8B, Ministral-3-8B), dois benchmarks de segurança (GuidedBench, HarmBench) e seis métodos de jailbreak de caixa-preta.

• Melhoria nas Taxas de Sucesso de Ataque (ASR): A injeção dos cenários descobertos em ataques existentes melhorou o ASR médio em até 18,2 pontos percentuais em modelos de código aberto. A melhoria variou conforme o alinhamento de segurança do modelo; por exemplo, o LLaMA-3.1-8B apresentou ganhos significativos, enquanto o Ministral-3-8B (já fracamente alinhado) apresentou ganhos relativos menores.
• Transferibilidade entre Modelos: Cenários descobertos exclusivamente de modelos de código aberto transferiram-se efetivamente para modelos de código fechado, incluindo GPT-5, Claude-Haiku-4.5 e Gemini-3-Flash. Em alguns casos (ex: cenários derivados do Ministral no GPT-5), a transferência resultou em ganhos substanciais de ASR (ex: +27,5 pontos), sugerindo vulnerabilidades de recusa em nível de cenário compartilhadas entre famílias de modelos.
• Combinações Sinérgicas: A atribuição de interação identificou combinações de cenários que superaram seus constituintes individuais. Por exemplo, combinar "comentários de código aninhados" com "tarefas de URL/API" melhorou a taxa de sucesso de primeiro turno de ataques em 28,0 pontos percentuais comparado ao uso do melhor constituinte individual.
• Vulnerabilidades Específicas de Modelo: A análise revelou perfis de vulnerabilidade distintos. O Qwen foi mais vulnerável a enquadramentos de texto da web e crises pessoais; o Ministral a código e dados estruturados; e o LLaMA a uma mistura equilibrada incluindo contextos acadêmicos e multilingues.

Significância e Alegações

O artigo afirma preencher a lacuna entre interpretabilidade mecanística e red-teaming prático ao:

1. Atribuição Causal: Demonstrar que o jailbreak baseado em cenários pode ser formulado como um problema de atribuição causal no espaço de representação, onde o steering ao longo de direções de cenários aprendidas reduz consistentemente os scores de recusa.
2. Descoberta Sistemática: Fornecer um método principiado (Concept2Scenario) para ir além de cenários desenhados manualmente ou acumulados empiricamente, descobrindo-os a partir do espaço de conceitos interno do modelo.
3. Insights Acionáveis: Traduzir conceitos internos abstratos em cenários de linguagem natural interpretáveis que podem ser reutilizados como priors para vários métodos de ataque.
4. Vulnerabilidades Compartilhadas: Destacar que certas vulnerabilidades de recusa são compartilhadas entre diferentes famílias de modelos, implicando que os mecanismos de segurança podem depender de representações internas semelhantes que podem ser alvo de tipos de cenários específicos.

Os autores concluem que a atribuição em nível de representação oferece um sinal principiado para descobrir vulnerabilidades de recusa eficazes, específicas de cada modelo e compartilhadas, permitindo ataques iterativos mais eficientes e poderosos.