When Style Breaks Safety: Defending LLMs Against Superficial Style Alignment

Título: Quando o Estilo Quebra a Segurança: Defendendo LLMs contra Alinhamento de Estilo Superficial

1. O Problema

O alinhamento de Grandes Modelos de Linguagem (LLMs) visa tornar as respostas úteis e inofensivas. Avanços recentes permitem que os modelos sigam padrões de estilo específicos (ex: formatar respostas como listas, escrever em estilo poético ou jornalístico). No entanto, o artigo identifica um risco crítico de segurança: padrões de estilo em consultas maliciosas podem inadvertidamente comprometer a robustez de LLMs alinhados.

A hipótese central é que o alinhamento superficial faz com que os modelos imitem padrões de estilo presentes nos dados de treinamento sem internalizar princípios de segurança mais profundos. Consequentemente, consultas de "jailbreak" (contornar a segurança) que utilizam esses mesmos padrões de estilo (mesmo que semanticamente irrelevantes para a intenção maliciosa) têm uma taxa de sucesso (ASR - Attack Success Rate) inflada. O artigo argumenta que as métricas atuais de segurança em benchmarks estão infladas porque não isolam a intenção maliciosa do padrão de estilo.

2. Metodologia

Os autores conduziram uma investigação empírica em larga escala dividida em três etapas principais:

• Definição e Medição de "Inflação de ASR":

  • Definiram Inflação de ASR como o aumento na taxa de sucesso de um ataque quando padrões de estilo semanticamente irrelevantes são adicionados à intenção maliciosa.
  • Experimento: Avaliaram 36 LLMs (incluindo famílias Llama, Gemma, Qwen, Mistral, DeepSeek, OLMo e GPT) em 7 benchmarks de jailbreak (AdvBench, HarmBench, SORRY-Bench, etc.).
  • Processo: Usaram o GPT-4o para extrair a "intenção maliciosa central" de cada consulta, removendo o padrão de estilo (ex: transformar "Crie uma lista de agentes de guerra química" em "Agentes de guerra química"). Compararam o ASR da consulta original vs. a intenção isolada.
  • Análise de Atenção: Investigaram a correlação entre a inflação de ASR e a atenção do modelo aos tokens de estilo versus tokens de intenção maliciosa.

• Investigação do Alinhamento de Estilo Superficial:

  • Realizaram um estudo de fine-tuning (ajuste fino) com o modelo Llama-3.1-8B-Instruct.
  • Criaram conjuntos de dados de treinamento com instruções modificadas por padrões de estilo específicos (ex: prefixos/sufixos de "lista" ou "poema").
  • Testaram a vulnerabilidade desses modelos ajustados contra consultas de jailbreak que compartilhavam os mesmos estilos.
  • Variaram a proporção de dados com estilo vs. dados sem estilo no treinamento para medir o impacto.

• Proposta de Defesa: SafeStyle:

  • Propuseram uma estratégia de defesa que incorpora uma pequena quantidade de dados de treinamento de segurança, aumentados para corresponder à distribuição de padrões de estilo presentes nos dados de fine-tuning.
  • Testaram essa abordagem contra cinco baselines existentes (Vanilla, PTST, SPPFT, Constrained, Paraphrase) em três LLMs e dois conjuntos de dados reais (Dolly-15K e Alpaca-52K).

3. Contribuições Principais

1. Descoberta da Inflação de ASR: Demonstraram sistematicamente que quase todos os modelos avaliados exibem inflação de ASR devido a padrões de estilo em benchmarks existentes. Isso sugere que as avaliações de segurança atuais podem superestimar a eficácia dos modelos ao não controlar por variáveis de estilo.
2. Mecanismo de Vulnerabilidade: Evidenciaram que o alinhamento superficial de estilo durante o fine-tuning cria vulnerabilidades específicas. Modelos ajustados em dados com um estilo específico tornam-se significativamente mais vulneráveis a ataques de jailbreak que utilizam o mesmo estilo.
3. Correlação com Dados de Treinamento: Mostraram que os padrões de estilo que causam inflação de ASR têm maior sobreposição (bigramas) com os dados de ajuste fino (instruction-tuning) usados para alinhar os modelos.
4. Método de Defesa (SafeStyle): Introduziram o SafeStyle, uma defesa simples e eficaz que restaura a segurança sem sacrificar a utilidade do modelo, ao adicionar dados de segurança que espelham os estilos do conjunto de treinamento.

4. Resultados Chave

• Inflação Generalizada: 32 dos 36 modelos avaliados exibiram ASR mais alto quando os padrões de estilo estavam presentes. O benchmark SorryBench e MedSafetyBench afetaram o maior número de modelos (34 de 36).
• Correlação de Atenção: Existe uma correlação estatisticamente significativa (Spearman $\rho = 0.456$) entre a diferença de atenção do modelo (focar mais no estilo do que na intenção maliciosa) e a inflação de ASR.
• Impacto do Fine-tuning: Modelos ajustados com dados de estilo (ex: listas) sofreram um aumento acentuado no ASR quando testados com o mesmo estilo. A posição do estilo (prefixo ou sufixo) teve pouco impacto, mas a correspondência de estilo entre treinamento e teste foi crucial.
• Eficácia do SafeStyle:
  • O SafeStyle foi a única estratégia que manteve consistentemente a segurança original dos modelos em todos os cenários de estilo (lista, poema, notícia, legal, Shakespeare, código).
  • Em testes com dados reais (Dolly e Alpaca), o SafeStyle reduziu o ASR mais do que qualquer outra baseline, enquanto mantinha a utilidade (medida por Length-Controlled Winning Rate) comparável ou superior às outras defesas.
  • Apenas 50 exemplos de dados de segurança com o estilo correspondente foram suficientes para mitigar os riscos em 10.000 instruções de treinamento.

5. Significado e Impacto

• Reavaliação de Benchmarks: O trabalho alerta que os benchmarks atuais de segurança podem estar medindo a capacidade do modelo de seguir estilos, e não sua resistência real a intenções maliciosas. Recomenda-se que futuros benchmarks relatem resultados separadamente para intenções centrais e combinações com estilos diversos.
• Segurança em Ajuste Fino: Para praticantes que ajustam modelos para tarefas específicas (ex: redação jurídica, geração de código), o artigo demonstra que o ajuste fino pode degradar a segurança se não for acompanhado de dados de segurança que "anulem" o viés de estilo introduzido.
• Defesa Eficiente: O SafeStyle oferece uma solução prática e de baixo custo computacional (apenas 50 exemplos adicionais) para mitigar riscos de segurança decorrentes da adaptação a estilos específicos, garantindo que a utilidade do modelo não seja comprometida em prol da segurança, nem vice-versa.

Em resumo, o paper revela que a conformidade com estilos superficiais aprendida durante o alinhamento pode ser explorada para contornar a segurança dos LLMs, e propõe uma solução baseada em dados que alinha a distribuição de estilos de segurança com a do domínio de aplicação.