Resumo Técnico: Quando a Consistência Autorregressiva Prejudica o Alinhamento de Segurança

Declaração do Problema

O alinhamento de segurança atual em Grandes Modelos de Linguagem (LLMs), alcançado via Ajuste Fino Supervisionado (SFT) e otimização de preferência (ex: DPO, RLHF), é frágil. Um trabalho recente de Qi et al. [17] identificou o "alinhamento de segurança superficial", onde o ajuste fino altera primariamente o comportamento do modelo próximo aos primeiros tokens de saída, deixando os tokens posteriores vulneráveis a ataques que forçam o modelo para fora de um prefixo de recusa seguro.

No entanto, este artigo argumenta que o fenômeno "superficial" é um sintoma de uma falha mecanística mais profunda: a consistência autorregressiva. Esta é a tendência inerente dos modelos autorregressivos de preservar e estender a trajetória de resposta atual de forma consistente. Os autores postulam que o alinhamento de segurança falha não meramente por ser superficial, mas porque o próprio processo de alinhamento depende da consistência autorregressiva para sustentar a recusa após os tokens iniciais, criando uma vulnerabilidade onde qualquer ponto na trajetória pode ser sequestrado para induzir uma continuação nociva.

Metodologia

1. Análise Teórica da Dinâmica de Aprendizado

Os autores formalizam a consistência autorregressiva (Definição 2.1) como a propriedade onde, dado um prefixo suficientemente longo, a previsão do próximo token do modelo base torna-se quase determinística ($p(y_{t+1}|y_{:t}) \approx 1$).

• Concentração de Gradiente: Através de uma análise da dinâmica de aprendizado dos objetivos SFT e DPO, o artigo demonstra que, sob a consistência autorregressiva, o gradiente da função de perda em relação aos parâmetros do modelo se concentra nos tokens iniciais.
• Teorema 2.1: Os autores provam que, como o modelo base já prevê confiantemente continuações consistentes para tokens tardios, as atualizações de alinhamento para essas posições são suprimidas. Consequentemente, o modelo alinhado diverge do modelo base apenas em posições iniciais ($t \le t_c$), enquanto as posições tardias permanecem próximas à distribuição do modelo base. Isso fornece uma explicação mecanística para o porquê de o alinhamento de segurança ser naturalmente superficial.

2. Vetor de Ataque: Inserção Aleatória

Baseando-se na teoria de que a consistência autorregressiva nociva pode ser desencadeada em qualquer ponto, o artigo introduz o Ataque de Inserção Aleatória.

• Mecanismo: Em vez de visar o prefixo, este ataque insere um curto intervalo nocivo ($h$) em uma posição aleatória ($i$) dentro de uma trajetória de recusa segura ($r$) que seria, de outra forma, segura.
• Hipótese: Se o modelo entrar em um estado onde favorece a continuação nociva sobre a recusa, a consistência autorregressiva sustentará esse ramo nocivo, fazendo com que o modelo ignore o contexto seguro precedente.
• Escopo: Este ataque generaliza os ataques baseados em prefixo (como ataques de prefill) ao demonstrar que o "ponto de ruptura" pode ocorrer arbitrariamente profundo na geração.

3. Estrutura de Defesa: Alinhamento de Segurança Adversarial

Para combater este mecanismo, os autores propõem uma estrutura de Alinhamento de Segurança Adversarial.

• Objetivo: Treinar o modelo para recuperar o comportamento de recusa seguro a partir de qualquer estado de continuação nociva construído adversariamente, não apenas do início da geração.
• Formulação: A estrutura trata o alinhamento de segurança como um problema min-max:
  • Problema Interno: Identificar um estado de continuação $\tau^*$ ao longo da trajetória onde o modelo favorece mais fortemente a continuação nociva (maximizando a "margem de consistência autorregressiva nociva").
  • Problema Externo: Treinar o modelo para recuperar a trajetória de recusa segura a partir de $\tau^*$.
• Implementação Prática (Random Worst-Insertion): Como a otimização exata é intratável, os autores instanciam a estrutura usando Treinamento de Pior-Inserção Aleatória (Random Worst-Insertion Training).
  • Eles amostram posições aleatórias para inserir intervalos nocivos.
  • Eles selecionam o ponto de inserção que maximiza a margem entre a probabilidade de continuação nociva e a probabilidade de recuperação da recusa.
  • O modelo é então ajustado para recuperar a resposta de recusa a partir deste estado corrompido de "pior caso".

Principais Contribuições

1. Explicação Mecanística do Alinhamento Superficial: O artigo fornece uma prova teórica (Teorema 2.1) de que a consistência autorregressiva causa a concentração dos gradientes de alinhamento nos tokens iniciais, explicando por que o alinhamento de segurança torna-se naturalmente superficial.
2. Identificação de um Modo de Falha Mais Amplo: Os autores argumentam que a fragilidade de segurança não se limita a ataques de prefixo. Eles demonstram que a consistência autorregressiva nociva pode ser induzida em posições arbitrárias na trajetória de saída.
3. Ataque de Inserção Aleatória: Um ataque simples, porém eficaz, demonstrando que um curto intervalo nocivo inserido profundamente em uma recusa segura pode redirecionar a geração para saídas nocivas, contornando as medidas de segurança padrão.
4. Estrutura de Alinhamento de Segurança Adversarial: Uma nova paradigma de treinamento que visa explicitamente a quebra da consistência autorregressiva nociva em toda a trajetória, instanciada via treinamento de pior-inserção aleatória.

Resultados Experimentais

Os autores avaliaram seu método (nomeado Insertion) contra baselines (Clean SFT padrão e Prefill alinhamento profundo) no Llama-2-7B-Chat, Llama-3.1-8B-Instruct e Gemma-2-9b-it.

• Ataque de Inserção Aleatória: O alinhamento padrão (Clean) falhou com Taxas de Sucesso de Ataque (ASR) >75%. O alinhamento profundo (Deep alignment/Prefill) reduziu o ASR, mas permaneceu vulnerável (ASR ~20-35%). O método proposto Insertion alcançou um ASR significativamente menor (ex: 2,7% a 5,9% para spans de 25-100 tokens no Llama-2), demonstrando robustez contra sequestro de trajetória.
• Ataque de Prefill: O método Insertion permaneceu competitivo com o Prefill em ataques de prefixo, mostrando que a quebra da consistência nociva não sacrifica a defesa contra ataques de prefixo.
• Outros Ataques: Em benchmarks padrão (HarmBench) contra GCG, PAIR, TAP e AutoDAN, o método Insertion manteve ou melhorou a robustez em comparação ao modelo inicial.

Significância e Alegações

O artigo alega modestamente que sua principal contribuição é identificar a consistência autorregressiva nociva como um mecanismo de falha fundamental subjacente à fragilidade de segurança, em vez de apresentar um algoritmo de defesa final e inquebrável.

• Mudança de Perspectiva: O trabalho desloca o foco de "tornar o alinhamento mais profundo" (estendendo o prefixo de recusa) para "quebrar a consistência nociva" (garantir que o modelo possa recuperar de estados nocivos em qualquer profundidade).
• Implicações para Trabalhos Futuros: Os autores sugerem que futuros designs de ataque devem visar estados autorregressivos intermediários, e que futuros mecanismos de defesa devem treinar modelos para recuperar de estados de continuação nociva em toda a trajetória de saída, não apenas no início.
• Papel da Consistência: O artigo conclui que a consistência autorregressiva deve ser tratada como uma consideração crucial tanto no design de objetivos de alinhamento de segurança quanto no desenvolvimento de ataques adversariais.