Localizing Safety Alignment: MLP Layers and Mid-Network Blocks Encode Refusal Behavior in Large Language Models

Resumo Técnico: Localização do Alinhamento de Segurança em Grandes Modelos de Linguagem

Declaração do Problema
O alinhamento de segurança em Grandes Modelos de Linguagem (LLMs) é tipicamente tratado como uma propriedade distribuída de toda a rede. No entanto, a fragilidade prática do comportamento de recusa alinhado — onde pequenas atualizações, jailbreaks ou transformações de prompts podem contornar salvaguardas ou induzir a recusa excessiva em entradas benignas — sugere que os mecanismos de recusa podem estar concentrados em um conjunto específico e menor de parâmetros. Embora trabalhos mecanísticos anteriores tenham identificado direções de ativação de baixa dimensão ou "camadas de segurança" via poda (pruning), uma questão direta de localização no espaço de pesos permanece aberta: Quais parâmetros específicos, e em quais profundidades, são responsáveis por transferir a recusa de segurança do modelo alinhado para o seu correspondente base não alinhado?

Metodologia
Os autores investigam essa questão através da transplantação seletiva de pesos entre dois pares de modelos correspondentes que compartilham arquiteturas idênticas, mas diferem no alinhamento de segurança:

1. RealSafe-R1-7B (alinhado) vs. DeepSeek-R1-Distill-Qwen-7B (base).
2. saferlhf ultra sft (alinhado) vs. Llama-3.1-8B (base).

O estudo constrói modelos híbridos substituindo subconjuntos de pesos no modelo base por pesos correspondentes do modelo alinhado. Os experimentos variam a granularidade da transplantação:

• Nível de componente: Substituindo todos os pesos de Atenção (Attention) vs. todos os pesos de MLP.
• Regiões contíguas: Substituindo os primeiros/últimos/meios 5 camadas ou a primeira/segunda metade da rede.
• Nível de bloco: Particionando a pilha de MLP em blocos contíguos de 4 camadas (ex: Bloco 1 = camadas 0–3) e transplantando blocos individuais ou combinações destes.

A avaliação é conduzida em quatro benchmarks: TwinPrompt e SGXSTest (prompts maliciosos/benignos pareados), AdvBench (instruções maliciosas) e OR-Bench (prompts benignos projetados para testar a recusa excessiva). As métricas primárias são Recusa Maliciosa (MR) e Recusa Benigna Excessiva (BOR). Para identificar as combinações ideais, os autores empregam um algoritmo de seleção progressiva gananciosa (greedy forward selection) que adiciona iterativamente o bloco de MLP que gera o maior ganho de recusa, analisando as trajetórias resultantes para efeitos não aditivos.

Resultados Principais
Os experimentos produzem três padrões empíricos consistentes em ambas as famílias de modelos:

1. Dominância de MLP: O comportamento de recusa transferível é mediado predominantemente pelos pesos de MLP, em vez de pesos de atenção. A substituição de parâmetros de MLP recupera substancialmente mais recusa de prompts maliciosos do que a substituição de parâmetros de atenção, com ganhos de pelo menos 2,7 vezes em todos os benchmarks maliciosos. No entanto, este caminho também carrega sinais de recusa excessiva; na família RealSafe-R1-7B, a transplantação total de MLP aumentou significativamente tanto o MR quanto o BOR, indicando que as recusas desejáveis e os falsos-positivos estão co-localizados na via de MLP.
2. Concentração de Meio de Rede: Os parâmetros relevantes para a recusa não estão distribuídos uniformemente na pilha de MLP. O Bloco 3 (camadas 8–11) é consistentemente selecionado primeiro em todas as seis buscas gananciosas (em ambos os modelos e três conjuntos de dados maliciosos), identificando uma concentração específica de parâmetros mediadores de recusa em profundidade média. Uma análise adicional dentro do Bloco 3 para a família RealSafe-R1-7B destaca a Camada 8 como particularmente crítica, com a transplantação de uma única camada alcançando quase metade da taxa de recusa do bloco completo.
3. Interações Não Aditivas: A composição dos blocos relevantes para a segurança é não aditiva. Em cinco de seis trajetórias gananciosas, adicionar mais blocos alinhados além de um certo ponto (frequentmente em torno de 6 blocos) reduziu o desempenho de recusa em comparação com um subconjunto seletivo. Este "efeito marginal negativo" implica que a utilidade de um bloco depende do conjunto circundante de pesos transplantados. Consequentemente, subconjuntos seletivos de blocos frequentemente superam a transplantação total de MLP tanto na recusa maliciosa quanto na recusa benigna excessiva.

Significância e Alegações
O artigo afirma que o alinhamento de segurança nos atuais LLMs é localizado e sensível à interação.

• Explicação da Fragilidade: A concentração de sinais de recusa em um pequeno subconjunto de parâmetros de MLP (especificamente blocos de meio de rede) fornece uma explicação mecanística para o motivo de o comportamento alinhado ser frágil; atualizações direcionadas a este pequeno subconjunto podem alterar substancialmente o comportamento de segurança.
• Precisão vs. Cobertura: O estudo destaca um trade-off onde o benchmark de origem usado para derivar as ordens de seleção de blocos influencia o comportamento subsequente. Ordens derivadas de diferentes benchmarks geram diferentes equilíbrios entre transferência de segurança agressiva (alto MR) e sobre-generalização (alto BOR).
• Intervenções Direcionadas: As descobertas sugerem que intervenções de segurança eficazes não exigem a transplantação de todo o modelo alinhado. Em vez disso, identificar e selecionar subconjuntos específicos e não aditivos de blocos de MLP pode alcançar um ponto operacional mais favorável, oferecendo potencialmente um caminho para um ajuste de segurança mais preciso e robusto.

Os autores concluem que, embora seus padrões de localização sejam robustos dentro do regime de modelos de 7B–8B estudado, trabalhos futuros são necessários para determinar se essas faixas de profundidade específicas (camadas 8–11) se generalizam através de diferentes escalas de modelos, arquiteturas e procedimentos de alinhamento.