Resumo Técnico: Alinhamento de Segurança Distribuído Contra Ataques de Caixa Branca

1. Declaração do Problema

Com o rápido implante de modelos de fundação de pesos abertos (LFMs), as ameaças de segurança evoluíram de jailbreaks de caixa preta para ataques de caixa branca de granularidade fina. Esses ataques identificam e podam diretamente "neurônios de segurança" ou caminhos internos críticos, fazendo com que o modelo ignore os mecanismos de recusa e gere conteúdo prejudicial.

As estratégias de defesa existentes geralmente se dividem em duas categorias: baseadas em unidades (preservando neurônios de segurança específicos) e baseadas em caminhos (protegendo cadeias entre camadas). No entanto, o artigo argumenta que ambas as abordagens sofrem de uma falha estrutural fundamental: elas dependem de um paradigma de "fortificação estática". Ao concentrar as capacidades de segurança em um conjunto limitado e fixo de neurônios ou caminhos, esses métodos criam um "ponto único de falha" frágil. Quando um adversário localiza e poda precisamente esses núcleos específicos, toda a defesa colapsa, levando a falhas de segurança imediatas. O desafio central é manter a segurança mesmo quando as unidades computacionais principais são comprometidas, exigindo uma mudança da defesa centralizada para a redundância distribuída.

2. Metodologia: Alinhamento de Segurança Distribuído (DSA)

Os autores propõem o Alinhamento de Segurança Distribuído (DSA), um framework projetado para codificar redundantemente as capacidades de segurança através de múltiplos neurônios computacionais, garantindo que o modelo mantenha uma linha de base de segurança mesmo quando neurônios críticos são interrompidos.

A. Localização e Atribuição

O DSA opera nas ativações intermediárias imediatamente anteriores às camadas de projeção descendente (down-projection layers) em redes feed-forward (FFNs) do lado da linguagem. Em vez de depender de listas pré-definidas de neurônios de segurança, o DSA identifica dinamicamente neurônios de recusa dominantes usando um escore de Taylor de primeira ordem orientado à direção:

1. Cálculo da Perda de Recusa: O modelo calcula uma perda de recusa de resposta apenas ($L_{ref}$) em consultas prejudiciais pareadas com alvos de recusa seguros.
2. Expansão de Taylor: Para estimar a contribuição de um neurônio, o método simula a supressão da ativação de um neurônio específico ($\Delta a = -a$) e calcula a mudança resultante na perda usando uma expansão de Taylor de primeira ordem: $\Delta L \approx -a \cdot \frac{\partial L}{\partial a}$.
3. Pontuação Orientada à Direção: Um escore $S_i$ é calculado retendo apenas os efeitos de supressão positivos (neurônios cuja remoção aumenta a perda de recusa). Isso garante que o método foque em neurônios que apoiam ativamente o comportamento de recusa, em vez de apenas aqueles com alta magnitude.
4. Seleção: Os top-$K$ neurônios com os maiores escores são identificados como o conjunto de neurônios de recusa central ($K_{core}$).

B. Alinhamento de Segurança Redundante Adversarial

Uma vez identificados os neurônios centrais, o DSA emprega uma estratégia de perturbação de duas frentes durante o treinamento para forçar o modelo a abandonar a dependência desses núcleos específicos e distribuir a segurança por meio de neurônios compensatórios:

1. Mascaramento Direcionado Determinístico: Os neurônios top-$K$ identificados são mascarados deterministicamente (definidos como zero) durante todo o processo de realinhamento. Isso simula um ataque direcionado, forçando o modelo a encontrar caminhos alternativos.
2. Dropout Estocástico: Para evitar que o modelo simplesmente reconcentre a segurança em um novo subconjunto mínimo de neurônios, os neurônios restantes não mascarados são submetidos ao dropout estocástico. Isso introduz falhas locais diversas, compelindo o modelo a codificar o comportamento de recusa redundantemente através de um conjunto mais amplo de neurônios compensatórios.

C. Objetivo de Otimização

O objetivo de treinamento envolve a otimização conjunta em dois conjuntos de dados sob o regime combinado de mascaramento e dropout:

• Perda de Recusa de Conteúdo Prejudicial ($L_{safe}$): Garante que o modelo aprenda a recusar instruções prejudiciais apesar da interrupção de seus neurônios de segurança originais.
• Perda de Preservação de Generalidade ($L_{gen}$): Garante que o modelo mantenha sua capacidade de seguir instruções benignas e realizar tarefas gerais.

O objetivo final é: $\theta^*_{ff} = \arg \min_{\theta_{ff}} (L_{safe} + \lambda_{gen} L_{gen})$.
Crucialmente, apenas os parâmetros feed-forward do lado da linguagem são treináveis; o backbone permanece congelado, e todas as intervenções são removidas após o treinamento, resultando em zero de sobrecarga de inferência.

3. Principais Contribuições

• Framework DSA: Um método inovador que utiliza pontuação de Taylor orientada à direção e perturbação dinâmica para codificar redundantemente os mecanismos de recusa através de um conjunto mais amplo de neurônios internos, quebrando a dependência de pontos únicos de falha.
• Alinhamento de Segurança Redundante Adversarial: Uma estratégia de treinamento que combina o mascaramento determinístico de neurônios de recusa de alto escore com o dropout estocástico do restante, forçando a emergência de caminhos de segurança compensatórios.
• Robustez e Preservação de Utilidade: Experimentos extensos demonstram que o DSA aumenta significativamente a robustez contra ataques de supressão de segurança de caixa branca de granularidade fina, enquanto preserva a utilidade geral de linguagem e multimodal do modelo.

im 4. Resultados Experimentais

Os autores avaliaram o DSA em diversos Modelos de Linguagem de Grande Escala (Qwen2.5, LLaMA-3.2, Gemma, Phi-4) e Modelos de Linguagem Multimodais (Qwen2.5-VL, LLaVA-1.5).

• Robustez contra Ataques de Caixa Branca: Sob o ataque de poda TOTAL (FULL pruning attack) mais agressivo (onde os principais neurônios de segurança são removidos), o DSA reduziu drasticamente a Taxa de Sucesso de Ataque (ASR).
  • No Qwen2.5-7B, o ASR caiu de 279/313 (Original) para 9/313 (DSA).
  • No LLaMA-3.2-3B, o ASR caiu de 176/313 (Original) para 0/313 (DSA).
  • O DSA superou consistentemente os baselines como SafeNeuron, RLHF-Safety e SN-Tune em todos os tamanhos de modelo e configurações de ataque (ORI, ES, SAS, FULL).
• Capacidade Geral: O DSA manteve ou melhorou ligeiramente o desempenho em benchmarks padrão (ARC, GSM8K, TruthfulQA) em comparação com os backbones originais, demonstrando que o alinhamento de segurança não acarretou um "imposto de alinhamento" (alignment tax) na utilidade.
• Segurança Multimodal: O DSA estendeu sua robustez para modelos multimodais, resistindo efetivamente a ataques onde a intenção prejudicial estava incorporada em imagens ou texto visual.
• Ataques Não Vistos: O modelo permaneceu robusto contra ataques de caixa branca não vistos (GRAD, WANDA, ABLATE) que não faziam parte dos critérios de treinamento, sugerindo que a redundância aprendida é generalizável.
• Utilidade Pós-Ataque: Mesmo após aplicar o ataque de poda TOTAL ao modelo treinado, as capacidades gerais (ex: pontuações ARC) e a validade da geração benigna permaneceram amplamente inalteradas, confirmando que o baixo ASR deveu-se à segurança robusta, e não ao colapso do modelo.

5. Significância e Alegações

O artigo afirma que o DSA representa uma mudança de paradigma no alinhamento de segurança de IA. Ao se afastar da frágil "fortificação estática" de neurônios específicos em direção a um modelo de segurança distribuída, o DSA aborda a vulnerabilidade crítica de pontos únicos de falha nos mecanismos internos de segurança.

Os autores enfatizam que o DSA alcança essa robustez sem introduzir sobrecarga de tempo de inferência ou degradar a utilidade geral do modelo. O método força o modelo a codificar estruturalmente a segurança de forma redundante, garantindo que, mesmo que um adversário consiga podar os neurônios de segurança mais óbvios, o modelo retenha a capacidade de recusar solicitações prejudiciais através de caminhos compensatórios. Isso oferece uma solução escalável e robusta para manter a segurança na era dos modelos de fundação de pesos abertos.