Resumo Técnico: Alinhamento Adaptativo de Roteamento Dinâmico (DRAA)

1. Definição do Problema

A implantação generalizada de Grandes Modelos de Fundação (LFMs) deslocou as ameaças de segurança de jailbreaks de caixa-preta para ataques estruturais de caixa-branca. Nesses cenários, atacantes com acesso aos parâmetros internos podem identificar e cortar precisamente os neurônios ou caminhos causais específicos responsáveis pela recusa segura.

Os mecanismos de defesa existentes baseiam-se em unidades de segurança estáticas ou caminhos de recusa fixos (por exemplo, congelar neurônios específicos ou ancorar pesos). O artigo argumenta que esses métodos sofrem de uma suposição de "componente estático": eles pressupõem que as estruturas protegidas permanecem intactas durante a implantação. Sob ameaças de caixa-branca, uma vez que essas rotas defensivas fixas são precisamente podadas ou perturbadas, a capacidade de recusa do modelo colapsa inteiramente porque ele carece de mecanismos compensatórios. O problema central é a falta de redundância dinâmica no alinhamento de segurança atual, tornando os modelos frágeis contra ataques direcionados ao nível de rota.

2. Metodologia: Alinhamento Adaptativo de Roteamento Dinâmico (DRAA)

O framework proposto, DRAA, reformula o alinhamento de segurança como um problema de recuperação de rota. Em vez de apenas reforçar um único caminho estático, o DRAA visa dotar os modelos com a capacidade de reconstruir dinamicamente comportamentos seguros quando caminhos críticos são comprometidos. O framework consiste em três etapas principais:

A. Localização da Rota de Segurança

O DRAA primeiro identifica a "rota de segurança" específica na qual o modelo atualmente confia para a recusa segura.

• Mecanismo: Ele contrasta ativações internas entre amostras de calibração seguras e inseguras.
• Métricas: Ele calcula dois escores para neurônios em cada camada:
  1. Tamanho do Efeito (ES - Effect Size): Mede a separação de distribuição entre entradas seguras e inseguras.
  2. Desvio de Ativação de Segurança (SAS - Safety Activation Shift): Mede a amplificação direcional da ativação sob entradas inseguras em relação à média da camada.
• Resultado: Um conjunto de neurônios $S$ (a rota de segurança) é definido como a união de neurônios com altos escores de ES e SAS através das camadas.

B. Mineração de Falha Causal

Para treinar o modelo para lidar com a falha de sua rota de segurança primária, o DRAA simula ataques direcionados.

• Intervenção: A rota de segurança $S$ identificada é temporariamente mascarada (zerada) durante a inferência.
• Construção de Dados: O sistema coleta amostras onde o modelo intacto produz uma recusa segura ($y_{ori}$), mas o modelo com a rota desabilitada falha e gera uma resposta insegura ($y_{cut}$).
• Pares de Preferência: Esses casos formam "pares de preferência conscientes da falha" $(x, y_{ori}, y_{cut})$, criando um conjunto de dados ($D_{fail}$) que visa especificamente cenários onde o mecanismo de segurança primário está quebrado.

C. Otimização de Preferência Direta de Roteamento Dinâmico (DR-DPO)

A etapa final treina o modelo para aprender rotas compensatórias sem reforçar a rota primária agora vulnerável.

• Bloqueio de Rota (Route Locking): Durante o processo de otimização DPO, os parâmetros correspondentes à rota de segurança identificada $S$ são congelados (via mascaramento de gradiente em adaptadores LoRA).
• Objetivo: O modelo é forçado a minimizar a perda de preferência usando apenas o espaço de parâmetros não restrito ($\theta_R$).
• Estratégia: Isso implementa uma estratégia de "desvio quando bloqueado". O modelo não pode simplesmente fortalecer a rota frágil existente; ele deve descobrir e fortalecer caminhos alternativos latentes (rotas compensatórias) dentro dos parâmetros restantes para manter o comportamento de recusa segura mesmo quando a rota primária é desabilitada.
• Inferência: Durante a inferência real, a rota de segurança permanece ativa, mas as rotas compensatórias recém-aprendidas fornecem capacidade defensiva adicional caso a rota primária seja perturbada.

3. Principais Contribuições

1. Proposta de Framework: Introdução do DRAA, que desloca o alinhamento de segurança de proteger nós estáticos para reconstruir dinamicamente mecanismos de recusa sob ataque.
2. Objetivo DR-DPO: Um objetivo de otimização inovador que bloqueia a rota de segurança durante o treinamento, forçando o modelo a aprender caminhos compensatórios no espaço de parâmetros não atacado.
3. Validação Empírica: Experimentos extensos demonstrando que o DRAA aumenta significativamente a robustez contra ataques severos de poda de caixa-branca, preservando a utilidade geral.

4. Resultados Experimentais

O artigo avalia o DRAA em vários backbones de LLM (Qwen2.5, LLaMA-3.2, Gemma, Phi) e LLMs Multimodais (Qwen2.5-VL, LLaVA) sob quatro configurações de poda: ORI (sem poda), ES, SAS e FULL (união de neurônios ES e SAS).

• Robustez à Poda: Sob a configuração de poda mais forte, FULL, o DRAA consistentemente alcança a menor Taxa de Sucesso de Ataque (ASR) em comparação com baselines como SN-Tune, RLHF-Safety e SafeNeuron.
  • Exemplo: No Qwen2.5-7B, o DRAA reduziu o ASR FULL para 26/313, enquanto o modelo original tinha 279/313 e o SafeNeuron tinha 183/313.
  • Exemplo: No LLaMA-3.2-8B, o DRAA alcançou um ASR de 11/313 sob poda FULL, comparado a 221/313 para o modelo original.
• Segurança Multimodal: O DRAA demonstrou robustez superior em cenários de jailbreak visual (tarefas VL-Question e NSFW), reduzindo significativamente o ASR FULL (ex: de 174/313 para 5/313 no Qwen2.5-VL-7B para VL-Question).
• Generalização para Ataques Não Vistos: O DRAA manteve a robustez contra mecanismos de ataque de caixa-branca não vistos (GRAD, WANDA, ABLATE) que não foram usados durante o treinamento, indicando que ele não apenas sofre overfitting a padrões de poda específicos.
• Preservação de Utilidade: O método preservou capacidades gerais (medidas por ARC, GSM8K, TruthfulQA) sem degradação significativa.
• Eficiência: A abordagem adiciona overhead negligenciável no tempo de inferência. A localização leva ~0,58 minutos para 1.000 amostras, e o treinamento leva ~12,7 minutos. Após mesclar os adaptadores, o modelo retém a contagem de parâmetros e velocidades de inferência originais.

5. Significância e Alegações

O artigo afirma que o DRAA aborda uma vulnerabilidade crítica no alinhamento de segurança atual: a dependência de defesas de ponto único estáticas que colapsam sob ataques direcionados de caixa-branca. Ao introduzir rotas compensatórias dinâmicas, o framework reestrutura a dependência de caminho subjacente da segurança do modelo.

Os autores enfatem que o DRAA não apenas melhora a segurança contra ataques conhecidos, mas muda fundamentalmente a arquitetura do modelo para ser resistente a ataques. O mecanismo de "desvio quando bloqueado" garante que, mesmo que um atacante identifique e corte com sucesso os neurônios de segurança primários, o modelo retém a capacidade de recusar solicitações prejudiciais através de caminhos alternativos aprendidos. Esta abordagem oferece um paradigma mais robusto para a implantação de LFMs em ambientes abertos onde os parâmetros internos podem estar expostos a adversários.