RASA: Routing-Aware Safety Alignment for Mixture-of-Experts Models

Título: RASA: Alinhamento de Segurança Consciente de Roteamento para Modelos Mixture-of-Experts

1. O Problema: O "Atalho de Alinhamento" em Modelos MoE

Os modelos de linguagem baseados em Mixture-of-Experts (MoE) introduzem desafios únicos para o alinhamento de segurança devido aos seus mecanismos de roteamento esparsos. O artigo identifica um fenômeno crítico denominado "atalho de alinhamento" (alignment shortcut):

• Falha na Ajuste Fino de Parâmetros Completos: Quando se aplica o ajuste fino (fine-tuning) de segurança padrão (full-parameter) a modelos MoE, o modelo frequentemente não corrige os especialistas responsáveis pelos comportamentos inseguros.
• Mecanismo do Atalho: Em vez de reparar os parâmetros dos "Especialistas Críticos de Segurança" (Safety-Critical Experts - SCEs), o modelo aprende a satisfazer o objetivo de segurança alterando o comportamento do roteador (router) ou tornando especialistas já seguros dominantes.
• Consequência: O modelo parece seguro sob ataques conhecidos, mas mantém vulnerabilidades latentes. Sob prompts adversários adaptativos ou não vistos, o roteador pode redirecionar o tráfego de volta para os SCEs não corrigidos, resultando em falhas de segurança (jailbreaks). Além disso, essa abordagem pode levar a uma recusa excessiva (over-refusal) e degradação das capacidades gerais do modelo.

2. Metodologia: RASA (Routing-Aware Safety Alignment)

Para resolver esse problema, os autores propõem o RASA, um framework de alinhamento no nível de especialistas que desacopla a correção dos especialistas do controle do roteamento. O método opera através de uma otimização em dois níveis (bi-level optimization) com estratégia alternada:

A. Identificação de Especialistas Críticos de Segurança (SCEs)

• O sistema constrói batches mistos contendo pares de prompts: Prompts Âncora (maliciosos, mas já recusados pelo modelo) e Prompts Adversários (versões de jailbreak que contornam a segurança).
• Calcula-se a Discrepância de Ativação Adversária (AAD) para cada especialista, medindo a diferença na frequência de ativação entre os prompts adversários e os âncora.
• Especialistas com alta AAD são identificados como SCEs, pois são desproporcionalmente ativados por ataques de jailbreak.

B. Otimização Alternada (Estratégia de Dois Passos)
O RASA alterna entre duas fases para evitar que o roteador "absorva" o sinal de segurança sem corrigir os especialistas:

1. Otimização Interna (SCE-FT - Selective Expert Fine-tuning):

   • O roteador é congelado.
   • Apenas os parâmetros dos SCEs identificados são atualizados.
   • O objetivo é injetar comportamento de recusa nesses especialistas específicos, mantendo os especialistas benignos intactos para preservar a utilidade geral.

2. Otimização Externa (Consistência do Roteador):

   • Os parâmetros dos especialistas são congelados (já corrigidos).
   • O roteador é otimizado para garantir que prompts adversários sigam padrões de roteamento consistentes com os prompts seguros (âncora).
   • Utiliza-se uma perda de divergência KL para alinhar a distribuição de roteamento adversária à distribuição de referência segura, impedindo que novos ataques ativem caminhos de roteamento que contornem os SCEs reparados.

3. Contribuições Principais

1. Identificação de um Padrão de Falha: Evidência empírica e causal de que o ajuste fino completo em MoE frequentemente falha em reparar especialistas inseguros, dependendo de atalhos de roteamento.
2. Framework RASA: Proposta de uma solução que realiza reparos diretos nos parâmetros dos especialistas críticos, combinados com a consistência do roteamento, sem modificar a arquitetura do modelo ou adicionar especialistas auxiliares.
3. Validação Causal: Experimentos de restauração de roteamento provam que a segurança obtida pelo ajuste fino completo colapsa quando o roteamento original é restaurado, enquanto o RASA mantém a robustez.

4. Resultados Experimentais

Os autores avaliaram o RASA em duas arquiteturas MoE representativas (Qwen3-30B-A3B e OLMoE-1B-7B-0125) contra uma variedade de ataques de jailbreak (FlipAttack, DeepInception, Persuasion, etc.).

• Robustez Quase Perfeita: O RASA alcançou taxas de inocência (harmlessness) próximas a 100% nos ataques alinhados, superando significativamente as linhas de base (ajuste fino completo, SteerMoE, SafeMoE-FT).
• Generalização Cruzada: O método demonstrou forte generalização para ataques não vistos durante o treinamento, sugerindo que diferentes estratégias de jailbreak compartilham SCEs comuns que, quando reparados, neutralizam múltiplas ameaças.
• Preservação de Capacidades: Diferente do ajuste fino completo, o RASA manteve ou melhorou levemente o desempenho em benchmarks gerais (MMLU, GSM8K, TruthfulQA) e controlou as taxas de recusa excessiva (over-refusal) em testes como XsTest.
• Eficiência de Dados: O método é altamente eficiente, alcançando resultados robustos com apenas uma fração das amostras adversárias disponíveis.

5. Significado e Conclusão

O trabalho demonstra que o alinhamento de segurança robusto para modelos MoE não deve ser tratado como um problema global de parâmetros, mas sim como um problema localizado de especialistas.

• Mudança de Paradigma: Em vez de tentar "apagar" o conhecimento inseguro globalmente, o RASA propõe uma intervenção cirúrgica nos componentes específicos responsáveis pela falha.
• Implicações Práticas: Oferece uma alternativa prática e que preserva a arquitetura para tornar modelos MoE escaláveis e seguros, evitando as armadilhas de atalhos que tornam as defesas frágeis contra adversários adaptativos.
• Reprodutibilidade: O código e os modelos estão disponíveis publicamente, facilitando a adoção e o estudo futuro de alinhamento consciente de arquitetura.

Em resumo, o RASA estabelece que a segurança robusta em MoE depende da reparação explícita dos especialistas críticos sob um roteamento controlado, em vez de depender de mudanças superficiais no comportamento de roteamento que podem ser facilmente contornadas.