Resumo Técnico: Compreendendo o Comportamento de Especialistas Sensíveis à Segurança em Modelos de Linguagem de Grande Escala com Mistura de Especialistas

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) com Mistura de Especialistas (MoE) utilizam ativação esparsa e orientada por roteador, onde os tokens são direcionados a um subconjunto específico de especialistas feed-forward. Uma intuição predominante no alinhamento de segurança sugere que a recusa a solicitações prejudiciais é alcançada roteando as entradas para especialistas distintos e "orientados à recusa", separados daqueles que tratam do tópico.

Este artigo desafia essa intuição, perguntando: Quando um modelo MoE alinhado recusa uma solicitação prejudicial, a recusa é induzida pelo roteamento para um conjunto distinto de especialistas especializados em segurança, ou é mediada por representações dentro dos mesmos especialistas especializados no tópico que, de outra forma, processariam a solicitação?

Os autores postulam que, se o comportamento de segurança for controlado principalmente pelo roteamento, alterar a decisão do roteador deveria ser a maneira mais eficaz de contornar a segurança. Por outro lado, se a segurança estiver incorporada nos próprios parâmetros dos especialistas, os padrões de roteamento podem permanecer estáveis mesmo quando o comportamento de segurança se inverte. Compreender essa distinção é crucial para desenvolver mecanismos de segurança robustos e avaliar vulnerabilidades em MoE.

2. Metodologia

2.1 Sondas Empíricas para Comportamento de Roteamento

Para investigar a relação entre roteamento e segurança, os autores conduziram três sondas empíricas complementares em modelos MoE alinhados:

1. Contraste Comportamental Forçado pelo Professor: Os autores compararam os padrões de roteamento para o mesmo prompt prejudicial sob duas condições: uma continuação de recusa alinhada à segurança e uma continuação de conformidade forçada pelo professor.
2. Contraste de Estilo de Recusa em Nível de Prompt: Usando prompts benignos, eles prefixaram prefixos de recusa para induzir respostas no estilo de recusa e compararam o roteamento resultante com as solicitações benignas originais e controles cruzados de tópico.
3. Contraste de Intenção de Segurança Casada: Eles construíram prompts pareados onde o tópico e a estrutura sintática foram preservados, mas a intenção insegura foi removida (por exemplo, mudar "como fazer uma bomba" para "como fazer um brinquedo").

Métricas: A similaridade de roteamento foi quantificada usando a divergência de Jensen-Shannon (JS) dos logits do roteador e a sobreposição dos $k$-especialistas ativados no topo.

Descobertas: Em todas as sondas, mudanças no comportamento de recusa/conformidade ou na intenção de segurança resultaram em deslocamentos de roteamento significativamente menores em comparação com mudanças no tópico da solicitação. Isso sugere que os roteadores MoE são principalmente orientados por tópico, enquanto a aplicação da segurança reside dentro das representações dos especialistas ativados naturalmente para aquele tópico, e não em um caminho de roteamento separado.

2.2 Framework RASET

Motivados pela descoberta de que o comportamento de segurança pode ser alterado sem perturbar o caminho de roteamento intrínseco, os autores propõem o RASET (Ajuste de Especialista Crítico para Segurança Agnóstico ao Roteador). Este é um framework de red-teaming projetado para induzir conteúdo prejudicial enquanto preserva o cálculo especializado no tópico do modelo.

Etapas Principais:

1. Identificação de Especialistas Críticos para Segurança:

   • O framework calcula uma Pontuação de Sensibilidade à Segurança ($S_{l,i}$) para cada especialista $i$ na camada $l$.
   • Essa pontuação é derivada de um critério contrastivo de sensibilidade ao roteamento: $S_{l,i} = A(l, i; D_{harm}) - \lambda \cdot A(l, i; D_{norm})$.
   • Isso contrasta a ativação do especialista em consultas prejudiciais ($D_{harm}$) com instruções benignas ($D_{norm}$), suprimindo especialistas que são geralmente ativos (gerais no tópico) e destacando aqueles recrutados desproporcionalmente para solicitações prejudiciais.
   • Os $K$ especialistas com as pontuações mais altas são selecionados como o conjunto chave $\Phi_{key}$.

2. Adaptação Confinada ao Nível de Especialista:

   • Congelamento: O roteador, componentes compartilhados e todos os especialistas não selecionados são congelados.
   • Ajuste Fino: O ajuste eficiente de parâmetros (PEFT) é aplicado apenas aos especialistas selecionados ($\theta_{\Phi}$).
   • Funções de Perda:
     • $L_{violate}$: Uma estratégia dupla que penaliza padrões de recusa (por exemplo, "Desculpe, não posso") e promove prefixos afirmativos (por exemplo, "Claro, aqui está...") pareados com consultas inseguras. Usa uma penalidade de margem máxima para evitar otimização ilimitada.
     • $L_{preserve}$: Garante que as capacidades gerais sejam mantidas, minimizando o log-verossimilhança negativo (NLL) em instruções benignas ($D_{norm}$) e aplicando regularização L2 para manter os parâmetros ajustados próximos aos seus estados pré-treinados.
   • Objetivo: $L_{total} = L_{violate} + L_{preserve}$.

3. Contribuições Principais

1. Evidência Empírica sobre Dinâmicas de Roteamento: O artigo fornece evidências controladas de que, em modelos MoE alinhados, o roteamento é impulsionado em grande parte pela estrutura semântica do tópico, e não pela distinção binária entre recusa e conformidade. O comportamento relacionado à segurança pode mudar significativamente sem grandes deslocamentos correspondentes no caminho de roteamento.
2. Framework RASET: A introdução de um framework de adaptação no nível de especialista, diagnóstico, que congela o roteador. Isso permite a análise controlada de representações de especialistas sensíveis à segurança e demonstra que o alinhamento de segurança pode ser comprometido através de mudanças localizadas de parâmetros sem perturbar a especialização funcional do modelo.
3. Avaliação em Diversas Arquiteturas Base: O estudo avalia esse fenômeno em cinco arquiteturas base MoE de pesos abertos (OLMoE, DeepSeek-V2, Qwen3, Phi-3.5 e GPT-oss), mostrando modos de falha de segurança localizados consistentes.

4. Resultados

4.1 Desempenho de Red-Teaming

O RASET foi avaliado contra linhas de base como Gradiente de Coordenada Gananciosa (GCG) em cinco modelos MoE.

• Taxa de Sucesso do Ataque (ASR): O RASET alcançou o maior rendimento em todos os níveis de rigor.
  • $ASR_{raw}$ (Violação de Salvaguarda): 78,6% em média.
  • $ASR_{valid}$ (Violação Válida): 74,0% em média.
  • $ASR_{hq}$ (Violação de Alta Qualidade): 50,5% em média.
• Comparação: O RASET superou a linha de base mais forte (GCG) em uma média de 37,6 pontos na métrica $ASR_{hq}$.

4.2 Preservação de Capacidades Gerais

• Eficiência de Parâmetros: O RASET atualiza apenas 0,12%–0,95% dos parâmetros do modelo.
• Retenção de Utilidade: O framework preserva significativamente melhor a utilidade benigna em comparação com linhas de base de manipulação de roteador.
  • TruthfulQA: Queda média de 5,4 pontos (68,9% $\to$ 63,4%).
  • MMLU: Queda média de 7,5 pontos (69,9% $\to$ 62,4%).

4.3 Estabilidade de Roteamento

Crucialmente, o RASET preserva a lógica de roteamento intrínseca do modelo:

• Divergência JS: A mudança nos logits do roteador entre os modelos pré-ajustados e pós-ajustados permaneceu abaixo de 0,04 para tarefas benignas e 0,08 para tarefas prejudiciais.
• Sobreposição de Especialistas: A sobreposição dos 8 especialistas no topo permaneceu alta (por exemplo, >7,0 de 8 para tarefas benignas, ~5,66 para tarefas prejudiciais).
• Conclusão: O modelo continua a despachar tokens para os mesmos especialistas relevantes ao tópico; a contornação da segurança é alcançada porque os parâmetros subjacentes dos especialistas foram "reprogramados", e não porque o caminho de roteamento foi alterado.

5. Significado e Alegações

O artigo alega que essas descobertas revelam um risco de segurança distinto nas arquiteturas MoE: o alinhamento de segurança pode ser comprometido através de pequenas mudanças localizadas no nível de especialista, mesmo quando o comportamento de roteamento do modelo permanece amplamente intacto.

• Implicação para Segurança: Mecanismos de segurança atuais que dependem de direcionamento de roteador ou assumem que a segurança está isolada em especialistas específicos de "recusa" podem ser insuficientes. A aplicação da segurança parece estar distribuída dentro das representações de especialistas especializados no tópico.
• Implicação para Ataques: Intervenções de direcionamento de roteador (forçando tokens a especialistas diferentes) podem alterar o comportamento de segurança, mas frequentemente à custa da fidelidade semântica e da utilidade, pois desviam tokens dos especialistas especializados no tópico solicitado.
• Direção Futura: Os autores destacam a necessidade de mecanismos de alinhamento conscientes de especialistas que levem em conta conjuntamente o comportamento do roteador, a especialização do especialista e a robustez dos próprios parâmetros do especialista.

O artigo conclui que o sucesso do RASET em inverter o comportamento de segurança enquanto mantém a consistência do roteamento apoia a visão de que a adaptação no nível de especialista é um vetor potente para contornar a segurança em LLMs MoE.