Safety-Oriented Routing Analysis of Mixtral MoE Under Benign and Harmful Prompts

Resumo Técnico: Análise de Roteamento Orientada à Segurança do Mixtral MoE sob Prompts Benignos e Nocivos

Declaração do Problema
Modelos de linguagem de Mixture-of-Experts (MoE) esparsos, como o Mixtral 8x7B, ativam apenas um pequeno subconjunto de parâmetros para cada token, dependendo de um roteador para determinar o engajamento dos especialistas. Embora trabalhos anteriores sugiram que os padrões de roteamento no Mixtral se alinham mais à sintaxe do que ao domínio semântico, permanece incerto se o comportamento do roteador muda sistematicamente ao processar prompts benignos versus prompts nocivos. Este artigo investiga se o comportamento relevante para a segurança no Mixtral está associado a mecanismos internos de roteamento identificáveis, examinando especificamente se prompts nocivos induzem frequências distintas de seleção de especialistas ou sensibilidades de gradiente em comparação com prompts benignos.

Metodologia
Os autores desenvolveram um quadro de análise unificado para estudar o Mixtral 8x7B-Instruct utilizando dois sinais complementares:

1. Pontuações Baseadas em Ativação: Derivadas da frequência de seleção de especialistas pelo portão do roteador. Isso captura com que frequência especialistas específicos são engajados em todos os tokens.
2. Pontuações Baseadas em Gradiente: Derivadas da magnitude absoluta do gradiente dos pesos do portão do roteador em relação à perda da sequência. Isso captura quão influentes são parâmetros específicos do roteador para a perda do modelo.

O estudo utilizou 20 prompts (10 benignos, 10 nocivos) para análise descritiva e 100 prompts nocivos para experimentos de intervenção. A análise procedeu em três níveis:

• Nível de Especialista: Análise da distribuição de pontuações em todos os 256 pares camada-especialista (32 camadas × 8 especialistas) usando métricas como $k_{80}$, $k_{90}$ e $k_{95}$ (número de pares necessários para cobrir 80–95% da massa de pontuação) e pontos de corte de cotovelo.
• Nível de Camada: Cálculo de métricas de concentração (pontuação dominante, soma dos dois primeiros, entropia, contagem efetiva de especialistas) para cada uma das 32 camadas.
• Classificação de Especialistas: Categorização de pares camada-especialista como "dominantes em benignos", "dominantes em maliciosos" ou "compartilhados" com base na lacuna entre as médias dos grupos e nos limiares mínimos de magnitude.
• Intervenção: Supressão dos cinco principais especialistas dominantes em benignos identificados por cada método durante a geração em 100 prompts nocivos para medir mudanças no comportamento de recusa (respostas restritas versus não restritas).

Principais Contribuições

1. Quadro Unificado: Introdução de um quadro de sinal duplo (ativação e gradiente) para analisar o comportamento interno de roteamento no Mixtral sob condições relevantes para a segurança.
2. Divergência de Sinais: Demonstração de que o roteamento baseado em ativação é amplo e de cauda longa, enquanto a importância baseada em gradiente é substancialmente mais concentrada.
3. Seletividade Específica por Camada: Identificação de que a seletividade baseada em ativação atinge o pico nas camadas do meio até o final (8–15), enquanto a importância baseada em gradiente concentra-se agudamente nas camadas finais.
4. Sobreposição de Especialistas: Resultados de classificação mostrando que a maioria dos especialistas é compartilhada entre os grupos benignos e nocivos, com apenas um subconjunto limitado mostrando preferência clara por grupo.
5. Evidência Causal: Resultados preliminares de intervenção mostrando que a supressão de especialistas identificados reduz as taxas de recusa, fornecendo ligações mecânicas entre o comportamento de roteamento e as saídas de segurança.

Resultados

• Distribuição no Nível de Especialista: As pontuações de ativação estão distribuídas por uma grande parte do modelo (requerendo ~150+ pares para cobrir 80% da massa), enquanto as pontuações de gradiente são altamente concentradas (requerendo ~50–60 pares). Apesar dessas diferenças distributivas, as distribuições gerais de roteamento para os grupos benignos e nocivos permanecem próximas, com apenas uma separação modesta.
• Dinâmicas no Nível de Camada:
  • Ativação: A região mais seletiva são as camadas 8–15. Prompts nocivos tornam-se ligeiramente mais difusos nas camadas finais (24–31).
  • Gradiente: A importância aumenta agudamente em direção ao final da rede, com a concentração mais forte na camada final (camada 31). As contagens efetivas de especialistas caem significativamente nessas camadas finais para ambos os grupos.
• Classificação e Sobreposição:
  • A classificação por ativação identificou 22 especialistas dominantes em benignos e 18 dominantes em maliciosos entre 256.
  • A classificação por gradiente identificou apenas 6 especialistas dominantes em benignos e 5 dominantes em maliciosos.
  • Crucialmente, os 10 principais especialistas classificados por pontuação de gradiente mostraram forte sobreposição entre os grupos benignos e nocivos (8/10 compartilhados), enquanto os 10 principais por ativação mostraram sobreposição limitada (3/10 compartilhados). Isso sugere que a importância do gradiente concentra ambos os tipos de prompt em um núcleo comum de camadas tardias.
• Resultados de Intervenção:
  • Supressão por Ativação: Reduziu as respostas restritas de 24 para 14 (redução de 41,7%), mas causou 8 reversões não intencionais (de não restritas para restritas).
  • Supressão por Gradiente: Reduziu as respostas restritas de 34 para 22 (redução de 35,3%) com menos reversões não intencionais (3).
  • Nenhuma intervenção causou um colapso comportamental universal, indicando que o comportamento de segurança não é controlado por um único subconjunto fixo de especialistas.

Significado e Alegações
O artigo alega que o roteamento relevante para a segurança no Mixtral é sutil, dependente da profundidade e distribuído, em vez de dominado por um conjunto fixo de especialistas "nocivos". As descobertas sugerem que, embora prompts nocivos alterem o comportamento interno de roteamento, essas alterações não são capturadas por uma única métrica. Em vez disso, sinais de ativação revelam preferências amplas de roteamento, enquanto sinais de gradiente destacam a concentração sensível à perda nas camadas tardias.

Os autores concluem que confiar em uma única métrica interna fornece uma imagem incompleta da segurança do MoE. Uma abordagem mais informativa envolve analisar conjuntamente a frequência de roteamento, a importância sensível à perda e o comportamento de intervenção. O estudo fornece evidências causais preliminares de que especialistas identificados contribuem para o comportamento de recusa, mas enfatiza que o mecanismo é complexo e distribuído através da profundidade da rede.