MASCing: Configurable Mixture-of-Experts Behavior via Activation Steering Masks

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) que utilizam arquiteturas de Mistura de Especialistas (MoE) tornaram-se dominantes devido à sua capacidade de escalar o número de parâmetros enquanto mantêm custos de inferência baixos por meio de ativação esparsa. No entanto, esse paradigma de ativação esparsa introduz desafios únicos de segurança:

• Comportamento Acoplado: O comportamento do modelo está rigidamente acoplado a decisões de roteamento dinâmico. Como apenas um subconjunto de "especialistas" é ativado por token, mecanismos de segurança podem ser contornados se um adversário manipular o roteador para evitar especialistas alinhados à segurança.
• Inflexibilidade das Defesas Atuais: O alinhamento de segurança tradicional depende de ajuste fino completo ou re-treinamento. Esses métodos são computacionalmente proibitivos para grandes modelos MoE e carecem de agilidade para se adaptar a políticas de segurança em rápida mudança (por exemplo, novas estratégias de jailbreak ou diretrizes de conteúdo em evolução).
• A Lacuna: Há uma falta de mecanismos leves e livres de treinamento para reconfigurar flexivelmente o comportamento MoE para cenários de segurança específicos (por exemplo, apertar defesas contra jailbreaks ou relaxar restrições para domínios específicos) sem re-treinar os pesos do modelo.

2. Metodologia: O Framework MASCing

MASCing (Configuração de Direcionamento de Ativação de MoE) é um framework de três fases, livre de treinamento, que intervém no nível da porta de roteamento para direcionar o comportamento do modelo. Ele evita a modificação completa dos pesos do modelo.

Fase 1: Modelagem Sequencial de Comportamento

• Modelo Surrogado: Em vez de otimizar sobre seleções discretas de top-$k$ de especialistas (que são não diferenciáveis), o MASCing treina um modelo surrogado LSTM leve sobre logits de roteamento contínuos e não normalizados.
• Entrada: O LSTM processa os logits de roteamento de todos os especialistas em todas as camadas para uma sequência de tokens.
• Objetivo: O LSTM aprende a mapear esses padrões de roteamento para um comportamento-alvo (por exemplo, "recusa" vs. "conformidade"). Ao usar logits contínuos, o modelo preserva informações granulares sobre especialistas que não são selecionados, mas ainda influenciam a distribuição de roteamento.
• Treinamento: O LSTM é treinado para classificar se uma sequência de logits leva a um comportamento específico (classificação binária).

Fase 2: Criação da Máscara de Direcionamento

• Identificação de Circuitos: Usando o LSTM treinado como um proxy diferenciável, o framework otimiza uma matriz de direcionamento ($S$) para identificar quais especialistas são responsáveis pelo comportamento-alvo.
• Otimização: A matriz é otimizada para minimizar uma função de perda composta consistindo de:
  1. Entropia Cruzada Binária (BCE): Para conduzir a previsão do surrogado em direção à classe-alvo.
  2. Regularização $L_1$: Para impor esparsidade, forçando pesos não importantes a zero.
• Escala Adaptativa: Para lidar com a variância entre camadas, os valores de direcionamento são escalados pelo desvio padrão dos logits não direcionados em cada camada.
• Poda: Um portão de magnitude simétrico (limiar $\tau$) é aplicado à matriz otimizada para criar uma máscara de direcionamento esparsa final. Esta máscara identifica especialistas específicos para aumentar (valores positivos) ou suprimir (valores negativos).

Fase 3: Aplicação da Máscara de Direcionamento

• Intervenção na Inferência: Durante a inferência, a máscara de direcionamento estática é aplicada diretamente aos logits de roteamento do modelo MoE alvo por meio de ganchos pré-forward.
• Mecanismo: A intervenção adiciona um viés escalado aos logits: $g'_{l,t} = g_{l,t} + \alpha(\sigma_l \cdot \hat{S}_l)$.
• Resultado: Isso desloca a distribuição de probabilidade do roteador, efetivamente substituindo a seleção top-$k$ para ativar ou desativar circuitos de especialistas específicos. O modelo mantém sua utilidade geral de linguagem porque a intervenção é esparsa e direcionada.

3. Contribuições Principais

1. Framework Inovador: Introdução do MASCing, o primeiro framework que permite reconfiguração flexível e bidirecional do comportamento de segurança MoE (tanto endurecimento quanto relaxamento) sem re-treinamento.
2. Análise de Logits Contínuos: Uma mudança metodológica da análise de seleções discretas de top-$k$ para a análise de logits de roteamento contínuos. Isso contorna o gargalo não diferenciável e captura informações de segurança latentes em especialistas não selecionados.
3. Descoberta de Circuitos Guiada por Surrogado: O uso de um LSTM surrogado para mapear dependências complexas de roteamento entre camadas para circuitos comportamentais específicos, permitindo a identificação de intervenções mínimas e de alto impacto em especialistas.
4. Flexibilidade Bidirecional: Capacidade demonstrada de tanto aumentar a segurança (defesa contra jailbreak) quanto relaxar restrições (conformidade de política específica de domínio) na mesma arquitetura de modelo.

4. Resultados Experimentais

O framework foi avaliado em sete modelos MoE de código aberto (incluindo DeepSeek-MoE, Mixtral, Qwen e GPT-OSS) em dois cenários contrastantes:

A. Defesa de Jailbreak Multi-turno

• Objetivo: Fortalecer defesas contra prompts adversariais que gradualmente direcionam o modelo para conteúdo prejudicial ao longo de várias interações.
• Desempenho:
  • Linha de Base: Taxa média de sucesso de defesa de 52,5%.
  • MASCing: Melhorou a taxa média de sucesso para 83,9%.
  • Desempenho Máximo: Até 89,2% (Qwen3-30B-A3B-Instruct-2507).
• Comparação: Superou significativamente o estado da arte SteerMoE (58,4% de média), que depende de seleção discreta de especialistas e ignora o contexto do histórico de conversação.

B. Geração de Conteúdo Adulto (Relaxamento de Política)

• Objetivo: Permitir que modelos gerem conteúdo adulto em contextos apropriados (simulando uma mudança de política), reduzindo "recusas excessivas".
• Desempenho:
  • Linha de Base: Taxa média de sucesso de geração de 52,6%.
  • MASCing: Melhorou a taxa média de sucesso para 82,0%.
  • Desempenho Máximo: Até 93,0% (Phi-3.5-MoE-Instruct).

C. Preservação de Utilidade

• Benchmark: Avaliado em MMLU (conhecimento factual) e GSM8K (raciocínio matemático).
• Resultado: O MASCing causou um declínio médio negligenciável na utilidade (~4,1%). Os modelos mantiveram sua capacidade de realizar raciocínio complexo e tarefas gerais, provando que o direcionamento não causa esquecimento catastrófico.

D. Eficiência

• Treinamento: O surrogado LSTM pode ser treinado em ~5 minutos em uma única GPU NVIDIA H100.
• Inferência: Adiciona latência negligenciável (adição elemento a elemento aos logits) e não requer memória adicional para os pesos do modelo.

5. Significado e Impacto

• Praticidade para Implantação: O MASCing oferece uma solução "plug-and-play" para configuração de segurança. Desenvolvedores podem adaptar rapidamente modelos a novas políticas ou ameaças emergentes sem o custo e o tempo de um re-treinamento completo.
• Insight Mecanístico: O artigo demonstra que a segurança em modelos MoE não é monolítica, mas distribuída através de circuitos de especialistas específicos que podem ser isolados e manipulados via logits de roteamento.
• Controle Bidirecional: Desafia a visão binária de segurança (seguro vs. inseguro) ao mostrar que as restrições de segurança podem ser ajustadas dinamicamente — apertadas para segurança ou relaxadas para casos de uso específicos — mantendo a integridade do modelo.
• Superioridade sobre Métodos Discretos: Os resultados confirmam que alavancar informações de roteamento contínuas (logits) é superior à análise discreta de top-$k$ para entender e controlar comportamentos complexos e multi-turno em arquiteturas esparsas.

Em conclusão, o MASCing estabelece um novo paradigma para segurança configurável em modelos MoE, fornecendo um mecanismo leve, eficiente e altamente eficaz para gerenciar o trade-off entre utilidade do modelo e alinhamento de segurança em ambientes de implantação dinâmicos.