Resumo Técnico: LoMC para Supressão de Recusa em Modelos de Fundação com Roteamento

Formulação do Problema

Este artigo aborda o desafio da supressão de recusa pós-treinamento controlada em modelos de fundação de Mistura de Especialistas (MoE) e híbridos-MoE com roteamento. O objetivo é aumentar a Taxa de Conformidade Alvo (TCR) — definida como o complemento da taxa de recusa em prompts prejudiciais — enquanto preserva a Média de Capacidade Geral (GCA) em entradas benignas.

O problema é particularmente agudo em arquiteturas roteadas onde as entradas ativam apenas um subconjunto de especialistas. As abordagens existentes enfrentam um compromisso (trade-off):

1. Edições amplas baseadas em direção (ex: ablação de vetor único) podem perturbar a computação de propósito geral em todo o modelo, degradando a GCA.
2. Seleção de suporte de edição isolada (selecionar especialistas específicos para editar) mantém a pegada da intervenção compacta, mas pode falhar em corrigir efetivamente representações de recusa heterogêneas devido à falta de sinais de correção ricos.

Os autores formulam isso como um problema de otimização que busca uma intervenção estruturalmente compacta $\Delta$ que maximize o ganho de TCR enquanto minimize o desvio benigno, sujeito a uma restrição na pegada da intervenção.

Metodologia: Correção Multidirecional Localizada (LoMC)

O artigo propõe o LoMC, um framework de "suporte-então-correção" que desacopla onde as atualizações ocorrem de como elas são aplicadas. O método opera em duas etapas distintas:

Estágio I: Seleção de Suporte de Edição

O LoMC primeiro identifica um conjunto compacto de locais (o "suporte de edição") onde as atualizações de peso são permitidas.

• Mecanismo: Ele pontua os especialistas roteados em cada camada pesquisada com base em seu alinhamento com a direção de recusa por camada ($r_\ell$), derivada das ativações residuais.
• Seleção: Um pool de candidatos de especialistas é retido (ex: o top 1/8), e um número fixo de especialistas com maior pontuação (ex: $E=6$) é selecionado por camada.
• Saída: Uma máscara de suporte fixa $S$ é gerada, especificando as tuplas exatas de camada, especialista e componente (ex: moe.down_proj, moe.gate_up_proj) elegíveis para edição. Esta etapa garante que a pegada da intervenção permaneça estruturalmente compacta.

Estágio II: Agregação de Direção de Múltiplos Protótipos

Uma vez que o suporte $S$ está fixo, o LoMC determina o sinal de correção para esses locais específicos.

• Extração de Protótipos: Para cada camada de suporte fixo, o método contrasta protótipos residuais prejudiciais (extraídos via Mapas Auto-Organizáveis a partir de prompts prejudiciais) contra o centroide residual benigno.
• Agregação: Em vez de aplicar múltiplos vetores de correção independentes, o LoMC agrega um pequeno conjunto de $K$ direções de protótipo (ex: $K=4$) em uma única direção de correção agregada por camada ($\tilde{r}_\ell$). Esta agregação equilibra o alinhamento com a direção de recusa base e a diversidade entre os protótipos.
• Aplicação: A atualização final é uma correção de posto-um (rank-one) por camada aplicada apenas através da máscara de suporte $S$. Matematicamente, para uma projeção editável $W$, a atualização é $(I - \eta P)W$ se o componente estiver em $S$, e $W$ caso contrário, onde $P = \tilde{r}_\ell \tilde{r}_\ell^\top$.

Este design garante que a capacidade de correção seja aprimorada via agregação multidirecional sem expandir a pegada da intervenção além da seleção de suporte inicial.

Principais Contribuições

1. Formulação de Correção com Portão de Suporte (Support-Gated): O artigo reformula a supressão de recusa em modelos roteados como um problema de "portão de suporte", onde o suporte de edição atua como uma restrição de portão para todas as correções, em vez de tratar a seleção de suporte e a correção como etapas separadas e não coordenadas.
2. O Algoritmo LoMC: Introduz um método que agrega direções de correção de protótipos em uma atualização de posto-um aplicada estritamente através de uma máscara de suporte fixa. Isso melhora o sinal de correção sem introduzir operadores de atualização independentes ou expandir o conjunto de parâmetros editados.
3. Validação Empírica: Os autores avaliam o LoMC em quatro backbones roteados (Qwen3-VL, InternVL3.5, DeepSeek-VL2, Kimi-VL) e quatro benchmarks de segurança (AdvBench, StrongREJECT, JailbreakV-28K, VLSBench), cobrindo configurações tanto de texto quanto multimodais.

Resultados

• Conformidade Alvo (TCR): O LoMC alcança o maior TCR em todas as 16 configurações de modelo-benchmark. Os modelos originais alinhados tiveram média de 8,75% de TCR, enquanto o LoMC atingiu 96,33%. Comparado ao baseline mais forte em cada configuração, o LoMC melhorou o TCR em uma média de 12,76 pontos percentuais.
• Capacidade Geral (GCA): O LoMC mantém as capacidades gerais de forma eficaz. A GCA média aumentou ligeiramente de 63,77% (original) para 64,25% (LoMC), com médias por modelo permanecendo competitivas com os checkpoints originais.
• Comparação com Baselines:
  • Heretic-MoE (direção única ampla) alcançou menor TCR (73,54%) e mostrou instabilidade entre os backbones.
  • SOM Directions (múltiplos protótipos amplos) alcançou alto TCR, mas causou degradação significativa da GCA devido à falta de portão de suporte.
  • GateBreaker (seleção local de rota) mostrou capacidade de correção limitada sem a agregação multidirecional.
• Estudos de Ablação: Os resultados confirmam que nem o tamanho do suporte de edição ($E$) nem a contagem de protótipos ($K$) são botões de ajuste monótonos. O equilíbrio ideal foi encontrado em $E=6$ e $K=4$. A seleção de suporte aleatória com a mesma pegada resultou em menor GCA, provando que a seleção específica do suporte é crítica.

Significância e Alegações

O artigo afirma que o LoMC melhora com sucesso o compromisso entre a supressão de recusa e a preservação da capacidade geral sob uma pegada de intervenção compacta. Ao fatorar o problema em "suporte" (onde) e "correção" (como), o método permite sinais de correção mais ricos (via agregação de múltiplos protótipos) sem os efeitos colaterais destrutivos de edições amplas em todo o modelo.

Os autores posicionam o LoMC primariamente como uma ferramenta de análise de pós-treinamento controlada para entender a editabilidade localizada e as vulnerabilidades de roteamento específicas em LLMs e MLLMs do tipo MoE. Eles declaram explicitamente que:

• A TCR é uma métrica de resposta alvo de não-recusa e não deve ser interpretada como conformidade prejudicial verificada por juiz ou explorabilidade no mundo real.
• O trabalho não é uma recomendação para implantar modelos com supressão de recusa, mas sim um teste de estresse para modelos alinhados de segurança.
• As descobertas são limitadas aos backbones multimodais roteados e benchmarks específicos avaliados, sendo necessário trabalho futuro para arquiteturas densas e outros idiomas.

O estudo conclui que o acoplamento de suporte esparso contrastivo com correção residual de múltiplos protótipos é a chave para alcançar um equilíbrio favorável entre o alinhamento de segurança e a retenção de utilidade.