💬 NLP

RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models

O artigo apresenta o RARE, um framework agnóstico ao roteador que desacopla o direcionamento de representação do roteamento de especialistas em modelos de Mixture-of-Experts ao projetar perturbações comportamentais no espaço nulo do roteador, aumentando significativamente a eficácia do direcionamento para nocividade, veracidade e edição factual, enquanto preserva a utilidade do modelo.

Autores originais: Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

Publicado 2026-08-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os grandes modelos de linguagem são os motores por trás da inteligência artificial moderna, capazes de escrever histórias, resolver problemas e responder a perguntas. Para tornar esses sistemas massivos eficientes, muitos são agora construídos usando um design chamado mistura de especialistas. Imagine um grande escritório onde um gerente recebe cada solicitação recebida e decide qual especialista específico deve lidar com ela. Nesses modelos, o "gerente" é um mecanismo de roteamento que observa cada palavra de uma frase e a envia para um pequeno grupo especializado de processadores internos, ou "especialistas", em vez de usar todo o cérebro do computador para cada tarefa individual. Isso permite que o modelo seja incrivelmente grande e inteligente, permanecendo rápido e econômico para operar.

Pesquisadores há muito buscam maneiras de guiar ou "direcionar" esses modelos para comportamentos específicos, como torná-los mais verdadeiros ou menos propensos a gerar conteúdo prejudicial. Uma técnica popular envolve dar um "empurrão" nos estados matemáticos internos do modelo durante o processo de pensamento, um método que funciona bem para modelos mais antigos e simples, onde cada parte do cérebro está sempre ativa. No entanto, quando cientistas tentaram aplicar essa mesma técnica de empurrão aos novos modelos de mistura de especialistas, ela frequentemente falhava. O problema era que o empurrão destinado a mudar o comportamento também confundia acidentalmente o gerente, fazendo com que ele enviasse a solicitação para os especialistas errados. Esse descompasso interrompia o fluxo natural do modelo, levando a resultados ruins.

Uma equipe de pesquisadores resolveu agora esse enigma ao desenvolver um novo framework chamado RARE. O trabalho deles revela um insight crucial: o gerente nesses modelos está preocupado principalmente com o tópico da solicitação, não com o comportamento específico que se espera que o modelo mostre. Quer um usuário faça uma pergunta sobre programação ou peça ao modelo para recusar uma solicitação prejudicial, o gerente tende a enviar a solicitação para o mesmo conjunto de especialistas se o tópico permanecer o mesmo. Os pesquisadores descobriram que os métodos antigos falhavam porque tentavam mudar o comportamento alterando o caminho que os dados percorriam, o que confundia o gerente. Em vez disso, sua nova abordagem muda o comportamento sem mudar o caminho.

O framework RARE funciona filtrando cuidadosamente o "empurrão" antes que ele seja aplicado. Ele remove qualquer parte da instrução que faria o gerente mudar de ideia sobre quais especialistas usar. Ao fazer isso, o modelo continua a enviar a solicitação para os especialistas corretos, mas esses especialistas processam a informação de uma forma que produz o comportamento desejado. Os pesquisadores testaram este método em seis modelos diferentes e em três tarefas distintas: tornar os modelos menos prejudiciais, torná-los mais verdadeiros e atualizar fatos específicos que eles conhecem.

Os resultados foram impressionantes. Ao tentar impedir que os modelos seguissem instruções prejudiciais, o novo método teve sucesso em 53,3% dos casos, uma melhoria significativa em relação às tentativas anteriores, mantendo ainda os modelos 67,8% precisos em testes de conhecimento geral. Em testes de veracidade, o método melhorou a capacidade dos modelos de dar respostas corretas de 41,0% para 58,6%. Talvez de forma mais dramática, quando questionados para atualizar um fato específico, a taxa de sucesso saltou de 16,8% para 96,3%. Esses números sugerem que, ao respeitar o sistema de roteamento interno do modelo, os pesquisadores podem guiar efetivamente seu comportamento sem quebrar sua inteligência subjacente.

O estudo também comparou cinco maneiras diferentes de calcular o empurrão necessário para descobrir qual funcionava melhor. Eles descobriram que um método baseado na análise da forma e da dispersão dos dados, em vez de apenas sua direção média, forneceu os resultados mais consistentes e poderosos em todos os diferentes modelos. Essa descoberta sugere que a geometria dos dados internos importa tanto quanto a direção da mudança.

Em última análise, esta pesquisa demonstra que controlar o comportamento de modelos de IA modernos e complexos requer um equilíbrio delicado. Você não pode simplesmente forçar uma mudança; você deve trabalhar dentro da arquitetura existente do modelo. Ao preservar o caminho natural que o modelo escolhe para um determinado tópico, é possível direcionar sua saída para segurança, verdade ou precisão. Essa abordagem oferece uma maneira confiável de adaptar essas ferramentas poderosas para necessidades específicas sem comprometer suas capacidades gerais, proporcionando um caminho mais claro para tornar a inteligência artificial mais alinhada com os valores humanos.

Resumo Técnico: RARE – Desacoplando o Direcionamento de Representação do Roteamento de Especialistas em Modelos MoE

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão adotando cada vez mais arquiteturas de Mistura de Especialistas (Mixture-of-Experts ou MoE) para escalar a capacidade mantendo a eficiência da inferência. No entanto, aplicar a Engenharia de Representação (Representation Engineering) — uma técnica que controla o comportamento do modelo modificando estados ocultos intermediários — a modelos MoE introduz um desalinhamento estrutural crítico.

Em modelos densos, vetores de direcionamento são adicionados aos estados ocultos para alterar o comportamento. Em modelos MoE, o roteador determina quais especialistas processam um token com base nesses estados ocultos. A aplicação direta de perturbações de direcionamento altera os logits do roteador, fazendo com que os tokens sejam roteados para conjuntos de especialistas diferentes do que seriam em uma passagem de inferência limpa. Esse "desvio de roteamento" (routing drift) interrompe o caminho de computação condicional nativo do modelo, levando a uma degradação significativa na eficácia do direcionamento. Embora métodos recentes específicos para MoE tentem controlar o comportamento manipulando diretamente os logits do roteador ou a ativação do especialista, essas abordagens substituem o caminho de computação condicionado à entrada do modelo, o que pode degradar a relevância da resposta e as capacidades gerais.

O desafio central é como coordenar o controle ao nível da representação com o mecanismo de roteamento condicional sem interromper a alocação nativa de especialistas.

Metodologia: RARE

Os autores introduzem o RARE (Router-Agnostic Representation Engineering), um framework projetado para direcionar modelos MoE enquanto preserva seus padrões de roteamento nativos. A metodologia consiste em três componentes principais:

1. Motivação Empírica

Através de sondagens controladas, os autores estabeleceram que o roteamento MoE é sensível primariamente ao conteúdo semântico da consulta de entrada, e não ao comportamento da resposta específico (ex: recusa vs. conformidade) ou à intenção de segurança.

Descoberta: Sob um tópico de consulta fixo, alterar o comportamento da resposta (ex: de complacente para recusante) resulta em mudanças mínimas na seleção de especialistas do roteador.
Implicação: O direcionamento eficaz deve modificar as representações ocultas processadas pelos especialistas naturalmente selecionados sem alterar a decisão do roteador.

2. Projeção Agnóstica ao Roteador

O RARE desacopla o direcionamento comportamental do roteamento de especialistas ao projetar as perturbações no espaço nulo da matriz do roteador.

Projeção no Espaço Nulo: Para uma matriz de peso do roteador $R_\ell$ na camada $\ell$ , o roteador computa os logits $z_\ell = R_\ell h_\ell$ . Para garantir que os logits do roteador permaneçam inalterados ( $R_\ell \delta h_\ell = 0$ ), a perturbação $\delta h_\ell$ deve residir no espaço nulo de $R_\ell$ .
Mecanismo: Dado um vetor de perturbação bruto $u_\ell$ (derivado de estados ocultos contrastivos), o RARE o projeta usando um projetor $\Pi^\perp_\ell = I - Q_\ell Q_\ell^\top$ , onde $Q_\ell$ é uma base ortonormal para o espaço linha de $R_\ell$ . A perturbação resultante é invisível para o roteador, preservando a seleção original de especialistas.

3. Correção de Roteamento Downstream

Como as perturbações se propagam através de blocos transformer não lineares, a invariância local na camada de injeção não garante a invariância em roteadores subsequentes.

Correção em Tempo de Execução: O RARE aplica uma correção em camadas "protegidas" selecionadas subsequentes. Ele compara a entrada editada atual $h'_\ell$ contra uma referência de entrada limpa $h^0_\ell$ e remove qualquer desvio visível ao roteador, garantindo que os logits do roteador nessas camadas permaneçam consistentes com a passagem limpa.

Estimadores de Perturbação

O framework é agnóstico à forma como a perturbação bruta é construída. Os autores avaliaram cinco estimadores:

MeanDiff: Translação de primeira ordem entre centros de classe.
Probe: Normal de fronteira linear.
LowRank: Projeção em um subespaço principal.
LDA: Análise Discriminante Linear considerando a covariância intra-classe.
AffineGaussian: Alinhamento de segunda ordem usando princípios de branqueamento-recoloração (whitening-recoloring).

Principais Contribuições

Insight Empírico: O artigo fornece evidências de que o roteamento MoE acompanha a semântica da consulta mais de perto do que os comportamentos de resposta, motivando a preservação do roteamento nativo como um pré-requisito para um direcionamento eficaz.
Framework RARE: Um novo método de direcionamento agnóstico ao roteador que projeta perturbações comportamentais em subespaços invisíveis ao roteador e corrige o desvio de roteamento propagado, permitindo a edição de representação sem interromper a alocação de especialistas.
Avaliação Abrangente: Um estudo sistemático de cinco estimadores de perturbação em seis modelos MoE heterogêneos de pesos abertos (DeepSeek, Mixtral, Phi-3.5, Phi-mini, Qwen3, GPT-oss) e três tarefas de controle comportamental.

Resultados Experimentais

A avaliação cobriu três cenários: Direcionamento de Maleficidade (jailbreaking), Direcionamento de Veracidade e Edição Factual.

Direcionamento de Maleficidade: O RARE (usando o estimador AffineGaussian) alcançou uma Taxa de Sucesso de Ataque (ASR) média de 53,3% enquanto reteve 67,8% de precisão no MMLU. Isso representa um trade-off eficácia-utilidade significativamente mais forte em comparação com baselines como RepE (18,7% ASR) e métodos específicos de MoE como SteerMoE (46,3% ASR, mas com menor retenção de utilidade).
Direcionamento de Veracidade: O RARE melhorou a precisão média do TruthfulQA MC1 de uma linha de base de 41,0% para 58,6%.
Edição Factual: O RARE aumentou a eficácia do CounterFact de 16,8% para 96,3%.
Desempenho dos Estimadores: O AffineGaussian apresentou consistentemente o desempenho de direcionamento mais forte em todos os modelos e tarefas. O LDA ofereceu um melhor equilíbrio ao considerar a localidade (preservando o conhecimento vizinho).
Ablação: Remover o pipeline de projeção agnóstica ao roteador reduziu o ASR médio de 53,3% para 14,6%, confirmando que preservar o roteamento é crítico para o desempenho.

Significância e Alegações

O artigo afirma que a consistência de roteamento é uma consideração arquitetônica fundamental para adaptar a engenharia de representação a modelos MoE. Ao desacoplar o controle comportamental do roteamento de especialistas, o RARE demonstra que é possível modificar representações internas para alterar o comportamento do modelo enquanto mantém seu caminho de computação nativo e capacidades gerais.

Os autores posicionam o RARE não como um método para sobrepor a segurança ou a lógica do modelo, mas como um mecanismo leve e eficiente para direcionar o comportamento que respeita a arquitetura MoE subjacente. Os resultados sugerem que o direcionamento futuro de modelos MoE deve levar em conta a sensibilidade do roteador ao conteúdo semântico para evitar os modos de falha causados pelo desvio de roteamento.