Does the Same Token Mean the Same State? MoE Routing as Signal for Reasoning Control

ou <|channel|>final<|message|>).
* Âncoras de delimitador: Delimitadores fixos de abertura de resposta (ex: \boxed{ para matemática, cercas de código para código).
2. Leitura (Readout): Extrai os vetores de roteamento esparsos de MoE (IDs de especialistas selecionados e pesos pós-softmax) dentro de uma janela fixa $W$ após a âncora. A configuração de destaque utiliza delimiter@16 (uma janela de 16 tokens começando no delimitador).
3. Representação: Médias os vetores de roteamento sobre a janela para criar um vetor de rota por rollout $z_i$.
4. Seleção: Computa similaridades de Jaccard Ponderado (WJ) pareadas entre todos os vetores de rota. Calcula uma densidade de concordância local $q_i$ para cada rollout com base em seus $K$-vizinhos mais próximos (tipicamente $K=10$) e seleciona o rollout com a maior densidade (o centro da bacia de roteamento mais densa).

Escolhas de Design Chave

• Livre de String de Resposta: O seletor nunca analisa, normaliza, compara ou vota sobre a string de resposta final. A resposta é apenas lida após a seleção baseada em roteamento ser feita para avaliação.
• Adaptação Agêntica: Para tarefas agênticas (ex: SWE-bench) onde não existe uma string de resposta, o RAD utiliza uma âncora de fronteira (transição pensamento-para-ação) e uma impressão digital Jaccard binária de pares (camada, especialista) ativados, mantendo o mesmo princípio de seleção por densidade.
• Fusão (RAD+DC): O método pode ser combinado com os scores de confiança escalar do DeepConf (filtrando para os 50% superiores de rollouts de confiança antes de aplicar a densidade RAD) para lidar com casos onde caminhos corretos são raros.

3. Principais Descobertas e Análise

Insight Descritivo: Identidade do Token $\neq$ Estado do Roteador

O artigo demonstra que manter o ID do token emitido fixo não fixa o estado do roteador interno.

• Experimento I: Em um ID de token fixo (ex: o token Qwen EOS ou um marcador de fronteira específico), os especialistas gerando esse token ainda separam a identidade do problema e os modos de esforço de raciocínio (Baixo/Médio/Alto).
• Implicação: O estado de roteamento contém informações "residuais" sobre o contexto upstream e a família de tarefas que o ID do token de superfície sozinho não codifica.

Insight Operacional: Vizinhanças de Roteamento Alinham-se com Bacias de Resposta

• Experimento II: Vizinhanças de roteamento (clusters de vetores de roteamento similares) alinham-se com "bacias de resposta" (grupos de rollouts que compartilham a mesma resposta normalizada).
• Sinal Mais Forte: Este alinhamento é mais forte em janelas de delimitador (especificamente delimiter@16), onde o estado de roteamento reflete o compromisso do modelo com uma bacia de resposta específica.
• Correlação: Existe uma forte correlação entre a pureza da vizinhança de roteamento (quantos vizinhos compartilham a mesma resposta) e a precisão do seletor. Uma bacia de roteamento densa frequentemente aproxima uma bacia de resposta densa.

4. Resultados Experimentais

Os autores avaliaram o RAD em 10 configurações de sparse-MoE (gpt-oss 20B/120B, Qwen3-30B, Qwen3-Next-80B) e 6 conjuntos de dados (Matemática: AIME, BRUMO, HMMT; Ciência: GPQA; Código: LiveCodeBench; Agentes: SWE-bench Verified).

Desempenho em Tarefas Bem Definidas (Matemática & GPQA)

• O RAD está em pé de igualdade com a votação de Maioria textual (autoconsistência), onde a votação de string é bem definida.
• Resultados: Média ponderada por problema agrupada: Maioria 73,6% vs. RAD 73,9% / RAD+DC 74,2%.
• A diferença é pequena e estatisticamente não significativa em pools naturais, mas o RAD alcança isso sem ler nenhuma string de resposta.

Desempenho em Tarefas Mal Definidas (Código & Agentes)

• Geração de Código (LiveCodeBench): A votação de string exata é degenerada (outputs são quase únicos). O RAD fornece uma seleção direta de pass@1, superando a linha de base aleatória (Avg@64) por margens significativas (ex: +9,7 pp para gpt-oss-20B).
• Seleção Agêntica (SWE-bench Verified): Em uma tarefa de seleção de melhor-de-16 patches onde os patches não possuem uma string de resposta para votar, o RAD melhora a precisão da seleção sobre o aleatório em +4,7 a +5,0 pontos percentuais no subconjunto decidível.

Robustez

• Kernel: Jaccard Binário e Jaccard Ponderado são estatisticamente indistinguíveis em desempenho.
• Profundidade: O sinal é redundante entre as camadas; camadas rasas sozinhas capturam a maior parte do sinal.
• Acesso: Mesmo leituras estritas de "apenas marcador" (lendo apenas o token delimitador, não os 16 tokens seguintes) recuperam a maior parte do ganho de desempenho, confirmando que o sinal existe antes da geração do conteúdo da resposta.

5. Alegações e Significância

O artigo posiciona o RAD não como um verificador (ele não prevê a verdade), mas como um sinal de concordância.

• Status Epistêmico: Assim como a votação de Maioria, o RAD estima o "compromisso compartilhado". Uma bacia de roteamento densa ainda pode estar errada se o modelo convergir para um erro compartilhado. No entanto, ele fornece um mecanismo para selecionar a bacia mais populosa sem depender de texto de superfície.
• Valor de Interface: A principal contribuição é uma interface unificada e livre de string de resposta para seleção de múltiplos rollouts. Ele funciona onde a votação de string falha (código, agentes) e performa competitivamente onde a votação de string funciona (matemática, ciência).
• Escalabilidade: O método escala com a contagem de rollouts (melhorando conforme $N$ aumenta) e é computacionalmente eficiente, adicionando apenas ~7% de overhead durante a geração para captura de roteamento e executando a seleção em tempo real em um único thread de CPU.

Conclusão: O artigo estabelece que os estados de roteamento de MoE contêm um sinal de concordância "caixa-branca" que é robusto a variações de identidade de token e alinha-se com bacias de resposta. O RAD operacionaliza isso para permitir uma seleção confiável de múltiplos rollouts através de diversas modalidades sem a fragilidade da agregação baseada em texto.