Resumo Técnico: Além dos Pesos de Roteamento: Interpretação Fiel ao Nível de Resposta de Modelos de Recompensa de Mistura de Especialistas via Contraste de Contribuição

1. Declaração do Problema

Modelos de recompensa são centrais para o Aprendizado por Reforço com Feedback Humano (RLHF) e para o alinhamento de Grandes Modelos de Linguagem (LLMs) com as preferências humanas. No entanto, compreender as propriedades específicas que impulsionam suas previsões permanece desafiador. Embora modelos de recompensa recentes de Mistura de Especialistas (MoE) esparsos tentem melhorar a interpretabilidade roteando prompts para especialistas especializados, os métodos de interpretação atuais são insuficientes.

Abordagens existentes, como as de Wang et al. (2026), caracterizam especialistas usando exemplos com os maiores pesos de roteamento. Este método revela quais prompts um especialista recebe (domínios de nível de prompt), mas falha em explicar como o especialista julga as respostas. Consequentemente, essas interpretações fornecem uma conta apenas parcial do comportamento do especialista, capturando o contexto da atribuição de entrada em vez das dimensões de preferência ao nível da resposta que explicam diretamente as decisões do modelo. Além disso, métodos alternativos como o ranking baseado em pontuação ignoram os pesos de roteamento, potencialmente destacando exemplos onde um especialista possui alta variância de pontuação, mas baixa influência geral na recompensa final.

2. Metodologia: Contraste de Contribuição (CoCo)

Os autores propõem o Contraste de Contribuição (CoCo), um método de interpretação ao nível de resposta projetado para caracterizar fielmente os papéis dos especialistas em modelos de recompensa MoE.

Conceito Central

O CoCo vai além dos pesos de roteamento ou das diferenças de pontuação bruta isoladas. Em vez disso, utiliza o contraste de contribuição como o sinal de interpretação primário. Para um par de preferência dado $(x, y_w, y_l)$ e um especialista $k$, o contraste de contribuição assinado é definido como:
$$\Delta c_k(x, y_w, y_l) = \pi_{\phi,k}(x) [r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$$
onde $\pi_{\phi,k}(x)$ é o peso de roteamento e $[r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$ é a diferença de pontuação entre as respostas escolhida e rejeitada. A magnitude $c_k$ mede o quão fortemente o especialista distingue as respostas, enquanto o sinal indica qual resposta o especialista apoia.

Extração de Interpretação

Para interpretar um especialista, o CoCo seleciona os 10 exemplos de validação com as maiores magnitudes de contraste de contribuição. Um LLM é então instigado a resumir os padrões contrastivos compartilhados nesses pares, identificando se o padrão se relaciona a um contexto compartilhado, a uma dimensão de preferência consistente, ou ambos.

Regularização

Para incentivar padrões de contribuição esparsos e diversos, os autores adaptam regularizadores de interpretabilidade existentes (esparsidade local, equilíbrio global e diversidade de especialistas) de Wang et al. (2026). Em vez de aplicá-los aos pesos de roteamento, eles os aplicam aos perfis de contraste de contribuição dos pares de preferência. Esta adaptação leve alinha as restrições de interpretabilidade com o sinal de contribuição contrastiva sem alterar a arquitetura MoE subjacente.

Baselines (Linhas de Base)

O artigo compara o CoCo contra:

1. Baseado em roteador (Router-based): Classifica exemplos pelo peso de roteamento (captura domínios de nível de prompt).
2. Baseado em pontuação (Score-based): Classifica exemplos pela diferença absoluta de pontuação do especialista (captura dimensões de nível de resposta, mas ignora a influência do roteamento).
3. Baseado em SAE: Métodos como SARM e WIMHF que utilizam Autoencoders Esparsos para extrair características.

3. Principais Contribuições

• Novo Sinal de Interpretação: O artigo introduz o contraste de contribuição como um sinal que captura conjuntamente o comportamento de roteamento e o comportamento de preferência, abordando a lacuna onde os pesos de roteamento sozinhos falham em explicar decisões ao nível da resposta.
• Caracterização ao Nível de Resposta: Diferente dos métodos baseados em roteadores que identificam domínios de prompt, o CoCo identifica dimensões de preferência ao nível da resposta (ex: "recomendações concisas em vez de listas extensas") que são fiéis ao processo real de tomada de decisão do modelo.
• Estudo Sistemático: Este trabalho apresenta o primeiro estudo sistemático de métodos de interpretação especificamente para modelos de recompensa MoE, comparando alternativas baseadas em roteador, pontuação e SAE.
• Adaptação de Regularização: Os autores demonstram como adaptar regularizadores de esparsidade e diversidade para operar em contrastes de contribuição em vez de pesos de roteamento, aumentando a distintividade dos papéis dos especialistas.

4. Resultados Experimentais

Os autores avaliaram o CoCo em dois conjuntos de dados: 700K (Dong et al., 2024) e Reddit (Ethayarajh et al., 2022), utilizando um modelo de recompensa MoE de 3B parâmetros.

Avaliação Automática

O CoCo superou os baselines existentes (SARM, WIMHF, SMoE) e sinais alternativos (baseado em roteador, baseado em pontuação) em múltiplas métricas:

• Qualidade de Interpretação: O CoCo alcançou a maior Fidelidade (correlação entre o sinal e os julgamentos do LLM sobre se os exemplos seguem a interpretação). Embora o SMoE tenha alcançado menor Redundância no conjunto de dados 700K, o CoCo demonstrou forte interpretabilidade geral, equilibrando distinção com alta fidelidade e consistência.
• Fidelidade de Decisão: O CoCo mostrou superior Concordância Especialista-Modelo (proporção de top exemplos onde o especialista e o modelo completo concordam) e Taxa de Inversão de Remoção (proporção onde a remoção do especialista altera a previsão do modelo).
• Especialização de Especialista: Os especialistas do CoCo demonstraram maior Precisão do Especialista e Vantagem Relativa do Especialista em seus exemplos de classificação superior em comparação com outros métodos.

Avaliação Humana

Cinco anotadores avaliaram os 10 principais exemplos para cinco especialistas por método no conjunto de dados Reddit. O CoCo recebeu as classificações mais altas tanto para Coerência de Padrão quanto para Qualidade de Descrição, indicando que suas interpretações eram mais coerentes e descreviam melhor o papel do especialista do que os métodos baseados em roteador ou SAE.

Estudos de Ablação

Comparações dentro do mesmo modelo MoE treinado com diferentes objetivos de regularização confirmaram que o sinal de Contraste de Contribuição é o mais eficaz para selecionar conjuntos de exemplos informativos. Mesmo quando aplicado a modelos treinados com objetivos baseados em roteamento ou pontuação, as interpretações do CoCo permaneceram mais fiéis e especializadas do que as interpretações derivadas dos outros sinais.

5. Significância e Alegações

O artigo afirma que o CoCo fornece uma interpretação mais coerente, fiel e especializada dos especialistas do modelo de recompensa MoE do que as alternativas existentes. Ao capturar conjuntamente o comportamento de roteamento e de preferência, o CoCo oferece uma base mais informativa para entender as decisões do modelo do que os pesos de roteamento ou as pontuações dos especialistas isoladamente.

Os autores mantêm uma postura modesta em relação às suas alegações:

• Eles reconhecem que o CoCo depende da estrutura aprendida pelo modelo MoE subjacente e não pode garantir que os especialistas aprendidos correspondam a dimensões de preferência "limpas" ou semanticamente significativas.
• Eles observam que, como uma abordagem centrada em dados, o CoCo pode falhar em recuperar padrões ausentes ou fracamente representados nos dados de treinamento.
• Eles esclarecem que suas métricas (fidelidade, fidelidade, etc.) servem como evidência de coerência comportamental e alinhamento de decisão, não como prova de desentrelaçamento de verdade fundamental (ground-truth disentanglement).
• Eticamente, eles posicionam o CoCo como uma ferramenta de auditoria em vez de um validador de valores humanos desejáveis, observando que as interpretações podem refletir vieses presentes nos conjuntos de dados subjacentes.

Em conclusão, o artigo estabelece o contraste de contribuição como um sinal superior para interpretar modelos de recompensa MoE, oferecendo um caminho para insights mais transparentes e acionáveis sobre como esses modelos se alinham com as preferências humanas.