Resumo Técnico: Modelos de Recompensa de Mistura de Especialistas Esparsos para Modelagem de Preferência Personalizada

Declaração do Problema

O Aprendizado por Reforço com Feedback Humano (RLHF) depende de modelos de recompensa para alinhar Grandes Modelos de Linguagem (LLMs) com os valores humanos. No entanto, as abordagens existentes tipicamente treinam uma única função de recompensa global, assumindo implicitamente uma noção unificada de valores humanos. Essa suposição falha em capturar o pluralismo e a heterogeneidade inerentes às preferências humanas, limitando a eficácia do alinhamento personalizado.

Tentativas anteriores de modelar preferências heterogêneas exploraram a incorporação de sinais de supervisão adicionais, como anotações de atributos multifacetados ou rótulos específicos de usuários. Embora eficazes, esses métodos incorrem em altos custos de anotação e dependem de dimensões de preferência pré-definidas, limitando a escalabilidade e a flexibilidade. Abordagens baseadas em dados alternativas tentam aprender múltiplos componentes de preferência diretamente de dados de preferência binários sem anotações extras. No entanto, sem um design explícito para interpretabilidade, esses componentes aprendidos frequentemente capturam padrões emaranhados e incoerentes, tornando-os difíceis de auditar e menos eficazes para uma personalização transparente.

Metodologia

Os autores propõem um Modelo de Recompensa de Mistura de Especialistas Esparsos (Sparse MoE) treinado exclusivamente em dados de preferência binária padrão. A arquitetura consiste em $K$ funções de recompensa especialistas $\{r_{\theta_k}\}$ e um roteador $\pi_\phi(x)$ que produz uma distribuição softmax sobre os especialistas com base no prompt de entrada $x$. A recompensa final é uma média ponderada das pontuações dos especialistas.

Para garantir que o modelo aprenda especialistas interpretáveis e especializados, o objetivo de treinamento inclui a perda de preferência Bradley-Terry padrão ($L_{RM}$) aumentada por três termos de regularização específicos:

1. Esparsidade Local ($L_{ls}$): Minimiza a entropia dos pesos de roteamento para entradas individuais. Isso incentiva o roteador a selecionar um especialista (ou poucos) para qualquer dado prompt, evitando a distribuição uniforme.
2. Equilíbrio Global ($L_{gb}$): Maximiza a entropia da distribuição média de roteamento através de um lote (batch). Isso evita o "colapso do modelo", onde o roteador depende de um único especialista para todas as entradas, garantindo a utilização equilibrada do conjunto de especialistas.
3. Diversidade de Especialistas ($L_{div}$): Penaliza a correlação de Pearson pareada entre as diferenças de recompensa ($\Delta_k = r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)$) de diferentes especialistas. Isso força os especialistas a capturar sinais de preferência distintos e desentranhados.

A função de perda total é definida como:
$$L = L_{RM} + \lambda_{ls}L_{ls} + \lambda_{gb}L_{gb} + \lambda_{div}L_{div}$$

Interpretação e Adaptação:

• Interpretação: Os especialistas são interpretados resumindo seus exemplos de maior ativação usando um LLM, gerando descrições em linguagem natural dos domínios ou tarefas específicas em que cada especialista se especializa.
• Personalização: No tempo de teste, os especialistas são congelados e o roteador é ajustado (fine-tuned) usando um pequeno conjunto de exemplos de adaptação (ex: 50 exemplos) para alinhar-se com as preferências individuais. As mudanças nos pesos dos especialistas pós-adaptação servem como uma lente qualitativa para analisar como o modelo se adapta.

Principais Contribuições

1. Arquitetura: Introdução de um modelo de recompensa Sparse MoE que aprende especialistas desentranhados e especializados a partir de dados de preferência binária, sem exigir anotações de atributos adicionais ou rótulos de usuário.
2. Mecanismo de Interpretabilidade: Demonstração de que a imposição de esparsidade e diversidade durante o treinamento leva a padrões de roteamento que se alinham com estruturas semânticas interpretáveis pelo ser humano (ex: tópicos específicos, tipos de tarefas ou domínios).
3. Eficácia da Personalização: Demonstração de que esses especialistas desentranhados servem como blocos de construção eficazes para a personalização em tempo de teste, permitindo uma adaptação rápida às preferências individuais com dados mínimos.
4. Capacidade Diagnóstica: Estabelecimento de que as mudanças nos pesos dos especialistas pós-adaptação fornecem uma visão transparente do comportamento de adaptação do modelo, vinculando ativações de especialistas específicos a atributos de preferência alvo.

Resultados Experimentais

Os autores avaliaram o método em configurações controladas e do mundo real:

• Experimentos Controlados (Recuperação de Categoria): No conjunto de dados Stanford Human Preferences (SHP), onde as categorias latentes (Acadêmico, Profissional, Culinária, Ficção) eram conhecidas, o Sparse MoE recuperou com sucesso todas as quatro categorias. Alcançou 85,60% de Pureza de Especialista (comparado a ~50% para os baselines) e 5,77% de Especialização de Especialista, superando significativamente o Vanilla MoE e o MiCRo na aprendizagem de padrões de roteamento coerentes.
• Direcionamento de Atributos (Attribute Steering): No conjunto de dados Reasonable Preference Reversal (RPR), os autores demonstraram que manipular os pesos de roteamento poderia direcionar efetivamente o comportamento do modelo para atributos específicos (ex: "Criatividade" vs. "Rigor Científico"). O Sparse MoE alcançou uma taxa de inversão de 43,83%, superando o baseline mais forte em 4,52%.
• Interpretabilidade do Mundo Real: No dataset preference-700K, o Sparse MoE alcançou a maior Fidelidade de Descrição (0,38) e Especialização de Especialista (15,13). A avaliação humana confirmou que os padrões de roteamento do Sparse MoE foram significativamente mais coerentes do que os dos baselines.
• Desempenho de Personalização: Na personalização em tempo de teste no RPR, o Sparse MoE melhorou a precisão geral em 25,81 pontos com apenas 50 exemplos de adaptação, superando substancialmente todos os baselines (que mostraram melhorias de menos de 10 pontos). Ganhos semelhantes foram observados na adaptação ao nível de usuário no dataset PersonalLLM.

Significância e Alegações

O artigo afirma que os modelos de recompensa Sparse MoE oferecem uma solução escalável para a modelagem de preferência personalizada que não depende de anotações pré-definidas e custosas. Ao aprender especialistas interpretáveis e especializados diretamente de dados binários, a abordagem permite:

• Personalização Transparente: A capacidade de adaptar LLMs às preferências individuais mantendo uma compreensão clara de como o modelo se adapta (via mudanças nos pesos dos especialistas).
• Representação Desentranhada: A recuperação de estruturas semânticas latentes que de outra forma seriam obscurecidas por modelos de recompensa globais.
• Eficiência: Personalização eficaz com pouquíssimos exemplos de adaptação (tão pouco quanto 5), tornando-a prática para implantação no mundo real onde os dados do usuário são escassos.

Os autores reconhecem limitações, observando que o método introduz complexidade de ajuste de hiperparâmetros e uma pequena queda na precisão da modelagem de preferência universal. Eles também destacam riscos éticos, como o potencial para os modelos serem adaptados para reforçar comportamentos prejudiciais ou contornar restrições de segurança, recomendando supervisão ética cuidadosa para implantação no mundo real.