Reward Model Interpretability via Optimal and Pessimal Tokens

Resumo Técnico: Interpretabilidade de Modelos de Recompensa via Tokens Ótimos e Pessimais

Declaração do Problema
Os modelos de recompensa (RMs) são centrais para o alinhamento de Grandes Modelos de Linguagem (LLMs) com os valores humanos, servindo como o principal mecanismo para converter pares de prompt-resposta em recompensas escalares durante o Aprendizado por Reforço com Feedback Humano (RLHF). Apesar de seu papel crítico como o "encontro da borracha do valor humano com a estrada", os próprios modelos de recompensa permanecem subexplorados. Eles são frequentemente tratados como intermediários descartáveis, embora representem a codificação mais direta dos julgamentos de valor humano em sistemas de IA. A literatura atual carece de uma compreensão abrangente da consistência, fidelidade e propriedades internas desses modelos, particularmente no que diz respeito a como eles codificam valores complexos e dependentes de contexto, e se diferentes modelos treinados em objetivos semelhantes são intercambiáveis.

Metodologia
Os autores propõem uma abordagem inovadora para a interpretabilidade de modelos de recompensa através de uma análise exaustiva das respostas dos modelos em todo o seu espaço de vocabulário. O estudo foca em dez modelos de recompensa de código aberto recentes, de variadas contagens de parâmetros (2B a 27B) e arquiteturas, selecionados do leaderboard RewaRdBench.

A metodologia central envolve:

1. Busca Exaustiva de Token Único: Os pesquisadores construíram um prompt ("O que, em uma palavra, é a coisa mais incrível de todas?") e computaram a pontuação de recompensa escalar para cada possível token único no vocabulário de cada modelo (variando de aproximadamente 128.000 a 256.000 tokens). Isso permitiu um ranking completo de tokens "ótimos" (maior pontuação) e "pessimais" (menor pontuação).
2. Análise Quantitativa: O estudo analisou as propriedades estatísticas dessas distribuições de recompensa, incluindo assimetria (skewness), variância e correlações ordinais (Kendall's $\tau$) entre modelos. Eles empregaram Escalonamento Multidimensional (MDS) e Análise de Similaridade de Representação (RSA) para determinar como fatores como o modelo base, o desenvolvedor, a contagem de parâmetros e o ranking no leaderboard influenciam a similaridade do modelo.
3. Enquadramento e Análise de Sentimento: Os autores testaram os modelos com prompts de enquadramento positivo ("melhor coisa de todas") e enquadramento negativo ("pior coisa de todas") para investigar a sensibilidade à valência de sentimento e efeitos de enquadramento. Eles também controlaram a frequência das palavras para testar um "efeito de mera exposição".
4. Validação Externa: Para avaliar a fidelidade aos valores humanos, os autores compararam os rankings dos modelos contra um conjunto de dados de verdade fundamental independente, EloEveRything, que agrega preferências humanas sobre entidades derivadas da Wikipedia.
5. Otimização de Múltiplos Tokens: Usando a otimização de Gradiente de Coordenada Gananciosa (Greedy Coordinate Gradient - GCG), os autores estenderam a busca para sequências de múltiplos tokens (2–5 tokens) para identificar respostas ótimas e pessimais além dos tokens únicos.

Principais Contribuições

• Análise Exaustiva de Vocabulário: O artigo pioneira em um ranking completo das pontuações de recompensa para todos os tokens no vocabulário de dez modelos de recompensa diversos, revelando características granulares de sua codificação de valor.
• Assimetrias Sistemáticas: Os autores demonstram que as distribuições de recompensa exibem assimetria positiva e assimetrias sistemáticas de sensibilidade. Os modelos são mais sensíveis às distinções entre tokens de alto escore (sentimento positivo) do que aos de baixo escore.
• Efeitos de Enquadramento: O estudo estabelece que os modelos de recompensa espelham vieses cognitivos humanos relativos ao enquadramento. A sensibilidade ao sentimento do token muda com base no enquadramento do prompt; os modelos são mais sensíveis ao sentimento positivo em enquadramentos positivos e ao sentimento negativo em enquadramentos negativos.
• Viés de Frequência: A pesquisa identifica um "efeito de mera exposição", onde palavras mais frequentes na língua inglesa recebem pontuações de recompensa mais altas, sugerindo um vazamento do modelo base pré-treinado para o sinal de recompensa.
• Heterogeneidade e Viés: O trabalho revela heterogeneidade significativa entre modelos treinados em objetivos similares, invalidando a suposição de sua fungibilidade. Também revela a desvalorização sistemática de referências a grupos de identidade (ex: "pessoas negras", "judeus", "homossexuais") e conteúdo sexual, mesmo em resposta a prompts positivos.

Resultos

• Heterogeneidade de Modelos: Existe uma diversidade substancial nos rankings de tokens entre os modelos, mesmo aqueles do mesmo desenvolvedor ou com arquiteturas semelhantes. As correlações de Kendall's $\tau$ entre os modelos variam de 0,22 a 0,39 quando comparados aos rankings humanos, e 0,55 entre os próprios modelos.
• Influência do Modelo Base: A RSA indica que a escolha do modelo base e o ranking do modelo no RewaRdBench são os principais impulsionadores da similaridade nos rankings de tokens, sugerindo que os RMs herdam vieses idiossincráticos de suas fundações pré-treinadas.
• Sensibilidade ao Enquadramento: Quando instados com "a pior coisa de todas", os modelos tornaram-se mais sensíveis a tokens de sentimento negativo, revertendo o viés observado em prompts positivos. Isso sugere que os RMs não tratam "melhor" e "pior" como inversos simples, mas operam em um espaço de maior dimensionalidade.
• Desvalorização de Grupos de Identidade: Na comparação com o EloEveRything, os modelos de recompensa desvalorizaram sistematicamente conceitos relacionados à natureza, tecnologia e grupos de identidade específicos em comparação com avaliadores humanos. Por exemplo, "pessoas negras" foi classificado significativamente abaixo pelos modelos do que por humanos, e termos como "estupro" e "Hitler" apareceram como tokens pessimais, enquanto insultos de identidade também foram fortemente penalizados.
• Achados de Múltiplos Tokens: A otimização GCG confirmou que artefatos de programação e códigos malformados recebem pontuações baixas, enquanto respostas subjetivas e não comprometidas frequentemente pontuam alto. Notavelmente, termos de grupos de identidade como "judeus" emergiram como tokens pessimais tanto para prompts de "maior" quanto de "pior", reforçando o efeito de apagamento linguístico.

Significância e Alegações
O artigo argumenta que os modelos de recompensa não são meramente proxies neutros para a preferência humana, mas sim artefatos complexos que codificam vieses específicos e, por vezes, preocupantes. Os autores afirmam que:

1. A Intercambialidade é um Mito: Modelos de recompensa treinados em objetivos semelhantes não são intercambiáveis; eles exibem uma heterogeneidade significativa que pode levar a comportamentos distintos em LLMs ajustados (fine-tuned).
2. Consequências Indesejadas da Inofensividade: A desvalorização sistemática de grupos de identidade e conteúdo sexual parece ser uma consequência indesejada dos objetivos de treinamento de "inofensividade" (harmlessness), potencialmente levando ao apagamento linguístico em vez de um engajamento seguro.
3. Riscos de Enquadramento: A sensibilidade ao enquadramento sugere que as práticas atuais de RLHF (que tipicamente pedem aos avaliadores para escolher a resposta "melhor") podem inadvertidamente enviesar a amplitude dinâmica do modelo de recompensa, potencialmente minando o objetivo de direcionar os modelos para longe de saídas prejudiciais em contextos negativos.
4. Necessidade de Proxies Robustos: As descobertas desafiam a adequação dos atuais modelos de recompensa como proxies para valores humanos complexos e destacam a necessidade de uma codificação de valor mais robusta, transparente e cuidadosamente curada para evitar a propagação de vieses em LLMs amplamente implantados.

Os autores concluem que, embora os modelos de recompensa sejam ferramentas essenciais para o alinhamento, eles requerem uma análise de interpretabilidade rigorosa para garantir que representem fielmente os valores humanos sem introduzir novas distorções sistemáticas.