Resumo Técnico: Compreendendo a Tensão entre Utilidade e Inofensividade em Modelos de Recompensa

Problema

Os Modelos de Recompensa (RMs) são centrais para o Aprendizado por Reforço com Feedback Humano (RLHF), tendo a tarefa de alinhar Grandes Modelos de Linguagem (LLMs) com os valores humanos, especificamente utilidade (helpfulness) e inofensividade (harmlessness). Embora esses objetivos sejam frequentemente perseguidos simultaneamente em configurações de treinamento de objetivos mistos, eles frequentemente conflitam. Por exemplo, um RM pode priorizar a recusa de uma consulta para garantir a inofensividade (ex: recusar fornecer o e-mail privado de um personagem fictício) quando um humano prefere uma resposta útil e informativa. Este fenômeno, denominado tensão de alinhamento, leva a um comportamento subótimo do modelo, onde um LLM alinhado pode produzir respostas inseguras para satisfazer a utilidade ou recusar consultas benignas para garantir a inofensividade.

Apesar da prevalência deste problema, os mecanismos internos dos RMs sobre como eles codificam, representam e reconciliam esses objetivos conflitantes permanecem pouco compreendidos. O trabalho de interpretabilidade existente foca amplamente na explicação de decisões de pontuação específicas, em vez de analisar como objetivos conflitantes interagem dentro da circuiteria interna do modelo.

Metodologia

Os autores investigam a tensão de alinhamento através de uma combinação de análise comportamental e interpretabilidade mecanística.

Configuração Experimental

1. Treinamento do Modelo: O estudo treina três variantes de Modelos de Recompensa a partir dos mesmos backbones de LLM pré-treinados (famílias SmoLLM2 e GPT-2):
   • RM Útil ($r^H_\theta$): Treinado exclusivamente no subconjunto de utilidade do conjunto de dados HH-RLHF.
   • RM Inofensivo ($r^S_\theta$): Treinado exclusivamente no subconjunto de inofensividade.
   • RM Misto ($r^{HS}_\theta$): Treinado no conjunto de dados combinado contendo ambos os objetivos.
2. Avaliação: Os modelos são avaliados em diversos benchmarks (RewardBench, RewardBench2, RM-Bench) categorizados em tarefas orientadas à utilidade (ex: chat, raciocínio, seguimento de instruções) e tarefas orientadas à inofensividade (ex: segurança, recusa, robustez adversarial).
3. Análise de Neurônios:
   • Identificação: Os autores identificam "neurônios orientados" calculando pontuações de importância baseadas em magnitude. Neurônios com ativações no percentil $\tau$-ésimo (definido como 10) em conjuntos de dados de objetivos específicos são classificados como orientados à utilidade ou orientados à inofensividade.
   • Intervenção Causal: A ablação direcionada é realizada configurando as ativações desses neurônios identificados como zero durante o forward pass para medir seu impacto causal no desempenho do modelo.
   • Análise de Sobreposição: O estudo quantifica a sobreposição entre os conjuntos de neurônios identificados em modelos de objetivo único versus o modelo de objetivo misto.

Resultados Principais

1. Desempenho Comportamental e Tensão

• Subdesempenho de Modelos Mistos: RMs de objetivos mistos consistentemente apresentam desempenho inferior aos RMs de objetivo único em diversas tarefas de avaliação. Eles falham em igualar o desempenho especializado de modelos treinados em um único objetivo, indicando interferência entre os objetivos durante a otimização conjunta.
• Assimetria nos Objetivos: Modelos de objetivo único exibem tendências comportamentais distintas. RMs úteis são excelentes em respostas cooperativas, mas podem carecer de robustez contra prompts enganosos. RMs inofensivos mostram robustez superior em cenários adversariais, mas podem apresentar recusas excessivas de consultas benignas.
• Retenção Limitada: Quando os comportamentos aprendidos por modelos de objetivo único são testados contra o modelo de objetivo misto, a "retenção comportamental" é relativamente baixa (média de ~56% para utilidade e ~62% para inofensividade). Embora comportamentos grosseiros (ex: recusa genérica) sejam retidos, comportamentos sutis e adversarialmente robustos degradam significativamente.
• Calibragem de Recompensa: Mesmo quando o modelo de objetivo misto toma a decisão correta (correspondendo ao modelo de objetivo único), seus escores de recompensa são consistentemente mais fracos e concentrados próximos a zero, sugerindo uma perda de confiança e de separabilidade de sinal.

2. Insights Mecanísticos: Papéis de Neurônios e Sobreposição

• Importância Causal: Estudos de ablação confirmam que neurônios identificados como específicos de um objetivo são causalmente críticos para esse objetivo. Remover neurônios orientados à inofensividade de um RM Inofensivo causa uma queda significativa no desempenho de tarefas de inofensividade (aprox. 12 pontos), mas frequentemente melhora o desempenho de tarefas de utilidade, e vice-versa.
• Representações Compartilhadas: Uma proporção substancial de neurônios (aproximadamente 50%) associados à utilidade e à inofensividade são compartilhados (ou seja, altamente ativados em ambos os modelos de objetivo único).
• Influência Desproporcional: Esses neurônios compartilhados exercem uma influência desproporcional no comportamento do modelo. Ablar neurônios compartilhados no RM de objetivo misto causa uma queda severa na precisão (10 pontos em tarefas de inofensividade, 4,4 pontos em tarefas de utilidade), excedendo em muito o impacto de ablar neurônios específicos de um objetivo (não compartilhados).
• Distribuição de Camadas: Os neurônios orientados estão concentrados nas camadas tardias do modelo, que são conhecidas por capturar características semânticas de alto nível, sugerindo que o conflito surge no processamento de representações semânticas complexas, e não na sintaxe de superfície.

Contribuições Principais

1. Caracterização da Tensão de Alinhamento: O artigo demonstra que o treinamento conjunto de utilidade e inofensividade leva à degradação do desempenho e à redução da transferibilidade em comparação ao treinamento de objetivo único, confirmando que a tensão de alinhamento é um problema de interferência representacional.
2. Identificação de Neurônios Orientados por Objetivo: Os autores identificam neurônios específicos causalmente ligados a objetivos de alinhamento, mostrando que são essenciais para seu objetivo alvo, mas frequentemente prejudiciais ao objetivo oposto.
3. Evidência de Representações Compartilhadas: O estudo revela que quase metade dos neurônios que impulsionam esses objetivos são compartilhados. Essa sobreposição cria um gargalo onde a otimização de um objetivo inerentemente conflita com o outro, impulsionando a tensão observada nos modelos de objetivo misto.

Significância e Alegações

O artigo afirma que o alinhamento de múltiplos objetivos não é meramente um compromisso comportamental, mas um problema de interferência representacional decorrente de circuitos internos sobrepostos. Os achados sugerem que os métodos atuais de treinamento de objetivo misto têm dificuldade porque forçam objetivos conflitantes a modificar as mesmas representações compartilhadas.

Os autores argumentam que este entendimento mecanístico é crucial para o desenvolvimento de futuros métodos de alinhamento desiguados e controláveis. Ao reconhecer que os neurônios compartilhados são a fonte do conflito, trabalhos futuros podem focar em estratégias arquiteturais ou de treinamento para separar essas representações para mitigar a tensão de alinhamento. O estudo fornece um passo fundamental para ir além do treinamento de RLHF de "caixa preta" em direção a uma modelagem de recompensa mais principista e interpretável.

Limitações

Os autores observam que sua análise é limitada à etapa de modelagem de recompensa do RLHF e não se estende às etapas de otimização de política, como a Otimização de Preferência Direta (DPO). Além disso, restrições computacionais impediram o uso de ajuste fino eficiente em parâmetros (parameter-efficient fine-tuning), e o estudo foca em definições amplas de utilidade e inofensividade em vez de distinções mais finas encontradas em conjuntos de dados mais recentes.