Reward Models Can Improve Themselves: Reward-Guided Adversarial Failure Mode Discovery for Robust Reward Modeling

Título: Modelos de Recompensa Podem Melhorar a Si Mesmos: Descoberta de Modos de Falha Adversariais Guiada por Recompensa para Modelagem de Recompensa Robusta

1. O Problema

A modelagem de recompensa (Reward Modeling - RM) é fundamental para alinhar Grandes Modelos de Linguagem (LLMs) com preferências humanas, sendo usada em tarefas como ajuste fino (fine-tuning), filtragem e classificação de respostas. No entanto, os modelos de recompensa atuais apresentam vulnerabilidades críticas:

• Fragilidade a Perturbações: Eles frequentemente falham sob deslocamentos de distribuição (out-of-distribution - OOD) ou perturbações adversariais (ex: mudanças de capitalização, repetição de palavras, erros de ortografia).
• Má Especificação (Mis-specification): O modelo pode atribuir uma recompensa baixa a uma resposta preferida (falso negativo) ou alta a uma resposta não preferida (falso positivo), levando a "hacking de recompensa" (reward hacking) e otimização excessiva.
• Limitações das Abordagens Atuais: Métodos existentes para identificar esses modos de falha dependem de conhecimento prévio sobre atributos de preferência ou usam geração de contrafactuais baseada em prompts de modelos grandes (como GPT-4). Essas abordagens são pouco práticas em cenários do mundo real onde os atributos de falha são desconhecidos e o custo computacional é alto.

2. Metodologia: O Framework REFORM

Os autores propõem o REFORM, um framework de autoaperfeiçoamento que utiliza o próprio modelo de recompensa para descobrir e corrigir seus modos de falha, sem depender de conhecimento externo sobre a distribuição de preferências. O processo é dividido em três etapas principais:

A. Descoberta de Modos de Falha via Decodificação Controlada (Controlled Decoding)
O objetivo é gerar exemplos que pertençam claramente a uma classe de preferência (ex: "seguro") mas que o modelo de recompensa classifique erroneamente.

• Mecanismo: Utiliza-se uma política alinhada (para gerar respostas preferidas) ou desalinhada (para respostas não preferidas) como base.
• Otimização Adversarial: Durante a geração de tokens, o algoritmo seleciona os próximos tokens não apenas pela probabilidade da política, mas minimizando (ou maximizando, dependendo do caso) a recompensa prevista pelo modelo de recompensa atual.
• Regularização: Para garantir que a resposta gerada seja fluente e semanticamente coerente, adiciona-se um termo de regularização baseado na probabilidade do token sob a política original.
• Resultado: Gera-se "modos de falha" (ex: uma resposta segura que recebe uma pontuação baixa injustamente).

B. Augmentação de Dados e Ajuste Fino (Fine-tuning)

• Seleção de Pontos Influenciais: Identifica-se os 5% das amostras de treinamento originais com menor perda (Bradley-Terry), pois são as que mais influenciam o aprendizado do modelo.
• Correção: Gera-se variantes de falha para essas amostras. Se uma variante de uma resposta preferida recebe uma recompensa menor que a resposta rejeitada original, ela é marcada como um caso de falha.
• Treinamento: Cria-se um conjunto de dados aumentado combinando os dados originais com essas variantes corrigidas. O modelo de recompensa é então re-treinado (ou ajustado) neste novo conjunto, aprendendo a ser robusto contra essas perturbações específicas.

C. Avaliação de Robustez e Qualidade
O framework é testado em três frentes: detecção de falhas, robustez a perturbações e qualidade do alinhamento downstream.

3. Contribuições Principais

1. Método Agnóstico à Distribuição: Propõe uma abordagem que descobre modos de falha sem precisar de atributos pré-definidos ou conhecimento externo, utilizando apenas o modelo de recompensa e uma política de geração.
2. Autoaperfeiçoamento (Self-Improvement): Demonstra que um modelo de recompensa pode usar sua própria lógica para gerar dados de treinamento adversariais e melhorar sua própria robustez.
3. Eficiência de Dados: Mostra que é possível obter ganhos significativos de robustez utilizando apenas uma pequena fração (5%) dos dados de treinamento originais para a geração de variantes, em vez de requerer grandes conjuntos de dados rotulados manualmente.
4. Preservação de Qualidade: Prova que a robustez adquirida não degrada a capacidade do modelo de classificar corretamente dados não perturbados nem prejudica o desempenho em tarefas de alinhamento downstream.

4. Resultados Experimentais

O REFORM foi avaliado em dois conjuntos de dados de preferência de segurança: Anthropic Helpful-Harmless (HH) e PKU Beavertails, utilizando modelos baseados em Mistral 7B e Qwen 2.5 14B.

• Detecção de Modos de Falha (RQ1): O REFORM superou métodos baseados em atributos e perturbações aleatórias na geração de exemplos de falha que são semanticamente apropriados (preservam a classe) mas recebem pontuação incorreta.
• Robustez (RQ2): Modelos de recompensa treinados com REFORM mostraram uma queda significativamente menor na taxa de vitória (win rate) quando submetidos a quatro tipos de perturbações:
  • Verbosidade excessiva.
  • Capitalização de palavras nocivas.
  • Repetição de palavras nocivas.
  • Erros de ortografia (misspellings).
• Qualidade do Alinhamento (RQ3):
  • Precisão: O modelo REFORM manteve alta precisão em dados de teste não perturbados.
  • Downstream: Ao usar o modelo REFORM para treinar políticas via BoN (Best-of-N), PPO e DPO, os modelos resultantes mantiveram ou melhoraram a utilidade, legibilidade e diversidade das gerações.
  • Remoção de Correlações Espúrias: O modelo aprendeu a ignorar "atalhos" (como capitalização ou repetição) que modelos anteriores usavam erroneamente para julgar a qualidade, resultando em alinhamentos mais seguros e naturais.

5. Significado e Conclusão

O trabalho estabelece que a robustez dos modelos de recompensa não precisa ser alcançada apenas com mais dados humanos ou arquiteturas mais complexas, mas através de um ciclo de descoberta adversarial guiada pelo próprio modelo.

• Impacto Prático: Oferece um método escalável e eficiente para "patchar" (corrigir) vulnerabilidades em modelos de recompensa antes que eles causem falhas em sistemas de IA alinhados.
• Segurança: Ao reduzir a exploração de correlações espúrias (como palavras-chave em maiúsculas indicando perigo), o método torna os sistemas de IA mais confiáveis contra tentativas de burlar filtros de segurança.
• Limitação: O método não é uma solução universal para todos os tipos de falhas (especialmente aquelas que exigem análise de atributos complexos), mas é altamente eficaz para modos de falha baseados em perturbações textuais dentro do espaço de tokens.

Em resumo, o REFORM transforma a vulnerabilidade do modelo de recompensa em uma ferramenta de treinamento, permitindo que ele "aprenda com seus erros" de forma autônoma e robusta.