Resumo Técnico: Eliminação de Viés Indutivo em Modelos de Recompensa com Orientação Teórico-Informacional

Declaração do Problema

Modelos de Recompensa (RMs) são componentes críticos no Aprendizado por Reforço com Feedback Humano (RLHF), servindo para alinhar Modelos de Linguagem de Grande Escala (LLMs) com valores humanos. No entanto, os dados de treinamento para RMs são frequentemente de baixa qualidade, contendo viéses indutivos significativos que levam ao sobreajuste e à "exploração de recompensas" (reward hacking). Viéses comuns incluem:

• Comprimento da Resposta: Anotadores frequentemente preferem respostas mais detalhadas, fazendo com que os RMs correlacionem erroneamente textos mais longos com maior qualidade.
• Sycophancy (Adulação): Os RMs podem aprender a favorecer respostas que adulam o usuário em vez daquelas que são factualmente precisas.
• Formato: Preferências por elementos estilísticos específicos (por exemplo, listas, texto em negrito, emojis) não relacionados à qualidade do conteúdo.

Abordagens existentes de debiasing sofrem de limitações:

1. Correlação Linear: Métodos que utilizam coeficientes de Pearson capturam apenas relações lineares simples, falhando em abordar viéses complexos e não lineares.
2. Restrições Escalares: Abordagens como adicionar uma cabeça específica para previsão de comprimento limitam-se a viéses escalares e carecem de fundamentação teórica.
3. Sobre-restrrição: Técnicas que impõem invariância distribucional (por exemplo, via Divergência de Máxima Discrepância Médica) correm o risco de distorcer a paisagem de recompensas, causando colapso funcional.
4. Falta de Restrições Explícitas: Métodos gerais de compressão, como o Gargalo de Informação (Information Bottleneck - IB), não restringem explicitamente atributos enviesados, falhando em garantir a eliminação do viés.

Metodologia: DIR (Debiasing via Information optimization for RMs)

Os autores propõem o DIR, um framework teórico-informacional inspirado no princípio do Gargalo de Informação (IB). O objetivo central é maximizar a informação mútua (MI) entre a previsão do RM e a preferência humana verdadeira (qualidade do conteúdo), minimizando simultaneamente a MI entre a previsão do RM e atributos de viés irrelevantes.

Formulação Teórica

O objetivo de otimização é definido como:
$$\max_{\phi} I(1_{\mathbf{y} \succ \bar{\mathbf{y}}}; \mathbf{x}, \mathbf{y}, \bar{\mathbf{y}}) - \lambda \cdot I(1_{\mathbf{y} \succ \bar{\mathbf{y}}}; \mathbf{b})$$
Onde:

• $1_{\mathbf{y} \succ \bar{\mathbf{y}}}$ é o rótulo de preferência.
• $\mathbf{x}, \mathbf{y}, \bar{\mathbf{y}}$ representam o par de prompt e resposta.
• $\mathbf{b}$ é o atributo de viés (por exemplo, diferença de comprimento, indicador de adulação).
• $\lambda$ é um hiperparâmetro que equilibra o aprendizado de preferência e o debiasing.

Estimativa via Limites Variacionais

Como o cálculo exato da MI é intratável, o DIR utiliza limites variacionais:

1. Termo de Preferência (Maximização): Aproximado usando o limite inferior de Barber-Agakov (BA). Os autores demonstram que maximizar este limite inferior é equivalente a minimizar a perda de classificação de Bradley-Terry padrão, garantindo que o RM aprenda sinais genuínos de preferência.
2. Termo de Debiasing (Minimização): Aproximado usando o Limite Superior de Log-ratio Contrastivo (CLUB). O método minimiza o limite superior da MI entre as representações ocultas do RM ($\mathbf{H}$) e o atributo de viés ($\mathbf{b}$).

Detalhes de Implementação

• Atributos de Viés Relativos: Em vez de prever valores absolutos (por exemplo, contagem exata de tokens), o DIR utiliza atributos de viés relativos (por exemplo, se a resposta escolhida é mais longa que a rejeitada). Isso transforma a estimativa de viés em uma tarefa de classificação binária.
• Arquitetura: A espinha dorsal do RM (Transformer) produz estados ocultos $\mathbf{H}$. Uma rede variacional leve $q_\psi(\mathbf{b}|\mathbf{H})$ estima o viés.
• Loop de Treinamento: O método emprega um processo de treinamento iterativo (Algoritmo 1) onde o estimador de viés ($q_\psi$) e o RM ($r_\phi$) são atualizados alternadamente dentro de cada lote para garantir que o limite superior da MI permaneça preciso.
• Função de Perda: A perda total combina a perda de preferência e a perda de debiasing:
  $$\mathcal{L}_{Total} = \mathcal{L}_{Preference} + \lambda \cdot \mathcal{L}_{Debiasing}$$

Contribuições Principais

1. Framework Inovador: Introdução do DIR, o primeiro método a aplicar princípios teórico-informacionais especificamente para eliminar diversos viéses indutivos na modelagem de recompensas com garantias teóricas.
2. Tratamento de Não-Linearidade: Diferentemente de métodos baseados em Pearson, o DIR utiliza MI para capturar e mitigar correlações complexas e não lineares entre atributos de viés e saídas do RM.
3. Estratégia de Viés Relativo: A introdução de atributos de viés relativos permite que o método lide uniformemente com diversos tipos de viés (comprimento, adulação, formato) sem distorcer a paisagem de recompensas subjacente.
4. Extensibilidade: O framework é compatível com pipelines tanto de PPO quanto de Otimização Direta de Preferência (DPO).

Resultados Experimentais

Os autores avaliaram o DIR em três cenários de viés: comprimento da resposta, adulação e formato, utilizando benchmarks como RM-Bench, RewardBench, GSM8K, MMLU e ArenaHard.

1. Debiasing de Comprimento

• Redução de Viés: O DIR alcançou a menor correlação de Pearson entre o comprimento da resposta e as pontuações de recompensa ($r=0.468$) em comparação com baselines como Skywork ($0.533$) e PoE ($0.516$).
• Desempenho: Políticas de RLHF treinadas com RMs baseados no DIR alcançaram a maior precisão média (66,20) em múltiplos benchmarks, superando baselines robustas.
• Eficiência: Políticas guiadas pelo DIR produziram respostas mais curtas e concisas (por exemplo, 679 tokens vs. 754 tokens para baselines) enquanto mantinham ou melhoravam as taxas de vitória contra oponentes (54,3% de taxa de vitória vs. baseline).

2. Debiasing de Adulação

• Robustez: Em testes adversariais onde prefixos aduladores foram injetados, o DIR manteve a maior precisão (até 93,6% em configurações específicas) em comparação com BT padrão e InfoRM, demonstrando resiliência superior a sinais "aduladores mas errados".

3. Debiasing de Formato

• Neutralização: O DIR neutralizou com sucesso o viés de formato, reduzindo as taxas de vitória para formatos em negrito/lista para perto do limiar ideal de 50% (51,2% e 52,0%), superando o método de Desacoplamento de Formato (FD) em subconjuntos desafiadores do RewardBench.

4. Múltiplos Viéses Concorrentes

• O DIR foi estendido para lidar com viéses de comprimento e adulação simultâneos. O modelo conjunto alcançou o melhor desempenho geral no RM-Bench enquanto reduzia efetivamente ambos os viéses, sugerindo que o debiasing de múltiplos viéses leva a um modelo de recompensa mais equilibrado.

Eficiência

• Custo Computacional: O DIR incorre apenas em um aumento marginal no uso de memória de GPU (56,88 GB vs. 55,08 GB da baseline) e no tempo de treinamento (67,09 min vs. 50,46 min), tornando-o uma solução prática.

Significado e Alegações

O artigo afirma que o DIR oferece uma solução principial, escalável e amplamente aplicável para a construção de sistemas de alinhamento mais confiáveis. Ao desvendar sinais genuínos de preferência humana de correlações espúrias, o DIR não apenas mitiga um amplo espectro de viéses, mas também aprimora a generalização e a qualidade de alinhamento dos modelos de recompensa. Os autores postulam que isso leva a um desempenho a jusante mais robusto no RLHF, abrindo caminho para sistemas de IA mais consistentes com valores humanos e menos propensos à exploração de recompensas. O método é apresentado como um passo significativo à frente em relação às técnicas existentes de debiasing baseadas em linearidade ou heurísticas.