Resumo Técnico: O Tradeoff entre Representação e Racionalizabilidade na Aprendizagem de Recompensa

Declaração do Problema

No Aprendizado por Reforço com Feedback Humano (RLHF), a tarefa central de aprendizagem envolve converter preferências pareadas heterogêneas de múltiplos anotadores em uma única função de recompensa escalar $r(x, y)$. A teoria clássica da escolha social estabelece que, quando as amostras dos anotadores são heterogêneas, as preferências agregadas podem induzir ciclos de Condorcet (ex: $A \succ B$, $B \succ C$, $C \succ A$), tornando impossível que qualquer recompensa escalar classifique consistentemente todos os pares de respostas.

Embora a literatura recente tenha analisado o RLHF sob a ótica da escolha social, esses trabalhos tipicamente assumem um conjunto finito de alternativas pré-enumerado e fixo. Em pipelines modernos, no entanto, as respostas são pontuadas através de uma representação aprendida $\phi(x, y)$ seguida por uma cabeça escalar $g$, tal que $r(x, y) = g(\phi(x, y))$. O embedding $\phi$ determina quais respostas são tratadas como alternativas distinguíveis e quais comparações são visíveis para o modelo de recompensa. Este artigo investiga a questão fundamental: Aumentar a riqueza representacional de $\phi$ sempre melhora o ajuste às preferências humanas?

Os autores argumentam que a intuição comum — de que representações mais ricas fornecem mais sinais e, portanto, um melhor ajuste — é incompleta. Em vez disso, o próprio embedding altera o problema de agregação. Refinar $\phi$ colapsa menos respostas, transformando pares anteriormente indistinguíveis em alternativas distintas. Embora isso reduza a perda de informação, simultaneamente expõe mais comparações pareadas que podem formar ciclos irredutíveis, os quais nenhuma recompensa escalar pode racionalizar.

Metodologia e Estrutura Teórica

1. Decomposição do Excesso de Perda

O artigo formaliza o problema de aprendizagem sob um modelo de utilidade aleatória (RUM) com heterogeneidade arbitrária de anotadores. Os autores definem a perda de entropia cruzada excessiva de uma recompensa aprendida $r$ em relação à perda Bayes-ótima $L^*$ (o melhor desempenho possível dado o conhecimento perfeito das preferências agregadas).

Eles provam que este excesso de perda se decompõe exatamente em dois termos:
$$L(r) - L^* = E_{\text{emb}}(\phi) + E_{\text{agr}}(\phi, r)$$

• Perda de Embedding ($E_{\text{emb}}$): Mede a informação descartada quando o embedding $\phi$ colapsa respostas distinguíveis no mesmo ponto. Este termo diminui conforme $\phi$ se torna mais rico (maior dimensão ou maior expressividade).
• Custo de Agregação ($E_{\text{agr}}$): Mede a irredutibilidade das preferências agregadas. Mesmo se $\phi$ preservasse perfeitamente todas as distinções (for injetivo), as preferências agregadas podem conter ciclos que impedem que qualquer recompensa escalar as racionalize simultaneamente. Este termo aumenta conforme $\phi$ se torna mais rico porque expõe mais potenciais ciclos.

2. Limites Inferiores e Análise de Tradeoff

Os autores derivam um limite inferior para o excesso de perda que quantifica explicitamente a tensão entre esses dois termos:
$$L(r) - L^* \geq 2e_d + \frac{\ell_\delta^2}{2} \bar{P}_d^\delta$$
Onde:

• $e_d$ é o erro de embedding (relacionado a $E_{\text{emb}}$), que é monotonicamente não-crescente com a dimensão do embedding $d$.
• $\bar{P}_d^\delta$ é uma probabilidade ponderada pela curvatura de ciclos de Condorcet visíveis na dimensão $d$, que é não-decrescente com $d$.
• $\ell_\delta$ é uma constante dependente da margem.

Sob suposições moderadas (especificamente, que a sigma-álgebra gerada pelo embedding cresce com a dimensão), o artigo mostra que os limites inferiores dos dois termos movem-se em direções opostas. Consequentemente, tanto representações extremamente grosseiras quanto extremamente finas podem ser subótimas, implicando a existência de uma dimensão de embedding ótima que depende do dataset.

3. Extensões para DPO e Treinamento Conjunto

• Otimização de Preferência Direta (DPO): Os autores mostram que a mesma decomposição e estrutura de limite inferior se aplicam ao DPO, demonstrando que o tradeoff entre representação e racionalizabilidade governa a aprendizagem de política baseada em preferência mesmo sem um modelo de recompensa explícito.
• Treinamento Conjunto: O artigo analisa a dinâmica de treinar conjuntamente o embedding e a cabeça de recompensa. Eles provam que atualizações conjuntas não garantem a diminuição de nenhum dos dois termos de tradeoff por rodada. Especificamente, a dinâmica de otimização desloca o erro de embedding e a probabilidade de ciclo via covariâncias de inclinação da recompensa (reward-tilt covariances). Em qualquer ponto fixo da atualização conjunta, a recompensa torna-se constante sobre os dados, não fornecendo nenhum sinal de preferência. Assim, o treinamento conjunto não converge implicitamente para o "ponto ideal" do tradeoff.

Resultados Principais

Achados Teóricos

1. Decomposição Exata: O excesso de perda é estritamente a soma de uma perda de embedding (perda de informação) e um custo de agregação (falha de racionalizabilidade).
2. Monotonicidade: Sob suposições padrão (ex: sigma-álgebras aninhadas), aumentar a dimensão do embedding reduz a perda de embedding, mas aumenta o limite inferior do custo de agregação (probabilidade de ciclo).
3. Não-Convexidade da Otimização: O treinamento conjunto de embeddings e recompensas não é garantido para encontrar o tradeoff ideal; pode estagnar em pontos degenerados onde a recompensa é constante.

Validação Empírica

Experimentos foram conduzidos em:

• Dados Sintéticos: Gerados com componentes de utilidade transitivos, cíclicos e ruidosos.
• Datasets do Mundo Real: Jester (avaliações de piadas), Sushi (preferências de sushi) e MT-Bench (preferências de diálogo de LLM).

Observações:

• À medida que a dimensão do embedding aumenta, a perda de embedding diminui, enquanto o custo de agregação aumenta.
• A perda excessiva total frequentemente exibe um mínimo em uma dimensão de embedding intermediária, validando o tradeoff teórico.
• Essas tendências sustentam-se tanto para modelagem de recompensa explícita (RLHF) quanto para extração de recompensa implícita (DPO) através de diferentes encoders pré-treinados (ex: all-MiniLM-L6-v2, mpnet).
• Visualizações de dados sintéticos mostram que, conforme a dimensão aumenta, a região do espaço de embedding onde as respostas formam ciclos de Condorcet se expande, confirmando que representações mais ricas expõem preferências irreconciliáveis.

Significância e Alegações

O artigo afirma mudar a compreensão da modelagem de recompensa no RLHF de um desafio puramente representacional para um problema de agregação. A principal significância reside em identificar que o embedding aprendido não é meramente um extrator de características, mas um componente estrutural que define o conjunto de alternativas disponíveis para comparação.

As principais alegações incluem:

1. Limitação de Recompensas Escalares: A impossibilidade de um ranking escalar consistente na presença de preferências heterogêneas não é apenas um artefato estatístico, mas uma propriedade ajustável dependente da representação.
2. Complexidade Ótima: Não existe uma regra de "quanto mais, melhor" para a riqueza da representação no RLHF; a dimensão ótima é um equilíbrio entre capturar distinções de preferência e evitar a exposição de ciclos irredutíveis.
3. Dinâmica de Treinamento: Procedimentos padrão de treinamento conjunto não navegam automaticamente por este tradeoff, sugerindo que os pipelines atuais de RLHF podem ser subótimos sem a consideração explícita desta tensão entre representação e agregação.

Os autores mantêm uma postura modesta, observando que seu trabalho é primariamente teórico e não propõe novos modelos ou sistemas implantáveis, mas sim esclarece uma limitação fundamental das abordagens atuais de modelagem de recompensa escalar sob feedback humano heterogêneo.