Resumo Técnico: Otimização de Política Livre de Valor via Particionamento de Recompensa

Declaração do Problema

Alinhar Grandes Modelos de Linguagem (LLMs) com preferências humanas normalmente depende de Aprendizado por Reforço com Feedback Humano (RLHF) ou Otimização de Preferência Direta (DPO). No entanto, esses paradigmas enfrentam desafios significativos de escalabilidade e estabilidade:

• RLHF requer anotação humana dispendiosa de preferências pareadas, treinamento de um Modelo de Recompensa (RM) separado e loops de aprendizado por reforço instáveis (ex: PPO), que são ineficientes em termos de amostra e sensíveis a hiperparâmetros.
• Métodos do tipo DPO (Direct Preference Optimization) eliminam o RM explícito e o loop de RL, mas exigem dados de preferência pareados curados. À medida que os modelos melhoram, distinguir entre respostas de alta qualidade torna-se cada vez mais difícil, elevando os custos de anotação.
• Aprendizado de Trajetória Única oferece uma alternativa prática usando tuplas $(prompt, resposta, recompensa\_escalar)$ (ex: polegar para cima/baixo), que são mais fáceis de anotar. No entanto, métodos existentes para este cenário, como a Otimização de Recompensa Direta (DRO), dependem do aprendizado conjunto de uma política e uma função de valor. Esta otimização conjunta introduz variância, instabilidade e sensibilidade a dados off-policy, pois erros na estimativa de valor podem enviesar o treinamento da política.

O problema central abordado é a necessidade de um método estável, escalável e simples para otimizar políticas diretamente de dados de recompensa escalar sem a complexidade e instabilidade de aprender uma função de valor auxiliar.

Metodologia: Otimização de Particionamento de Recompensa (RPO)

Os autores propõem a Otimização de Particionamento de Recompensa (RPO), um objetivo livre de valor que aproveita a forma analítica da política ótima sob regularização KL para eliminar a necessidade de uma função de valor aprendida.

Fundamentação Teórica

Partindo da formulação da política ótima na maximização de recompensa com regularização KL:
$$\pi^*(y|x) = \pi_{ref}(y|x) \exp\left(\frac{1}{\tau} (r(x, y) - V^*(x))\right)$$
onde $V^*(x)$ é a função de valor suave que atua como uma função de partição para normalizar as recompensas. Métodos tradicionais como o DRO aproximam $V^*(x)$ usando uma rede neural separada, levando à otimização acoplada da política ($\pi_\theta$) e do valor ($V_\phi$).

O RPO contorna isso estimando empiricamente a função de partição diretamente dos dados. Para um determinado prompt $x$, o método agrega todas as respostas $y_j$ disponíveis no conjunto de dados para calcular uma função de partição empírica $\hat{Z}(x)$:
$$\hat{Z}(x) = \sum_{j \in I_x} \pi_{ref}(y_j|x) \exp\left(\frac{1}{\tau} r(x, y_j)\right)$$
onde $I_x$ é o conjunto de índices para amostras com o prompt $x$. O valor empírico é então $\hat{V}(x) = \tau \log \hat{Z}(x)$.

Objetivo de Otimização

O RPO formula a tarefa de aprendizado como uma regressão direta sobre a razão logarítmica entre a política aprendida e a política de referência. A função de perda minimiza o erro quadrático entre a razão logarítmica prevista e a recompensa centrada e escalonada:
$$\mathcal{L}_{RPO}(\theta) = \frac{1}{2} \mathbb{E}_{(x,y,r) \sim D} \left[ \left( \log \frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)} - \frac{1}{\tau}(r(x, y) - \hat{V}(x)) \right)^2 \right]$$

As características principais do método incluem:

• Livre de Valor: Não é treinada uma rede de valor auxiliar; $\hat{V}(x)$ é computado on-the-fly a partir da política de referência e das recompensas observadas.
• Gradientes Estáveis: A atualização do gradiente depende apenas dos parâmetros da política, evitando a retropropagação através de um estimador de valor aprendido.
• Compatibilidade Offline: O método é totalmente offline e escala para grandes conjuntos de dados sem exigir loops de RL online.

Contribuições Principais

1. Proposta do RPO: Um novo método de otimização de política de trajetória única que substitui a estimativa de valor pela normalização de recompensa empírica.
2. Análise do DRO: Uma crítica teórica e prática da Otimização de Recompensa Direta, destacando sua instabilidade devido à otimização conjunta de política-valor.
3. Derivação Formal: Uma prova mostrando que o RPO aproxima a estrutura da política ótima ao aproveitar a formulação da função de partição.
4. Avaliação Abrangente: Experimentos extensivos em arquiteturas encoder-decoder (Flan-T5) e decoder-only (Mistral, LLaMA, Qwen), demonstrando superioridade consistente sobre SFT, KTO e DRO.

Resultados Experimentais

Os autores avaliaram o RPO no conjunto de dados UltraFeedback e em múltiplos benchmarks (AlpacaEval, MT-Bench, IFEval, GSM8K).

Desempenho Intra-Domínio (UltraFeedback)

• Métricas: O RPO superou consistentemente o SFT, KTO e DRO em métricas automáticas (BERTScore, ROUGE-L, Distinct-2) e segurança (Toxicidade).
• LLM-as-a-Judge: O RPO alcançou taxas de vitória mais altas contra baselines quando avaliado pelo GPT-4o e Claude-3.5.
• Estabilidade: A análise de divergência KL mostrou que o RPO mantém trajetórias suaves e controladas, enquanto o DRO exibiu forte crescimento de divergência (especialmente em modelos decoder-only) e o KTO apresentou oscilações.
• Eficiência: O RPO demonstrou convergência mais rápida e menor tempo de treinamento comparado ao DRO e KTO em todas as escalas de modelos.

Generalização Fora do Domínio (OOD)

• O RPO mostrou melhorias robustas, porém dependentes da tarefa. Os ganhos foram mais pronunciados em benchmarks de seguimento de instruções (AlpacaEval, IFEval).
• O desempenho em tarefas de raciocínio (GSM8K) e conversação de múltiplos turnos (MT-Bench) mostrou melhorias consistentes, mas mais moderadas, variando conforme a família do modelo.

Estudos de Ablação

• Temperatura ($\tau$): O método é robusto a um suavizamento moderado ($\tau=5.0$), mas sofre degradação significativa de desempenho com um escalonamento muito agudo ($\tau=0.1$), levando a uma otimização instável.
• Normalização Empírica ($\hat{V}(x)$): A remoção da normalização de recompensa por prompt causou degradação consistente na similaridade semântica, diversidade e segurança, confirmando seu papel crítico na estabilização das escalas de recompensa.
• Densidade de Dados: O desempenho degrada conforme o número de conclusões por prompt diminui, com uma configuração de densidade de 25% causando quedas substanciais de qualidade. Isso destaca a dependência do método em distribuições de recompensa diversas por prompt para uma estimativa precisa da partição.
• Robustez ao Ruído: O RPO permanece estável sob ruído de recompensa moderado ($\sigma=0.1, 0.5$), mas o desempenho declina conforme a intensidade do ruído aumenta, embora não colapse mesmo sob corrupção forte ($\sigma=1.0$).

Significância e Limitações

O artigo afirma que o RPO oferece uma alternativa simples, escalável e estável aos métodos de alinhamento existentes. Ao eliminar a necessidade de aprender a função de valor, ele reduz a complexidade de otimização e a variância, fornecendo supervisão de recompensa absoluta. Os autores posicionam o RPO como uma direção promissora para a otimização de preferências escalável, particularmente em cenários onde dados pareados são escassos, mas o feedback escalar está disponível.

Limitações reconhecidas pelos autores:

• Requisitos de Dados: O RPO depende de dados agrupados onde múltiplas conclusões existem por prompt para estimar a função de partição de forma eficaz. O desempenho degrada se a diversidade por prompt for insuficiente.
• Qualidade da Recompensa: Embora robusto ao ruído moderado, o método permanece dependente da qualidade das anotações de recompensa; corrupções severas impactam negativamente o alinhamento.
• Escopo de Avaliação: A avaliação atual foca principalmente em benchmarks de seguimento de instruções e alinhamento. Os autores observam que domínios mais amplos, configurações multilíngues e tarefas de raciocínio de longo horizonte requerem estudos adicionais para avaliar totalmente a generalização.