Resumo Técnico: Diagnóstico e Mitigação de Viés de Recompensa Sistêmico em RL de Auto-recompensa

1. Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) provou ser eficaz para escalar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs), mas é limitado pela escassez de dados rotulados. O Aprendizado por Reforço com Recompensas Intrínsecas (RLIR), ou auto-recompensa, oferece uma alternativa escalável ao permitir que o modelo de política gere seus próprios sinais de recompensa. No entanto, os métodos de RLIR frequentemente sofrem de instabilidade e desempenho inferior em comparação ao RLVR.

Os autores identificam a causa raiz desse hiato como um viés de recompensa sistêmico inerente à auto-recompensa acoplada à confiança. Nos frameworks de RLIR existentes, a estimativa de recompensa está fortemente acoplada à própria confiança da política. Isso cria um padrão de erro assimétrico:

• Corretude Confiante: Os erros de recompensa permanecem pequenos.
• Erros Confiantes: Os erros de recompensa tornam-se grandes, levando à sobre-recompensa (atribuir altas recompensas a saídas incorretas sobre as quais o modelo tem alta confiança).

Essa assimetria forma um loop de auto-confirmação onde recompensas enviesadas se acumulam durante o treinamento, direcionando a política para a sobre-recompensa, causando instabilidade na otimização e limitando o teto de desempenho alcançável.

2. Metodologia: RLER (Aprendizado por Reforço com Recompensas em Conjunto)

Para mitigar este viés sistêmico, os autores propõem o RLER, um framework que agrega políticas diversas para construir um espaço unificado de estimativa de recompensa. O RLER é projetado para satisfazer três desideratos: Acurácia (baixo ruído), Imparcialidade (sem deriva direcional) e Robustez (desacoplamento da confiança da política).

O RLER alcança isso através de três mecanismos principais:

A. Recompensa Unificada Baseada em Conjunto (Ensemble)

Em vez de uma única política recompensando a si mesma, o Rラー emprega um conjunto de $K$ políticas de origem diversas.

• Agregação: Rollouts são amostrados de todas as políticas, e suas distribuições de respostas são agrupadas para formar uma distribuição de conjunto unificada $\bar{p}_j$.
• Consenso de Maioria: Um rótulo de maioria unificado $m_{EC}$ é derivado da distribuição do conjunto, em vez da saída de um único modelo.
• Benefício: Isso reduz a dependência da confiança de qualquer política individual, diminuindo assim o ruído de recompensa ($\rho_{noise}$) e o acoplamento política-recompensa ($\rho_{selfbias}$).

B. Interpolação Adaptativa de Recompensa Suave (Soft-Reward)

Para equilibrar a alta variância de recompensas rígidas (binárias 0/1) e o viés de baixa confiança de recompensas suaves (probabilísticas), o RLER introduz uma estratégia de interpolação adaptativa.

• Mecanismo: A recompensa final $r_i^{(\alpha)}$ é uma mistura ponderada de uma decisão de conjunto rígida ($r^H$) e uma probabilidade unificada suave ($r^S$):
  $$r_i^{(\alpha)} = (1 - \alpha)r^S_i + \alpha r^H_i$$
• Portão Adaptativo: O peso $\alpha(x)$ é modulado dinamicamente pela confiança unificada do conjunto. Uma alta confiança aumenta a dependência da recompensa rígida, enquanto uma confiança menor aumenta a dependência da recompensa suave para preservar informações sobre respostas minoritárias plausíveis.
• Calibração: O método incorpora confiança ao nível de token e normalização min-max por lote para garantir robustez contra diferentes níveis de dificuldade.

C. Seleção de Rollout Consciente de Desacordo

Este mecanismo visa explicitamente o desvio de sobre-recompensa ($\rho_{symbias}$) ao filtrar atualizações baseadas no desacordo do conjunto.

• Estratégia: O sistema aloca um orçamento de atualização baseado na confiabilidade do consenso.
  • Alto Consenso (Maioria): As atualizações são escalonadas por $\alpha(x)$, enfatizando atualizações apenas quando o conjunto é confiável.
  • Desacordo (Cauda): As atualizações dependem do termo suave $(1-\alpha)r^S$. Isso evita a supressão agressiva de respostas minoritárias que podem estar corretas, enquanto atenua naturalmente o ruído de baixa frequência.
• Resultado: Falsos positivos (FPs) de alta confiança são filtrados agressivamente, enquanto falsos negativos (FNs) são recuperados, corrigindo a deriva em direção à sobre-recompensa.

D. Consolidação de Conjunto para Modelo Único

Para garantir a implementação prática sem custos adicionais de inferência, as $K$ políticas treinadas são fundidas em um único modelo usando Ties-Merging. Isso permite que o sistema aproveite os benefícios do conjunto durante o treinamento enquanto implanta uma política única e eficiente.

3. Contribuições Principais e Diagnósticos

O artigo introduz um framework de diagnóstico para quantificar os modos de falha do RLIR usando três métricas:

1. Magnitude do Ruído de Recompensa ($\rho_{noise}$): Mede o desvio absoluto das estimativas de recompensa em relação ao oráculo.
2. Acoplamento Política-Recompensa ($\rho_{selfbias}$): Mede o quão fortemente as estimativas de recompensa estão acopladas à própria confiança da política.
3. Taxa de Viés de Simetria ($\rho_{symbias}$): Mede o desvio direcional entre sobre-recompensa (FP) e sub-recompensa (FN).

Principais Descobertas de Experimentos Controlados:

• A sobre-recompensa é mais prejudicial que a sub-recompensa: Experimentos mostram que o ruído dominado por FPs causa uma queda de desempenho mais severa do que o ruído dominado por FNs.
• O acoplamento amplifica erros: Um alto $\rho_{selfbias}$ reforça erros condicionados à confiança, levando a dinâmicas de treinamento instáveis.
• O desacoplamento é essencial: Reduzir o acoplamento entre a política e seu sinal de recompensa é crítico para a estabilidade.

4. Resultados Experimentais

Experimentos extensivos foram conduzidos em tarefas de raciocínio de estilo matemático (Arithmetic, DAPO-MATH-17K) e generalização entre modelos/datasets (LLaMA, Qwen, Big-Math, WebInstruct).

• Desempenho: O RLER melhora em +6,2% em relação ao melhor baseline de RLIR (ex: Co-rewarding, INTUITOR) e atinge um desempenho dentro de 3,6% do limite superior do RLVR (rotulado por oráculo).
• Estabilidade: O RLER exibe um escalonamento suave e consistente conforme o tamanho do conjunto de treinamento aumenta (de 8k para 1M amostras), enquanto os baselines padrão de RLIR mostram escalonamento instável e platôs de desempenho.
• Melhoria de Métricas: O RLER reduz significativamente $\rho_{noise}$, $\rho_{selfbias}$ e $\rho_{symbias}$, quebrando efetivamente o loop de auto-confirmação.
• Estudos de Ablação: Remover qualquer componente (Conjunto, Interpolação ou Seleção) leva à degradação do desempenho, confirmando que todos os três mecanismos contribuem cumulativamente para a mitigação do viés.

5. Significância e Alegações

O artigo alega que o RLER fornece uma solução prática e escalável para aprendizado por reforço em ambientes não rotulados onde a supervisão humana é escassa. Ao diagnosticar o viés sistêmico da auto-recompensa e abordá-lo através de agregação de conjuntos e seleção adaptativa, o RLER:

• Permite o escalonamento estável em grandes corpora não rotulados sem a necessidade de modelos de recompensa externos.
• Preenche a lacuna de desempenho entre a auto-recompensa (RLIR) e os métodos de RLVR (rotulados por oráculo).
• Oferece uma abordagem amigável para implantação via fusão de modelos, não incorrendo em sobrecarga adicional de inferência.

Os autores concluem que o RLER representa um passo significativo em direção a sistemas de auto-melhoria sustentáveis para LLMs, particularmente em domínios com abundância de dados não rotulados, mas escassez de verdade fundamental (ground truth).