Resumo Técnico: Dois é Melhor que Um: Um Framework de Treinamento RLIF Multi-Recompensa sem Colapso

1. Declaração do Problema

Embora o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tenha aprimorado significativamente as capacidades de raciocínio dos Modelos de Linguagem de Grande Escala (LLMs), ele depende fortemente de supervisão externa (por exemplo, anotações humanas, soluções padrão-ouro), limitando sua escalabilidade. O Aprendizado por Reforço a partir de Feedback Interno (RLIF) oferece uma alternativa não supervisionada, derivando sinais de recompensa do próprio modelo, como autoconfiança (minimização de entropia) ou medidas baseadas em consenso (votação majoritária).

No entanto, os métodos RLIF existentes sofrem com modos de falha recorrentes, especificamente hacking de recompensa e colapso do modelo. O artigo argumenta que essas falhas decorrem da dependência de um único sinal de recompensa interna:

• Recompensas de autoconfiança favorecem distribuições de tokens de alta confiança, frequentemente levando a um "colapso de modo de token", onde o modelo produz saídas curtas, determinísticas e semelhantes a modelos, independentemente da qualidade da entrada.
• Recompensas de votação por clusters (baseadas em consenso) podem levar a um "colapso de modo de resposta", onde o modelo deriva no espaço de raciocínio para produzir conclusões longas e de alta entropia que convergem para um único cluster de resposta dominante (mas potencialmente incorreto).

Esse comportamento exemplifica a Lei de Goodhart: quando um único proxy torna-se o alvo de otimização, a política explora o proxy em vez de melhorar a capacidade de raciocínio subjacente, levando a uma trajetória de melhoria inicial seguida de degradação.

2. Metodologia

Os autores propõem um Framework RLIF Multi-Recompensa que decompõe o sinal de treinamento em dois componentes complementares e introduz regularização direcionada para prevenir o colapso. O framework opera dentro de um objetivo no estilo GRPO (Otimização de Política Relativa em Grupo).

2.1 Mecanismo de Dupla Recompensa

Para um determinado prompt, o modelo amostra $G$ conclusões. Duas recompensas intrínsecas são computadas para cada conclusão:

1. Recompensa no Nível da Resposta (Votação por Clusters): Respostas finais são extraídas e agrupadas por equivalência. Uma conclusão recebe uma recompensa proporcional ao tamanho do seu cluster de resposta. Isso fornece um sinal mais denso do que a votação majoritária binária, recompensando clusters minoritários com valores não nulos para incentivar a diversidade, enquanto ainda favorece o consenso.
2. Recompensa no Nível da Conclusão (Autoconfiança): Baseada na divergência KL média entre a distribuição do próximo token do modelo e uma distribuição uniforme. Isso recompensa a geração de tokens confiante e de baixa entropia durante o processo de raciocínio.

2.2 Normalização Baseada em GDPO

Para evitar que um sinal de recompensa domine o outro devido a diferenças de escala (por exemplo, valores de autoconfiança dependendo do tamanho do vocabulário versus recompensas de cluster em $[0, 1]$), o framework aplica Normalização Multi-Recompensa por Grupo inspirada em GDPO. Cada canal de recompensa é normalizado independentemente dentro do grupo de $G$ conclusões usando escore-z antes de ser combinado em uma única vantagem no nível da execução:
$$A_g = \alpha \cdot \hat{R}_{cluster}(a_g) + \beta \cdot \hat{R}_{cert}(c_g)$$
Isso garante que a importância relativa da qualidade da resposta versus a confiança no raciocínio seja controlada pelos pesos $\alpha$ e $\beta$, e não pela variância bruta dos sinais.

2.3 Regularização KL-Cov

Para abordar o risco residual de colapso de entropia, os autores introduzem KL-Cov, uma estratégia de regularização direcionada.

• Mecanismo: O método identifica os top-$k$ (por exemplo, 2%) de tokens com a maior covariância entre seus log-probabilidades e as vantagens da execução. Esses tokens de "alta covariância" são os principais impulsionadores do colapso de entropia.
• Penalidade: Em vez de aplicar uma penalidade KL global, o framework aplica uma penalidade $L_1$ direcionada (razão absoluta de log-importância) apenas a esses tokens de alta covariância. Os restantes ~98% dos tokens passam por atualizações GRPO recortadas padrão.
• Objetivo: Isso suprime os tokens específicos responsáveis pela redução desproporcional de entropia, preservando a exploração e a diversidade no restante da distribuição de tokens.

3. Principais Contribuições

1. Framework RLIF Multi-Recompensa: Uma arquitetura inovadora que otimiza conjuntamente o consenso no nível da resposta e a autoconfiança no nível da conclusão, mitigando os modos de falha associados à otimização de proxy único.
2. Normalização GDPO: A aplicação de normalização por grupo em configurações de múltiplas recompensas não supervisionadas para evitar a dominância induzida por escala de um sinal sobre o outro.
3. Regularização KL-Cov: Uma restrição de política direcionada que penaliza especificamente tokens de alta covariância para prevenir o colapso de entropia sem sufocar a exploração geral.
4. Validação Empírica: Demonstração de que recompensas internas complementares, combinadas com regularização direcionada, podem suportar raciocínio estável de longo horizonte sem supervisão de verdade fundamental externa.

4. Resultados Experimentais

O framework foi avaliado em cinco benchmarks de raciocínio matemático (GSM8K, MATH500, MMLU-Pro, AIME 2024/2025) e dois benchmarks de geração de código (LiveCodeBench v6, CRUXEval-O), utilizando os modelos base Qwen2.5-1.5B e Qwen2.5-3B.

• Estabilidade vs. Colapso: Baselines de recompensa única (por exemplo, INTUITOR usando apenas autoconfiança) exibiram colapso catastrófico, com a precisão caindo para próximo de zero após ganhos iniciais (por exemplo, etapas 160–200). A abordagem multi-recompensa sem KL-Cov atrasou esse colapso, mas eventualmente degradou-se. O método completo Multi-Recompensa + KL-Cov manteve-se estável ao longo de todo o horizonte de treinamento (340 etapas), retendo 89–99% do desempenho de pico.
• Desempenho: O método proposto alcançou desempenho próximo às baselines supervisionadas de RLVR (GRPO com recompensas de verdade fundamental), permanecendo totalmente não supervisionado.
  • No Qwen2.5-3B, o método igualou ou superou as baselines supervisionadas em várias métricas (por exemplo, 7,7% de pass@1 no LiveCodeBench versus 6,4% para GRPO supervisionado).
  • Superou significativamente as baselines não supervisionadas de recompensa única (por exemplo, +45,9 pontos percentuais no GSM8K para o modelo de 1,5B em comparação com o INTUITOR).
• Generalização: A estrutura de raciocínio aprendida em tarefas matemáticas transferiu-se efetivamente para tarefas de geração de código (fora da distribuição), onde o método superou as baselines de recompensa única.

5. Significado e Alegações

O artigo alega que a instabilidade observada em métodos anteriores de RL não supervisionado não é um defeito inerente do RLIF, mas uma consequência da otimização de um único proxy interno. Ao decompor o sinal de recompensa em componentes estruturalmente complementares (acordo na resposta e confiança no token) e aplicar regularização direcionada contra os tokens específicos que impulsionam o colapso, o framework alcança raciocínio estável de longo horizonte sem supervisão externa.

Os autores posicionam este trabalho como uma alternativa escalável ao RLVR supervisionado externamente, sugerindo que pesquisas futuras podem explorar sinais internos adicionais para apoiar ainda mais trajetórias de raciocínio complexas. Os resultados indicam que "dois é melhor que um": recompensas internas complementares, quando adequadamente normalizadas e regularizadas, podem impedir que o modelo colapse em padrões estreitos de busca por recompensa, preservando assim a exploração necessária para a resolução complexa de problemas.