RHyVE: Competence-Aware Verification and Phase-Aware Deployment for LLM-Generated Reward Hypotheses

1. Declaração do Problema

A Aprendizagem por Reforço (RL) depende fortemente do design de recompensas. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham tornado a geração de recompensas escalável (por exemplo, sintetizando código ou moldando funções), uma lacuna crítica permanece: as recompensas geradas não são automaticamente objetivos de treinamento confiáveis.

A literatura existente foca em gerar ou selecionar candidatos a recompensa, mas ignora amplamente o momento da implantação. Os autores argumentam que a utilidade de uma recompensa não é uma propriedade intrínseca do candidato isoladamente; em vez disso, ela depende de:

1. Competência da Política: Uma recompensa útil para otimização em estágios tardios pode ser muito esparsa ou aguda para iniciar o aprendizado a partir de uma política fraca. Por outro lado, uma recompensa densa inicial pode tornar-se desalinhada à medida que a política melhora.
2. Fase de Treinamento: A troca de recompensas no meio do treinamento pode causar alvos não estacionários, choques na escala de recompensa e instabilidade na estimativa de valor.

O problema central é determinar quando uma hipótese de recompensa gerada é confiável o suficiente para ser comparada e implantada, e como transicionar entre recompensas sem desestabilizar o treinamento.

2. Metodologia: RHYVE

Os autores propõem o RHYVE, um protocolo que trata as recompensas geradas como hipóteses e não como objetivos imediatos. Ele separa a geração de recompensas da verificação e da implantação.

Componentes Principais:

• Hipóteses de Recompensa ($H$): Um pequeno conjunto de funções de recompensa candidatas $\{h_1, ..., h_K\}$ geradas por um processo a montante (por exemplo, um LLM).
• Verificação por Fork de Checkpoint Compartilhado:
  • Em vez de treinar agentes separados do zero, o RHYVE clona o estado atual do aprendiz (política $\pi_t$, crítico $V_t$, estado do otimizador $\Omega_t$) em checkpoints específicos.
  • Cada clone é treinado por um curto horizonte de fork ($L$) usando uma hipótese de recompensa diferente.
  • As políticas bifurcadas resultantes são avaliadas usando uma métrica comum a jusante para determinar um "vencedor local".
  • Isso evita confundir a qualidade da recompensa com inicialização independente ou histórico de exploração.
• Construção do Perfil de Fase:
  • O RHYVE rastreia o "vencedor" da verificação por fork ao longo dos passos de treinamento.
  • Ele identifica checkpoints informativos de verificação onde a margem do vencedor é estável e significativa (distinguindo a estrutura de fase real do ruído).
  • Ele detecta se o "melhor" prêmio muda à medida que a política se torna mais competente (por exemplo, uma recompensa densa de inicialização vence no início, mas uma recompensa esparsa fiel à tarefa vence mais tarde).
• Regras de Implantação Consciente de Fase:
  Com base no perfil de fase, o RHYVE seleciona uma de três estratégias:
  1. Recompensa Única: Se uma hipótese for estável a partir do primeiro checkpoint informativo em diante.
  2. Cronograma de Duas Etapas: Se um vencedor inicial for posteriormente superado por um vencedor de fase tardia estável (por exemplo, Aquecimento $t < t_s$ com $h_{early}$, depois $h_{late}$ para $t \ge t_s$).
  3. Fallback Conservador: Se o perfil for ambíguo ou as margens forem negligenciáveis, evita a troca agressiva para prevenir instabilidade.
• Operadores de Troca: O artigo avalia como executar a troca:
  • Troca Rígida (Hard Switch): Substituição direta (padrão prático).
  • Moldagem de Recompensa Baseada em Potencial (PBRS): Usa o crítico antigo para suavizar a transição.
  • Redefinição do Crítico: Reinicializa o crítico no ponto de troca.

3. Principais Contribuições

1. Mudança Conceitual: Reenquadramento das recompensas geradas como hipóteses dependentes de competência. O artigo argumenta que a verificação é um processo dinâmico ligado à capacidade do aprendiz, não uma avaliação estática.
2. Protocolo RHYVE: Um método inovador para verificação por fork a partir de checkpoints compartilhados para determinar o cronograma de implantação ideal (único vs. duas etapas) sem exigir um agendador universal.
3. Validação Empírica:
   • Demonstrado no FRANKACABINET (uma tarefa de manipulação esparsa e sensível a fases), mostrando que a implantação consciente de fase melhora significativamente tanto o desempenho de pico quanto o desempenho terminal retido em comparação com a implantação direta ou de uma só vez.
   • Estendido a candidatos a recompensa gerados por LLMs, provando que mudanças de vencedores dependentes de fase ocorrem mesmo com geração automatizada, mas o cronograma ideal é dependente da família de candidatos (nenhum único cronograma de "aquecimento" é universalmente ótimo).
4. Controles Rigorosos: O estudo inclui controles extensivos (baselines com computação correspondida, seletores online conservadores, correspondência de escala e tarefas de limite de oráculo denso) para isolar os benefícios da consciência de fase de fatores de confusão, como computação extra ou escalonamento de recompensa.

4. Resultados Experimentais

• Verificação Limitada por Competência: As classificações de recompensa são instáveis em níveis baixos de competência. A verificação por fork só se torna informativa após a política atingir limiares de competência dependentes da tarefa.
• Ganhos de Desempenho: Na tarefa FRANKACABINET, um aquecimento fixo de 50 passos seguido por uma troca rígida para a recompensa fiel à tarefa alcançou o maior sucesso de pico (0,389) e o melhor desempenho terminal recalculado (0,163), superando a implantação direta de oráculo (0,215) e a implantação de uma só vez.
• Candidatos de LLM: Experimentos com pools gerados por LLMs (levemente curados vs. minimamente filtrados) mostraram que, embora exista comportamento dependente de fase, a "melhor" regra de implantação varia conforme o pool específico de candidatos. Isso refuta a ideia de um cronograma de aquecimento universal.
• Condições de Limite:
  • BALLBALANCE (Oráculo Denso): Em tarefas onde a recompensa do oráculo já é densa, o aquecimento não oferece benefício, confirmando que o método é específico para regimes esparsos/sensíveis a fases.
  • FRANKACUBESTACK (Todas as Falhas): Em tarefas onde a configuração é inaprendível dentro do orçamento, o RHYVE falha em produzir classificações significativas, esclarecendo o escopo do método.
• Comparação de Seletores: Seletores online reativos (por exemplo, média móvel, periódicos) tiveram desempenho inferior ao cronograma estável consciente de fase em regimes esparsos e de pequenos candidatos, frequentemente falhando em trocar ou trocando muito tarde devido a sinais iniciais ruidosos.

5. Significado e Conclusão

• Implantação Informada por Verificação: O RHYVE é posicionado não como um novo gerador de recompensas ou um agendador universal, mas como um protocolo de implantação. Ele responde à pergunta: "Dado um conjunto de candidatos, quando o aprendiz é competente o suficiente para confiar na comparação?"
• Problemas Acoplados: O artigo estabelece que a geração de recompensas e a implantação de recompensas devem ser estudadas como problemas acoplados. Uma recompensa que é "boa" isoladamente pode ser "ruim" para uma fase específica de treinamento.
• Implicação Prática: Para praticantes que usam LLMs para gerar recompensas, o artigo sugere um fluxo de trabalho:
  1. Gerar um pequeno conjunto de candidatos.
  2. Usar verificação por fork em checkpoints compartilhados para mapear o "perfil de fase".
  3. Implantar um cronograma (único ou de duas etapas) com base na estabilidade do perfil, em vez de aplicar cegamente um aquecimento fixo ou trocar reativamente.

Em resumo, o RHYVE fornece uma estrutura robusta para integrar com segurança recompensas geradas por LLMs em pipelines de RL, garantindo que a troca de recompensas ocorra apenas quando a política for competente o suficiente para verificar a utilidade do novo objetivo.