Resumo Técnico: MulFeRL

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se uma abordagem padrão para aprimorar o raciocínio em Grandes Modelos de Linguagem (LLMs), particularmente em matemática e geração de código. No entanto, o RLVR padrão depende de recompensas escalares baseadas apenas no resultado (ex: sinais binários de correto/incorreto). Os autores argumentam que, à medida que o desempenho do modelo aumenta, essa abordagem atinge um gargalo devido à natureza esparsa e pouco informativa das recompensas escalares, especialmente para amostras falhas.

Quando um modelo gera uma grande fração de soluções inteiramente incorretas, o RLVR padrão atribui recompensas próximas de zero ou negativas que apenas indicam a falha, sem explicar por que o raciocínio falhou ou como melhorar. Isso leva a:

1. Atribuição de crédito deficiente: As estimativas de gradiente tornam-se ruidosas.
2. Platôs de treinamento: O sinal de aprendizado colapsa para grupos de rollouts do tipo "todos-falharam", onde não existe contraste dentro do grupo.
3. Ineficiência de amostra: O treinamento tem dificuldade em progredir em problemas difíceis onde as recompensas escalares não fornecem contraste utilizável.

Embora humanos utilizem o feedback verbal para localizar erros e fechar lacunas em relação às soluções alvo, os métodos de feedback existentes no estilo RL frequentemente alocam o feedback de forma ampla entre as amostras, em vez de visar especificamente os casos de "todos-falharam", onde as recompensas de resultado são menos informativas.

Metodologia: MulFeRL

O artigo propõe o MulFeRL (Multi-turn Feedback-guided Reinforcement Learning), um framework de RLVR disparado por eventos e de múltiplos turnos, projetado para converter feedback verbal em sinais de aprendizado estáveis e treináveis para amostras falhas. O framework opera através de dois estágios primários: Indução de Progresso e Atribuição de Crédito de Progresso.

1. Indução de Progresso Disparada por Eventos

O MulFeRL foca em grupos de rollouts onde todos os $K$ exemplos falham na verificação (o estado FAILED). Neste estado, o RLVR padrão não fornece sinal de aprendizado.

• Feedback como Condicionamento: Em vez de otimizar o feedback diretamente, o MulFeRL utiliza o feedback verbal como uma intervenção de condicionamento. Quando um grupo está no estado FAILED, um provedor de feedback (ex: um simulador de LLM) gera feedback acionável identificando modos de falha dominantes e sugerindo revisões.
• Regeneração: Este feedback é injetado no contexto, e o modelo regenera um novo grupo de $K$ rollouts.
• Objetivo: O objetivo é induzir uma transição de um estado FAILED para um estado CONTRASTIVE (sucessos/falhas mistos) ou um estado SOLVED (todos bem-sucedidos). Esta transição constitui "progresso certificado pelo verificador".

2. Atribuição de Crédito de Progresso

Uma vez que o progresso é induzido, o MulFeRL atribui crédito com base na natureza da transição usando dois objetivos complementares:

• Crédito Intra-Estado (GRPO): Se o grupo regenerado é CONTRASTIVE (contém respostas corretas e incorretas), o MulFeRL aplica o Group Relative Policy Optimization (GRPO) padrão. Isso explora a vantagem relativa entre os rollouts bem-sucedidos e os falhos dentro do mesmo contexto condicionado pelo feedback.
• Crédito Inter-Estado (FCO): Se o grupo regenerado torna-se SOLVED (todos corretos), o contraste dentro do grupo desaparece (todas as recompensas são 1), tornando o GRPO padrão ineficaz. Para recuperar o sinal de aprendizado, o MulFeRL introduz a Otimização de Contraste de Feedback (FCO). O FCO constrói pares entre o grupo SOLVED atual e o grupo FAILED imediatamente anterior. Ele otimiza a política para aumentar o escore relativo das trajetórias bem-sucedidas (condicionadas ao feedback) em comparação com as trajetórias falhas (condicionadas ao prompt original), tratando a transição como uma tarefa de aprendizado de preferência.

3. Injeção de Feedback Estruturada

Para garantir que o modelo utilize o feedback de forma eficaz durante a regeneração, o MulFeRL emprega um mecanismo de injeção em slot fixo. O feedback verbal é inserido em uma tag <feedback> dedicada dentro do template de raciocínio (ex: dentro de um bloco <thinking>), em vez de ser anexado ao prompt. Este design:

• Trata o feedback como um sinal de condicionamento explícito.
• Incorpora o feedback de forma estrita no contexto de raciocínio.
• Permite a máscara precisa de tokens durante o treinamento, garantindo que o modelo aprenda a racrazoar dado o feedback sem otimizar os próprios tokens de feedback.

Principais Contribuições

1. Novo Framework para Regimes de Baixo Sinal: O MulFeRL aborda a limitação específica do RLVR em amostras de "todos-falharam" ao introduzir um loop de múltiplos turnos que usa feedback verbal para induzir progresso, convertendo falhas anteriormente não informativas em oportunidades de aprendizado certificadas pelo verificador.
2. Otimização de Contraste de Feedback (FCO): O artigo introduz um novo objetivo para lidar com o "progresso saturado de recompensa" (transições FAILED $\to$ SOLVED). Isso permite que o modelo aprenda com casos onde o feedback resolveu com sucesso todas as falhas, um cenário onde os métodos padrão de contraste dentro do grupo falham.
3. Integração de Feedback Estruturada: Os autores demonstram que injetar feedback em um slot de raciocínio fixo, em vez de simples prompting, melhora significativamente a capacidade do modelo de condicionar e utilizar o feedback para regeneração.
4. Roteamento Disparado por Eventos: O framework roteia dinamicamente os sinais de treinamento com base na observação do estado do grupo pelo verificador (CONTRASTIVE vs. SOLVED vs. FAILED), garantindo que as atualizações sejam aplicadas apenas quando existe um sinal de discriminação utilizável.

Resultados Experimentais

Os autores avaliaram o MulFeRL em um subconjunto amostrado do OpenR1-Math e testaram o desempenho em cinco benchmarks de raciocínio matemático (AMC 2023, AIME 2024, OlympiadBench, MATH-500, Minerva-Math) e três tarefas de ciência/raciocínio geral fora do domínio (OOD) (MMLU-Pro, GPQA-Diamond, TheoremQA).

• Ganhos de Desempenho: O MulFeRL superou consistentemente as bases fortes, incluindo Supervised Fine-Tuning (SFT), Self-Distillation (SDPO) e vários métodos baseados em RL (GRPO, Dr.GRPO, Critique-GRPO, RLTF-FM).
  • Na espinha dorsal Qwen2.5-7B-Base, o MulFeRL alcançou um Pass@1 médio de 46,26%, superando significativamente a melhor base de RL (Critique-GRPO com 42,83%).
  • Na espinha dorsal Qwen3-4B-Inst, o MulFeRL atingiu 68,36% de Pass@1 médio, superando o Critique-GRPO (63,65%) e outras bases.
• Generalização: O modelo mostrou forte generalização fora do domínio, melhorando o desempenho em tarefas de ciência e raciocínio geral, apesar de ter sido treinado principalmente em dados matemáticos.
• Estudos de Ablação: A remoção dos componentes principais levou à degradação do desempenho:
  • A remoção da regeneração guiada por feedback causou a maior queda, confirmando a necessidade de induzir progresso a partir de estados falhos.
  • A remoção do FCO prejudicou substancialmente o desempenho, validando seu papel na captura de transições FAILED $\to$ SOLVED.
  • A remoção da injeção de feedback estruturada levou a declínios consistentes, destacando a importância do design de slot fixo.
• Robustez do Simulador: O método permaneceu eficaz mesmo usando simuladores de feedback mais fracos (ex: o próprio modelo base ou GPT-4o-mini), embora simuladores mais fortes (GPT-4o) tenham gerado ganhos adicionais.

Significância e Alegações

O artigo alega que o MulFeRL fornece uma solução robusta para o gargalo de "recompensa esparsa" no RLVR ao aproveitar a riqueza do feedback verbal sem cair nas armadilhas da otimização direta de feedback ou da simples imitação.

• Mecanismo: Os autores enfatizam que a melhoria provém não meramente da exposição ao feedback, mas do mecanismo específico de indução de progresso (transformar falhas em sucessos via feedback) e atribuição de crédito consciente de feedback (usar FCO para aprender com essas transições).
• Eficiência vs. Custo: Os autores reconhecem que o MulFeRL incorre em custos de treinamento mais elevados devido à regeneração de múltiplos turnos e ao overhead de verificação. No entanto, argumentam que o método é mais eficiente em termos de amostra, alcançando um desempenho forte em menos passos de otimização porque extrai sinais de aprendizado mais densos de amostras falhas que, de outra forma, seriam descartadas.
• Limitações: O artigo nota modestamente que a abordagem depende de verificação de resultados confiável e feedback útil. Também destaca que o design atual foca no feedback ao nível de rollout para grupos de todos-falharam, potencialmente perdendo melhorias mais granulares em soluções parcialmente corretas, sugerindo que trabalhos futuros poderiam estender isso para o nível de passo (step-level).

Em conclusão, o MulFeRL demonstra que transformar o feedback verbal em sinais de aprendizado controlados pelo verificador permite que o treinamento de RL continue progredindo em amostras difíceis e falhas, levando a capacidades de raciocínio superiores em tarefas tanto no domínio quanto fora do domínio.