Blockwise Advantage Estimation for Multi-Objective RL with Verifiable Rewards

Resumo Técnico: Estimativa de Vantagem por Blocos (Blockwise Advantage Estimation) para RL Multiobjetivo

1. O Problema: Interferência de Objetivos e Atribuição de Crédito

Atualmente, métodos populares de Aprendizado por Reforço (RL) para Grandes Modelos de Linguagem (LLMs), como o GRPO (Group Relative Policy Optimization), tratam cada resposta gerada como uma trajetória monolítica. Isso significa que um único valor escalar de "vantagem" é calculado para toda a sequência de tokens e aplicado uniformemente.

O problema surge em tarefas estruturadas que possuem múltiplos objetivos sequenciais (ex: primeiro resolver um problema matemático, depois autoavaliar a confiança). Quando se tenta combinar múltiplos sinais de recompensa em um único escalar (reward scalarization), ocorrem dois problemas principais:

• Interferência de Objetivos: Sinais de recompensas não relacionados competem entre si, dificultando a otimização de ambos.
• Falha na Atribuição de Crédito: O modelo não consegue distinguir quais tokens foram responsáveis por qual parte da recompensa (ex: o modelo pode ser penalizado na parte da "solução" por um erro na parte da "confiança", ou vice-versa).

2. Metodologia Proposta

Os autores introduzem a Blockwise Advantage Estimation (BAE), uma família de métodos compatíveis com o GRPO que decompõe a otimização em blocos de texto independentes.

Principais componentes da metodologia:

• Decomposição por Blocos: Em vez de uma vantagem única, o método atribui uma vantagem específica ($\hat{A}_k$) para cada bloco de texto $X_k$, baseada em sua própria recompensa local $r_k$. A atualização do gradiente é aplicada apenas aos tokens pertencentes ao bloco correspondente.
• O Desafio do Baseline Condicional: Para blocos subsequentes ($k > 1$), a recompensa depende do prefixo gerado anteriormente. Um baseline ideal exigiria simulações extras (rollouts de Monte Carlo), o que é computacionalmente proibitivo.
• Outcome-Conditioned Baseline (OCB): Esta é a principal inovação técnica. Para evitar custos extras de computação, o OCB estima o valor do estado intermediário utilizando apenas as estatísticas do grupo atual. Ele estratifica (divide) as amostras do grupo em subgrupos baseados em um "resultado intermediário" (ex: se a solução anterior foi correta ou incorreta). O baseline para um bloco é então a média das recompensas dentro desse subgrupo específico.

3. Principais Contribuições

1. Framework BAE: Um método critic-free (sem necessidade de um modelo de valor separado) e compatível com GRPO para RL multiobjetivo em gerações estruturadas.
2. Estimador OCB: Um estimador de baseline eficiente em termos de computação que reduz a variância para blocos tardios sem a necessidade de novos rollouts ou inferência adicional.
3. Modularidade: O método permite otimizar objetivos sequenciais (como raciocínio + calibração de confiança) de forma desacoplada, reduzindo a dependência de design manual de recompensas complexas.

4. Resultados Experimentais

Os autores testaram o método em tarefas de raciocínio matemático combinadas com estimativa de incerteza (auto-confiança) usando modelos Qwen2.5.

• Desempenho de Calibração: O método OCB superou o baseline de média de grupo (Group Mean) e foi competitivo com o estado da arte (RLCR). Ele alcançou uma redução significativa no ECE (Expected Calibration Error), indicando que o modelo reporta confiança de forma muito mais precisa.
• Escalabilidade no Tempo de Teste (Test-Time Scaling): O método preservou os ganhos de precisão quando se utiliza a confiança para selecionar respostas em múltiplas amostras (ex: Confidence-weighted majority). Isso prova que a calibração melhorada é "acionável" e útil na prática.
• Robustez: O método mostrou-se eficaz tanto em dados de distribuição conhecida quanto em dados fora de distribuição (OOD), como o conjunto AIME.
• Refinamento de Tentativas: Em experimentos de "duas tentativas" (onde o modelo reflete e tenta novamente), o BAE permitiu que a segunda tentativa melhorasse consistentemente a precisão em relação à primeira.

5. Significância e Impacto

Este trabalho é significativo porque oferece uma "receita modular" para treinar agentes de IA que precisam realizar tarefas complexas e de longo horizonte. Ao permitir que diferentes partes de uma resposta sejam otimizadas para objetivos distintos sem interferência, o BAE pavimenta o caminho para o treinamento de modelos que não apenas resolvem problemas, mas também monitoram seu próprio progresso e incerteza de maneira eficiente e escalável.