Resumo Técnico: OPENREWARD

Declaração do Problema

Os Modelos de Recompensa (RMs) são críticos para o alinhamento de Grandes Modelos de Linguagem (LLMs) tanto durante o treinamento quanto na inferência, servindo como proxies escaláveis para a avaliação humana. No entanto, os RMs existentes, sejam eles treinados como classificadores de preferência binária ou utilizando o paradigma "LLM-como-um-Juiz", enfrentam dificuldades significativas em tarefas de formato longo, de base de conhecimento intensiva e de natureza aberta. Avaliar tal conteúdo (por exemplo, relatórios médicos, itinerários de viagem ou produções de pesquisa profunda) exige frequentemente o embasamento em informações externas que excedem o conhecimento paramétrico interno do modelo. As abordagens atuais dependem ou de prompts para LLMs comerciais com mecanismos de busca (carecendo de flexibilidade) ou utilizam interações simples de ferramentas para verificação de formato curto, deixando uma lacuna na avaliação eficaz de respostas complexas e de formato longo em ambientes de domínio aberto.

Metodologia

O artigo propõe o OPENREWARD, um framework de modelagem de recompensa aumentado por ferramentas, projetado para raciocinar de forma adaptativa e chamar ferramentas externas para reunir evidências antes de proferir um julgamento.

1. Framework de Recompensa Agêntico

O OPENREWARD opera como um processo de decisão sequencial. Dado um query $q$ e duas respostas candidatas ($x_1, x_2$):

• Invocação de Ferramenta: O modelo decide iterativamente qual ferramenta invocar (ex: Busca no Wikipedia, Busca no arXiv, Busca no PubMed) com base no contexto atual.
• Coleta de Evidências: As ferramentas selecionadas são executadas para recuperar resultados externos ($e_i$), que são anexados ao contexto para guiar o raciocínio subsequente.
• Julgamento Final: Após reunir evidências suficientes, o modelo seleciona a melhor resposta ($y$) e fornece uma explicação.

2. Treinamento via Aprendizado por Reforço (RL)

Para treinar o modelo a utilizar ferramentas de forma eficaz e fazer julgamentos precisos, os autores empregam a Otimização de Política Relativa ao Grupo (GRPO - Group Relative Policy Optimization).

• Sinal de Treinamento: Uma função de recompensa composta $R$ é desenhada para supervisionar tanto o comportamento intermediário quanto os resultados finais:
  $$R = R_{EM} + \text{sign}(R_{EM}) \cdot \lambda \cdot R_{tool}$$
  • $R_{EM}$ (Precisão do Resultado): Uma recompensa binária (1 ou 0) baseada em se o julgamento final coincide com a verdade fundamental (ground truth).
  • $R_{tool}$ (Uso de Ferramenta): Uma recompensa de +1 para seleção correta de ferramenta e 0 para chamadas incorretas/irrelevantes.
  • Design Crucial: A recompensa da ferramenta é controlada pelo sinal de precisão do resultado final ($\text{sign}(R_{EM})$). Isso evita o "hack de recompensa" (reward hacking), onde o modelo poderia aprender a chamar ferramentas frequentemente, mas ainda assim falhar em responder corretamente.
• Otimização: O GRPO calcula vantagens relativas ao grupo comparando trajetórias dentro de um grupo, incentivando a descoberta de estratégias de raciocínio de múltiplos passos eficazes através de tentativa e erro.

3. Síntese de Dados Controlável (OPENRM-LIB)

Abordando a escassez de dados pareados confiáveis para tarefas de formato longo, os autores introduzem o OPENRM-LIB, um framework para síntese de dados não supervisionada:

• Geração de Queries Orientada ao Alvo: Um LLM forte gera queries a partir de documentos amostrados (ex: Wikipedia, arXiv).
• Construção de Pares Positivos/Negativos:
  • Resposta Positiva: Gerada por um LLM com acesso ao documento de referência.
  • Resposta Negativa: Gerada pelo mesmo LLM sem acesso ao documento de referência.
• Esta configuração contrastiva garante um hiato de qualidade claro (embasado vs. alucinado/incompleto) sem necessidade de anotação manual, produzindo mais de 27.000 pares de treinamento de alta qualidade.

Principais Contribuições

1. Framework OPENREWARD: Introdução de um RM aumentado por ferramentas capaz de recuperar autonomamente evidências externas para julgar respostas complexas de formato longo, abordando as limitações do conhecimento interno estático.
2. Síntese de Dados Controlável: Uma estratégia inovadora (OPENRM-LIB) para gerar mais de 27 mil dados de treinamento pareados de alta qualidade de maneira não supervisionada, superando os gargalos de dados para avaliação de formato longo.
3. Estratégia de Treinamento RLVR: Uma função de recompensa composta usando GRPO que otimiza conjuntamente a precisão da seleção de ferramentas e a correção do julgamento final, prevenindo efetivamente o hack de recompensa.
4. Validação Empírica: Avaliação abrangente demonstrando que o OPENREWARD supera os baselines existentes (incluindo LLM-como-um-Juiz e outros RMs treinados) em múltiplos domínios.

Resultados Experimentais

O artigo avalia o OPENREWARD em três novos conjuntos de dados in-domain (Wikipedia, Científico, Médico) e dois benchmarks out-of-domain (RewardBench, PandaLM).

• Desempenho In-Domain: O OPENREWARD (baseado em Qwen-2.5-7B) alcança uma precisão média de 91,33% nos novos conjuntos de dados, superando substancialmente baselines fortes como GPT-4o (62,80%), Claude-Opus (63,23%) e outros RMs treinados (ex: RM-R1 com 54,32%).
• Generalização Out-of-Domain: Apesar de ser treinado em apenas 27 mil exemplos (comparado a mais de 100 mil para alguns baselines), o OPENREWARD alcança uma precisão média de 78,54% no RewardBench e PandaLM, superando modelos treinados em conjuntos de dados significativamente maiores. Os autores atribuem isso à capacidade do modelo de raciocinar sobre as evidências recuperadas em vez de memorizar distribuições de treinamento.
• Estudos de Ablação:
  • Remover o sinal de recompensa da ferramenta leva à "busca preguiçosa" (lazy searching) (dependência do conhecimento interno).
  • Desacoplar as recompensas de ferramenta da precisão final leva ao "hack de recompensa" (reward hacking) (busca excessiva sem julgamentos corretos).
  • O design de recompensa controlada é essencial para equilibrar o raciocínio e o uso de ferramentas.
• Utilidade Downstream:
  • Seleção de Dados: Usar o OPENREWARD para filtrar dados de treinamento para DPO resulta em maior precisão de seleção (75,18%) em comparação com o RM-R1 (68,87%).
  • Alinhamento de Modelo: LLMs alinhados usando dados selecionados pelo OPENREWARD mostram ganhos de desempenho consistentes (ex: +4,57% em média para o modelo 7B) em relação àqueles alinhados com RMs existentes.

Significância

O artigo postula que o modelagem de recompensa aumentada por ferramentas representa um passo significativo para a avaliação confiável e o alinhamento pós-treinamento de LLMs. Ao permitir que os RMs atuem como sistemas agênticos que verificam afirmações contra evidências externas, o OPENREWARD aborda a limitação fundamental dos RMs padrão em cenários de alto consumo de conhecimento. O trabalho demonstra que integrar ferramentas externas com aprendizado por reforço não apenas melhora a precisão do próprio modelo de recompensa, mas também aumenta a qualidade do alinhamento de LLMs downstream, sugerindo um caminho escalável para sistemas de IA mais confiáveis.