Resumo Técnico: Otimização de Política Diversificada Guiada por Dicas para o Raciocínio de LLMs

Declaração do Problema

Avanços recentes em Grandes Modelos de Linguagem (LLMs) demonstraram capacidades de raciocínio significativas, particularmente através de Aprendizado por Reforço com Recompensas Verificáveis (RLVR). No entanto, os frameworks de RLVR existentes, como o Group Relative Policy Optimization (GRPO), são primariamente limitados por recompensas ao nível do resultado. Esses mecanismos avaliam a correção da resposta final, mas carecem de sinais explícitos para guiar os modelos em direção à exploração de trajetórias de solução diversas. Consequentemente, os modelos frequentemente sofrem de homogeneização de soluções; se um modelo ficar preso em uma trajetória de raciocínio incorreta, ele tem dificuldade em se recuperar ou identificar a resposta correta devido à exploração insuficiente do espaço de soluções. Essa limitação reduz a tolerância a falhas dos processos de raciocínio, especialmente quando o número de tentativas de amostragem é restrito.

Metodologia

Para abordar essas limitações, os autores propõem a Otimização de Política Diversificada Guiada por Dicas (HDPO), um framework projetado para incentivar a geração de soluções diversas e confiáveis através de uma trajetória de raciocínio "propor-selecionar-pensar". O HDPO opera em dois estágios distintos:

1. Cold Start para Raciocínio Estruturado

O primeiro estágio utiliza o Ajuste Fino Supervisionado (SFT) para instilar o padrão "propor-selecionar-pensar" no modelo de política.

• Construção de Dados: Um LLM professor avançado gera trajetórias de raciocínio estruturadas. Para um determinado problema, o modelo é instruído a primeiro listar múltiplos esboços de soluções candidatas (dicas), selecionar o mais confiável e, então, prosseguir com o raciocínio detalhado.
• Filtragem: Para garantir a qualidade dos dados, as trajetórias geradas passam por um processo de filtragem de duas etapas:
  • Verificação de Correção: A resposta final é comparada com a verdade fundamental (ground truth).
  • Verificação de Confiabilidade: Um modelo leve amostra respostas para cada esboço de solução candidata para calcular a precisão. Uma trajetória é retida apenas se a candidata selecionada alinhar-se com aquela que exibe a maior precisão de amostragem.
• Objetivo: O modelo de política é ajustado para seguir este formato estruturado, estabelecendo uma base para gerar dicas candidatas antes do raciocínio.

2. Aprendizado por Reforço Diversificado Guiado por Dicas

No segundo estágio, o modelo passa por Aprendizado por Reforço (RL) para otimizar a geração de soluções diversas e confiáveis. A função de recompensa global combina quatro componentes:

• Recompensa de Formato ($r_{fmt}$): Garante que a saída adira à estrutura "propor-selecionar-pensar" (ex: presença de tags específicas, número de candidatos entre 1 e 5).
• Recompensa de Precisão ($r_{acc}$): Fornece um sinal binário (1 ou 0) baseado em se a resposta final corresponde à verdade fundamental.
• Recompensa de Diversidade ($r_{div}$): Incentiva o modelo a gerar soluções candidatas distintas. As soluções candidatas são codificadas em embeddings, e a similaridade é medida via similaridade de cosseno. Para evitar que o modelo priorize a diversidade em detrimento da correção no início do treinamento, uma estratégia de agendamento de diversidade é empregada. Esta utiliza um coeficiente de aprendizado baseado em seno para aumentar gradualmente o peso da recompensa de diversidade após um período de aquecimento (warm-up).
• Recompensa de Confiabilidade ($r_{rel}$): Incentiva o modelo a selecionar o candidato mais confiável. Como as verificações de confiabilidade baseadas em amostragem são computacionalmente caras durante o RL, os autores utilizam a entropia de tokens como um proxy para confiança. Soluções com menor entropia (maior confiança) são classificadas com maior prioridade. A recompensa é inversamente proporcional ao ranking da solução selecionada entre todos os candidatos (ex: se a solução selecionada é a $k$-ésima mais confiável, $r_{rel} = 1/k$).

A recompensa total é computada como:
$$r_i = r_{fmt} + r_{acc} + \mathbb{I}[r_{acc} > 0] \cdot r_{div} + \bar{r}_{acc} \cdot r_{rel}$$
onde a recompensa de diversidade é aplicada apenas quando a resposta está correta, e a recompensa de confiabilidade é escalonada pela média do grupo de precisão para mitar a excesso de confiança.

Principais Contribuições

1. Framework HDPO: Introdução de um novo framework baseado no paradigma "propor-selecionar-pensar", permitindo que os modelos gerem explicitamente dicas de soluções candidatas antes de se comprometerem com uma trajetória de raciocínio.
2. Mecanismos de Diversidade e Confiabilidade: Desenvolvimento de uma estratégia de agendamento de diversidade e uma recompensa de confiabilidade baseada em confiança que otimizam conjuntamente a exploração do espaço de soluções e a seleção de candidatos robustos.
3. Internalização da Política: Diferente dos métodos de busca em tempo de inferência (ex: Tree-of-Thought) que incorrem em alta latência através de amostragem repetida, o HDPO internaliza o mecanismo de explorar-então-explorar nos parâmetros da política via RLVR, permitindo um raciocínio de passagem única e sem overhead.

Resultados Experimentais

Os autores avaliaram o HDPO em nove benchmarks de raciocínio, incluindo AMC 2023, AIME 2024/2025, Math-500, Minerva, Olympiad-Bench, MMLU-Pro, SciBench e GPQA-Diamond, utilizando modelos de backbone de várias escalas (Qwen3-4B, Qwen2.5-Math-7B e DeepSeek-R1-Distill-Llama-8B).

• Ganhos de Desempenho: O HDPO superou consistentemente o GRPO padrão e outros baselines de estado da arte de RLVR (ex: EDGE-GRPO, Critique-GRPO, LUFFY). Por exemplo, no modelo Qwen3-4B, o HDPO alcançou uma pontuação média de 61.03 comparado a 53.76 para o GRPO.
• Melhoria na Taxa de Acerto (Hit Rate): Experimentos mostraram que o HDPO mantém uma precisão superior mesmo com um número limitado de tentativas de amostragem (Hit@N), enquanto o desempenho do GRPO cai significativamente conforme o número de tentativas diminui, indicando a capacidade superior do HDPO de encontrar soluções corretas em menos tentativas.
• Estudos de Ablação: Remover a fase de cold start, a recompensa de diversidade ou a recompensa de confiabilidade resultou em degradação significativa do desempenho, confirmando a necessidade de cada componente. O estudo também validou que o uso de um modelo professor mais forte para os dados de cold start produz melhores resultados, embora uma abordagem iterativa de autoevolução também tenha mostrado potencial.
• Eficiência: Embora o HDPO introduza um leve aumento na latência de inferência (menos de 0,2 segundos em comparação com métodos SOTA), ele permanece abaixo de 1 segundo, tornando-o implantável em cenários do mundo real enquanto oferece melhorias substanciais de raciocínio.

Significância e Alegações

O artigo afirma que o HDPO aborda efetivamente o problema da homogeneização de soluções nos atuais frameworks de RLVR. Ao incentivar explicitamente a geração de soluções candidatas diversas e treinar o modelo para selecionar a mais confiável, o HDPO aumenta a tolerância a falhas e a robustez do raciocínio do modelo. Os autores enfatizam que sua abordagem vai além da otimização centrada na precisão ao otimizar conjuntamente a diversidade e a confiabilidade, permitindo que os LLMs explorem uma gama mais ampla de soluções potenciais e identifiquem o caminho mais promissor sem o overhead computacional da busca em tempo de inferência. Os resultados sugerem que o HDPO é uma estratégia escalável e eficaz para aumentar o raciocínio de LLMs tanto em domínios matemáticos quanto gerais.