Policy Split: Incentivizing Dual-Mode Exploration in LLM Reinforcement with Dual-Mode Entropy Regularization

Resumo Técnico: Policy Split

1. O Problema

A aplicação de Aprendizado por Reforço (RL) em Grandes Modelos de Linguagem (LLMs), particularmente em Modelos de Raciocínio (LRMs), tem demonstrado sucesso notável. No entanto, existe um conflito fundamental entre exploração (necessária para descobrir novas soluções e melhorar a robustez) e exploração (necessária para manter a precisão e a acurácia).

• Dilema da Entropia: Métodos de RL guiados por entropia tentam incentivar a geração de sequências de alta entropia para evitar o colapso da diversidade. Contudo, estudos recentes indicam que forçar alta entropia em modelos que já possuem capacidades robustas (baixa entropia) pode degradar a acurácia, levando a respostas incoerentes ou "alucinações".
• Limitação Atual: Técnicas existentes que aplicam regularização de entropia globalmente ao modelo tendem a sacrificar a precisão do modelo em tarefas de raciocínio complexo em troca de uma exploração que muitas vezes não é direcionada ou útil.

2. Metodologia: Policy Split

Os autores propõem o Policy Split, um novo paradigma que bifurca a política de um único modelo em dois modos distintos, permitindo otimizar objetivos conflitantes simultaneamente sem comprometer a acurácia.

A. Bifurcação da Política (Dual-Mode)
O modelo mantém os mesmos parâmetros, mas opera em dois modos distintos identificados por prompts de sistema:

1. Modo Normal: Otimizado estritamente para a correção da tarefa (acurácia).
2. Modo de Alta Entropia: Otimizado para explorar perspectivas únicas e diversificadas, incentivado por um prompt de sistema específico que instrui o modelo a "explorar processos de pensamento únicos".

B. Regularização de Entropia Dual-Mode
O núcleo da metodologia é uma função de perda personalizada que trata os dois modos de forma colaborativa, mas com objetivos diferentes:

• Modo Normal: Utiliza vantagens padrão (baseadas em GRPO - Group Relative Policy Optimization) focadas apenas na correção da resposta.
• Modo de Alta Entropia: Adiciona um termo de vantagem regularizado que inclui:
  • Um termo de entropia para incentivar a diversidade.
  • Um termo de divergência KL ($D_{KL}$) para garantir que o comportamento deste modo seja significativamente diferente do modo normal, evitando que a exploração se torne apenas ruído.
  • Uma técnica de clamping (limitação) para evitar que os sinais de gradiente da entropia invertam o sinal de recompensa, garantindo estabilidade no treinamento.

C. Compartilhamento de Rollouts (Rollout Sharing)
Para garantir a colaboração entre os modos:

• O modelo gera amostras (rollouts) em ambos os modos.
• As respostas corretas descobertas pelo Modo de Alta Entropia são compartilhadas com o Modo Normal, permitindo que este aprenda novas soluções válidas.
• O Modo Normal fornece respostas estáveis e corretas para o Modo de Alta Entropia, impedindo que ele colapse em uma política sem sentido.

3. Contribuições Principais

1. Novo Paradigma de RL: Introdução do Policy Split, que desacopla a pressão por acurácia da necessidade de exploração diversificada através da bifurcação da política em um único modelo.
2. Regularização de Entropia Dual-Mode: Uma formulação matemática que permite treinar dois comportamentos distintos (conservador vs. explorador) simultaneamente, mantendo sinergia de aprendizado.
3. Recuperação de Entropia sem Perda de Precisão: Demonstração de que é possível "reviver" a entropia de LRMs de baixa entropia (que tendem a ser muito conservadores) sem degradar seu desempenho em tarefas de raciocínio padrão.
4. Generalização de Prompts: Evidência de que o controle de modo via prompt de sistema é generalizável para instruções não vistas durante o treinamento, permitindo alternar entre modos precisos e criativos na inferência.

4. Resultados Experimentais

Os experimentos foram realizados em modelos da série Qwen3 (1.7B, 4B e 8B) em tarefas gerais (Matemática, Ciência, QA) e criativas.

• Tarefas Gerais (Precisão):
  • O Policy Split superou consistentemente as baselines (incluindo GRPO padrão e métodos de regularização de entropia simples) em acurácia média em benchmarks como MATH-500, AIME e GPQA-Diamond.
  • Diferente de métodos que forçam alta entropia globalmente (que causam queda de acurácia), o Policy Split manteve ou melhorou a precisão do modo normal.
• Tarefas Criativas:
  • O Modo de Alta Entropia demonstrou superioridade significativa em métricas de criatividade, originalidade e impacto narrativo, superando tanto o modelo base quanto as baselines de RL.
  • Métricas de diversidade textual (N-gram e Self-BLEU) foram as mais altas entre todos os métodos testados.
• Análise de Comportamento:
  • A divergência KL entre os dois modos treinados foi significativamente maior no Policy Split em comparação com o GRPO padrão, confirmando que os modos desenvolveram comportamentos distintos.
  • O modo de alta entropia descobriu soluções corretas únicas que o modo normal não encontrou, elevando o escore Best-of-N.

5. Significado e Impacto

O trabalho Policy Split oferece uma solução elegante para o dilema clássico "acurácia vs. diversidade" no RL de LLMs.

• Flexibilidade na Inferência: Permite que um único modelo seja utilizado para tarefas que exigem rigor lógico (Modo Normal) e tarefas que exigem criatividade e pensamento lateral (Modo de Alta Entropia), apenas alterando o prompt de sistema.
• Eficiência de Treinamento: Ao contrário de treinar modelos separados, o Policy Split aprende ambos os comportamentos em um único processo de treinamento, compartilhando parâmetros e experiências.
• Futuro da Pesquisa: Sugere que o futuro do RL em LLMs deve focar em modelagem multi-política colaborativa, onde diferentes "personalidades" ou modos de raciocínio podem coexistir e se beneficiar mutuamente, superando as compensações tradicionais de desempenho.

Em resumo, o Policy Split demonstra que a exploração agressiva não precisa custar a precisão, desde que seja isolada em um modo dedicado que aprende colaborativamente com um modo focado em precisão.