Resumo Técnico: TREK – Destilar para Explorar, Refinar para Aperfeiçoar

1. Declaração do Problema

O artigo aborda um modo de falha específico da Otimização de Política Relativa de Grupo (GRPO) quando aplicada a tarefas de raciocínio complexo. Embora o GRPO seja eficaz quando a política atual (estudante) já amostra trajetórias de solução úteis, ele frequentemente estagna em prompts difíceis onde os modos de solução corretos estão fora do suporte on-policy atual do estudante.

Nesses regimes difíceis, o estudante amostra repetidamente trajetórias plausíveis, mas estruturalmente semelhantes e incorretas. A escassez não é o sinal de recompensa (verificadores podem pontuar soluções corretas se encontradas), mas sim a cobertura de exploração do espaço de solução. O GRPO padrão, sendo um método on-policy, não consegue reforçar comportamentos que ele não amostra. Consequentemente, grupos de rollout maiores ou vantagens relativas mais nítidas frequentemente falham em escapar da região estreita do suporte atual do estudante.

Os métodos de destilação e informados por professores existentes focam amplamente em melhorar a supervisão ou a atribuição de crédito para trajetórias que o estudante já alcança. Eles não abordam diretamente o regime onde o estudante raramente amostra qualquer trajetória que gere recompensa. O desafio central é: Como podemos tornar um comportamento útil amostrável quando a exploração não auxiliada do estudante falha?

2. Metodologia: TREK

Os autores propõem o TREK (Exploração Roteada por Professor via Forward KL), um procedimento em estágios que reformula a destilação como expansão de suporte de exploração em vez de simples imitação.

Filosofia Central

O TREK trata um professor (externo ou auto-aumentado) não como um alvo de comportamento universal, mas como um mecanismo de proposta. O método utiliza uma interface apenas de saída, o que significa que requer apenas trajetórias de saída verificadas, não os logits, estados ocultos ou probabilidades do professor. Isso permite o uso de professores de caixa preta (black-box), professores de caixa branca (white-box) ou o mesmo modelo com contexto adicional de tempo de inferência (ex: reflexão, orçamentos de raciocínio mais longos ou lições de falha).

O Algoritmo TREK

O procedimento separa a disponibilidade de proposta ao nível do prompt do alcance ao nível da trajetória:

1. Roteamento de Prompt (Mineração de Prompts Difíceis):

   • Para cada prompt $x$, o sistema estima a taxa de passagem não auxiliada do estudante $p_S(x)$ amostrando $K$ rollouts.
   • Se $p_S(x) \leq \tau_{low}$ (indicando um prompt difícil onde o estudante falha), o prompt é roteado para a fase de proposta. Prompts fáceis permanecem no fluxo padrão do GRPO.

2. Geração e Seleção de Propostas:

   • Uma fonte de proposta $\pi_T$ (um modelo mais forte ou o mesmo modelo com contexto adicional) gera soluções candidatas para os prompts difíceis roteados.
   • As trajetórias são filtradas por um verificador $V$. Apenas sucessos verificados são mantidos.
   • Filtragem de Alcance: Entre as trajetórias verificadas, o sistema as classifica pela probabilidade atual do estudante (medida via um log-verossimilhança negativa tracionado e normalizado pelo comprimento, $d_S$).
   • As top-$r$ propostas verificadas mais próximas do estudante são retidas. Isso garante que o estudante não seja solicitado a imitar soluções que estejam muito distantes de suas capacidades atuais, focando, em vez disso, em modos que ele possa plausivelmente alcançar.

3. Consolidação Forward-KL (Warm-Start):

   • As trajetórias retidas formam um conjunto de dados $D_{scaf}$.
   • Uma atualização curta de Forward-KL é aplicada: $\min KL(q_{prop} \parallel \pi_\theta)$.
   • Este objetivo penaliza o estudante por atribuir baixa probabilidade aos modos de proposta verificados, efetivamente "puxando" esses modos de solução para dentro do suporte do estudante. Isso é distinto da destilação padrão (que frequentemente minimiza $KL(\pi_\theta \parallel q_{prop})$ ou usa destilação on-policy).

4. Refinamento On-Policy:

   • Após o warm-start de Forward-KL, os prompts retornam ao fluxo de rollout padrão do GRPO.
   • O estudante, agora tendo expandido seu suporte para incluir os modos verificados, pode amostrá-los e receber vantagens relativas do verificador para refinar sua política ainda mais.

3. Principais Contribuições

1. Identificação de um Modo de Falha: O artigo identifica o "suporte de exploração ausente" como um gargalo distinto para o GRPO em prompts de raciocínio difíceis, separado da esparsidade de recompensa.
2. Destilação como Exploração: Formula uma visão de destilação especificamente para expandir o suporte alcançável do estudante, em vez de apenas densificar a supervisão em trajetórias já amostradas.
3. O Procedimento TREK: Um algoritmo roteado simples que desacopla a dificuldade do prompt do alcance da trajetória, utilizando uma fase curta de Forward-KL para consolidar propostas verificadas antes de retornar ao GRPO.
4. Compatibilidade com Caixa Preta: Ao exigir apenas saídas verificadas, o método é compatível com professores de caixa preta externos, professores de caixa branca ou auto-contextualização, tornando-o amplamente aplicável em cenários práticos.
5. Eficiência de Treinamento: Demonstra que injetar modos de solução verificados antes do início do RL acelera significativamente o aprendizado nos tipos de tarefas mais difíceis, reduzindo o número de passos de otimização necessários para atingir alto desempenho.

4. Resultados Experimentais

Os autores avaliaram o TREK em tarefas de raciocínio matemático (AIME 2024/2025) e tarefas de planejamento de agentes (ALFWorld, ScienceWorld).

Raciocínio Matemático (Modelos Qwen3)

• Configuração: Testado em modelos Qwen3 de 1.7B, 8B e 14B. As propostas vieram do DeepSeek-V4 (externo) ou do próprio modelo Qwen3 com auto-contexto (lições de falha).
• Desempenho: O TREK superou consistentemente o GRPO direto em todas as escalas.
  • Qwen3-8B: Melhorou o AIME 2025 de 36.9% para 40.3% e o AIME 2024 de 47.9% para 51.1% (usando propostas do DeepSeek-V4).
  • Variante de Auto-Contexto: Mesmo sem um professor externo, a variante de auto-contexto melhorou o AIME 2025 para 38.5% e o AIME 2024 para 49.6%.
• Ablação: Substituir a consolidação Forward-KL por supervisão do tipo destilação on-policy (OPD) resultou em menor desempenho, confirmando que o objetivo Forward-KL é superior para expandir a cobertura de modo em prompts difíceis.

Tarefas Agênticas (Qwen2.5-7B-Instruct)

• ALFWorld: A taxa de sucesso aumentou de 75.8% (GRPO) para 82.8% (TREK com DeepSeek-V4) e 80.4% (auto-contexto).
• ScienceWorld: A taxa de sucesso mais que dobrou, subindo de 12.5% (GRPO) para 26.7% (TREK com DeepSeek-V4) e 23.4% (auto-contexto).
• Análise de Dificuldade de Tarefa: Os ganhos concentraram-se nos tipos de tarefas mais difíceis (ex: "Heat & Place", "Examine in Light") onde o desempenho base do GRPO era o mais baixo. Tarefas fáceis mostraram pouco ou nenhum progresso, confirmando que o método visa o gargalo de exploração.
• Dinâmica de Treinamento: O TREK alcançou altas taxas de sucesso muito mais cedo no treinamento comparado ao GRPO. Por exemplo, no ALFWorld, o TREK excedeu 60% de sucesso no passo 20, enquanto o GRPO permaneceu abaixo de 50% e exigiu ~5x mais passos para atingir o mesmo nível.

5. Significância e Alegações

O artigo afirma que o TREK oferece um framework generalizável para melhorar sistemas de raciocínio on-policy quando o principal gargalo é a incapacidade de amostrar trajetórias que geram recompensa.

• Complementaridade: O TREK é apresentado como complementar aos métodos existentes (como ponderação de tokens ou melhorias de atribuição de crédito) que operam dentro do suporte atual do estudante. O TREK opera antes disso, garantindo que o suporte exista.
• Eficiência: A principal vantagem não é necessariamente elevar o teto assintótico (pois o GRPO pode eventualmente atingir níveis semelhantes com computação massiva), mas reduzir drasticamente o orçamento de treinamento necessário para descobrir modos de solução difíceis.
• Praticidade: A dependência de saídas verificadas em vez de internos do professor torna o método robusto para implantação no mundo real, onde professores de caixa preta ou loops de auto-reflexão são comuns, mas estados internos do modelo são inacessíveis.

Os autores concluem que este paradigma "Destilar para Explorar, Refinar para Aperfeiçoar" pode se estender a outros frameworks de pós-treinamento (ex: DAPO, GSPO) e cenários de aquisição contínua de habilidades, fornecendo uma maneira estruturada de introduzir novas capacidades via propostas verificadas antes de estabilizá-las através de reforço on-policy.