🤖 machine learning

Exploration-Driven Optimization for Test-Time Large Language Model Reasoning

O artigo propõe a Otimização Impulsionada por Exploração (EDO), um novo quadro que integra objetivos de exploração que promovem diversidade em métodos iterativos de pós-treinamento como iDPO e GRPO para resolver a tensão entre a diversidade de amostragem no momento da inferência e o afunilamento de distribuição induzido por RL, melhorando assim o desempenho e a estabilidade do raciocínio de LLMs em tarefas tanto dentro quanto fora da distribuição.

Autores originais: Changhao Li, Yuchen Zhuang, Chenxiao Gao, Haotian Sun, Rushi Qiang, Chao Zhang, Bo Dai

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Changhao Li, Yuchen Zhuang, Chenxiao Gao, Haotian Sun, Rushi Qiang, Chao Zhang, Bo Dai

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno brilhante (um Modelo de Linguagem de Grande Escala) que está aprendendo a resolver quebra-cabeças matemáticos complexos. Você quer que ele se torne um mestre na resolução de problemas.

Geralmente, quando treinamos esses alunos, usamos um método chamado Aprendizado por Reforço. Pense nisso como um treinador rigoroso que recompensa o aluno apenas por encontrar a única melhor resposta. Com o tempo, o aluno fica muito bom em encontrar esse caminho específico. Mas aqui está o problema: ele para de explorar. Ele fica "preso" em uma rotina, conhecendo apenas uma maneira de resolver um problema. Se essa única maneira falhar, ele não tem um plano de backup.

Isso cria um conflito. Para resolver quebra-cabeças realmente difíceis, frequentemente usamos uma técnica no momento do teste chamada "Autoconsistência". Isso é como pedir ao aluno para resolver o mesmo problema 10 vezes diferentes e, em seguida, escolher a resposta que aparece com mais frequência. Isso funciona muito bem se o aluno estiver gerando 10 abordagens diferentes. Mas se o aluno foi treinado para conhecer apenas uma abordagem, pedir que ele tente 10 vezes apenas lhe dá 10 cópias da mesma resposta (potencialmente errada).

O artigo introduz um novo método de treinamento chamado EDO (Otimização Impulsionada pela Exploração) para corrigir isso.

A Ideia Central: O "Explorador Curioso" vs. O "Especialista Seguro"

Os autores perceberam que, para fazer o truque da "Autoconsistência" funcionar, o modelo precisa ser um Explorador Curioso durante o treinamento, e não apenas um Especialista Seguro.

O Jeito Antigo (O Especialista): O treinador diz: "Se você acertar a resposta, ótimo! Se errar, tente ser mais parecido com a última vez que acertou." O aluno aprende a repetir o mesmo padrão de sucesso uma e outra vez. O resultado é uma forma de pensar muito estreita e "afiada".
O Jeito Novo (EDO - O Explorador): O treinador diz: "Acerte a resposta, mas também, não repita apenas o que você fez da última vez. Tente um caminho ligeiramente diferente. Se você continuar fazendo exatamente a mesma coisa, vou te dar um leve empurrão para tentar algo novo."

A Analogia Criativa: O Labirinto e a Lanterna

Imagine que o aluno está em um labirinto gigante e escuro (o espaço do problema) tentando encontrar a saída (a resposta correta).

Treinamento Padrão: O aluno encontra um caminho até a saída. Ele recebe uma recompensa. Na próxima vez, é treinado para seguir esse mesmo caminho exato com foco de laser. Ele para de olhar para as paredes ou outros corredores. Se aquele único caminho ficar bloqueado mais tarde, ele fica preso.
Treinamento EDO: O aluno encontra um caminho até a saída e recebe uma recompensa. Mas o treinador adiciona uma regra: "Você também deve vaguear por alguns corredores laterais que você ainda não tentou." O aluno aprende a manter sua "lanterna" (distribuição de probabilidade) ampla, iluminando muitos caminhos diferentes, e não apenas aquele que sabe funcionar.

Como Funciona na Prática

O artigo pega dois métodos de treinamento existentes (chamados iDPO e GRPO) e adiciona essa regra de "curiosidade" a eles. Eles chamam as novas versões de ED-iDPO e ED-GRPO.

O Mecanismo: Matematicamente, eles adicionam uma "penalidade" se o modelo ficar muito confortável com suas respostas anteriores. Isso força o modelo a permanecer ligeiramente "desconfortável" e diversificado, mantendo suas opções abertas.
O Resultado: Quando testam esses novos modelos, eles não obtêm apenas uma boa resposta; eles geram uma ampla variedade de soluções diferentes.

Por Que Isso Importa (A Magia do "Momento do Teste")

Como o modelo agora está gerando soluções diversas, o truque da "Autoconsistência" (pedir 10 respostas e votar) de repente funciona muito melhor.

Antes: Peça 10 respostas $\rightarrow$ Obtenha 10 respostas erradas idênticas $\rightarrow$ Vote $\rightarrow$ Ainda errado.
Com EDO: Peça 10 respostas $\rightarrow$ Obtenha 10 abordagens diferentes (algumas certas, algumas erradas) $\rightarrow$ Vote $\rightarrow$ A resposta correta vence porque apareceu múltiplas vezes em formas diferentes.

Os Resultados

Os autores testaram isso em competições matemáticas difíceis (como os conjuntos de dados AIME e MATH).

Precisão: Os novos métodos (ED-iDPO e ED-GRPO) resolveram mais problemas corretamente do que os melhores métodos anteriores.
Diversidade: Os modelos produziram respostas muito mais variadas (medidas pela diferença nas palavras e nos passos).
Estabilidade: Ao contrário de outros métodos que às vezes fazem o modelo "colapsar" (esquecer tudo e tornar-se repetitivo), o EDO manteve o modelo estável e criativo durante todo o processo de treinamento.

Resumo

Em termos simples, o EDO ensina os modelos de IA a serem menos obcecados em ser "perfeitamente consistentes" e mais dispostos a ser "criativamente diversos". Ao forçar o modelo a explorar diferentes caminhos durante o treinamento, ele se torna muito melhor em resolver problemas difíceis quando solicitado a gerar múltiplas soluções no momento do teste. É a diferença entre um aluno que memoriza uma solução e um aluno que entende a paisagem do problema o suficiente para encontrar a resposta de muitos ângulos diferentes.

Resumo Técnico: Otimização Impulsionada por Exploração para Raciocínio de Modelos de Linguagem de Grande Escala no Tempo de Teste

1. Declaração do Problema

Avanços recentes em Modelos de Linguagem de Grande Escala (LLMs) demonstraram que combinar técnicas de pós-treinamento (especificamente Aprendizado por Reforço, RL) com escalonamento no tempo de inferência melhora significativamente as capacidades de raciocínio. No entanto, existe uma tensão fundamental entre esses dois paradigmas:

Escalonamento no Tempo de Inferência: Técnicas como Auto-Consistência, Amostragem Melhor-de-N (BoN) e Busca em Árvore de Monte Carlo dependem de amostragem diversificada a partir de uma distribuição de probabilidade relativamente achatada para descobrir soluções ótimas.
Pós-treinamento com RL: O pós-treinamento convencional baseado em RL (por exemplo, PPO, DPO, GRPO) afina inerentemente as distribuições de saída. Ao ajustar o modelo para soluções de alta confiança e alta recompensa, esses métodos frequentemente levam ao "colapso de modo", reduzindo a diversidade das trajetórias geradas.

Esse colapso distribucional limita a eficácia do escalonamento no tempo de teste, pois o modelo falha em gerar as soluções candidatas diversas necessárias para que os métodos de agregação identifiquem a resposta correta. Abordagens existentes frequentemente tratam o escalonamento no tempo de inferência como um procedimento post-hoc, falhando em alinhar o objetivo de treinamento com os requisitos de exploração diversificada.

2. Metodologia: Otimização Impulsionada por Exploração (EDO)

Os autores propõem a Otimização Impulsionada por Exploração (EDO), um framework projetado para promover diversidade durante a fase de pós-treinamento, mantendo o alinhamento com os objetivos da tarefa. A EDO estende objetivos de exploração com viés de recompensa de trabalhos anteriores (por exemplo, VPO, XPO) para configurações de pós-treinamento iterativo.

Mecanismo Central

A EDO introduz um termo de regularização que incentiva explicitamente a política atual ( $\pi_\theta$ ) a divergir da iteração anterior da política ( $\pi_{t-1}$ ), em vez de ancorar-se apenas a uma política de referência estática ( $\pi_{ref}$ ).

Formulação com Viés de Recompensa:
O método reinterpreta o cálculo no tempo de teste como uma função Q implícita. Para incentivar a exploração, a EDO maximiza um objetivo que inclui um termo promovendo a divergência da política anterior.
- O objetivo de otimização é reformulado para maximizar $J^*(r^{(t)})$ , o que, sob restrições específicas (expectativa zero sob a política anterior), traduz-se em minimizar a divergência de Kullback-Leibler (KL) reversa: $-\beta D_{KL}(\pi_{t-1} \parallel \pi_\theta)$ .
- Este termo atua como uma força "repulsiva", impedindo que a política colapse nos modos dominantes da iteração anterior, enquanto o termo KL forward padrão ( $D_{KL}(\pi_\theta \parallel \pi_{ref})$ ) mantém a estabilidade e previne o esquecimento catastrófico.
Integração com Algoritmos Existentes:
A EDO é integrada perfeitamente em dois paradigmas iterativos populares de RL:
- ED-iDPO (Otimização Iterativa Direta de Preferência Impulsionada por Exploração): Modifica a perda iDPO adicionando o termo de exploração. O objetivo torna-se:
  $L_{ED-iDPO} = L_{iDPO} - \alpha J^*(r^{(t)})$
  onde $\alpha$ controla a força do viés de exploração.
- ED-GRPO (Otimização de Política Relativa de Grupo Impulsionada por Exploração): Adapta o objetivo GRPO para incluir a divergência KL reversa no nível de token entre as políticas atual e anterior, suavizando a distribuição de probabilidade de saída sem exigir um modelo crítico separado.
Pipeline de Treinamento Iterativo:
O framework opera em um loop iterativo:
- Gerar $N$ soluções candidatas a partir da política atual.
- Construir pares de preferência (para iDPO) ou recompensas de grupo (para GRPO) baseados na correção.
- Atualizar a política usando o objetivo aumentado pela EDO.
- Repetir, usando a política atualizada como referência para o termo de exploração da próxima iteração.

3. Contribuições Principais

O artigo delineia três contribuições primárias:

Framework Principiado: Introdução da EDO, um framework que promove uma distribuição de saída achatada para equilibrar exploração e exploração, facilitando especificamente um escalonamento no tempo de inferência mais eficaz.
Integração Perfeita: Demonstração de que a EDO pode ser integrada em pipelines padrão de pós-treinamento (iDPO e GRPO) para produzir variantes aprimoradas (ED-iDPO e ED-GRPO) que melhoram significativamente a diversidade de soluções e o desempenho de raciocínio.
Validação Empírica: Avaliação abrangente mostrando melhorias consistentes em várias bases (Qwen, LLaMA) e conjuntos de dados, destacando a robustez da EDO na prevenção do colapso de superotimização.

4. Resultados Experimentais

Desempenho In-Distribution

Os experimentos foram conduzidos em três benchmarks de raciocínio: GSM8K (matemática do ensino fundamental), Math (competição de ensino médio) e s1K (questões desafiadoras de nível de competição).

Ganhos de Precisão: Tanto ED-iDPO quanto ED-GRPO superaram bases fortes (ETO, GRPO, DAPO).
- No s1K, o ED-GRPO alcançou uma precisão de 38,6% (gananciosa) e 48,4% (Auto-Consistência), superando a melhor base (ETO+SC) em 1,1% e 1,3% respectivamente.
- Em Math e GSM8K, as variantes EDO melhoraram consistentemente a precisão sobre as bases padrão de CoT e Auto-Consistência.
Sinergia com Escalonamento no Tempo de Teste: Os ganhos de desempenho foram mais pronunciados quando combinados com Auto-Consistência, indicando que as soluções diversas geradas pela EDO são efetivamente agregadas pelos métodos no tempo de inferência.

Generalização Out-of-Distribution (OOD)

Modelos treinados no s1K foram avaliados em cinco conjuntos de dados OOD (AIME24, AIME25, MATH500, Minerva Math, Olympiad Bench).

Capacidade Plug-and-Play: Modelos treinados com EDO mostraram forte generalização entre conjuntos de dados sem retreinamento.
Melhorias: O ED-GRPO entregou um ganho médio de 2,4% sobre a base GRPO em todas as tarefas OOD, demonstrando que a exploração aprimorada melhora a transferibilidade para distribuições de dados heterogêneas.

Ablação e Análise

Estabilidade de Treinamento: Diferentemente do GRPO padrão ou ETO, que exibiram degradação de desempenho ou estabilização após algumas épocas (sinais de superotimização), as variantes EDO mantiveram ganhos de desempenho estáveis ao longo de múltiplas iterações de treinamento.
Preservação de Entropia: A Figura 4 no artigo mostra que, enquanto métodos padrão levam rapidamente a entropia da política a níveis baixos, o ED-GRPO mantém uma entropia significativamente maior durante todo o treinamento, prevenindo o colapso de modo.
Métricas de Diversidade: As variantes EDO produziram saídas substancialmente mais diversas (medidas por Distinct-4). Por exemplo, no s1K, o ED-GRPO melhorou o Distinct-4 em 47,0% em comparação com a base.
Estudo de Caso: Uma análise qualitativa em um problema de geometria revelou que modelos padrão produziram caminhos de raciocínio homogêneos e incorretos, enquanto o ED-iDPO gerou estratégias diversas (geometria analítica, decomposição de regiões, argumentos de simetria), permitindo que a votação no tempo de teste selecionasse a resposta correta.

5. Significado e Alegações

O artigo posiciona a EDO como um framework prático para resolver a tensão entre o alinhamento baseado em RL e os requisitos de diversidade do escalonamento no tempo de teste.

Prevenção de Colapso: Os autores afirmam que a EDO previne efetivamente o "colapso de superotimização", um modo de falha comum no RLHF onde os modelos perdem a capacidade de explorar soluções alternativas.
Compatibilidade: O método é destacado como compatível com vários algoritmos de otimização de política e técnicas de inferência no tempo de teste (Auto-Consistência, BoN, Busca em Árvore).
Escalabilidade: Ao permitir que os modelos aproveitem caminhos de inferência diversos, a EDO permite uma utilização mais eficaz da computação no tempo de teste, um fator crítico para escalar capacidades de raciocínio sem aumentar os parâmetros do modelo.

Os autores concluem que a EDO oferece uma abordagem principiada para equilibrar exploração e exploração, estabelecendo uma nova base para o raciocínio de LLMs que é particularmente eficaz em configurações que dependem de escalonamento no tempo de teste.