Resumo Técnico: Não Desperdice Seus Rollouts: Reciclando Experiência de Busca para Escalonamento Eficiente em Tempo de Teste

Declaração do Problema

As estratégias atuais de Escalonamento em Tempo de Teste (TTS), que aprimoram o raciocínio de Modelos de Linguagem de Grande Escala (LLMs) alocando poder computacional adicional de inferência, sofrem de uma ineficiência fundamental: o desperdício de informações. Os paradigmas existentes — seja amostragem paralela, refinamento sequencial ou busca baseada em árvores — tipicamente tratam rollouts individuais (trajetórias de raciocínio) como amostras descartáveis. Uma vez que uma tentativa é concluída ou descartada, os insights intermediários valiosos, proposições verificadas e padrões de falha identificados contidos naquela trajetória são efetivamente perdidos.

Essa abordagem "sem memória" leva a uma redundância computacional substancial. Os modelos repetidamente rederivam conclusões que já foram descobertas em outros rollouts e revisitam becos sem saída conhecidos, falhando em aproveitar o conhecimento cumulativo gerado durante o processo de busca. O artigo argumenta que maximizar o potencial do poder computacional em tempo de teste requer não apenas aumentar o volume de rollouts, mas otimizar a qualidade da exploração, transformando tentativas descartáveis em um processo cumulativo guiado por experiência.

Metodologia: Reciclando Experiência de Busca (RSE)

Para abordar essa ineficiência, os autores propõem a Reciclagem de Experiência de Busca (RSE), uma estratégia de inferência autoguiada e sem treinamento. A RSE reenquadra a busca em tempo de teste de uma série de tentativas isoladas em um processo cumulativo, onde insights valiosos de trajetórias anteriores são destilados e reutilizados para guiar a exploração subsequente.

A metodologia opera através de três componentes coordenados:

1. Busca Guiada por Experiência em Lotes:
   Em vez de sincronização em tempo real (que é instável) ou refinamento puramente sequencial (limitado pelas janelas de contexto), a RSE particiona o orçamento de rollout em $R$ rodadas. Em cada rodada $r$, o modelo gera um lote de $K_r$ trajetórias em paralelo. Antes de cada rodada, um Banco de Experiência global é serializado no prompt, garantindo que todos os rollouts no lote comecem de um estado sincronizado contendo conhecimento acumulado de rodadas anteriores.

2. Destilação de Experiência Autoguiada:
   Em vez de concatenar cadeias de raciocínio brutas e verbosas (o que arrisca overflow de contexto e ruído), a RSE emprega um passo de prompt leve para destilar cada trajetória concluída em itens estruturados e discretos. Esse processo aproveita a capacidade intrínseca de autoavaliação do modelo sem supervisão externa:

   • Experiência Positiva ($E^{pos}$): Extrai proposições verificadas, lemas ou conclusões intermediárias que servem como "âncoras de verdade" para encurtar derivações redundantes.
   • Experiência Negativa ($E^{neg}$): Identifica armadilhas críticas, becos sem saída estratégicos ou falácias lógicas para atuar como "restrições negativas" na poda do espaço de busca.

3. Deduplicação Semântica de Experiência:
   Para evitar explosão de contexto e manter alta densidade de informação, a RSE emprega uma estratégia de deduplicação semântica. Novas experiências destiladas são comparadas ao banco existente usando um limiar de similaridade ($\tau$). Apenas itens semanticamente distintos são adicionados, filtrando insights repetitivos e garantindo que o banco permaneça um conjunto diversificado de orientações acionáveis, em vez de uma lista redundante.

Contribuições Principais

O artigo delineia três contribuições primárias:

• Estrutura RSE: A proposta de uma estratégia sem treinamento que transforma a busca em tempo de teste em um processo cumulativo e guiado por experiência, reciclando experiência ao nível de rollout.
• Análise Teórica: Uma análise formal demonstrando que a RSE oferece uma vantagem de eficiência de amostragem sobre a amostragem independente. Os autores provam que, sob extração de experiência sólida, a probabilidade de encontrar uma solução correta com RSE não é pior que a amostragem independente, com potencial para ganhos exponenciais em tarefas complexas que exigem múltiplas conclusões intermediárias. Eles também fornecem um resultado de degradação limitada para cenários envolvendo extração de experiência imperfeita.
• Validação Empírica: Experimentos extensivos em diversas bases de referência e famílias de modelos, mostrando ganhos de desempenho consistentes sobre bases de comparação fortes.

Resultados Experimentais

Os autores avaliaram a RSE em bases de referência desafiadoras de raciocínio matemático (HMMT24, HMMT25, IMO-Bench, HLE-Math-text) e estenderam a avaliação para codificação (LiveCodeBench-v6), QA de nível especializado (GPQA-Diamond) e planejamento de longo horizonte (TravelPlanner).

• Superioridade de Desempenho: A RSE superou consistentemente as bases de comparação, incluindo Amostragem Padrão, Votação Majoritária, Auto-Refinamento e o método concorrente PaCoRe, em todos os modelos testados (Qwen3-30B, Qwen3-4B, Phi-4, DeepSeek-V3.2). Por exemplo, no HMMT25 com o modelo Qwen3-30B, a RSE alcançou 83,9% de Pass@1 na Iteração 3, superando o PaCoRe (80,2%) e o Auto-Refinamento (72,6%).
• Dinâmicas de Escalonamento: Diferentemente das bases de comparação que exibem saturação precoce (por exemplo, o PaCoRe atingindo um teto na Iteração 3 devido a um "gargalo centrado em verificação"), a RSE demonstrou convergência atrasada e ganhos contínuos de desempenho através de iterações posteriores, indicando um teto empírico mais alto.
• Eficiência Computacional: A RSE estabeleceu uma fronteira de Pareto superior em termos de custo computacional (FLOPs) versus precisão. Ela alcançou ganhos de precisão mais altos por unidade de computação em comparação com agregação simples ou concatenação baseada em verificação.
• Generalizabilidade: O método provou ser eficaz além da matemática. Notavelmente, na tarefa TravelPlanner, o PaCoRe colapsou para uma taxa de aprovação de 0,00% devido à sobrecarga de contexto, enquanto a RSE alcançou uma taxa de aprovação de 34,44%, demonstrando sua capacidade de lidar com tarefas de planejamento abertas onde a votação por consenso é inaplicável.

Significado e Alegações

O artigo alega que a RSE representa uma mudança de paradigma no escalonamento em tempo de teste. Ao tratar rollouts não como amostras descartáveis, mas como uma fonte de experiência reutilizável, a RSE aborda a ineficiência sistêmica da busca "sem memória" atual.

• Eficiência: Os autores argumentam que o principal gargalo no TTS atual não é a falta de computação, mas a falta de mecanismos sistemáticos para acumular e reutilizar experiência ao nível de rollout. A RSE preenche essa lacuna, permitindo que os modelos concentrem a computação em regiões promissoras e inexploradas do espaço de soluções, em vez de rederivar fatos conhecidos ou revisitar becos sem saída.
• Natureza Autoguiada: Um significado chave é que a RSE não requer modelos de recompensa externos, rótulos de verdade fundamental ou alterações arquitetônicas. Ela depende exclusivamente da capacidade do modelo de criticar e destilar seu próprio raciocínio, tornando-a aplicável a ambientes de busca gerais.
• Fundamentação Teórica: O trabalho fornece uma base teórica para a intuição de que "salvar pontos de verificação" de conclusões intermediárias válidas permite que rollouts posteriores construam sobre sucessos parciais fragmentados, reduzindo significativamente o decaimento de probabilidade associado a cadeias de raciocínio complexas.

Em conclusão, o artigo postula que maximizar o potencial do poder computacional em tempo de teste requer otimizar a qualidade da exploração através da reciclagem de experiência, transformando tentativas isoladas em um processo de busca cumulativo e inteligente.