Adaptive Test-Time Compute Allocation with Evolving In-Context Demonstrations

Título: Alocação Adaptativa de Computação em Tempo de Teste com Demonstrações em Contexto Evolutivas

1. Problema e Motivação

O artigo aborda as limitações das estratégias atuais de escalonamento em tempo de teste (test-time scaling) para Grandes Modelos de Linguagem (LLMs). Embora aumentar a computação durante a inferência (gerando múltiplas respostas e selecionando a melhor) tenha se mostrado eficaz, as abordagens existentes compartilham duas falhas principais:

1. Alocação Estática: Métodos como Best-of-N ou Self-Consistency geralmente alocam o mesmo número de amostras para todas as perguntas ou usam distribuições de geração fixas, ignorando a variação na dificuldade das questões.
2. Distribuição de Geração Fixa: Mesmo quando a alocação de recursos é adaptativa (ex: focar em questões difíceis), a distribuição condicional de geração $p(\cdot | x)$ permanece estática. Isso significa que, se uma questão é difícil sob a distribuição base do modelo, amostrá-la repetidamente tende a retornar resultados subótimos ou redundantes (lei dos rendimentos decrescentes).

O objetivo do trabalho é criar um framework que junte a decisão de onde gastar a computação (alocação adaptativa) com a decisão de como usar essa computação para melhorar a distribuição de geração (adaptação da distribuição).

2. Metodologia Proposta

Os autores propõem um framework unificado que opera em duas fases principais, utilizando Aprendizado em Contexto (ICL) auto-evolutivo para remodelar a distribuição de geração sem atualizar os parâmetros do modelo.

Fase 1: Aquecimento (Warm-up)

• Objetivo: Identificar questões fáceis e construir um pool inicial de demonstrações.
• Processo: Uma quantidade fixa e pequena de computação é alocada para todas as perguntas do conjunto de teste.
• Seleção: Se uma resposta correta for encontrada (validada por um oráculo de recompensa/verificador), a questão é marcada como resolvida e removida da consideração futura.
• Resultado: As questões resolvidas formam um conjunto inicial $D_{test}$ de pares (pergunta-resposta) que servirão como demonstrações para as questões restantes.

Fase 2: Amostragem de Distribuição Adaptativa

• Foco: Concentrar a computação nas questões não resolvidas (as mais difíceis).
• Mecanismo de Adaptação: Em vez de amostrar repetidamente da distribuição base $p(\cdot | x)$, o método condiciona a geração de novas respostas em demonstrações em contexto recuperadas dinamicamente.
• Seleção de Demonstração: Para cada questão ativa $x$, o sistema busca as $P$ questões mais semanticamente similares (usando similaridade de cosseno em embeddings) que já foram resolvidas no pool $D_{test}$.
• Geração Evolutiva: O prompt para a questão $x$ é construído com as soluções corretas das questões vizinhas. À medida que mais questões são resolvidas, o pool $D_{test}$ cresce, e as demonstrações disponíveis tornam-se mais informativas, alterando efetivamente a distribuição de geração para um espaço mais favorável à solução correta.

O algoritmo é descrito como um processo de decisão sequencial onde a alocação de recursos e a adaptação da distribuição ocorrem em um único loop de inferência.

3. Contribuições Principais

1. Unificação de Alocação e Adaptação: O trabalho é o primeiro a integrar explicitamente a alocação adaptativa de recursos com a modificação da distribuição de geração via ICL evolutivo em tempo de teste.
2. Mecanismo de Auto-Melhoria sem Treinamento: O sistema utiliza as próprias saídas do modelo (respostas corretas geradas em tempo de teste) para melhorar a inferência de questões subsequentes, sem necessidade de fine-tuning ou dados de treinamento externos.
3. Eficiência de Tokens: Ao resolver questões difíceis mais cedo através de demonstrações relevantes, o método reduz drasticamente a necessidade de gerar longas cadeias de raciocínio falhas, economizando tokens de saída.
4. Validação Empírica Robusta: O método foi testado em múltiplos benchmarks (Matemática, Codificação, Raciocínio) e em diferentes famílias de modelos (Gemini, GPT), demonstrando superioridade consistente.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks como MATH-500, LiveCodeBench, MinervaMath, GPQA-Diamond e um conjunto personalizado do Reasoning Gym.

• Desempenho (Cobertura): A abordagem proposta ("Ours (Adpt)") superou consistentemente as linhas de base:
  • Uniforme (Unif): Alocação fixa de amostras.
  • Eliminação (Elim): Alocação adaptativa, mas com distribuição de geração fixa.
  • Ours (Rand): Versão do método com seleção aleatória de demonstrações (em vez de baseada em similaridade).
• Eficiência de Tokens: O método alcançou a mesma ou maior cobertura com menos tokens de saída em comparação com os baselines. Isso ocorre porque o ICL baseado em similaridade permite que o modelo "pule" caminhos de raciocínio errados que seriam explorados em uma amostragem estática.
• Impacto da Similaridade: A seleção baseada em similaridade semântica foi crucial. A versão aleatória ("Ours (Rand)") teve desempenho inconsistente e, em alguns casos, inferior aos baselines, destacando a importância de demonstrações semanticamente alinhadas.
• Robustez: O método manteve ganhos mesmo sob verificação de recompensa ruidosa e em conjuntos de dados heterogêneos, embora os ganhos sejam menores em cenários com estrutura semântica muito fraca.

5. Significado e Conclusão

Este trabalho redefine o paradigma de escalonamento em tempo de teste. Em vez de tratar a inferência como um processo de "gerar mais e selecionar melhor" a partir de uma distribuição estática, os autores demonstram que a evolução da distribuição de geração é um componente crítico.

Ao permitir que o modelo se adapte dinamicamente usando suas próprias soluções bem-sucedidas como contexto para questões futuras, o framework oferece uma maneira eficiente e escalável de melhorar o desempenho de LLMs em tarefas complexas de raciocínio e codificação. Isso sugere que, no futuro, a eficiência computacional em tempo de teste dependerá não apenas de quantas amostras são geradas, mas de quão inteligentemente o contexto de inferência é construído e atualizado durante o processo.