Resumo Técnico: PETS (Self-Consistency de Tempo de Teste Principiada e Eficiente)

1. Declaração do Problema

Métodos de escalonamento em tempo de teste, particularmente a autoconsistência (agregando múltiplos traços de raciocínio via votação majoritária), aumentam significativamente o desempenho de raciocínio de Grandes Modelos de Linguagem (LLMs). No entanto, aplicar ingenuamente um orçamento de amostragem uniforme para todas as consultas é computacionalmente ineficiente. As abordagens existentes para alocar orçamentos dinamicamente dependem frequentemente de sinais heurísticos (ex: confiança ao nível do traço ou dificuldade prevista pelo LLM), que carecem de garantias teóricas, ou dependem de modelos de recompensa externos que podem ser mal especificados e incorrer em custos adicionais de treinamento.

O desafio central abordado por este artigo é alcançar uma autoconsistência de tempo de teste com amostragem eficiente sob um orçamento total limitado. O objetivo é projetar um framework principado que aloque traços de raciocínio entre um conjunto de questões para maximizar o acordo agregado com o voto majoritário de "orçamento infinito", sem depender de supervisão auxiliar.

2. Metodologia: O Framework PETS

Os autores introduzem o PETS (Principled and Efficient Test-Time Self-Consistency), um framework fundamentado em uma formulação de otimização.

Conceito Central: Taxa de Autoconsistência

Central ao PETS é a definição da taxa de autoconsistência, uma nova métrica de desempenho definida como a probabilidade de o voto majoritário obtido com um orçamento finito $B$ coincidir com o rótulo da maioria da população (o consenso derivado de um número infinito de traços).

• Seja $\theta_i$ a distribuição de resposta desconhecida (dificuldade) para a questão $q_i$.
• A taxa de autoconsistência $SC(q_i; B)$ mede a probabilidade de um voto de orçamento finito recuperar a verdade fundamental de orçamento infinito $y^\infty_i$.
• O objetivo é maximizar a taxa de autoconsistência agregada através de um conjunto de questões sujeito a uma restrição de orçamento total fixa.

O framework aborda dois cenários distintos de informação:

A. Configuração de Lote Offline (Offline Batch Setting)

Neste regime, todo o conjunto de questões é conhecido antecipadamente, permitendo a otimização global.

• Conexão com Crowdsourcing: Os autores estabelecem um vínculo teórico entre a alocação de trajetórias e a alocação de orçamento ótima em crowdsourcing. Os traços de raciocínio são modelados como "trabalhadores" e as questões como "itens".
• Formulação Bayesiana: O problema é modelado como um Processo de Decisão de Markov (MDP) de horizonte finito. O sistema mantém uma distribuição posterior sobre a distribuição de respostas ($\theta_i$) e pesos de confiança para cada questão.
• Algoritmo: Para resolver o problema intratável de programação dinâmica, o PETS-Offline emprega a heurística de Gradiente de Conhecimento Otimista (OKG). Este algoritmo seleciona iterativamente a questão que oferece o maior melhoria esperada de um passo na utilidade terminal (autoconsistência total). Ele suporta tanto a votação majoritária padrão quanto a agregação ponderada por confiança.

B. Configuração de Fluxo Online (Online Streaming Setting)

Neste regime, as questões chegam sequencialmente e as decisões de alocação devem ser feitas imediatamente, sem conhecimento de consultas futuras.

• Estratégia de Passo Único (One-Shot): Em vez de adaptação sequencial, o PETS-Online estima a distribuição das dificuldades das questões a partir de um pequeno conjunto de treinamento (fase de aquecimento/warm-up) e resolve um problema de otimização restrita para determinar um mapeamento de orçamento baseado nos níveis de dificuldade.
• Discretização: O espaço contínuo do parâmetro de dificuldade é discretizado em $K$ grades (bins). Um procedimento de aquecimento leve (desenhando 4 respostas) atribui cada questão recebida a uma grade de dificuldade específica.
• Otimização Gananciosa (Greedy): O framework resolve um problema de programação inteira para alocar orçamentos para essas grades de dificuldade, utilizando um algoritmo ganancioso (Algoritmo 1) para alocar o orçamento total para as grades com o maior ganho marginal em autoconsistência, garantindo que a política seja computacionalmente eficiente e teoricamente fundamentada.

3. Principais Contribuições

1. Métrica Principada: Introdução da taxa de autoconsistência, fornecendo um alvo rigoroso para a inferência de orçamento finito que se alinha com o limite teórico de amostragem infinita.
2. Unificação Offline-Online:
   • Offline: A primeira conexão entre a alocação de trajetória de autoconsistência e a literatura de crowdsourcing, aproveitando a alocação adaptativa Bayesiana (OKG) para maximizar ganhos esperados.
   • Online: Uma nova estratégia de alocação de passo único que estima distribuições de dificuldade e resolve um problema de otimização restrita para determinar orçamentos por questão dinamicamente.
3. Garantias Teóricas: A abordagem fornece garantias teóricas para políticas de alocação de amostragem eficiente sem depender de modelos de recompensa externos ou preditores de dificuldade heurísticos.

4. Resultados Experimentais

Os autores avaliaram o PETS em benchmarks de raciocínio desafiadores (GPQA-Diamond, AIME 2024/2025, HMMT, BRUMO) usando vários LLMs (Qwen3, GPT-oss, Qwen-Long).

• Eficiência: O PETS supera consistentemente a alocação uniforme e os baselines guiados por confiança.
  • Offline: Alcançou autoconsistência perfeita (1.0) enquanto reduzia o orçamento de amostragem necessário em até 75% comparado à alocação uniforme no GPQA.
  • Online: Reduziu o orçamento em até 55% mantendo a autoconsistência perfeita.
• Precisão: Ao atingir a maioria da população mais rapidamente, o PETS traduz ganhos de eficiência em maior precisão. Em muitos casos, o PETS alcançou maior precisão do que os baselines uniformes mesmo quando avaliado na contagem de traços onde o PETS atingiu a consistência total pela primeira vez.
• Robustez: A variante online aproximou-se muito do desempenho de uma variante "Oráculo" (que tem acesso aos parâmetros de dificuldade latentes), validando a eficácia do procedimento de estimativa de aquecimento.
• Sobrecarga (Overhead): O preditor online adiciona uma sobrecarga mínima de tempo de execução (alguns segundos) em comparação com o alocador OKG offline, que é significativamente mais caro, tornando-o adequado para implantação em streaming.

5. Significância e Alegações

O artigo afirma que o PETS oferece uma alternativa teoricamente principada ao escalonamento de tempo de teste baseado em heurísticas. Ao alavancar a estrutura intrínseca da autoconsistência em vez de supervisão externa, ele alcança economias computacionais substanciais (redução de orçamento de até 75%) enquanto mantém ou melhora a precisão.

Os autores observam uma limitação: se a maioria da população estiver sistematicamente errada (ou seja, se o modelo estiver alucinando consistentemente sobre um tópico específico), a amostragem adicional oferece pouco benefício. No entanto, dentro do escopo de melhorar o alinhamento com o próprio consenso do modelo, o PETS fornece um framework rigoroso e eficiente para alocação de recursos. O trabalho sugere que direções futuras poderiam envolver o treinamento de modelos para prever a dificuldade da questão diretamente a partir da entrada antes da geração, em vez de depender de uma fase de amostragem de aquecimento.