Predicting Inference-Time Scaling Gains from Labeled Validation-Set Output Statistics

Resumo Técnico: Predizendo Ganhos de Escalonamento em Tempo de Inferência a partir de Estatísticas de Saída de Conjuntos de Validação Rotulados

Definição do Problema
O escalonamento em tempo de inferência, especificamente o amostragem Best-of-N (BoN) onde $N$ candidatos de respostas são gerados e a de maior pontuação é selecionada por um verificador, emergiu como uma ferramenta crítica para melhorar o desempenho de Grandes Modelos de Linguagem (LLMs) em tarefas de raciocínio. No entanto, a magnitude do ganho de acurácia ao escalar varia significativamente entre diferentes modelos, métodos de pós-treinamento e domínios de tarefas. Atualmente, determinar se o escalonamento beneficiará um par específico de modelo-tarefa exige a execução do procedimento completo e caro (gerar $N$ amostras e pontuar com um modelo de recompensa). Este artigo aborda a questão central: Quais estatísticas de baixo custo computadas a partir de uma única passagem de amostragem de um conjunto de validação rotulado podem prever, com alta confiabilidade, se o escalonamento em tempo de inferência melhorará a acurácia?

Metodologia
Os autores propõem um framework que trata a predição de ganho de BoN como um problema de regressão sobre estatísticas baratas de conjuntos de validação rotulados.

1. Configuração e Coleta de Dados: O estudo avalia configurações definidas por famílias de modelos base (Qwen2.5, Llama-3.1, gemma-2), métodos de pós-treinamento (DPO, SimPO, KTO, ORPO, GRPO, SFT) e domínios de tarefas (matemática, raciocínio, código). Para cada configuração, o modelo gera $k=64$ conclusões por prompt através de três temperaturas ($T \in \{0.3, 0.7, 1.0\}$) em 200 prompts rotulados não vistos.
2. Engenharia de Atributos (Feature Engineering): Duas famílias primárias de atributos são computadas a partir dessas amostras:
   • Atributos de taxa de concordância: Medem a concentração da distribuição de saída (ex: taxa de concordância, self-BLEU, entropia).
   • Refinamentos de variância: Medem como a concordância e a correção variam entre os prompts. Crucialmente, isso inclui um estatístico assistido por rótulo: o índice mediano no qual a primeira resposta correta aparece.
3. Construção do Preditor: Uma regressão ridge conjunta de múltiplas temperaturas é ajustada para prever o ganho aditivo $G_{add} = \text{BoN}@k - \text{pass}@1$.
4. Seleção de Estabilidade: Para identificar um conjunto de preditores robusto e compacto, os autores utilizam a seleção de estabilidade Bootstrap-Lasso. Este método reamostra as configurações para identificar atributos que são consistentemente selecionados (acima de um limiar de 80%) através das reamostragens, filtrando candidatos instáveis.
5. Análise Teórica: Uma análise de concentração decompõe o erro do preditor em três componentes: um resíduo de aproximação linear, incerteza do lado do atributo (ruído de amostragem) e incerteza do lado do alvo (ruído de estimativa empírica). Esta análise estabelece que os limites de erro diminuem à medida que o número de prompts e amostras aumenta, para funções de ganho Lipschitz contínuas.

Principais Contribuições

• Enquadramento do Problema: O artigo recontextualiza a predição de ganho de BoN como uma tarefa de regressão sobre estatísticas de baixo custo de conjuntos de validação rotulados, utilizando Bootstrap-Lasso para seleção de estabilidade e uma análise de concentração para separar resíduos de aproximação de ruído estocástico.
• Identificação de um Núcleo de Atributos Estáveis: Através da análise de estabilidade, os autores isolam um núcleo estrito de três atributos que consistentemente carrega o sinal preditivo através de diversas configurações:
  1. Dispersão da fração de maioria: O desvio padrão entre prompts da fração de amostras que coincidem com a resposta mais frequente.
  2. Posição da primeira amostra correta assistida por rótulo: O índice mediano da amostra onde a primeira resposta correta aparece.
  3. Variância de comprimento de conclusão: A variância no comprimento das conclusões geradas.
  • Um adicional de entropia (entropia de resposta por prompt) é identificado como um refinamento preditivo que melhora o desempenho, mas não faz parte do núcleo selecionado por estabilidade.
• Escopo e Modos de Falha: O estudo define explicitamente o regime de operação (matemática e raciocínio sob um verificador de modelo de recompensa) e identifica modos de falha, notando especificamente que o preditor falha para domínios de código (devido ao fato de a concordância de strings superficiais não mapear para a correção semântica) e para seleção por voto de maioria (em vez de seleção ancorada por verificador).

Resultos

• Acurácia de Predição: O preditor compacto (o núcleo de três atributos mais o adicional de entropia) atinge uma correlação de postos de Spearman ($\rho$) de 0,90 com o ganho real de Best-of-N em configurações não vistas (avaliação Leave-One-Set-Out). Isso supera significativamente as baselines de atributo único ingênuas (ex: pass@1 sozinho resulta em $\rho \approx -0,24$).
• Utilidade de Implantação: Em cenários de triagem pré-implantação, selecionar as 5 melhores configurações com base no ranking do preditor resulta em uma precisão média de 0,90 e recupera as 5 melhores configurações reais em 64% das reamostragens de bootstrap.
• Robustez: O sinal do preditor permanece robusto através de:
  • Diferentes orçamentos de amostragem (estabilizando-se em $k=16\text{--}32$).
  • Diferentes reparametrizações da função de ganho (aditiva, normalizada, multiplicativa, log-razão).
  • Receitas de pós-treinamento não vistas (Spearman $\rho \in [0,78, 0,94]$).
  • Diferentes modelos de recompensa (ArmoRM vs. Skywork), embora com leve atenuação.
• Eficiência Computacional: O preditor substitui a etapa de pontuação por modelo de recompensa computacionalmente cara (aprox. 30 minutos de GPU por configuração) pela extração de atributos apenas via CPU e regressão ridge (aprox. 3 minutos), oferecendo uma redução significativa de custo para a triagem de configurações candidatas.

Significância e Alegações
O artigo afirma que a questão prática de "quais configurações se beneficiam mais do escalonamento Best-of-N" pode ser transformada de uma medição completa e custosa em uma verificação de passagem única de um conjunto de validação rotulado. Ao isolar um conjunto de atributos compacto e estável, os autores fornecem uma ferramenta para triar eficientemente configurações de modelos candidatas antes da implantação total. Os autores são modestos quanto ao escopo, observando que os resultados são validados especificamente para tarefas de matemática e raciocínio sob verificadores de modelo de recompensa e não se estendem atualmente a geração aberta ou domínios de código sem modificação. O framework é apresentado como uma metodologia reutilizável que pode ser reaplicada à medida que os benchmarks e as receitas de pós-treinamento evoluem.