Resumo Técnico: Quando Mais Amostragem Prejudica: O Teto Modal e o Teto de Correlação do Escalonamento em Tempo de Teste

Declaração do Problema

Sistemas de raciocínio atuais frequentemente empregam o escalonamento em tempo de teste (test-time scaling), especificamente a amostragem repetida (gerar $n$ respostas para um único prompt), para melhorar o desempenho. A métrica predominante de sucesso é a cobertura (pass@k), definida como a fração de problemas onde pelo menos uma das $n$ amostras é correta. As curvas de cobertura sobem de forma constante à medida que $n$ aumenta, sugerindo que simplesmente aumentar o orçamento de amostragem gera ganhos contínuos de capacidade.

No entanto, sistemas implantados devem retornar uma única resposta sem acesso a um verificador perfeito para certificar a correção. Isso exige seleção (por exemplo, via voto majoritário, autoconsistência ou modelos de recompensa). O artigo identifica um descompasso crítico: enquanto a cobertura continua a subir com mais amostras, a precisão da seleção frequentemente estagna ou até declina. O problema central é que a comunidade confunde a habilidade de gerar uma resposta correta com a habilidade de reconhecer e selecionar essa resposta. O artigo argumenta que, além de um certo ponto, o excesso de amostragem adiciona custo computacional sem melhorar, e potencialmente prejudica, a resposta selecionada final.

Metodologia

O artigo reformula a amostragem em tempo de teste através da lente da amostragem por conglomerados (cluster sampling) da estatística de levantamentos, em vez de draws independentes.

1. Estrutura de Amostragem por Conglomerados: Um único prompt e suas $n$ tentativas repetidas são tratados como um conglomerado. As tentativas são modeladas como variáveis binárias (correta/incorreta) permutáveis (exchangeable) em vez de variáveis independentes e identicamente distribuídas (i.i.d.).
2. Correlação Intraclasse ($\rho$): A dependência entre as tentativas no mesmo problema é quantificada pela correlação intraclasse $\rho$.
   • Correlação entre problemas ($\rho_b$): Surge da heterogeneidade da dificuldade dos problemas.
   • Correlação dentro do problema ($\rho_w$): Surge do estado interno do modelo ou da configuração de decodificação.
3. Tamanho de Amostra Efetivo ($n_{eff}$): Usando o efeito de design ($deff = 1 + (n-1)\rho$), o artigo deriva o número efetivo de amostras independentes:
   $$n_{eff} = \frac{n}{1 + (n-1)\rho}$$
   Esta quantidade satura em um teto de correlação de $1/\rho$ conforme $n \to \infty$.
4. Separação de Métricas: A análise desacopla explicitamente três objetivos distintos:
   • Cobertura: A probabilidade de gerar pelo menos uma resposta correta.
   • Seleção: A probabilidade de que a resposta mais comum seja correta.
   • Estimativa: A precisão de estimar a média de acerto do benchmark.

Contribuições Principais

1. O Teto de Correlação (Limite de Estimativa)

O artigo estabelece que, para estimar a precisão do benchmark, o número efetivo de amostras não pode exceder $1/\rho$.

• Mecanismo: À medida que $n$ aumenta, o valor marginal de cada amostra adicional decai quadraticamente ($O(1/n^2)$).
• Resultado: Mesmo com orçamentos massivos (ex: $10^4$ amostras), se $\rho \approx 0.5$, a informação efetiva é equivalente a apenas $\approx 2$ amostras independentes. Isso explica por que as estimativas de acerto de benchmarks estagnam apesar de esforços massivos de amostragem.

2. O Teto Modal (Limite de Seleção)

O artigo identifica um teto distinto para métodos de seleção (autoconsistência, votação de pluralidade) que é independente do teto de correlação.

• Mecanismo: A seleção converge para a moda da distribuição de respostas ($a^*_q$). Se a resposta mais comum for incorreta ($a^*_q \neq c_q$), aumentar $n$ não corrige o erro; apenas torna o modelo mais confiante na resposta errada.
• Resultado: A precisão da seleção é limitada pela taxa de acerto da moda ($\pi_{mode}$), a probabilidade de que a resposta mais frequente do modelo seja correta.
• Anti-escalonamento: Em problemas onde a moda é errada, mas a resposta correta é alcançável, aumentar $n$ faz com que a precisão da seleção caia em direção a 0 enquanto a cobertura sobe em direção a 1. Este fenômeno é denominado anti-escalonamento.

3. O Gap de Identificabilidade

O artigo define o gap de identificabilidade como o conjunto de problemas onde a resposta correta está presente no pool de amostras (alta cobertura), mas não é a resposta mais frequente (baixa seleção).

• Isso representa os problemas "solúveis, mas não selecionáveis".
• O artigo demonstra que este gap é significativo em logs reais, onde a cobertura pode chegar a 1.00 enquanto a autoconsistência estagna em 0.87 (GSM8K) ou 0.45 (MATH).

4. Validação Empírica em Logs Reais

Os autores validam seu framework teórico usando logs de amostragem liberados:

• Brown et al. [2] (Draws Independentes): Analisaram os datasets GSM8K e MATH. Encontraram alta correlação entre problemas ($\hat{\rho}_b \approx 0.4\text{--}0.6$), confirmando o teto de correlação para estimativa. Observaram a divergência entre a cobertura (subindo para 1.0) e a autoconsistência (estagnando).
• Beeching et al. [20] (Draws Dependentes): Analisaram o MATH-500 com 256 amostras por problema. Descobriram que a correlação dentro do problema ($\hat{\rho}_w$) é próxima de zero, mas a distribuição de respostas é altamente concentrada (mediana de ~13 valores distintos). Isso confirmou que o teto de seleção é impulsionado pelo colapso da moda da resposta, não pelo drift entre execuções.

Resultados

• Cobertura vs. Seleção: A cobertura segue uma ascensão de lei de potência (devido à heterogeneidade de dificuldade) e não possui um teto rígido além da capacidade do modelo. A seleção, contudo, atinge um muro rígido em $\pi_{mode}$.
• Retornos Decrescentes: O valor marginal da $n$-ésima amostra decai rapidamente. Para estimativa, o orçamento deve ser limitado a $n \approx 1/\rho_b$. Para seleção, o orçamento deve ser limitado ao número efetivo de respostas distintas.
• Ineficiência de Grandes $n$: Amostrar $10^4$ vezes por problema gera a precisão estatística de apenas ~2 amostras independentes para a estimativa do benchmark.
• Anti-Escalonamento: Em cenários onde a resposta mais comum do modelo é errada, aumentar $n$ degrada ativamente a precisão da saída selecionada.

Significância e Alegações

O artigo afirma fornecer uma derivação citável em vez de um novo algoritmo. Sua principal significância reside em:

1. Reenquadramento do Gargalo: Desloca o foco do escalonamento em tempo de teste de "gerar uma resposta certa" para "reconhecer uma". O gargalo não é o orçamento de amostragem, mas a identificabilidade da resposta correta dentro da distribuição.
2. Correção de Interpretações Equivocadas: Explica por que "mais amostragem" muitas vezes falha em escalar linearmente na prática, atribuindo isso ao teto de correlação (para estimativa) e ao teto modal (para seleção).
3. Métricas Acionáveis: Propõe reportar o número efetivo de amostras ($n_{eff}$) junto com a contagem nominal $n$ para revelar o verdadeiro conteúdo de informação de uma execução de amostragem.
4. Alocação de Orçamento: Argumenta que os orçamentos computacionais devem depender do objetivo:
   • Para estimativa: Parar em $n \approx 1/\rho_b$ e gastar o restante do computação em mais problemas.
   • Para seleção: Parar assim que a pluralidade estabilizar (frequentmente dentro de algumas dezenas de amostras) e focar em descorrelação (ex: temperatura, diversidade de prompt) em vez de aumentar $n$.
   • Para cobertura (com um verificador): A amostragem pode continuar indefinidamente, pois não há teto dentro do problema.

O artigo conclui que o "teto modal" e o "teto de correlação" são limites fundamentais que tornam o escalonamento indiscriminado em tempo de teste ineficiente. O verdadeiro desafio não é gerar mais amostras, mas projetar sistemas que possam distinguir melhor a resposta correta da resposta modal.