🤖 machine learning

On the Effect of Sampling Diversity in Scaling LLM Inference

Este artigo fornece uma análise teórica e empírica sistemática demonstrando que a introdução de diversidade significativa de prompts durante a inferência de LLMs melhora significamente o desempenho de escalonamento Best-of- $N$ ao reduzir as taxas de erro, estabelecendo também um princípio de compensação entre diversidade e fidelidade para orientar estratégias de amostragem eficazes.

Autores originais: Tianchun Wang, Zichuan Liu, Yuanzhou Chen, Jonathan Light, Weiyang Liu, Haifeng Chen, Xiang Zhang, Wei Cheng

Publicado 2026-08-11

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tianchun Wang, Zichuan Liu, Yuanzhou Chen, Jonathan Light, Weiyang Liu, Haifeng Chen, Xiang Zhang, Wei Cheng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça realmente difícil, como um problema matemático complexo ou escrevendo um código. Você tem um amigo robô superinteligente (um Grande Modelo de Linguagem) que pode te ajudar. Mas aqui está o detalhe: se você fizer exatamente a mesma pergunta da mesma maneira dez vezes, ele pode dar dez respostas que parecem quase idênticas. Elas podem estar todas erradas da mesma maneira, ou podem todas ficar presas no mesmo pequeno canto do espaço de solução. Isso é como pedir direções a um amigo dez vezes e receber o mesmo erro de vez sempre, porque ele está pensando em um loop.

Para consertar isso, cientistas descobriram um truque chamado "escalonamento de inferência". Em vez de apenas perguntar ao robô uma vez, você pergunta muitas vezes e escolhe a melhor resposta. Mas para que isso funcione, você precisa que o robô explore caminhos diferentes, não apenas o mesmo caminho repetidamente. Este artigo mergulha em uma questão específica: Como fazemos as respostas do robô serem mais diferentes umas das outras sem torná-las piores? Os pesquisadores descobriram que, se dermos um empurrãozinho no pensamento do robô com dicas ligeiramente diferentes, mas ainda relevantes, ele explora um mundo muito mais amplo de possibilidades e encontra a resposta certa com muito mais frequência. No entanto, eles também descobriram uma armadilha: se você tentar escolher a resposta "mais popular" entre todas as tentativas, todo esse trabalho duro de explorar novos caminhos pode na verdade desaparecer, e você não terá resultados melhores.

A Caçada pela Grande Ideia: Por que Misturar as Coisas Ajuda os Robôs a Pensarem Melhor

Então, você tem esse robô de IA superinteligente. Ele é ótimo em escrever histórias, resolver matemática e programar. Mas às vezes, quando você faz uma pergunta difícil, ele fica preso em um ciclo. É como um cachorro perseguindo o próprio rabo; ele continua correndo no mesmo círculo, gerando o mesmo tipo de resposta repetidamente. No mundo da IA, isso é chamado de falta de "diversidade".

Os pesquisadores por trás deste artigo queriam saber: O que acontece se forçarmos o robô a sair desse círculo? E se mudarmos ligeiramente a forma como perguntamos? Talvez digamos a ele: "Imagine que você é um professor de matemática rigoroso", ou "Pense como um escritor criativo", ou mesmo apenas demos uma forma ligeiramente diferente de enunciar o problema. Isso é chamado de "amostragem de diversidade".

A grande ideia é simples: Se você pedir ao robô para tentar 100 maneiras diferentes de resolver um problema, e essas 100 maneiras forem todas muito diferentes entre si, você tem uma chance muito maior de que pelo menos uma delas seja a resposta correta. Esta é a estratégia "Best-of-N" (Melhor de N): tente muitas coisas, escolha a melhor. Mas a pergunta de um milhão de dólares é: Como você torna essas 100 coisas diferentes sem torná-las bobas ou erradas?

O Ponto Ideal: Nem Muito Entediante, Nem Muito Estranho

Os autores partiram em uma busca para encontrar o "empurrãozinho" perfeito. Eles testaram diferentes formas de sacudir o pensamento do robô.

Primeiro, eles tentaram ideias irrelevantes. Imagine pedir a um robô para resolver um problema de matemática, mas dizer a ele para pensar em assar um bolo primeiro. Isso é apenas ruído. Não ajuda. O robção fica confuso e suas respostas pioram.

Depois, eles tentaram repetições exatas. Imagine fazer a mesma pergunta ao robô dez vezes com as mesmas palavras exatas. Ele apenas dará a mesma resposta dez vezes. Sem novas ideias, sem resultados melhores.

Mas então, eles encontraram o Ponto Ideal. Eles tentaram dar ao robô ideias "alinhadas à tarefa". Para um problema de matemática, eles poderiam dizer: "Pense em dividir o problema em etapas menores" ou "Considere usar um teorema específico". Essas dicas eram diferentes o suficiente para fazer o robô explorar novos caminhos, mas ainda eram sobre o próprio problema de matemática.

Os resultados foram incríveis. Quando usaram essas dicas "na medida certa", a taxa de sucesso do robô aumentou significativamente. Por exemplo, em um teste de codificação chamado HumanEval, usar uma estratégia chamada "Dual" (onde um segundo robô ajuda a gerar ideias) melhorou a taxa de sucesso em 4,7% em comparação com apenas perguntar ao robô normalmente. Em um teste de matemática chamado MATH, a melhoria foi de 8,2%. Em um teste de raciocínio chamado MMLU-Pro, saltou 10,8%.

O artigo sugere que existe um "equilíbrio entre diversidade e fidelidade" (diversity-fidelity trade-off). Você quer que as dicas sejam diferentes o suficiente para criar novos caminhos (diversidade), mas não tão diferentes que estraguem a qualidade da resposta (fidelidade). É como adicionar temperos a uma sopa: um pouco a torna deliciosa, mas demais a torna intragável, e sem tempero nenhum ela fica sem graça.

A Armadilha: Por que a "Votação" Pode Matar seu Sucesso

É aqui que a história ganha uma reviravolta. Os pesquisadores também observaram como escolhemos a resposta final. Geralmente, quando você tem 100 respostas diferentes, você pode pensar: "Vamos ver em qual resposta a maioria concorda!" Isso é chamado de votação majoritária. Se 51 de 100 robôs disserem "A resposta é 42", então 42 deve estar certo, certo?

O artigo diz: Não tão rápido.

Eles provaram matematicamente que, se você usar a votação majoritária, todo esse trabalho duro que você fez para tornar as respostas diferentes pode ser desperdiçado. Por quê? Porque a votação majoritária só funciona se a resposta mais comum for a correta. Mas se você tornar as respostas diversas, você pode espalhar os votos. A resposta certa pode ser única e brilhante, mas se ela aparecer apenas 5 vezes em 100, e uma resposta errada aparecer 20 vezes, a votação majoritária escolherá a errada.

Em seus experimentos no conjunto de dados MATH, eles descobriram que, quando usaram a votação majoritária, os truques de diversidade sofisticados não ajudaram e, às vezes, até pioraram as coisas. O artigo explicitamente descarta a votação majoritária como uma boa estratégia quando você está tentando usar a diversidade para encontrar uma única resposta correta. É como um júri onde todos estão tentando ser únicos; se todos votarem em coisas diferentes, você nunca chega a um veredito.

Quando Esse Truque Funciona?

Os pesquisadores não pararam apenas em encontrar o truque; eles o testaram em todos os lugares para ver se ele se sustenta.

Temperatura: Eles testaram o robô quando estava "quente" (muito aleatório) e "frio" (muito estrito). Os truques de diversidade funcionaram em ambos os casos, dando impulsos extras sobre o que a temperatura estava fazendo.
Etapas de Pensamento: Eles tentaram com "Cadeia de Pensamento" (Chain-of-Thought), onde o robô explica seus passos. Os truques ainda funcionaram, dando um aumento de 7,4% em um teste de codificação difícil.
Quem é o "Pensador"?: Eles usaram diferentes robôs para gerar as ideias. Descobriram que um robô "pensador" mais inteligente tornava todo o sistema melhor.
Quantas ideias?: Quanto mais ideias únicas eles injetavam, melhores eram os resultados. Usar 100 ideias diferentes era melhor do que usar apenas 1.

No entanto, eles também notaram que este truque funciona melhor para robôs mais fracos. Se o robô já é superinteligente (como os modelos maiores e mais poderosos), o impulso extra é menor. É como dar um mapa a um gênio; ele provavelmente já sabia o caminho. Mas para um robô inteligente, porém não genial, o mapa ajuda muito.

A Conclusão

Este artigo é um guia para quem deseja obter o máximo de proveito dos robôs de IA. Ele nos diz que:

Diversidade é boa: Fazer o robô tentar abordagens diferentes ajuda a encontrar a resposta certa.
Cuidado com o empurrão: As dicas que você dá devem ser relevantes. Muito estranhas, e falham. Muito entediantes, e não ajudam.
Não apenas vote: Se você quer encontrar uma única resposta correta, não escolha apenas a mais popular. Escolha a melhor resposta individual de todas as tentativas diversas.
É uma ferramenta, não uma varinha mágica: Funciona melhor quando você tem um orçamento para poder computacional e quando o utiliza em modelos que não são perfeitos.

Os autores não apenas adivinharam; eles realizaram centenas de experimentos e construíram uma teoria matemática para apoiar isso. Eles mostraram que, ao misturar cuidadosamente a forma como fazemos as perguntas, podemos tornar a IA mais inteligente, rápida e confiável, sem precisar construir um robô maior e mais caro. É um lembrete de que, às vezes, a melhor maneira de encontrar a resposta certa é fazer a mesma pergunta de cem maneiras diferentes.

Resumo Técnico: Sobre o Efeito da Diversidade de Amostragem na Escala de Inferência de LLMs

Declaração do Problema

A escala de inferência de Grandes Modelos de Linguagem (LLMs) visa melhorar o desempenho aumentando os recursos computacionais no momento do teste (por exemplo, gerando múltiplos candidatos a soluções e selecionando a melhor) em vez de aumentar os parâmetros do modelo. Embora a não-determinística em LLMs (decorrente de decodificação estocástica, limites de precisão e concorrência) seja frequentemente vista como um incômodo a ser eliminado, este artigo postula que tal variabilidade é um ativo crítico para a escala em tempo de teste.

O problema central abordado é a armadida do "cluster local" na amostragem padrão Best-of-N. Quando um LLM é amostrado repetidamente usando o mesmo prompt, as saídas frequentemente convergem para um conjunto estreito de soluções semelhantes devido aos objetivos de pós-treinamento que priorizam uma única resposta correta. Essa concentração limita a exploração do espaço de soluções, impedindo o modelo de descobrir respostas corretas que residem fora do cluster local imediato. O artigo investiga como introduzir sistematicamente a diversidade de amostragem para quebrar esses clusters e melhorar a probabilidade de encontrar uma solução correta, evitando ao mesmo tempo a degradação da qualidade da solução (fidelidade).

Metodologia

Estrutura Teórica

Os autores estabelecem uma perspectiva teórica para explicar por que a diversidade de soluções melhora o desempenho do Best-of-N. Eles formalizam o processo de amostragem usando uma política de diversidade híbrida onde cada tentativa é configurada por um modo de decodificação base $\eta$ (por exemplo, temperatura, semente) e uma fonte de diversidade auxiliar $\xi$ (por exemplo, perturbação de prompt).

Duas hipóteses principais são postuladas:

Dispersão (Variação): A diversidade auxiliar (como a perturbação de prompt) induz variação na probabilidade de sucesso das soluções. Se a fonte auxiliar for variada, a log-probabilidade de falha das tentativas deve exibir variação significativa (medida pelo primeiro momento absoluto central).
Fidelidade: A fonte de diversidade auxiliar não deve degradar globalmente a qualidade da geração. Um prompt perturbado deve performar quase tão bem quanto o prompt base em termos de taxas de sucesso de tentativa única.

Com base nessas hipóteses, os autores derivam o Teorema 3.5, que demonstra que a introdução de diversidade auxiliar leva a:

Erro Assintótico Menor: O conjunto de instâncias insolúveis (pontos cegos) encolhe conforme $N \to \infty$ .
Convergência Mais Rápida: O fator de redução de erro melhora com uma diversidade mais rica, levando a ganhos mais acentuados no desempenho de Best-of-N.

Princípio do Trade-off Diversidade-Fidelidade

A teoria leva a um princípio de design: as perturbações eficazes devem buscar um equilíbrio. Elas devem ser diferentes o suficiente para criar exploração (impulsionando a métrica de dispersão $\hat{\mu}_1$ ) mas fiéis o suficiente para evitar prejudicar a qualidade das tentativas individuais (mantendo baixa a perda de fidelidade $\epsilon$ ).

Irrelevantes demais: Perturbações que são completamente fora do tópico degradam a fidelidade ( $\epsilon$ aumenta), anulando os ganhos de diversidade.
Similares demais: Perturbações que são meras paráfrases ou repetições literais falham em induzir dispersão suficiente ( $\hat{\mu}_1$ é pequeno), resultando em nenhum ganho de desempenho.
Ponto Ideal (Sweet Spot): Perturbações moderadamente relevantes (por exemplo, ideias alinhadas à tarefa) maximizam o ganho efetivo.

Estratégias de Perturbação

Guiados pelo princípio de trade-off, o artigo instancia duas categorias de perturbações:

Perturbações de Nível de Tarefa: Independentes do conteúdo específico da questão.
- Injeção de Papel (Role Injection): Atribuindo personas específicas (ex: "mentor", "otimizador") ao modelo.
- Instrução Estratégica: Fornecendo orientação passo a passo ou heurísticas.
Perturbações de Nível de Consulta (Query): Diretamente ligadas à questão específica.
- Injeção de Ideia Aleatória (RandIdeaInj): Usar um modelo "pensador" para gerar ideias relacionadas à tarefa injetadas no prompt. Variantes incluem Single (um modelo), Dual (pensador separado) e Diverse (pool de modelos).
- Refraseador de Consulta Aleatório (RandQReph): Reestatizar a questão através de paráfrase ou tradução reversa.

Avaliação Experimental

Os autores avaliam essas estratégias através de tarefas de raciocínio (MMLU-Pro), matemática (GSM-Hard, MATH) e geração de código (HumanEval, MBPP, APPS). Eles medem o desempenho usando Pass@k (código) e EM@k (raciocínio/matemática) e analisam a diversidade de solução usando métricas como TF-IDF, similaridade BERT e distância de Levenshtein.

As principais condições experimentais incluem:

Variar temperaturas de amostragem.
Usar diferentes modelos "pensadores" para perturbações de nível de consulta.
Variar a cardinalidade (número) de perturbações.
Testar com raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT).
Comparar contra diferentes métodos de verificação: Oracle (verdade fundamental), LLM-as-a-Judge (Modelos de Recompensa de Resultado - ORM) e Votação Majoritária.

Principais Resultados

Diversidade Melhora o Best-of-N: Resultados empíricos confirmam a previsão teórica. Estratégias que aumentam a diversidade de solução (ex: RandIdeaInj, Injeção de Instrução) superam consistentemente a amostragem direta. Por exemplo, no MMLU-Pro, o RandIdeaInj alcançou uma melhoria de 10,8% em EM@100 sobre a amostragem direta.
Relevância Não-Linear: O desempenho segue um padrão de ascensão e queda em relação à relevância da perturbação. Perturbações moderadamente relevantes geram os maiores ganhos, enquanto perturbações irrelevantes ou excessivamente similares falham em melhorar ou degradam o desempenho.
Robustez: A amostragem diversificada permanece eficaz através de:
- Diferentes temperaturas de amostragem.
- Presença de raciocínio de Cadeia de Pensamento (CoT).
- Verificação via LLM-as-a-Judge (Modelos de Recompensa de Resultado).
Dependência de Recursos: Os ganhos de desempenho escalam com a força do modelo "pensador" (usado para perturbações de nível de consulta) e com a cardinalidade do conjunto de perturbação.
Modo de Falha da Votação Majoritária: O artigo identifica um modo de falha crítico: Votação Majoritária. Enquanto o Best-of-N se beneficia da diversidade (contanto que pelo menos uma resposta esteja correta), a votação majoritária exige que a resposta correta seja o resultado mais frequente. A análise teórica (Proposição 5.1) e resultados empíricos no MATH mostem que introduzir diversidade pode, na verdade, reduzir a frequência da resposta correta se ela espalhar a massa de probabilidade por alternativas incorretas, levando a nenhum ganho ou até mesmo degradação de desempenho sob votação majoritária.
Força do Modelo: A amostragem diversificada gera maiores ganhos relativos para modelos mais fracos em comparação com modelos já fortes, sugerindo retornos decrescentes para estes últimos.

Significância e Alegações

O artigo alega fornecer a primeira análise teórica e empírica sistemática de como a diversidade de amostragem afeta a escala de inferência de LLMs. Sua significância reside em:

Fundamentação Teórica: Vai além de observações heurísticas para fornecer uma justificativa matemática de por que a diversidade melhora o escalonamento do Best-of-N, definindo as condições (dispersão e fidelidade) sob as quais isso funciona.
Princípios de Design: Estabelece o trade-off diversidade-fidelidade, oferecendo uma diretriz concreta para profissionais desenharem estratégias de perturbação que maximizem a exploração sem sacrificar a qualidade.
Identificação de Limitações: Identifica explicitamente a votação majoritária como um modo de falha para o escalonamento baseado em diversidade, alertando contra a aplicação indiscriminada de estratégias de diversidade sem considerar o protocolo de verificação.
Protocolos Práticos: O trabalho oferece diretrizes acionáveis, como priorizar perturbações de nível de tarefa para eficiência de custo, usar modelos pensadores mais fortes quando o orçamento permitir, e evitar estratégias de diversidade para modelos que já estão operando próximo da saturação.

Em resumo, o artigo argumenta que, embora a não-determinística seja frequentemente suprimida, ela é um recurso vital para escalar a inferência. Ao gerenciar cuidadosamente o trade-off entre explorar espaços de solução diversos e manter a fidelidade da solução, os praticantes podem aumentar significativamente o desempenho dos LLMs em tarefas de raciocínio, matemática e codificação, desde que o método de verificação (ex: Best-of-N vs. Votação Majoritária) esteja alinhado com a estratégia de diversidade.