Understanding Performance Gap Between Parallel and Sequential Sampling in Large Reasoning Models

Título: Entendendo a Lacuna de Desempenho entre Amostragem Paralela e Sequencial em Modelos de Raciocínio de Grande Escala (LRMs)

1. Problema

Os Modelos de Raciocínio de Grande Escala (LRMs) demonstraram capacidades notáveis em tarefas complexas como matemática e programação. No entanto, para obter soluções de alta qualidade, muitas vezes é necessário amostrar múltiplas soluções. Existem duas estratégias principais para escalar o desempenho durante o tempo de inferência:

1. Amostragem Paralela: Gera múltiplas soluções independentemente a partir do mesmo prompt e as agrega (ex: votação majoritária ou best-of-N).
2. Amostragem Sequencial: Gera soluções em cadeia, onde cada nova solução é condicionada às respostas anteriores (auto-refinamento ou correção de erros).

Apesar de a amostragem sequencial ter, em teoria, maior poder de representação (ao usar todo o histórico de raciocínio), observações empíricas mostram que a amostragem paralela frequentemente supera a sequencial. O objetivo deste trabalho é investigar rigorosamente as razões subjacentes a essa lacuna de desempenho.

2. Metodologia

Os autores propõem e testam três hipóteses principais para explicar por que a amostragem paralela é superior:

1. Hipótese do Agregador: A superioridade deve-se ao operador de agregação usado na amostragem paralela.
2. Hipótese do Contexto Longo: A amostragem sequencial é prejudicada pela necessidade de processar contextos de entrada mais longos.
3. Hipótese de Exploração Limitada: A amostragem sequencial leva a menos exploração de novas soluções devido à condicionamento nas respostas anteriores (o modelo fica "preso" em um padrão).

Configuração Experimental:

• Modelos Testados: Famílias diversas e escalas variadas, incluindo Qwen3, modelos destilados do DeepSeek-R1 e Gemini 2.5.
• Domínios: Competições de matemática (AIME2025) e geração de código (LiveCodeBench v5).
• Variáveis Controladas:
  • Comparação entre Markov Sequential Sampling (usa apenas a última resposta) e Auto-regressive Sequential Sampling (usa todo o histórico).
  • Aplicação de operadores de agregação idênticos em ambos os métodos para isolar o efeito da agregação.
  • Manipulação de feedback (re-responder vs. auto-refinamento vs. erros de execução).
  • Análise de similaridade semântica entre soluções (usando embeddings) e visualização de mapas de atenção (mecanismo de induction heads).

3. Contribuições Principais e Resultados

A. O Agregador não é a Causa Principal

• Ao aplicar a mesma agregação (votação majoritária ou best-of-N) à amostragem sequencial, os autores observaram que a lacuna de desempenho diminuiu ligeiramente, mas não desapareceu.
• Mesmo com um agregador ideal (best-of-N com verificador perfeito), a amostragem paralela manteve sua vantagem, indicando que a agregação não é o fator determinante.

B. O Comprimento do Contexto não é o Fator Crítico

• A amostragem sequencial auto-regressiva usa contextos de entrada muito mais longos (até 20k tokens) em comparação com a paralela.
• Experimentos mostraram que adicionar contextos irrelevantes longos (até 32k tokens) na amostragem paralela não degradou o desempenho.
• Além disso, a amostragem sequencial, mesmo com contextos longos, tende a gerar menos tokens de "pensamento" (traces de raciocínio) do que a paralela, sugerindo que o modelo não está usando o contexto extra para raciocinar mais profundamente.

C. Falta de Exploração (A Causa Raiz)

• Evidência Empírica: A amostragem sequencial demonstra um fenômeno de "preguiça" (laziness). Os modelos tendem a gerar soluções quase idênticas ou literais às anteriores, fazendo poucas alterações.
• Medição de Similaridade: Tabelas de similaridade de cosseno (usando embeddings) mostram que as soluções geradas sequencialmente são significativamente mais similares entre si do que as geradas em paralelo.
• Análise Mecanística: A visualização dos mapas de atenção revelou a presença de "cabeças de indução" (induction heads). Em vez de explorar novas ideias, o modelo copia padrões das soluções anteriores no contexto, limitando a diversidade de exploração.
• Feedback de Alta Qualidade: Quando os autores forneceram feedback de alta qualidade (erros de execução de testes privados e públicos) para forçar o modelo a corrigir erros específicos, a amostragem sequencial conseguiu fechar a lacuna de desempenho em alguns casos (ex: Gemini 2.5 Flash), confirmando que a falta de exploração é o gargalo.

4. Significado e Conclusão

O artigo conclui que a falta de exploração é a principal causa da lacuna de desempenho entre amostragem paralela e sequencial em LRMs.

• Mecanismo: Ao condicionar a geração em respostas anteriores, os LRMs ativam mecanismos de cópia de padrões (induction heads), levando a uma convergência prematura para soluções subótimas e repetitivas, mesmo quando há um orçamento de tokens ilimitado.
• Implicação Prática: Para escalar o desempenho de LRMs em tarefas complexas, a diversidade de soluções (obtida via amostragem paralela) é mais valiosa do que a profundidade de refinamento sequencial, a menos que o feedback seja extremamente preciso e force a exploração de novos caminhos.
• Contribuição Teórica: O trabalho fornece uma explicação mecanicista (via induction heads) para o fenômeno de "visão de túnel" (tunnel vision) em modelos de raciocínio, onde passos iniciais imperfeitos travam a geração em traços de raciocínio subótimos.

Em resumo, embora a amostragem sequencial pareça logicamente mais poderosa por usar o histórico, na prática ela sufoca a criatividade e a diversidade necessárias para resolver problemas difíceis, tornando a amostragem paralela a estratégia superior na maioria dos cenários atuais.