💬 NLP

Accelerated Test-Time Scaling with Model-Free Speculative Sampling

O artigo apresenta o STAND, um método de decodificação especulativa sem modelo que aproveita a redação estocástica adaptativa de N-gramas para explorar redundâncias inerentes ao raciocínio, alcançando uma redução de 60-65% na latência de inferência em diversas tarefas de raciocínio sem comprometer a precisão ou exigir treinamento adicional do modelo.

Autores originais: Woomin Song, Saket Dingliwal, Sai Muralidhar Jayanthi, Bhavana Ganesh, Jinwoo Shin, Aram Galstyan, Sravan Babu Bodapati

Publicado 2026-05-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Woomin Song, Saket Dingliwal, Sai Muralidhar Jayanthi, Bhavana Ganesh, Jinwoo Shin, Aram Galstyan, Sravan Babu Bodapati

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça muito difícil, como um problema matemático complexo ou um desafio de programação complicado. Você tem um amigo brilhante, mas de pensamento lento (o modelo de IA), que consegue resolvê-lo, mas ele leva muito tempo para escrever cada palavra de sua solução, uma por uma.

O Problema: A "Caminhada Lenta"
Atualmente, quando modelos de IA raciocinam, eles percorrem sua solução passo a passo, como uma pessoa escrevendo uma frase letra por letra. Se o modelo precisa gerar 1.000 palavras, ele precisa pausar, pensar e escrever 1.000 vezes. Isso é lento e consome muita energia.

Algumas pessoas tentam acelerar isso pedindo ao modelo para escrever 16 soluções diferentes de uma vez e escolher a melhor (como pedir a 16 pessoas para resolver o quebra-cabeça e escolher a vencedora). Mas isso faz o computador trabalhar ainda mais, como contratar 16 pessoas em vez de uma.

A Solução: STAND (O "Truque de Memória")
O artigo apresenta um novo método chamado STAND. Pense no STAND como um "atalho" inteligente que não exige contratar um segundo amigo, menor, para ajudar. Em vez disso, ele usa a própria memória do amigo brilhante para adivinhar o que vem a seguir.

Veja como funciona, usando analogias simples:

1. O "Reconhecedor de Padrões" (N-gramas)

Quando seu amigo brilhante resolve muitos quebra-cabeças, ele frequentemente usa as mesmas frases ou passos lógicos repetidamente.

Antigo Método: Se o amigo diz: "A resposta é 42", o sistema espera a próxima palavra ser escrita.
Método STAND: O sistema lembra que sempre que o amigo diz "A resposta é", ele quase sempre diz "42" a seguir. Então, o sistema adivinha as próximas palavras com antecedência.

2. O "Medidor de Confiança" (Rascunho Estocástico)

Esta é a maior inovação do artigo.

O Antigo Jogo de Adivinhação: Métodos anteriores eram como um robô que só adivinhava a palavra mais provável. Se o amigo estava inseguro, a aposta do robô frequentemente estava errada, e o amigo precisava parar e corrigir.
O Jogo de Adivinhação do STAND: O STAND é mais esperto. Ele lembra não apenas qual palavra foi usada, mas quão confiante o amigo estava ao dizê-la.
- Analogia: Imagine que seu amigo está escolhendo entre "Maçã" e "Banana".
  - Método Antigo: Se ele diz "Maçã", o sistema adivinha "Maçã". Se o amigo na verdade queria dizer "Banana", a adivinhação falha.
  - Método STAND: O sistema lembra: "Quando ele disse 'Maçã', ele tinha 70% de certeza, mas havia 30% de chance de ser 'Banana'". Então, o sistema adivinha ambas as possibilidades ao mesmo tempo, ponderadas pela probabilidade de cada uma. Isso torna a adivinhação muito mais provável de estar correta.

3. A "Árvore de Possibilidades" (Busca em Árvore)

Às vezes, o caminho não é uma linha reta; é um desvio na estrada.

A Estratégia: O STAND constrói uma pequena "árvore" de adivinhações. Ele não adivinha apenas uma próxima palavra; ele adivinha alguns caminhos diferentes que o amigo pode seguir.
A Otimização: O artigo menciona uma abordagem "orientada por dados". Imagine que o sistema tenta primeiro uma árvore enorme e bagunçada de adivinhações. Depois, ele analisa os resultados e diz: "Ok, esses galhos sempre funcionaram, mas esses becos sem saída nunca funcionaram". Ele corta os becos sem saída e mantém os melhores galhos, criando um mapa super eficiente para futuras adivinhações.

4. O "Impulso de Velocidade" (Gumbel-Top-K)

Para fazer essas adivinhações acontecerem instantaneamente sem deixar o computador lento, o artigo usa um truque matemático chamado Gumbel-Top-K.

Analogia: Imagine que você tem um saco de bolinhas de gude e precisa escolher as 3 mais rápidas. Em vez de escolhê-las uma por uma (o que leva tempo), você agita o saco e deixa as 3 melhores saírem todas de uma vez. Isso economiza tempo precioso.

Os Resultados: O Que Eles Descobriram?
Os pesquisadores testaram isso em problemas difíceis de matemática, ciência e programação.

Velocidade: Eles descobriram que o STAND torna a IA 60% a 65% mais rápida do que o método lento padrão.
Precisão: Crucialmente, não tornou a IA menos inteligente. As respostas estavam tão corretas quanto antes.
Sem Treinamento Extra: Você não precisa ensinar nada novo à IA. É uma ferramenta "plug-and-play". Você pode pegar qualquer modelo de IA existente e anexar imediatamente esse "truque de memória" a ele.
Escala: Quanto mais caminhos a IA explora (como tentar 16 soluções diferentes), melhor o STAND funciona. É como ter um mapa melhor quando você está explorando uma floresta enorme.

Em Resumo
O STAND é como dar a uma IA lenta e reflexiva uma "cola" feita a partir de seus próprios pensamentos passados. Em vez de escrever cada palavra do zero, ela usa sua memória de padrões semelhantes para prever as próximas palavras instantaneamente. Ela faz isso sem precisar de uma segunda IA para ajudar, e mantém as respostas tão inteligentes quanto antes, apenas muito mais rápidas.

Resumo Técnico: Escalonamento Acelerado em Tempo de Execução com Amostragem Especulativa sem Modelo (STAND)

Declaração do Problema

Técnicas de escalonamento em tempo de execução (TTS), como amostragem best-of-N, votação majoritária e busca em árvore, aprimoraram significativamente as capacidades de raciocínio de Modelos de Raciocínio de Grande Escala (LRMs) ao alocar recursos computacionais adicionais durante a inferência. No entanto, esses métodos incorrem em custos computacionais substanciais devido à geração de sequências longas e múltiplas trajetórias. Abordagens existentes focadas em eficiência, como treinamento com recompensas baseadas em comprimento ou uso de modelos em cascata, frequentemente enfrentam um trade-off fundamental onde a redução dos custos computacionais leva a um sacrifício na precisão. Além disso, embora a decodificação especulativa (SD) ofereça um caminho para aceleração sem perdas, muitos métodos de SD sem modelo existentes dependem de consultas determinísticas a n-gramas que falham em aproveitar a natureza probabilística das estratégias de geração baseadas em amostragem usadas em LRMs.

Metodologia: STAND

Os autores propõem o STAND (STochastic Adaptive N-gram Drafting), uma abordagem de decodificação especulativa sem modelo projetada para acelerar o raciocínio de LLMs sem exigir modelos de rascunho adicionais ou ajuste fino. O STAND explora a redundância inerente nas trajetórias de raciocínio, onde padrões de raciocínio e sequências de tokens semelhantes são frequentemente reutilizados em diferentes soluções.

A metodologia é construída sobre três inovações-chave:

Módulo Adaptativo de N-gramas Baseado em Logits:
Ao contrário de redatores sem modelo tradicionais que armazenam IDs de tokens discretos ou os top-k tokens, o STAND armazena as distribuições de logits (distribuições de probabilidade) dos próximos tokens para n-gramas observados.
- Eficiência de Memória: Para lidar com vocabulários grandes, o sistema mantém apenas os índices top-k e suas probabilidades. Quando um n-grama é encontrado repetidamente, as distribuições são mescladas usando uma média ponderada (tratando índices não armazenados como probabilidade zero). A distribuição resultante é truncada para os 10 tokens mais prováveis para garantir uso constante de memória.
- Rascunho Estocástico: Ao preservar informações probabilísticas, o STAND permite rascunho estocástico, onde os tokens de rascunho são amostrados a partir da distribuição armazenada em vez de selecionar um único token determinístico. Isso alinha a distribuição de rascunho com a estratégia de amostragem do modelo alvo, aumentando significativamente as taxas de aceitação de tokens.
Amostragem Otimizada via Gumbel-Top-K:
Para amostrar eficientemente múltiplos tokens em paralelo para a árvore de rascunho, o STAND substitui a amostragem sequencial pelo truque Gumbel-Top-K. Ao adicionar ruído Gumbel aos log-probabilidades e selecionar os índices top-k, o método amostra $k$ tokens sem reposição em paralelo. Os termos de ruído Gumbel são pré-computados e armazenados em cache para separar a sobrecarga de amostragem do processo de rascunho, reduzindo ainda mais a latência.
Otimização de Árvore de Rascunho Orientada por Dados:
Em vez de depender de heurísticas ou construção de árvore puramente dinâmica, o STAND emprega uma abordagem orientada por dados para otimizar árvores de rascunho estáticas.
- Processo: Uma árvore inicial grande (625 nós) é construída. A decodificação especulativa é realizada em um pequeno conjunto de amostras de dados reais (por exemplo, 30 amostras). O sistema rastreia as probabilidades de aceitação por nó e seleciona os 80 nós mais eficazes para reorganizar em uma estrutura de árvore compacta e otimizada.
- Resultado: Isso garante que a estrutura da árvore seja empiricamente otimizada para o desempenho no mundo real, mantendo a eficiência computacional das árvores estáticas.

Contribuições Principais

Rascunho Estocástico sem Modelo: O artigo identifica que os métodos existentes de SD sem modelo ignoram amplamente a estocasticidade. O STAND introduz um mecanismo para preservar e utilizar informações de logits de gerações anteriores para realizar rascunho estocástico, o que é crucial para a inferência de LRM baseada em amostragem.
Armazenamento Eficiente de Logits: A proposta de uma representação comprimida e eficiente em memória para distribuições de logits de n-gramas que permite rascunho probabilístico sem a sobrecarga de modelos neurais completos de rascunho.
Construção de Árvore Orientada por Dados: Um método inovador de otimização offline para árvores de rascunho que adapta a estrutura da árvore com base nas taxas de aceitação empíricas, superando designs de árvore heurísticos.
Compatibilidade Plug-and-Play: Como uma abordagem sem modelo, o STAND não requer treinamento adicional, ajuste fino do modelo alvo ou modelos de rascunho separados, tornando-o aplicável a qualquer LRM existente.

Resultados Experimentais

Avaliações extensas foram conduzidas em raciocínio matemático (AIME-2024), QA científica (GPQA-Diamond) e codificação (LiveCodeBench) usando os modelos DeepSeek-R1-Distill-Qwen-7B e 14B.

Vazão e Latência: O STAND reduz a latência de inferência em 60–65% em comparação com a decodificação autoregressiva padrão, mantendo a precisão. Em termos de vazão, supera os métodos de decodificação especulativa mais avançados em 14–28%.
Escalonamento de Múltiplas Trajetórias: Os benefícios do STAND escalam com o número de trajetórias de raciocínio. Em cenários de amostragem best-of-16, o STAND alcança a maior vazão e comprimentos de aceitação, superando significativamente linhas de base como Token Recycle, ANPD e SAM.
Padrões Diversos de Inferência:
- Única Trajetória: O STAND melhora a vazão em ~2,38x sobre a decodificação padrão.
- Decodificação em Lote: O STAND mantém acelerações significativas (até 1,52x sobre as linhas de base) mesmo com tamanhos de lote de 8, enquanto outros métodos degradam.
- Busca em Árvore em Tempo de Execução: Na Busca em Árvore com Verificador Diverso (DVTS), o STAND alcança uma aceleração média de 2,54x sobre a decodificação padrão.
Estudos de Ablação:
- Estocástico vs. Determinístico: O rascunho estocástico produz consistentemente probabilidades de aceitação mais altas (5–8% mais altas) e vazão em comparação com o rascunho determinístico.
- Otimização de Árvore: Árvores otimizadas via o método orientado por dados superam árvores heurísticas (por exemplo, do Token Recycle) em tarefas tanto dentro do domínio (AIME) quanto fora do domínio (GPQA).
- Estrutura da Árvore: Árvores otimizadas para o STAND exibem maior profundidade (até 13 níveis vs. 7 para as linhas de base) e uma estrutura de "cauda longa", refletindo a capacidade do modelo de aproveitar sequências determinísticas mais longas encontradas nas trajetórias de raciocínio.

Significado e Alegações

O artigo afirma que o STAND fornece uma solução poderosa e plug-and-play para acelerar o raciocínio de modelos de linguagem. Ao aproveitar a redundância nas trajetórias de raciocínio e as informações probabilísticas inerentes à geração baseada em amostragem, o STAND alcança aceleração significativa (redução de latência de 60–65%) sem comprometer a precisão do modelo alvo.

Os autores enfatizam que, ao contrário de métodos que exigem re-treinamento do modelo ou a implantação de modelos de rascunho separados, o STAND é inteiramente sem modelo e compatível com qualquer LRM existente. Ele aborda efetivamente o trade-off entre desempenho e eficiência no escalonamento em tempo de execução, particularmente em cenários envolvendo múltiplas trajetórias, decodificação em lote e busca em árvore. O trabalho sugere que agregar informações históricas (via armazenamento de logits de n-gramas) é mais benéfico para o escalonamento em tempo de execução do que métodos que simplesmente substituem ou ignoram dados de trajetórias anteriores.

Nota: Os autores reconhecem limitações relacionadas à implementação atual, que utiliza a biblioteca HuggingFace (menos otimizada que vLLM ou SGLang) e uma consulta a N-gramas baseada em Python, sugerindo potencial para redução adicional de latência com implementações mais otimizadas.