💬 NLP

Batch Speculative Decoding Done Right

Este artigo apresenta o primeiro framework de decodificação especulativa em lote que garante a equivalência de saída com a geração autoregressiva padrão, corrigindo falhas críticas de sincronização existentes através dos algoritmos EQSPEC e EXSPEC, que alcançam até 3x de aumento no throughput sem comprometer a correção do modelo.

Autores originais: Ranran Haoran Zhang, Soumik Dey, Ashirbad Mishra, Hansi Wu, Binbin Li, Rui Zhang

Publicado 2026-02-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ranran Haoran Zhang, Soumik Dey, Ashirbad Mishra, Hansi Wu, Binbin Li, Rui Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está organizando uma corrida de carros para entregar pacotes (que são as respostas de uma Inteligência Artificial). O objetivo é entregar o máximo de pacotes possível no menor tempo.

Até agora, havia um problema fundamental em como as corridas em grupo (o "batch") eram feitas. Este artigo, "Batch Speculative Decoding Done Right", é como um manual de mecânica que diz: "Parem de fazer as coisas erradas! Aqui está como fazer rápido sem quebrar os carros."

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A Corrida Caótica

Imagine que você tem um Chefe (o modelo grande e inteligente) e um Estagiário (um modelo pequeno e rápido).

Como funciona a ideia: O Estagiário tenta adivinhar o que o Chefe vai dizer a seguir. Se o Estagiário acertar, o Chefe apenas confirma. Se errar, o Chefe corrige. Isso acelera tudo.
O Erro Atual: Quando você tenta fazer isso com vários carros ao mesmo tempo (um grupo de 8, 16, etc.), os carros aceitam quantidades diferentes de "palpites" do estagiário.
- O Carro A aceita 5 palpites.
- O Carro B aceita apenas 2.
- O Carro C aceita 4.

O que acontece nos sistemas atuais? Eles tentam forçar todos os carros a ficarem alinhados de qualquer jeito. É como se, no meio da corrida, o Carro B fosse obrigado a parar e esperar o Carro A, ou pior: o sistema começa a misturar as pistas.

Resultado: Os carros começam a entregar pacotes errados. Em vez de dizer "O tempo hoje está...", o sistema começa a repetir "não, não, não..." ou soltar símbolos estranhos como <desconhecido>. É como se o GPS do carro tivesse sido hackeado e ele estivesse dirigindo para o lugar errado, mas muito rápido.

2. A Causa Raiz: O "Problema do Tecido Rasgado"

Os computadores (GPUs) adoram trabalhar com retângulos perfeitos (como uma grade de pixels). Mas, quando os carros aceitam quantidades diferentes de palpites, a grade fica "rasgada" e irregular.

A analogia: Imagine tentar empilhar caixas de tamanhos diferentes em um caminhão que só aceita caixas quadradas. Os sistemas antigos tentavam espremer as caixas ou cortar pedaços delas para caber. Isso faz com que a "memória" do caminhão (onde ele guarda o que já passou) fique bagunçada. O caminhão esquece onde estava e começa a alucinar.

3. A Solução: EQSPEC (O Mecânico Rigoroso)

Os autores criaram um novo método chamado EQSPEC.

Como funciona: Em vez de forçar o alinhamento errado, o EQSPEC para a corrida a cada volta, verifica quem aceitou quantos palpites, e reorganiza tudo perfeitamente antes de continuar.
A analogia: É como um maestro de orquestra. Se um músico toca mais rápido que o outro, o maestro não deixa o ritmo quebrar. Ele faz uma pausa rápida, ajusta o compasso de todos para que fiquem alinhados novamente, e só então dá o sinal para tocar mais.
O resultado: O carro entrega o pacote certo, exatamente como se tivesse feito sozinho, mas mais rápido. A única "desvantagem" é que essa reorganização gasta um pouco de energia (cerca de 40% do tempo), mas é o preço para não entregar lixo.

4. A Otimização: EXSPEC (O Gerente Inteligente)

O EQSPEC é correto, mas reorganizar tudo toda hora gasta energia. O EXSPEC é uma evolução disso.

A ideia: Em vez de pegar qualquer grupo de carros, o EXSPEC olha para a fila e diz: "Ei, esses três carros têm o mesmo tamanho de carga e aceitam o mesmo número de palpites. Vamos agrupá-los juntos!"
A analogia: Imagine um supermercado com caixas de checkout. Em vez de misturar clientes com carrinhos cheios e vazios na mesma fila (o que causa confusão), o gerente separa os clientes com carrinhos cheios em uma fila e os de carrinhos vazios em outra.
O benefício: Se todos no grupo são iguais, não precisa fazer a "reorganização" (o maestro não precisa parar). Isso elimina o desperdício de tempo.
Resultado: O sistema fica até 3 vezes mais rápido do que fazer tudo um por um, sem perder a precisão.

Resumo da Ópera

O que estava errado: Os métodos antigos tentavam ser rápidos, mas quebravam a lógica da IA, gerando textos sem sentido (alucinações) quando processavam vários pedidos juntos.
O que eles fizeram: Criaram regras matemáticas rigorosas para garantir que, mesmo em grupo, a IA não perca o foco.
A inovação: Eles mostraram que, para ser rápido e correto, você precisa gastar um tempo extra para "alinhar" os grupos (EQSPEC) ou ser inteligente o suficiente para agrupar apenas itens iguais (EXSPEC).

Conclusão: Eles consertaram a "corrida de carros" da Inteligência Artificial. Agora, podemos ter carros voando (alta velocidade) sem que eles saiam da pista e batam (erros de texto). É a primeira vez que isso é feito de verdade, garantindo que a resposta seja sempre a correta, não importa o quão rápido seja.

1. O Problema: A Falha na Equivalência de Saída

O Decodificação Especulativa (Speculative Decoding) é uma técnica que acelera a inferência de Grandes Modelos de Linguagem (LLMs) usando um modelo rascunho (draft) pequeno para propor múltiplos tokens, que são então verificados em paralelo pelo modelo alvo. O requisito fundamental para que essa técnica seja válida é a equivalência de saída: a distribuição de tokens gerada deve ser idêntica à geração autoregressiva padrão.

O artigo identifica que todas as implementações existentes de decodificação especulativa em lote (batch) violam esse requisito fundamental quando o tamanho do lote (batch size) é maior que 1.

Sintomas: Em vez de gerar o texto correto, essas implementações produzem saídas corrompidas, como tokens repetitivos, símbolos <unk> ou "gibberish" (sem sentido).
Causa Raiz: O problema é o tratamento inadequado do problema de tensores irregulares (ragged tensor problem). Em um lote, diferentes sequências aceitam números diferentes de tokens rascunho durante a verificação. Isso desalinha os IDs de posição, as máscaras de atenção e o estado do KV-cache (Key-Value cache) entre as sequências.
Falhas Anteriores:
- Abordagem de Máscara (ex: BSP): Falha em manter a consistência dos IDs de posição, levando a erros de alinhamento do KV-cache.
- Abordagem de Rollback (ex: vLLM v0): Corta todas as sequências para o comprimento mínimo aceito, desperdiçando tokens verificados e reduzindo o throughput para o nível da sequência mais lenta.
- Abordagem de Padding Dinâmico (ex: DSD): Embora tente realinhar, comete erros críticos como amostrar o token bônus do modelo rascunho (em vez do alvo) e falhar na sincronização do KV-cache, gerando saídas incorretas.

2. Metodologia Proposta

Os autores propõem um novo framework que formaliza os invariantes de sincronização necessários para garantir a correção algorítmica e introduz dois algoritmos principais:

A. EQSPEC: Correção Algorítmica via Invariantes

O EQSPEC é o primeiro algoritmo que garante a equivalência de distribuição de saída em lotes. Ele opera através de um processo de Unpad-Append-Repad (Despadronizar-Anexar-Repadronizar) após cada rodada de verificação:

Invariantes Formalizados: Define que o alinhamento retangular (soma de padding + conteúdo = comprimento constante) e a contiguidade dos IDs de posição (baseados na máscara de atenção) devem ser estritamente mantidos.
Mecanismo: Após a verificação, onde sequências aceitam quantidades diferentes de tokens ( $a_i$ ), o algoritmo calcula um deslocamento de padding ( $\delta_i$ ) para cada sequência.
Sincronização: Realiza o despadronizar (unpad), anexa os tokens aceitos e o token bônus, e depois repadroniza (repad) a esquerda. Crucialmente, recalcula os IDs de posição e desloca as entradas do KV-cache para manter a correspondência correta entre token e cache.
Custo: A análise mostra que esse overhead de realinhamento cresce superlinearmente com o tamanho do lote, consumindo até 40% do tempo de computação em lotes grandes (batch size 8).

B. EXSPEC: Redução de Overhead via Agendamento Cross-Batch

Para mitigar o alto custo de realinhamento do EQSPEC, os autores introduzem o EXSPEC:

Pool de Sequências: Em vez de manter lotes fixos que exigem realinhamento constante, o EXSPEC mantém um pool de sequências ativas em seus estados irregulares.
Agrupamento Dinâmico: O agendador tenta formar lotes dinâmicos agrupando sequências que têm exatamente o mesmo comprimento após a verificação.
Vantagem: Quando sequências têm o mesmo comprimento, o deslocamento de padding ( $\delta_i$ ) é zero. Isso elimina a necessidade de realinhamento, recálculo de máscaras e deslocamento de KV-cache para esses grupos, transformando um custo fixo em um custo opcional.
Fallback: Apenas sequências que não podem ser agrupadas (com comprimentos diferentes) sofrem o processo de realinhamento completo.

3. Principais Contribuições

Identificação e Formalização: Demonstraram que as implementações atuais falham devido ao problema de tensores irregulares e formalizaram os invariantes de sincronização (IDs de posição, máscaras, KV-cache) que qualquer implementação válida deve satisfazer.
EQSPEC: Apresentaram o primeiro algoritmo de decodificação especulativa em lote que garante correção algorítmica, provando matematicamente que seus invariantes são preservados.
EXSPEC: Introduziram uma técnica de agendamento que reduz drasticamente o overhead de alinhamento agrupando sequências de mesmo comprimento, permitindo escalabilidade eficiente.
Análise de Custo: Revelaram que o overhead de alinhamento é um custo inerente à correção algorítmica em tensores irregulares, não apenas uma ineficiência de implementação, e que ele cresce superlinearmente.

4. Resultados Experimentais

Os métodos foram avaliados no SpecBench usando pares de modelos (Vicuna-7B/68M, Qwen3-8B/0.6B, GLM-4-9B/0.6B):

Correção Algorítmica (Equivalência de Saída):
- Métodos anteriores (BSP, DSD) apresentaram taxas de equivalência exata próximas de 0% (falhas catastróficas).
- EQSPEC e EXSPEC alcançaram ~95% de equivalência exata. A pequena divergência residual (5%) foi atribuída à não-determinismo de ponto flutuante no hardware GPU, e não a erros de sincronização.
Throughput (Desempenho):
- No tamanho de lote 8, o EXSPEC alcançou um aumento de 3x no throughput em comparação com o lote 1 (batch size 1).
- O EQSPEC mostrou escalabilidade negativa além do lote 8 devido ao custo de realinhamento, enquanto o EXSPEC manteve a eficiência.
Análise de Overhead:
- O overhead de realinhamento no EQSPEC consumiu ~39% do tempo de computação no lote 8.
- O EXSPEC reduziu esse overhead ao agrupar sequências, aumentando o throughput geral em 64% em comparação com o EQSPEC puro, embora com um custo de latência de cauda (tail latency) maior em cenários de serviço online heterogêneo.

5. Significado e Impacto

Este trabalho estabelece que a aceleração de inferência de LLMs através de batching e especulação só é possível de forma válida se os invariantes de sincronização forem rigorosamente mantidos.

Fundação para Produção: Oferece a primeira implementação verificada e correta de decodificação especulativa em lote, corrigindo a "ilusão" de desempenho de métodos anteriores que geravam dados corrompidos.
Trade-off Explícito: Demonstra que a correção algorítmica tem um custo inerente (realinhamento), mas que técnicas de agendamento inteligente (como o EXSPEC) podem mitigar esse custo sem sacrificar a validade dos resultados.
Reprodutibilidade: O código foi disponibilizado como open-source, fornecendo uma referência confiável para a comunidade de pesquisa e desenvolvimento de sistemas de inferência.

Em resumo, o paper resolve um problema fundamental negligenciado na literatura atual, garantindo que a aceleração de LLMs não venha à custa da integridade dos dados gerados.