PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length

Resumo Técnico: PACER: Verificação Prévia por Blocos para Decodificação Especulativa com Comprimento Adaptativo

Problema
Os Grandes Modelos de Linguagem (LLMs) sofrem com uma latência de inferência significativa devido à sua natureza autorregressiva, que é primariamente limitada pela largura de banda da memória, em vez de limites computacionais. A Decodificação Especulativa (SD) aborda isso utilizando um modelo "rascunho" (draft) menor para prever múltiplos tokens à frente, que são então verificados em paralelo pelo modelo "alvo" (target) maior. No entanto, as abordagens de SD existentes normalmente empregam um tamanho de janela de rascunho fixo ($\gamma$) durante todo o processo de decodificação.

Os autores identificam uma ineficiência crítica nesta abordagem de janela fixa: o número ideal de tokens de rascunho varia significativamente entre diferentes etapas de decodificação.

• Janelas Conservadoras: Uma janela fixa que é muito pequena faz com que o modelo de rascunho pare prematuramente, perdendo oportunidades de gerar tokens aceitos e forçando passagens de forward desnecessárias e dispendiosas pelo modelo alvo.
• Janelas Agressivas: Uma janela fixa que é muito grande leva ao desperdício de computação em tokens de rascunho que são, em última análise, rejeitados pelo modelo alvo.
  Métodos atuais que tentam adaptar os tamanhos das janelas dependem frequentemente de saídas intrínsecas do modelo de rascunho (ex: probabilidades de tokens ou entropia), que podem ser pouco confiáveis devido à má calibração e excesso de confiança dos modelos. Outras abordagens paralelas (ex: PEARL) enfrentam dificuldades de escalonamento de recursos quando os modelos compartilham o mesmo dispositivo.

Metodologia: PACER
O artigo propõe o PACER (Pre-verification for Adaptive Length), um framework que controla dinamicamente o tamanho da janela de rascunho usando uma camada de pré-verificação por blocos leve e treinável.

1. Geração por Blocos e Pré-verificação: Em vez de gerar um número fixo de tokens, o modelo de rascunho gera tokens em blocos de tamanho $b$. Após cada bloco ser gerado, uma camada de pré-verificação ($M_B$) analisa os estados ocultos (hidden states) do bloco junto com os embeddings posicionais para estimar a probabilidade de aceitação dos tokens.
2. Critério de Parada Adaptativo: O sistema calcula a taxa média de aceitação estimada para o bloco. Se essa taxa cair abaixo de um limiar dinâmico $t$, a geração do rascunho para, e os tokens acumulados são enviados ao modelo alvo para verificação formal. Se a taxa for alta, o modelo de rascunho continua a gerar o próximo bloco.
3. Limiarização Dinâmica: Para evitar que o modelo de rascunho gere sequências excessivamente longas onde a probabilidade de aceitação naturalmente decai, o limiar $t$ é aumentado por um fator de crescimento $\rho$ após cada bloco bem-sucedido. Isso torna o critério de parada progressivamente mais rigoroso à medida que o comprimento do rascunho aumenta.
4. Treinamento: A camada de pré-verificação é treinada usando perda de entropia cruzada padrão. Os dados de treinamento são construídos simulando o processo de decodificação especulativa no modelo alvo para rotular os tokens de rascunho como "aceitos" ou "rejeitados", garantindo o alinhamento entre treinamento e inferência. Para melhorar a eficiência, os dados de treinamento de múltiplas etapas de decodificação são agrupados em sequências únicas com máscaras de atenção customizadas.

Principais Contribuições

• Análise Sistemática: Os autores fornecem evidências empíricas mostrando que os comprimentos de aceitação variam significativamente entre as etapas de decodificação, demonstrando que tamanhos de janela fixos são subótimos e que o ajuste dinâmico pode, teoricamente, proporcionar um aumento de velocidade de até $1.4\times$.
• Framework Inovador: O PACER introduz um mecanismo de pré-verificação por blocos treinável que aproveita informações contextuais e codificação posicional para determinar dinamicamente o comprimento ideal do rascunho, evitando a dependência de métricas heurísticas não confiáveis como a entropia.
• Compatibilidade: O framework foi projetado para ser ortogonal a outras melhorias de decodificação especulativa, como o Ouroboros (que melhora a qualidade do rascunho via geração de nível de frase).
• Avaliação Abrangente: Experimentos extensos são conduzidos através de múltiplas famílias de modelos (DeepSeek-Coder, Llama-2, Qwen-2.5) e diversos benchmarks (geração de código, raciocínio matemático, sumarização).

Resultados

• Aumento de Velocidade: O PACER alcança até $2.66\times$ de aumento de velocidade sobre a decodificação autorregressiva vanilla e supera consistentemente a decodificação especulativa padrão com tamanhos de janela fixos em todos os benchmarks testados.
• Integração: Quando integrado ao Ouroboros, o PACER alcança um pico de aumento de velocidade de $3.09\times$ sobre a decodificação autorregressiva no dataset GSM8K.
• Eficiência: A camada de pré-verificação adiciona um overhead mínimo (aproximadamente $2.1\%$ do tempo total de inferência nos experimentos com DeepSeek-Coder 1.3B/33B) enquanto reduz significativamente o número de passagens de forward do modelo alvo.
• Estudos de Ablação: O estudo confirma que tanto os embeddings posicionais quanto o fator de crescimento do limiar são componentes críticos; removê-los leva a velocidades de decodificação reduzidas ou comprimentos de rascunho ineficientes.

Significância
O artigo afirma que o PACER aborda efetivamente as limitações da decodificação especulativa de janela fixa ao introduzir um mecanismo adaptativo baseado em dados. Ao regular dinamicamente o comprimento do rascunho com base na pré-verificação contextual, o PACER minimiza o desperdício computacional de rascunhos rejeitados e reduz o overhead de verificações frequentes do modelo alvo. Os autores posicionam o PACER não como um substituto para técnicas de geração de rascunho de alta qualidade, mas como uma camada complementar que otimiza o comprimento da especulação, desbloqueando assim maiores ganhos de desempenho na aceleração de inferência de LLMs.