Resumo Técnico: Decodificação Especulativa Aproximada (ASD)

Definição do Problema

Modelos de Linguagem de Grande Escala (LLMs) autorregressivos geram tokens sequencialmente, criando um gargalo significativo de inferência devido à execução repetida de um modelo alvo volumoso. A decodificação especulativa aborda isso utilizando um modelo "drafter" (propositor) leve para propor um bloco de tokens futuros, que são então verificados em paralelo pelo modelo alvo.

Sob a verificação gulosa padrão (greedy verification), o processo é estritamente binário: o verificador compromete o prefixo mais longo de tokens do draft que coincida exatamente com os tokens argmax (gulosos) do modelo alvo. O processo interrompe-se no primeiro erro, descartando os tokens restantes do draft e anexando um único token de recuperação do alvo. Esta abordagem possui duas limitações primárias:

1. Truncamento Binário Inerente: Trata um token do draft com um logit do alvo quase empatado (baixo arrependimento/regret) de forma idêntica a um token fortemente desfavorecido, parando imediatamente após qualquer discrepância.
2. Desperdício de Computação: Em uma passagem de verificação com teacher-forcing, o modelo alvo já pontuou tokens subsequentes do draft condicionada ao prefixo (incluindo o erro). Se um erro inicial for aceito, um sufixo contíguo de tokens subsequentes pode já ser "alvo-guloso" sob este novo prefixo realizado. A verificação padrão descarta esses tokens reutilizáveis, exigindo passagens adicionais do modelo alvo para recuperação.

O desafio central é que aceitar um token não guloso altera a trajetória de decodificação. Embora isso possa desbloquear sufixos reutilizáveis, não é uma otimização sem perdas; o acúmulo descontrolado de discrepâncias pode degradar a qualidade da tarefa. O artigo postula que o objetivo não é ignorar erros, mas permitir um número limitado de exceções explícitas enquanto se controla sua magnitude cumulativa.

Metodologia: Decodificação Especulativa Aproximada (ASD)

A ASD é um método do lado do verificador que não requer treinamento, substituindo a regra de "truncamento no primeiro erro" por uma estratégia de seleção de prefixo mais longo orçada. Ela opera sem modificar o modelo drafter, não exige ajuste fino (fine-tuning) e não adiciona passagens adicionais do modelo alvo.

Mecanismos Principais

1. Arrependimento Local do Logit do Alvo (Local Target-Logit Regret):
   Para um token do draft $x_i$ e o argmax do alvo $y^*_i$, a ASD calcula o arrependimento local $r_i = z_i(y^*_i) - z_i(x_i)$, representando a preferência do alvo pelo token correto sobre o token do draft.

2. Sistema de Controle de Três Camadas:
   A ASD aceita um erro apenas se este satisfizer três restrições, permitindo que selecione o prefixo contíguo mais longo viável:

   • Portão de Arrependimento Local (Local Regret Gate - $g$): Um portão normalizado $r_i / q_i \leq g$ (onde $q_i$ é o comprimento da proposta restante) filtra discrepâncias individualmente custosas, favorecendo exceções que sejam proporcionais ao potencial de reutilização do sufixo.
   • Limite de Exceções por Bloco (Per-Block Exception Cap - $M$): Limita o número de exceções dentro de um único bloco de draft para evitar a concentração de erros.
   • Orçamento de Arrependimento Persistente por Requisição (Persistent Request-Level Regret Budget - $B$): Mantém um registro do arrependimento cumulativo ($s$) ao longo de toda a requisição. Um prefixo é viável apenas se seu arrependimento cumulativo $C_t \leq B - s$. Isso limita a desviação total durante a geração.

3. Reuso de Sufixo de Prefixo Realizado:
   Uma vez que a ASD compromete um prefixo terminando em um erro aceito, ela reutiliza os tokens subsequentes do draft que permanecem alvo-gulosos sob o histórico realizado (o histórico incluindo o erro aceito). Esses tokens são comprometidos sem decisões aproximadas adicionais ou passagens adicionais do modelo alvo.

4. Implementação Vetorizada:
   O algoritmo constrói uma máscara de viabilidade para cada posição no bloco de draft baseada nas restrições acima. O comprimento aceito é o prefixo mais longo de valores "todos verdadeiros" desta máscara, computável via somas e produtos cumulativos em tempo $O(K)$. Quando o orçamento $B=0$, a ASD recupera exatamente a verificação gulosa estrita padrão.

Contribuições Principais

O artigo apresenta três contribuições primárias:

1. Formulação: Formula a verificação gulosa aproximada como um problema de seleção de prefixo contíguo mais longo orçado, utilizando um registro persistente por requisição para contabilizar as discrepâncias aceitas entre o draft e o alvo.
2. Identificação de Mecanismo: Identifica e formaliza o reuso de sufixo de prefixo realizado, demonstrando que, após uma exceção aceita, um sufixo contíguo alvo-guloso pode ser comprometido sem decisões aproximadas adicionais, desde que os caches sejam atualizados consistentemente.
3. Validação Empírica: Fornece evidência experimental de que este verificador livre de treinamento melhora significativamente o throughput em vários modelos e tarefas sem exigir mudanças no mecanismo de geração de propostas.

Resultados Experimentais

Experimentos foram conduzidos nos alvos Qwen3-8B/14B, Llama-3.1-8B e Qwen2.5-7B, pareados com os drafters DSpark, EAGLE3 e Medusa, abrangendo benchmarks como GSM8K, MATH-500, HumanEval, MBPP, MMLU, MT-Bench e Alpaca.

• Ganhos de Throughput: A ASD melhora o throughput de carga de trabalho fixa em 3,05%–15,26% em relação à decodificação especulativa estrita correspondente.
  • Em Qwen3-14B + DSpark-14B, o ganho médio entre sete tarefas é de 7,78%.
  • O maior ganho observado foi de 15,26% no GSM8K com Llama-3.1-8B + EAGLE3.
• Compromissos de Acurácia (Accuracy Trade-offs): O método é uma aproximação controlada, não uma otimização de preservação de saída.
  • Na matriz principal DSpark-14B, cinco de sete tarefas mostraram mudanças de acurácia não negativas.
  • As reduções de acurácia observadas foram pequenas (ex: -0,61 pontos no HumanEval, -0,64 no MT-Bench) e dependentes da tarefa.
  • No GSM8K e MATH-500, a divergência de hash excedeu 95%, indicando trajetórias alteradas, porém a acurácia medida permaneceu estável ou melhorou.
• Escalabilidade: Os ganhos persistem através de diferentes famílias de drafter (DSpark, EAGLE3, Medusa) e modelos alvo, indicando que o benefício é impulsionado pelo mecanismo do lado do verificador, e não por arquiteturas de proposta específicas.
• Compatibilidade com Grandes Modelos: Na DeepSeek-V4-Flash (284B) com DSpark em uma configuração de compatibilidade FP4-para-FP8, a ASD elevou a aceitação do lado do verificador em aproximadamente 10%–16% no GSM8K e MATH-500.

Significância e Alegações

O artigo afirma que a ASD oferece um caminho amplamente compatível e livre de treinamento para uma decodificação especulativa de bloco gulosa mais rápida. Sua significância reside em:

• Desacoplamento da Verificação da Proposta: Ao contrário de trabalhos anteriores que focam em melhorar o drafter, a ASD otimiza a decisão de compromisso do verificador após a pontuação ser concluída.
• Controle Explícito de Troca (Trade-off): Ao introduzir um orçamento de arrependimento persistente e portões locais, a ASD permite que os usuários ajustem explicitamente a fronteira velocidade-acurácia, indo além da natureza binária "tudo ou nada" da verificação estrita.
• Eficiência do Sistema: O método reduz o número de rodadas caras de verificação do alvo, reutilizando sufixos pontuados pelo alvo, alcançando ganhos de throughput sem passagens de forward adicionais ou retreinamento de modelos.

Os autores enfatizam que a ASD limita o arrependimento local acumulado, mas não garante saídas idênticas, preservação semântica ou correção da tarefa. Consequentemente, eles defendem um modelo de implantação onde os controles do verificador são congelados em dados disjuntos, seguidos por uma auditoria de qualidade de tarefa natural (EOS-natural) para cada combinação específica de alvo, drafter e carga de trabalho.