Training-Free Loosely Speculative Decoding: Accepting Semantically Correct Drafts Beyond Exact Match

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) sofrem de alta latência de inferência devido ao seu processo de geração autoregressiva. A Decodificação Especulativa (SPD) é uma técnica padrão de aceleração onde um pequeno modelo "rascunho" propõe tokens que um modelo "alvo" maior verifica em paralelo. No entanto, a SPD padrão depende de uma regra estrita de correspondência exata: se o token do rascunho não corresponder perfeitamente à previsão do modelo alvo, o rascunho é rejeitado e o processo reverte para o modelo alvo.

Essa rigidez causa dois problemas principais:

1. Tokens Semanticamente Válidos Desperdiçados: Muitos tokens de rascunho são semanticamente corretos, mas formulados de maneira diferente (por exemplo, sinônimos, estruturas gramaticais distintas) da previsão principal do alvo. A rejeição estrita descarta esses tokens, limitando o ganho de velocidade.
2. Pobre Generalização de Métodos Baseados em Treinamento: Métodos SPD "frouxos" existentes (por exemplo, EAGLE-3, JudgeDecoding) frequentemente usam classificadores auxiliares treinados em dados específicos para julgar a validade semântica. Esses métodos sofrem degradação significativa de desempenho em tarefas Fora da Distribuição (OOD), pois os classificadores treinados falham em generalizar para domínios não vistos.

2. Metodologia: FLy (Decodificação Especulativa Frouxa Livre de Treinamento)

O FLy propõe uma abordagem livre de treinamento que relaxa o critério de verificação, aproveitando o próprio comportamento do modelo alvo para distinguir entre "desvios inofensivos" (semanticamente válidos) e "erros genuínos". Ele introduz um mecanismo de dois níveis e uma estratégia de aceleração multinível.

A. Mecanismo de Verificação de Dois Níveis

Em vez de rejeição imediata ao ocorrer um desvio, o FLy emprega uma estratégia de adiamento condicional:

1. Porta de Nível de Entropia (Detecção de Ambiguidade):

   • Quando ocorre um desvio na posição do token $j$, o FLy calcula a entropia normalizada ($h_j$) da distribuição de previsão do modelo alvo naquela posição.
   • Baixa Entropia ($h_j < \theta$): O modelo alvo está confiante (por exemplo, em aritmética ou recuperação factual). O desvio é tratado como um provável erro e rejeitado imediatamente (comportamento padrão da SPD).
   • Alta Entropia ($h_j \ge \theta$): O modelo alvo está incerto, implicando que existem múltiplas alternativas plausíveis (por exemplo, pronomes, sinônimos). O sistema ativa uma Janela de Adiamento em Nível de Token.

2. Janela de Adiamento em Nível de Token (Monitoramento Comportamental):

   • Se a porta permitir o adiamento, o FLy monitora os próximos $W$ tokens (janela de antecipação).
   • Lógica: LLMs tendem a exibir comportamento de autocorreção quando condicionados a um token genuinamente errôneo (eles divergirão novamente para corrigir o erro). Por outro lado, se o token do rascunho for semanticamente válido, mas apenas formulado de maneira diferente, o modelo alvo provavelmente continuará gerando sem nova divergência.
   • Decisão:
     • Se não houver mais desvios dentro da janela $W$, o desvio inicial é considerado semanticamente válido e aceito.
     • Se outro desvio ocorrer, isso sinaliza que o alvo está tentando corrigir um erro; o token inicial é rejeitado retroativamente.
   • Tratamento de Limites: Se o desvio ocorrer perto do final da sequência do rascunho (onde a janela não pode ser totalmente preenchida), o token é conservadoramente rejeitado para preservar a precisão.

B. Aceleração Multinível (MLA)

Ao aceitar mais tokens, o número médio de tokens aceitos ($\tau$) aumenta significativamente. Isso desloca o gargalo computacional da fase de verificação do modelo alvo para a fase de geração do modelo rascunho.

• Para abordar isso, o FLy integra a Decodificação por Busca de Prompt (PLD) para acelerar o próprio modelo rascunho.
• Isso cria um esquema de Aceleração Multinível: os tokens do rascunho são gerados mais rapidamente (via PLD) e o modelo alvo os verifica com mais eficiência (via aceitação frouxa do FLy), impedindo que a etapa de rascunho se torne o novo gargalo.

3. Principais Contribuições

• Design Livre de Treinamento: Diferentemente do EAGLE ou do JudgeDecoding, o FLy não requer treinamento adicional, ajuste fino ou dados anotados. É plug-and-play e agnóstico ao modelo.
• Verificação Semântica: Vai além da correspondência exata de tokens para aceitar continuações semanticamente corretas, analisando a entropia do modelo alvo e seu comportamento subsequente de geração.
• Robustez a OOD: Como não depende de classificadores supervisionados treinados em distribuições específicas, o FLy mantém alto desempenho em diversos domínios e tarefas onde métodos baseados em treinamento falham.
• Aceleração Dupla: Acelera de forma única tanto o modelo alvo (via verificação frouxa) quanto o modelo rascunho (via PLD), otimizando todo o pipeline.

4. Resultados Experimentais

Os experimentos foram conduzidos nos modelos Llama-3.1-70B e Llama-3.1-405B em conjuntos de dados Dentro da Distribuição (ID) e Fora da Distribuição (OOD) (por exemplo, MGSM, NIAH, HumanEval).

• Desempenho de Aceleração:
  • Llama-3.1-70B: Alcançou uma aceleração média de 2,81× (até 5,07× em tarefas específicas) em conjuntos de dados OOD, superando o SOTA baseado em treinamento EAGLE-3 em 1,62×.
  • Llama-3.1-405B: Alcançou uma massiva aceleração de 5,07×.
  • Dentro da Distribuição: Alcançou 2,69× de aceleração, superando o EAGLE-2 em 1,05×.
• Preservação de Precisão: O FLy preserva ≥99% da precisão do modelo alvo em todos os conjuntos de dados e escalas, igualando o desempenho de métodos frouxos baseados em treinamento como o JudgeDecoding.
• Generalização: O método funciona perfeitamente com pares rascunho-alvo arbitrários (por exemplo, rascunho Qwen + alvo Mistral) sem retreinamento.
• Eficiência: A sobrecarga computacional da porta de entropia e da lógica da janela é negligenciável em comparação com os custos de inferência.

5. Significado

O FLy representa uma mudança de paradigma na decodificação especulativa ao provar que métodos livres de treinamento podem superar métodos baseados em treinamento, particularmente em cenários do mundo real envolvendo mudanças de distribuição.

• Praticidade: Elimina o custo proibitivo de treinar modelos rascunho especializados para cada novo alvo ou domínio.
• Escalabilidade: É particularmente eficaz para modelos massivos (por exemplo, 405B parâmetros), onde treinar um rascunho dedicado é frequentemente inviável.
• Compreensão Semântica: Ao aproveitar a natureza de autocorreção do modelo alvo, o FLy efetivamente "entende" que palavras diferentes podem significar a mesma coisa, desbloqueando acelerações que algoritmos de correspondência estrita não podem alcançar.

Em resumo, o FLy oferece uma solução robusta, de alto desempenho e universalmente aplicável para a latência de inferência de LLMs, alcançando acelerações state-of-the-art enquanto mantém garantias estritas de precisão sem a necessidade de dados de treinamento adicionais.