Resumo Técnico: Além do Alvo: Da Imitação à Colaboração em Decodificação Especulativa

1. Declaração do Problema

A Decodificação Especulativa (SPD) é uma técnica padrão para acelerar a inferência de Modelos de Linguagem de Grande Escala (LLM). Ela emprega um modelo menor de "rascunho" para propor uma sequência de tokens futuros, que são então verificados em paralelo por um modelo maior de "alvo". O paradigma dominante na SPD baseia-se na imitação: o modelo de rascunho é treinado para aproximar a distribuição do modelo de alvo, e um token de rascunho é aceito apenas se corresponder exatamente à previsão do alvo.

Os autores argumentam que este paradigma é subótimo porque assume implicitamente que o modelo de alvo é a única autoridade em cada posição de token. Na realidade, embora o modelo de alvo seja superior no geral, não é uniformemente melhor em cada decisão local. Em tarefas como raciocínio e geração de código, uma incompatibilidade entre o rascunho e o alvo não indica necessariamente um erro do rascunho; pode representar um caminho alternativo útil que evita um erro do modelo de alvo. Os métodos atuais de SPD descartam essas forças "não aninhadas" do modelo de rascunho, limitando o sistema ao teto de desempenho do modelo de alvo sozinho.

2. Metodologia: Decodificação Especulativa Colaborativa (CoSpec)

O artigo introduz a Decodificação Especulativa Colaborativa (CoSpec), um framework que altera a relação entre os modelos de rascunho e de alvo de uma imitação pura para uma colaboração ativa. Em vez de tratar incompatibilidades como falhas de verificação, o CoSpec as trata como oportunidades para selecionar a ramificação (rascunho ou alvo) que maximiza a utilidade final da tarefa.

Arquitetura Central

O CoSpec mantém a estrutura computacional padrão da SPD:

1. Rascunho: O modelo de rascunho propõe um bloco de $K$ tokens.
2. Verificação: O modelo de alvo verifica o bloco em uma única passagem paralela.
3. Arbitragem: Em posições onde o rascunho e o alvo discordam (incompatibilidades), uma política de arbitragem aprendida decide se aceita o token de rascunho ou recua para o token de alvo.

A Política de Arbitragem

A política de arbitragem ($\pi_\theta$) é um modelo leve (usando adaptadores LoRA na base do rascunho) que observa:

• O prompt de entrada e o prefixo verificado.
• O bloco de rascunho.
• Os tokens de verificação do alvo.

Ela utiliza uma máscara de atenção híbrida: o contexto atende causalmente, enquanto a região rascunho-alvo usa atenção bidirecional para comparar candidatos. A política emite uma probabilidade de aceitar o token de rascunho em cada incompatibilidade.

Treinamento via Aprendizado por Reforço

A política é treinada usando um pipeline de duas etapas:

1. Aquecimento Supervisionado: Inicializado usando preferências rotuladas por juízes em execuções de SPD vanilla.
2. Aprendizado por Reforço (RL): Otimizado usando Otimização de Política Relativa de Grupo (GRPO) em execuções completas do CoSpec.

Moldagem de Recompensa:
A função de recompensa é projetada para maximizar a utilidade final da tarefa (por exemplo, correção da resposta) em vez da preservação da distribuição.

• Execuções Corretas: As recompensas são proporcionais ao comprimento do intervalo aceito além da primeira incompatibilidade ($\rho_r$), incentivando a política a aceitar continuações úteis do rascunho.
• Execuções Incorretas: Penalidades são aplicadas por:
  • Aceitar tokens de rascunho que são altamente improváveis sob a distribuição do alvo (regularização de risco).
  • Rejeitar uma incompatibilidade e recuar para uma ramificação de alvo que eventualmente leva a um erro (impedindo que a política trate o recuo como um padrão "seguro").
• Normalização: As vantagens são normalizadas dentro de grupos de prompts, com escalonamento específico para grupos mistos de execuções corretas e incorretas para equilibrar a magnitude dos sinais positivos e negativos.

3. Contribuições Principais

1. Mudança de Paradigma: O artigo formula um paradigma generalizado de SPD que se move de "imitação limitada pelo alvo" para "decodificação colaborativa", permitindo que o modelo de rascunho contribua quando sua continuação é mais útil para o resultado final da tarefa.
2. Framework CoSpec: A introdução de uma política de arbitragem aprendida que aceita seletivamente tokens de rascunho em incompatibilidades, aproveitando as forças complementares de ambos os modelos.
3. Fundamentação Teórica: A Proposição 3.1 estabelece uma "lacuna de complementaridade local", provando que um arbitrador oráculo pode superar estritamente um verificador fiel ao alvo sempre que a ramificação de rascunho tiver maior utilidade esperada em um subconjunto não nulo de estados de incompatibilidade.
4. Validação Empírica: Extensos experimentos demonstrando que o CoSpec alcança desempenho de última geração tanto em velocidade quanto em precisão da tarefa em múltiplos benchmarks.

4. Resultados Experimentais

Os autores avaliaram o CoSpec usando pares LLaMA-3.3-70B/8B e Qwen3-32B/4B em raciocínio matemático (GSM8K, MATH-500), geração de código (HumanEval, MBPP) e tarefas de conhecimento geral.

• Desempenho vs. Apenas Alvo: O CoSpec consistentemente supera o desempenho autônomo do modelo de alvo.
  • LLaMA-70B (Guloso): A pontuação média melhorou de 90,05 (Apenas Alvo) para 91,73 com um aceleramento de 3,96×.
  • Qwen3-32B (Guloso): A pontuação média melhorou de 83,84 para 86,46 com um aceleramento de 2,05×.
• Comparação com Baselines: O CoSpec supera métodos que preservam o alvo (SpS, REST, EAGLE-3) em precisão e métodos levemente verificados (FLy) tanto em velocidade quanto em precisão. Ele também supera baselines que melhoram a utilidade, como o AASD.
• Análise de Complementaridade: Experimentos mostram que, embora o modelo de alvo resolva mais exemplos no geral, a "união oráculo" (exemplos resolvidos por qualquer um dos modelos) é consistentemente maior do que o alvo sozinho. O CoSpec recupera aproximadamente 50–65% desses sucessos não aninhados.
• Generalização: O arbitrador treinado generaliza para domínios não vistos (diálogo, QA factual, raciocínio multilíngue) sem retreinamento específico para a tarefa, sugerindo que a política de arbitragem aprende padrões de interação em vez de conteúdo específico da tarefa.

5. Significado e Alegações

O artigo alega que o CoSpec oferece uma nova perspectiva sobre a decodificação especulativa, redefinindo o papel do modelo de rascunho. Em vez de servir meramente como um acelerador que aproxima o alvo, o modelo de rascunho atua como um propositor complementar.

Os autores enfatizam que esta abordagem é particularmente relevante para tarefas onde as saídas são julgadas pela correção da resposta (por exemplo, matemática, código, QA factual) em vez de uma adesão estrita à distribuição do alvo. Ao mudar o objetivo de "preservação da distribuição" para "utilidade final da tarefa", o CoSpec demonstra que é possível quebrar o teto de desempenho do modelo de alvo enquanto mantém aceleramentos substanciais de inferência. O trabalho sugere que futuros sistemas de decodificação especulativa devem focar em explorar forças não aninhadas dos modelos por meio de arbitragem aprendida, em vez de imitação estrita.