💬 NLP

LiLiCorr: Lightweight Likelihood Correlation of Parallel Drafts for Speculative Decoding

O LiLiCorr é um método leve que aprimora a decodificação especulativa ao correlacionar eficientemente as distribuições marginais por posição de um rascunhador para capturar a coerência conjunta de tokens, aumentando significativamente os comprimentos de aceitação e o throughput geral com um overhead de latência mínimo.

Autores originais: Matan Rusanovsky, Yoav Miron, Roy Uziel, Omer Belhasin, Ran Zilberstein, Maor Ashkenazi, Michael Elad

Publicado 2026-08-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Matan Rusanovsky, Yoav Miron, Roy Uziel, Omer Belhasin, Ran Zilberstein, Maor Ashkenazi, Michael Elad

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde ler um livro é instantâneo, não porque as palavras aparecem mais rápido, mas porque sua mente consegue antecipar parágrafos inteiros antes mesmo de você virar a página. Esta é a promessa de uma técnica chamada decodificação especulativa, um método projetado para fazer a inteligência artificial falar e escrever com uma velocidade sem precedentes. Em seu cerne, o processo baseia-se em uma simples divisão de trabalho: um modelo pequeno e rápido atua como um desenhista, adivinhando o que vem a seguir, enquanto um modelo maior e mais poderoso atua como um juiz, verificando essas suposições. Se o juiz concordar com a previsão do desenhista, o sistema aceita a suposição e avança, pulando o trabalho lento e passo a passo de gerar cada palavra individualmente do zero. Quanto mais rápido o desenhista puder ser confiável para acertar uma longa sequência de palavras, mais rápida será toda a conversa. No entanto, um problema persistente tem travado esta tecnologia: o desenhista frequentemente acerta as palavras individuais, mas falha em fazê-las se encaixarem em uma frase coerente. É como um músico que toca cada nota perfeitamente isoladamente, mas cria uma melodia dissonante e sem sentido quando as notas são tocadas em sequência.

Pesquisadores da NVIDIA introduziram um novo método chamado LiLiCorr para resolver este problema específico de coerência sem sacrificar a velocidade. O sistema baseia-se em um modelo de rascunho conhecido como DFlash, que é capaz de prever um bloco inteiro de palavras futuras em um único surto rápido. Embora o DFlash seja incrivelmente rápido, ele trata cada posição de palavra como um evento independente, o que significa que ele pode sugerir "O cão" para o primeiro espaço e "mia" para o segundo, mas falhar em perceber que "O gato" teria sido um ajuste melhor para o contexto da frase inteira. A nova abordagem não tenta treinar o desenhista para ser perfeito; em vez disso, adiciona uma camada leve de lógica que atua como um editor rápido. Este editor observa os principais candidatos que o desenhista propôs para cada posição e verifica o quão bem eles se conectam. Ele atribui um par de sinais direcionais a cada palavra candidata, um indicando o quão bem ela se ajusta à palavra anterior, e outro indicando o quão bem ela prepara o terreno para a palavra seguinte. Ao comparar esses sinais, o sistema pode identificar instantaneamente qual sequência de palavras forma um caminho suave e lógico, descartando as combinações dissonantes que teriam causado a rejeição pelo modelo maior.

A genialidade deste design reside em sua eficiência. Em vez de verificar cada palavra uma por uma em uma cadeia sequencial lenta, o sistema avalia todas as conexões possíveis entre as palavras candidatas simultaneamente, usando um único cálculo massivo que ocorre em paralelo. Isso permite que o sistema encontre a sequência mais coerente quase instantaneamente, deixando apenas um passo final simples para consolidar as escolhas. Os pesquisadores descobriram que, ao treinar este editor para trabalhar em conjunto com o desenhista, os dois modelos aprenderam a cooperar, com o desenhista eventualmente propondo candidatos que eram mais fáceis de serem conectados pelo editor em longas cadeias aceitas. Em testes em nove benchmarks diferentes, variando desde a resolução de problemas matemáticos até a escrita de código e conversação, este novo método superou consistentemente abordagens anteriores. Ele aumentou o número de palavras aceitas entre nove e dezenove por cento em comparação ao desenhista não editado e entregou a maior velocidade geral em setenta de setenta e dois cenários de teste. Mesmo quando o sistema foi solicitado a lidar com entradas dez vezes mais longas do que os dados para os quais foi treinado, ele manteve sua liderança, provando que este método de conectar candidatos é robusto e escalável.

Os resultados sugerem que o gargalo para acelerar a IA não é apenas tornar o desenhista mais rápido, mas sim tornar as suposições do desenhista mais fáceis de verificar. Ao corrigir a coerência das suposições antes mesmo de serem enviadas ao juiz, o sistema evita o tempo desperdiçado com rejeição e regeração. Esta abordagem não requer o poder computacional massivo do modelo principal para realizar o trabalho pesado de correlação; em vez disso, utiliza uma rede pequena e especializada que adiciona um tempo desprezível ao processo — representando apenas cerca de 2,8 por cento do tempo total por bloco de texto. Os pesquisadores demonstraram que esta pequena adição gera um retorno massivo, permitindo que o sistema processe informações significativamente mais rápido do que antes. Enquanto outros métodos tentaram resolver isso executando verificações complexas em cada palavra individual ou pedindo ao modelo principal que fizesse trabalho extra, o LiLiCorr alcança seus resultados organizando a informação que o desenhista já fornece em uma estrutura que é fácil de navegar. As descobertas indicam que, para o futuro da IA de alta velocidade, a chave pode não estar em construir modelos maiores, mas em construir formas mais inteligentes e eficientes de conectar os pontos entre as palavras que eles geram.

Resumo Técnico: LiLiCorr

Definição do Problema

A decodificação especulativa acelera a inferência de modelos de linguagem autorregressivos usando um modelo "drafter" (rascunhador) menor para propor tokens futuros, que um modelo "target" (alvo) maior verifica em paralelo. Uma classe promissora de drafters, como o DFlash, prevê um bloco inteiro de tokens futuros em uma única passagem direta usando uma arquitetidade do tipo difusão. No entanto, esses modelos são treinados em marginais por posição (prevendo a probabilidade de um token em uma posição específica de forma independente) em vez da distribuição conjunta do bloco.

Consequentemente, embora os tokens emitidos pelo DFlash sejam individualmente plausíveis, eles são frequentemente conjuntamente incoerentes. Selecionar o token mais provável em cada slot de forma independente frequentemente resulta em uma sequência que o modelo alvo rejeita precocemente, limitando o comprimento de aceitação e o ganho de velocidade resultante. Recuperar uma sequência coerente a partir dessas marginais é combinatoriamente difícil porque a distribuição conjunta sobre um bloco de $B$ posições com vocabulário $V$ possui $V^B$ realizações, tornando a modelagem explícita intratável. Soluções existentes ou dependem de refinamento iterativo (adicionando passagens custosas do drafter), ou transferem o fardo da correlação para o modelo alvo (defezendo o propósito da especulação), ou utilizam redes de correção autorregressivas sequenciais que processam os slots um por um.

Metodologia: LiLiCorr

O LiLiCorr (Likelihood Correlation Lightweight) aborda isso recuperando uma sequência coerente de marginais por slot em uma única passagem de rede. Ele trata o problema como o aprendizado de um modelo de pontuação sobre um lattice de candidatos em vez de modelar a distribuição conjunta completa.

1. Lattice de Candidatos e Representação

Em vez de selecionar um único token por slot, o LiLiCorr retém os top- $K$ tokens candidatos da distribuição marginal do drafter em cada um dos $B-1$ slots especulativos.

Construção de Nós: Cada token candidato é representado como um vetor (nó) formado pela soma de quatro componentes:
1. O embedding de entrada do token do modelo alvo congelado.
2. O estado oculto do drafter naquele slot (compartilhado entre os candidatos do slot).
3. Uma pequena rede que processa características escalares da confiança do drafter (log-prob, rank, etc.).
4. Codificações aprendidas para o índice do slot e o rank do candidato.
Processamento Contextual: Um Transformer bidirecional leve processa todo o lattice $(B-1) \times K$ conjuntamente. Isso permite que cada candidato troque informações com todos os outros (tanto candidatos concorrentes dentro de um slot quanto candidatos em slots vizinhos), codificando o contexto de todo o bloco.

2. Correlação via Vetores In/Out

Para cada nó candidato, o LiLiCorr emite dois vetores normalizados: um vetor de entrada ( $i$ ) e um vetor de saída ( $o$ ).

Pontuação Pareada: Slots adjacentes $s$ e $s+1$ são acoplados computando a similaridade de cosseno entre o vetor de saída de um candidato em $s$ e o vetor de entrada de um candidato em $s+1$ .
Eficiência: Esta formulação reduz a lógica de correlação para multiplicações de matrizes em lote. Todas as interações pareadas para o bloco inteiro são computadas em paralelo após uma única passagem direta.
Estabilidade: O uso de similaridade de cosseno (escalonada por uma constante $\sigma$ ) evita magnitudes de pontuação ilimitadas que poderiam desestabilizar o backbone compartilhado do DFlash durante o treinamento conjunto.

3. Objetivos de Treinamento

O LiLiCorr é co-treinado com o drafter DFlash. A perda de treinamento consiste em três componentes:

Perda DFlash: A cross-entropy padrão por slot para o drafter.
Cross-Entropy de Prefixo-Oráculo ( $L_{CE}$ ): Uma perda de teacher-forcing que treina o LiLiCorr para ranquear o token real (ground-truth) como o mais alto, condicionado ao token real do slot anterior. Crucialmente, a supervisão é aplicada apenas ao "prefixo oráculo" — a sequência mais longa de slots iniciais onde o ground-truth está presente nos top- $K$ candidatos.
Penalidade de Distrator ( $L_{dist}$ ): Um termo consciente de custo que penaliza candidatos que o modelo alvo classifica como baixos. Ele minimiza o custo esperado do alvo em relação ao ground-truth, especificamente empurrando para baixo os "confusores" que o modelo alvo rejeitaria, thereby ampliando a margem para o token correto.

4. Decodificação

Na inferência, o processo é em duas etapas:

Pontuação Paralela: Uma única passagem do LiLiCorr computa todos os vetores de entrada/saída e todas as pontuações de correspondência pareada em paralelo.
Caminhada Gulosa Sequencial: O bloco é comprometido da esquerda para a direita. Em cada slot, o algoritmo seleciona o candidato que maximiza a correspondência com o candidato previamente comprometido. Esta caminhada gulosa é sequencial, mas não toca em pesos de rede, tornando-a computacionalmente barata.

Principais Contribuições

Formulação Inovadora: Uma abordagem baseada em verossimilhança para recuperar sequências coerentes de marginais por slot, aprendendo um modelo de pontuação sobre caminhos de candidatos, evitando a intratabilidade da distribuição conjunta completa.
Correlação Paralela: A lógica de correlação é reduzida a operações de matriz eficientes e paralelizáveis. Ao contrário das abordagens anteriores de tempo de draft que executam uma rede de correção uma vez por slot, o LiLiCorr pontua todo o lattice de candidatos em uma única passagem, seguido por uma seleção gulosa barata.
Desempenho de Estado da Arte: O método estabelece novos marcos para a decodificação especulativa, superando trabalhos concorrentes (Domino, DSpark) e o drafter DFlash original em diversos cenários.

Resultados Experimentais

Os autores avaliaram o LiLiCorr em nove benchmarks (matemática, código, chat) usando modelos alvo Qwen3-8B e Qwen3-4B sob decodificação greedy e temperatura-1.

Comprimento de Aceitação: Comparado ao drafter DFlash original, o LiLiCorr aumenta o comprimento de aceitação em 9% a 19% em todos os benchmarks.
Throughput (Vazão): O LiLiCorr alcança o maior throughput em 70 de 72 configurações testadas (variando benchmarks, tamanhos de alvo, regimes de decodificação e níveis de concorrência).
- Ele supera a linha de base mais forte (Domino) em até 5,3% em média.
- O head do LiLiCorr representa apenas 2,8% da latência por bloco e é aproximadamente 2,4× mais barato que o head do Domino quando totalmente otimizado.
Generalização: A liderança de desempenho persiste quando servindo inputs um fator de magnitude mais longos que o intervalo de treinamento (até 32K tokens), desde que a codificação posicional seja estendida (ex: via YaRN).
Ablação: A penalidade de distrator mostrou ser crítica, particularmente para prompts curtos, aumentando o comprimento de aceitação em mais 1,5% a 8,9% nos benchmarks.

Significância e Alegações

O artigo afirma que o LiLiCorr representa uma melhoria estrutural na decodificação especulativa ao desacoplar a correlação dos tokens de rascunho de passagens autorregressivas sequenciais. Ao realizar todo o trabalho de correlação em uma única passagem paralela, ele minimiza o overhead do drafter enquanto maximiza o comprimento de aceitação.

Os autores enfatizam que o método é modesto em seu escopo: ele depende da capacidade do drafter de propor um pool de candidatos que contenha o ground-truth (o "prefixo oráculo"). Se o token correto não estiver nos top- $K$ candidatos, o LiLiCorr não pode recuperá-lo. No entanto, dentro das restrições do pool de candidatos, ele fornece um mecanismo altamente eficiente para restaurar a coerência conjunta, tornando-o o sistema mais rápido em uma ampla gama de condições de serviço, incluindo cenários de alta concorrência e contexto longo. O trabalho sugere que melhorias futuras poderiam explorar o acoplamento de slots além de pares adjacentes, embora o artigo note que a questão aberta é se tais acoplamentos de longo alcance justificariam seu custo sob a aceitação de prefixo.