💻 computer science

Annealed Relaxation of Speculative Decoding for Faster Autoregressive Image Generation

Este artigo apresenta o COOL-SD, um relaxamento com recozimento teoricamente fundamentado da decodificação especulativa que acelera a geração de imagens autorregressiva ao otimizar distribuições de reamostragem e aproveitar a análise de perturbação para alcançar compensações entre velocidade e qualidade superiores em comparação aos métodos existentes.

Autores originais: Xingyao Li, Fengzhuo Zhang, Cunxiao Du, Hui Ji

Publicado 2026-01-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xingyao Li, Fengzhuo Zhang, Cunxiao Du, Hui Ji

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O Problema do "Pintor Lento"

Imagine que você tem um artista de classe mundial (o Modelo Alvo) que consegue pintar imagens incrivelmente realistas, mas é muito lento. Ele pinta uma pequena pincelada de cada vez e, antes de adicionar a próxima, deve verificar cuidadosamente a anterior. Se você quiser uma imagem de alta resolução com milhares de pinceladas, esse processo levará uma eternidade.

Para acelerar isso, você contrata um desenhista amador rápido (o Modelo de Rascunho). O desenhista rapidamente adivinha como devem ser as próximas poucas pinceladas. O mestre artista então verifica rapidamente essas suposições. Se as suposições forem perfeitas, o artista as aceita todas de uma vez, economizando tempo. Se uma suposição estiver errada, o artista a rejeita e pinta a pincelada correta sozinho.

Isso é chamado de Decodificação Especulativa (Speculative Decoding). Funciona muito bem para texto, mas para imagens, muitas vezes encontra um obstáculo. Por quê? Porque imagens são "nebulosas". Existem muitas maneiras de pintar uma nuvem ou uma árvore que parecem quase idênticas. O desenhista muitas vezes adivinha uma nuvem "boa", mas o mestre artista prefere uma nuvem ligeiramente diferente. No sistema antigo, se a suposição não for uma correspondência exata, ela é rejeitada. Isso acontece com tanta frequência que o ganho de velocidade desaparece.

A Solução do Artigo: COOL-SD

Os autores propõem um novo método chamado COOL-SD (Cool Speculative Decoding). Eles perceberam que ser rigoroso demais com "correspondências exatas" atrasa as coisas. Em vez disso, introduziram um sistema que é mais flexível, mas ainda matematicamente sólido.

Aqui estão os dois principais "truques" que eles usaram, explicados de forma simples:

1. A Regra do "Bom o Suficiente" (Aceitação Relaxada)

No sistema antigo, se o desenhista adivinhasse uma nuvem azul e o artista quisesse uma azul ligeiramente diferente, a suposição era descartada.
O COOL-SD diz: "Espere, essa nuvem está quase certa. Vamos aceitá-la."

Eles permitem que as suposições do desenhista sejam aceitas mesmo que não sejam uma correspondência 100% perfeita. Isso é como um professor corrigindo uma prova: em vez de exigir que todas as respostas sejam perfeitas, ele dá crédito parcial por respostas "quase certas". Isso permite que o artista aceite mais suposições e pinte mais rápido.

2. O Cronograma de "Resfriamento" (Annealing)

Esta é a parte complicada: se você aceitar respostas "boas o suficiente" com muita facilidade, a imagem final pode começar a parecer estranha ou borrada (isso é chamado de "drift" ou desvio). Você precisa de uma maneira de equilibrar velocidade com qualidade.

Os autores descobriram um padrão que chamam de Annealing (Recozimento). Pense nisso como resfriar um metal quente para torná-lo forte.

No início da pintura: O desenhista está apenas se aquecendo. As regras são flexíveis. Aceitamos quase qualquer suposição "boa o suficiente" para dar o pontapé inicial.
Conforme a pintura progride: Ficamos mais rigorosos. À medida que nos aproximamos dos detalhes finais, exigimos que as suposições sejam mais precisas.

Eles provaram matematicamente que começar de forma flexível e tornar-se mais rigoroso (um cronograma de "decaimento") é a melhor maneira de manter a alta qualidade da imagem, mantendo ao mesmo tempo a velocidade.

3. O "Conserto Mágico" (Reamostragem Ótima)

Às vezes, mesmo com a regra do "Bom o Suficiente", o desenhista faz uma suposição que é longe demais. No sistema antigo, o artista simplesmente pintaria a pincelada correta.
O COOL-SD faz algo mais inteligente: Quando uma suposição é rejeitada, o artista não escolhe apenas a pincelada "correta" aleatoriamente. Eles usam uma fórmula matemática especial para escolher uma nova pincelada que equilibre perfeitamente o erro do desenhista com a visão do artista. Isso garante que a imagem final não seja distorcida, embora tenhamos aceitado algumas suposições "imperfeitas" anteriormente.

Os Resultados: Mais Rápido, Não Pior

O artigo testou o método em dois geradores de imagem poderosos (LlamaGen e Lumina-mGPT).

Velocidade: Eles tornaram a geração de imagens de 2,7 a 3,1 vezes mais rápida do que o método padrão.
Qualidade: As imagens ficaram quase exatamente iguais ao método lento e perfeito.
Comparação: Eles superaram o melhor método "relaxado" anterior (como o LANTERN++) por uma margem significativa, oferecendo um melhor equilíbrio entre velocidade e qualidade de imagem.

Resumo

Imagine que você está dirigindo um carro.

Método Antigo: Você dirige com muito cuidado, parando em cada sinal vermelho, mesmo quando não há ninguém por perto. É seguro, mas lento.
Métodos "Relaxados" Anteriores: Você dirige mais rápido, mas às vezes passa no sinal vermelho e bate, ou dirige tão rápido que o carro se desintegra.
COOL-SD: Você tem um sistema de navegação inteligente. Ele permite que você acelere quando a estrada está livre (no início da jornada), mas diz para você diminuir a velocidade e ser preciso conforme se aproxima de um cruzamento complicado (mais tarde na jornada). Ele também possui um sistema de "recuperação de acidentes" que corrige instantaneamente quaisquer pequenos erros para que você nunca chegue a bater de fato.

O resultado? Você chega ao seu destino (a imagem finalizada) muito mais rápido, sem sacrificar a segurança ou a qualidade da viagem.

Resumo Técnico: Relaxamento por Recozimento da Decodificação Especulativa para Geração de Imagens Autoregressivas Mais Rápida

Definição do Problema

Modelos autoregressivos (AR) emergiram como um paradigma poderoso para a geração de imagens, frequentemente igualando ou superando métodos baseados em difusão. No entanto, sua natureza sequencial — prevendo um token por vez — resulta em uma latência de inferência substancial, particularmente para imagens de alta resolução que exigem milhares de tokens. A Decodificação Especulativa (SD) teve sucesso ao acelerar a inferência de Grandes Modelos de Linguagem (LLMs) usando um modelo de rascunho rápido para propor tokens para verificação por um modelo alvo mais lento, mas sua aplicação à geração de imagens tem sido limitada.

Pesquisas anteriores atribuem essa limitação à ambiguidade de seleção de tokens: na geração de imagens, múltiplos candidatos a tokens frequentemente recebem probabilidades quase idênticas, tornando difícil para o modelo de rascunho prever com precisão os tokens de topo classificados pelo modelo alvo. Esse descompasso leva a taxas de aceitação de tokens baixas durante a etapa de verificação. Tentativas existentes para abordar isso, como o LANTERN e o LANTERN++, introduzem esquemas de verificação "relaxados" que permitem uma divergência limitada da distribuição alvo. No entanto, esses métodos dependem de designs heurísticos, baseados em experiência empírica, carecendo de fundamentação teórica em relação à sua divergência da distribuição alvo, resultando em ganhos de desempenho modestos.

Metodologia: COOL-SD

O artigo propõe o COOL-SD (Relaxamento por Recozimento da Decodificação Especulativa), um framework construído sobre duas principais percepções teóricas para melhorar a relação velocidade-qualidade na geração de imagens AR.

1. Fundamentação Teórica da SD Relaxada

Os autores generalizam o framework padrão de SD substituindo o teste de aceitação rígido de correspondência exata por uma probabilidade de aceitação controlável $f_i$ . Esta relaxação permite prefixos aceitos esperados mais longos, mas introduz deriva de distribuição (viés).

Reamostragem Ótima: Os autores derivam um limite superior quase estrito para a Distância de Variação Total (TV) entre a distribuição de saída da SD relaxada e a distribuição alvo. Ao minimizar este limite, eles derivam as distribuições de reamostragem por token ( $G^*_i$ ) ótimas. Estas distribuições são projetadas para corrigir o viés introduzido pela aceitação relaxada, garantindo que a saída se aproxime de forma próxima do modelo alvo.
Propriedade de Recozimento (Annealing): Através de análise de perturbação, os autores revelam que, para um número fixo de tokens aceitos esperados, o limite de TV é minimizado quando as probabilidades de aceitação diminuem monotonicamente através das posições dos tokens. Isso sugere que relaxar o critério de aceitação de forma mais agressiva no início de uma sequência e torná-lo mais rigoroso mais tarde é teoricamente superior a um relaxamento uniforme.

2. O Algoritmo COOL-SD

Baseado nessas percepções, o COOL-SD integra:

Cronograma de Aceitação com Decaimento Exponencial: Em vez de um parâmetro de relaxamento fixo, o COOL-SD emprega uma probabilidade de aceitação $f_i$ que decai exponencialmente conforme a posição de decodificação $i$ aumenta ( $\omega_i = \delta \cdot \exp(-\nu \cdot i - \mu)$ ). Esta estratégia de "recozimento" reduz o desvio de distribuição em comparação ao relaxamento uniforme.
Reamostragem Baseada em Princípios: O algoritmo utiliza a distribuição de reamostragem ótima derivada $G^*_i$ (Eqn. 5) para corrigir tokens rejeitados, em vez de depender de ajustes heurísticos usados em trabalhos anteriores.

Principais Contribuições

Análise Teórica da SD Relaxada: O artigo estabelece uma base teórica rigorosa para a decodificação especulativa relaxada. Ele deriva o número esperado de tokens aceitos e um limite quase estrito para a distância TV entre a saída relaxada e a distribuição alvo.
Derivação de Reamostragem Ótima: Fornece uma solução de forma fechada para distribuições de reamostragem por token que minimizam o limite de TV derivado, oferecendo uma alternativa fundamentada às estratégias de reamostragem heurísticas.
Percepção de Recozimento (Annealing): Os autores provam que um cronograma de aceitação de decaimento monotônico minimiza o limite de viés de distribuição, motivando o design do critério de aceitação por recozimento.
Framework COOL-SD: Eles propõem o COOL-SD, que combina as distribuições de reamostragem otimizadas derivadas com um cronograma de aceitação de decaimento exponencial.
Validação Empírica: Experimentos extensos demonstram que o COOL-SD melhora consistentemente a fronteira velocidade-qualidade em relação às variantes existentes de SD (Eagle-1, LANTERN++) em tarefas de geração de imagem AR.

Resultados Experimentais

Os autores avaliaram o COOL-SD em dois modelos alvo: LlamaGen-XL (775M) e Lumina-mGPT (7B), utilizando o conjunto de validação MS-COCO 2017.

Troca Velocidade-Qualidade: O COOL-SD alcança inferência significativamente mais rápida que as linhas de base sem perdas (Eagle-1) e métodos relaxados anteriores (LANTERN++) com apenas uma degradação mínima de qualidade.
- No Lumina-mGPT, o COOL-SD aumentou o comprimento aceito médio de 2.76 (Eagle-1) para 3.11, reduzindo a latência de ~71.6s para ~63.2s (um aumento de velocidade de 2.69x) enquanto mantinha pontuações FID e CLIP comparáveis.
- No LlamaGen-XL, o COOL-SD alcançou um aumento de velocidade de 2.72x (3.72s de latência) com um comprimento aceito de 3.34, mostrando degradação negligenciável nas pontuações FID e CLIP em relação à linha de base.
Comparação com LANTERN++: O COOL-SD consistentemente produziu imagens de maior qualidade na mesma latência ou alcançou maior aceleração em níveis de qualidade similares. Resultados qualitativos mostraram que o LANTERN++ sofreu com artefatos visíveis e fundos fragmentados em maiores aumentos de velocidade, enquanto o COOL-SD preservou a fidelidade até um aumento de velocidade de 3.10x.
Estudos de Ablação:
- Recozimento vs. Uniforme: Substituir o decaimento exponencial por um parâmetro de relaxamento uniforme (UNIFORMRSD) resultou em trocas de FID-Comprimento Aceito inferiores, confirmando o benefício do cronograma de recozimento.
- Distribuição de Reamostragem: Aplicar a distribuição de reamostragem ótima derivada $G^*_i$ ao LANTERN++ melhorou significativamente seu desempenho, validando a importância da estratégia de reamostragem baseada em princípios sobre a heurística usada no LANTERN++.

Significância e Alegações

O artigo afirma que o COOL-SD oferece uma abordagem fundamentada e baseada em princípios para acelerar a geração de imagens autoregressivas. Diferente de métodos heurísticos anteriores, o COOL-SD é sustentado por análise matemática de fidelidade de distribuição. Os autores afirmam que seu método:

Proporciona um limite mais estrito para o viés de distribuição através de reamostragem ótima.
Alcança uma troca velocidade-qualidade superior ao utilizar um cronograma de aceitação por recozimento.
Oferece uma base modular para avanços futuros, pois as distribuições de reamostragem derivadas podem ser integradas perfeitamente em outros variantes de SD relaxada (demonstrado pelas melhorias ao ser aplicado ao LANTERN++).

O trabalho posiciona o COOL-SD como um passo significativo para tornar os modelos de imagem AR mais práticos para aplicações em tempo real e interativas, abordando efetivamente o problema da ambiguidade de tokens inerente à geração de imagens.