🤖 AI

LESA: Learnable Stage-Aware Predictors for Diffusion Model Acceleration

O artigo apresenta o LESA, um framework de preditores aprendíveis e conscientes da etapa que utiliza redes KAN e uma arquitetura multi-experto para acelerar significativamente a geração de imagens e vídeos em modelos de difusão, mantendo ou até melhorando a qualidade em comparação com métodos anteriores.

Autores originais: Peiliang Cai, Jiacheng Liu, Haowen Xu, Xinyu Wang, Chang Zou, Linfeng Zhang

Publicado 2026-03-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Peiliang Cai, Jiacheng Liu, Haowen Xu, Xinyu Wang, Chang Zou, Linfeng Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está pedindo a um artista genial (o modelo de IA) para pintar uma paisagem incrível. O problema é que esse artista é muito meticuloso: ele não pinta a tela de uma vez só. Ele faz 50 ou 100 camadas de esboço, borrão e detalhe, refinando a imagem a cada passo. Isso leva muito tempo e gasta muita energia (computação).

O artigo LESA apresenta uma solução inteligente para acelerar esse processo sem estragar a qualidade da pintura. Vamos explicar como funciona usando analogias do dia a dia:

1. O Problema: O Artista Cansado e a "Reutilização" Burra

Até agora, para acelerar a pintura, as pessoas tentavam duas coisas:

Copiar e Colar: "Ah, o passo 10 parece muito com o passo 9, vou apenas copiar o que foi feito no 9 e pular o 10." O problema é que, às vezes, o artista muda de ideia drasticamente entre um passo e outro, e a cópia fica errada.
Adivinhar com Regras Simples: "Vou usar uma régua matemática simples (como uma linha reta) para prever onde o pincel vai cair no próximo passo." Isso funciona bem quando o movimento é suave, mas falha quando o artista faz uma mudança brusca ou complexa.

O resultado? A imagem final fica borrada, com cores erradas ou objetos que não fazem sentido.

2. A Solução LESA: O "Assistente Especialista"

O LESA (Learnable Stage-Aware Predictors) é como contratar um assistente de pintura superinteligente que observa o artista e sabe exatamente o que fazer em cada momento da criação.

A. O Assistente sabe "Em que fase estamos?" (Consciência de Fase)

O processo de pintar não é igual do início ao fim. O LESA divide a criação em três "fases" e tem um especialista diferente para cada uma:

Fase do Caos (Alto Ruído): No começo, o artista está jogando cores aleatórias e mudando tudo rápido. O assistente sabe que aqui as coisas mudam muito rápido, então ele usa uma estratégia de "olho vivo" e prevê com cautela.
Fase da Estrutura (Meio): No meio, a imagem já tem forma e as mudanças são suaves e contínuas. O assistente relaxa e usa uma previsão mais fluida e confiável.
Fase do Detalhe (Baixo Ruído): No final, o artista está apenas ajustando pequenos detalhes (como o brilho no olho de um gato). O assistente sabe que aqui a precisão é tudo e prevê com extrema delicadeza.

Analogia: É como dirigir um carro. Na estrada de terra (fase inicial), você dirige devagar e com atenção total. Na autoestrada (meio), você acelera e mantém a velocidade constante. Ao estacionar (final), você faz movimentos lentos e precisos. O LESA não usa o mesmo "modo de direção" para toda a viagem; ele muda a estratégia conforme a estrada.

B. O Cérebro do Assistente (A Rede KAN)

Para fazer essas previsões, o LESA usa uma tecnologia chamada Rede KAN.

Imagine que as redes neurais comuns (MLP) são como um cozinheiro que segue um livro de receitas fixo. Ele só sabe fazer o que está escrito.
O KAN é como um cozinheiro que aprende a cozinhar enquanto faz. Ele descobre as melhores combinações de ingredientes (dados) e adapta o sabor (previsão) para cada situação específica. Ele é muito mais eficiente e aprende padrões complexos que as receitas fixas não conseguem capturar.

C. O Treinamento: Aprendendo na Prática

O LESA não nasce sabendo tudo. Ele passa por dois treinamentos:

Aula Teórica: Ele observa o artista pintando e compara o que ele prevê com o que o artista realmente fez (usando a "verdadeira" imagem como guia).
Simulação Real: Depois, ele é forçado a prever sozinho, usando suas próprias previsões anteriores para fazer as próximas. Isso o torna robusto, como um piloto de teste que aprende a voar mesmo quando o vento muda de direção.

3. O Resultado: Velocidade Relâmpago, Qualidade de Cinema

O papel mostra que, usando o LESA:

Em modelos de imagem (como o FLUX ou Qwen), eles conseguem acelerar o processo em 5 a 6 vezes.
Em vídeos, a aceleração também é enorme.
O mais importante: A qualidade da imagem quase não cai. Enquanto outros métodos deixam a imagem "estragada" quando aceleram muito, o LESA mantém os detalhes, as cores e a estrutura corretos.

Resumo em uma frase

O LESA é um sistema que ensina a IA a "pular" passos de criação de forma inteligente, mudando sua estratégia de previsão conforme a imagem evolui (do caos ao detalhe), resultando em imagens e vídeos gerados em fração do tempo, sem perder a qualidade.

É como ter um assistente que sabe exatamente quando acelerar e quando frear, garantindo que você chegue ao destino (a imagem final) rápido e sem bater em nada.

1. O Problema

Os Modelos de Difusão, especialmente os baseados em Transformers (DiTs), alcançaram sucesso notável na geração de imagens e vídeos. No entanto, sua implantação prática é limitada pelo alto custo computacional devido à necessidade de iterações de desruído (denoising) em múltiplos passos de tempo.

Técnicas existentes de aceleração, como o Cache de Recursos (Feature Caching), tentam mitigar isso evitando cálculos redundantes. Elas se dividem em duas categorias:

Reutilização (Cache-Then-Reuse): Assume que os recursos entre passos adjacentes são idênticos. Isso falha em passos onde há mudanças drásticas.
Previsão (Cache-Then-Forecast): Assume que a evolução dos recursos é suave e contínua, usando métodos de previsão training-free (como expansões de Taylor).

A Limitação Central: A análise dos autores revela que a dinâmica dos recursos em modelos de difusão é dependente do estágio (stage-dependent). O processo começa com mudanças bruscas e instáveis (alto ruído), passa por uma fase estável e contínua (meio) e termina com refinamento de detalhes (baixo ruído). Métodos atuais que usam uma única estratégia de previsão fixa para todo o processo não conseguem adaptar-se a essas dinâmicas variáveis, resultando em degradação da qualidade e inconsistências temporais.

2. Metodologia (LESA)

Os autores propõem o LESA (Learnable Stage-Aware Predictors), um framework baseado em treinamento que utiliza um Kolmogorov-Arnold Network (KAN) para prever recursos futuros com alta precisão.

Arquitetura e Componentes Chave:

Segmentação Temporal Consciente de Estágios (Stage-Aware):
- O processo de desruído é dividido em três estágios distintos baseados no nível de ruído:
  - Alto Ruído: Mudanças rápidas e instáveis. Usa uma janela temporal curta ( $K=4$ ).
  - Médio Ruído: Evolução estável e contínua.
  - Baixo Ruído: Refinamento de detalhes finos. Usa uma janela temporal longa ( $K=8$ ).
- Um preditor especialista dedicado é atribuído a cada estágio, permitindo modelagem específica para a dinâmica de cada fase.
Preditor Baseado em KAN:
- Em vez de MLPs tradicionais com funções de ativação fixas, o LESA utiliza uma Rede de Kolmogorov-Arnold (KAN).
- Mecanismo: O preditor recebe uma sequência de recursos históricos e um vetor de deslocamento temporal relativo ( $\Delta t$ ).
- O KAN modela a modulação temporal como uma função escalar aprendível ( $\alpha$ ) que ajusta a força da atualização residual. A fórmula básica é: $\hat{h}_{t-1} = h_t + \alpha \cdot z$ , onde $z$ é a projeção linear dos recursos passados e $\alpha$ é o fator de modulação aprendido pelo KAN.
- O KAN é escolhido por sua capacidade superior de aproximar funções não lineares complexas com alta eficiência de parâmetros.
Estratégia de Treinamento em Duas Etapas:
- Etapa 1 (Treinamento Guiado pela Verdade - GT-Guided): O preditor é treinado para minimizar o erro entre a previsão e o recurso real (Ground Truth) do modelo base, aprendendo a dinâmica de desruído.
- Etapa 2 (Treinamento Autoregressivo em Loop Fechado - CL-AR): O preditor é treinado usando suas próprias previsões anteriores como entrada. Isso expõe o modelo ao "drift" (desvio) acumulado que ocorre durante a inferência acelerada, tornando-o robusto a erros de previsão ao longo de múltiplos passos.

3. Contribuições Principais

Framework de Previsão Temporal Aprendível: Introdução de um preditor baseado em KAN que aprende diretamente a dinâmica temporal a partir das ativações do modelo, superando as limitações dos métodos de previsão sem treinamento.
Arquitetura Multi-Especialista Consciente de Estágios: Divisão do processo de difusão em estágios com preditores especializados, garantindo precisão tanto nas fases de mudança brusca quanto nas de refinamento.
Estratégia de Treinamento Híbrida: Combinação de treinamento supervisionado (GT) e autoregressivo (CL-AR) para garantir estabilidade e robustez em altas taxas de aceleração.

4. Resultados Experimentais

O LESA foi avaliado em modelos de texto-para-imagem (FLUX.1-dev, FLUX.1-schnell, Qwen-Image) e texto-para-vídeo (HunyuanVideo), superando o estado da arte (SOTA), incluindo o TaylorSeer.

FLUX.1-dev: Atingiu 5.00× de aceleração com apenas 1.0% de queda na qualidade (ImageReward).
Qwen-Image: Atingiu 6.25× de aceleração com uma melhoria de 20.2% na qualidade em relação ao TaylorSeer.
HunyuanVideo: Atingiu 5.00× de aceleração com uma melhoria de 24.7% no PSNR em relação ao TaylorSeer.
Eficiência: O método demonstrou ser robusto mesmo em acelerações extremas, mantendo a coerência espacial, a fidelidade de cor e a consistência temporal, onde outros métodos falhavam gerando objetos redundantes ou distorções estruturais.

5. Significado e Impacto

O trabalho LESA representa um avanço significativo na eficiência de modelos de difusão ao demonstrar que a modelagem explícita da dinâmica dependente do estágio é superior a heurísticas fixas ou suposições de suavidade global.

Viabilidade Prática: Permite a geração de imagens e vídeos de alta fidelidade em hardware limitado, reduzindo drasticamente o tempo de latência e o consumo de energia (FLOPs).
Generalização: A abordagem é validada em diferentes arquiteturas (DiTs) e domínios (imagem e vídeo), sugerindo que o princípio de "predição aprendível por estágio" é uma solução geral para a aceleração de modelos de difusão.
Inovação em Arquitetura: A aplicação bem-sucedida de KANs para modelagem temporal em redes de difusão abre novas possibilidades para o uso de redes neurais baseadas em splines em tarefas de previsão de séries temporais complexas.

Em resumo, o LESA resolve o dilema entre velocidade e qualidade na inferência de difusão, permitindo acelerações de até 6.25× sem sacrificar a fidelidade visual, tornando a geração de conteúdo por IA mais acessível e escalável.