🤖 AI

Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations

O Kaleido é um co-design de algoritmo-hardware que acelera Video Diffusion Transformers ao explorar correlações espaço-temporais por canal no espaço latente para permitir um algoritmo de reutilização leve e um acelerador de matriz sistólica reconfigurável, alcançando até 5,9x de aceleração e 16,0x de economia de energia enquanto mantém alta qualidade generativa.

Autores originais: Wenxuan Miao, Haosong Liu, Weiming Hu, Zihan Liu, Aiyue Chen, Jianlin Yu, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng

Publicado 2026-07-16

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Wenxuan Miao, Haosong Liu, Weiming Hu, Zihan Liu, Aiyue Chen, Jianlin Yu, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores podem sonhar com filmes inteiros a partir de uma única frase, criando cenas tão reais que você quase poderia tocá-las. Essa magia é alimentada por "modelos de difusão de vídeo", um tipo de inteligência artificial que aprende a criar vídeos começando com uma tela cheia de ruído estático e, passo a passo, limpando-a lentamente até que uma imagem clara surja. Pense nisso como um escultor que começa com um bloco bruto de pedra e vai removendo o excesso para revelar uma estátua. No entanto, esse processo é incrivelmente lento e faminto por energia. O computador tem que realizar milhões de pequenos cálculos para cada quadro individual, repetidamente, como um chef provando uma sopa centenas de vezes antes de servi-la. À medida que esses modelos de IA se tornam melhores em criar vídeos mais longos e de maior qualidade, o tempo e a energia necessários para executá-los tornaram-se um enorme gargalo, atrasando tudo, desde a edição de filmes até a criação de mundos virtuais. Cientistas e engenheiros estão correndo para encontrar maneiras de acelerar isso sem arruinar a qualidade do filme final.

Apresentamos o Kaleido, uma nova e inteligente invenção de pesquisadores da Universidade Jiao Tong de Xangai e da Huawei que atua como um atalho superinteligente para esses computadores criadores de vídeos. A equipe descobriu que, enquanto a IA está ocupada "limpando" o vídeo, ela frequentemente repete os mesmos cálculos repetidamente porque os quadros do vídeo são muito semelhantes entre si de formas específicas. Em vez de recalcular tudo do zero, o algoritmo do Kaleido age como um bibliotecário brilhante que lembra: "Ei, eu já fiz esta parte para o quadro anterior, então vamos apenas reutilizar essa resposta!". Mas há uma pegadinha: esses atalhos criam um padrão de trabalho desordenado e irregular que os chips de computador padrão odeiam, muito parecido com um chef tentando picar vegetais com uma faca cega que vive escorregando. Para resolver isso, os pesquisadores não apenas escreveram uma nova receita; eles construíram uma cozinha totalmente nova. Eles projetaram um chip de hardware personalizado com um "despachante de dados" especial que organiza os atalhos desordenados em lotes limpos e eficientes, permitindo que o computador pule o trabalho redundante sem perder uma única gota de qualidade.

O resultado é um sistema significativamente mais rápido e eficiente em termos de energia do que qualquer coisa disponível atualmente. Em seus testes, o Kaleido tornou a geração de vídeo até 5,9 vezes mais rápida e economizou 16,0 vezes mais energia em comparação com os melhores aceleradores existentes e placas de vídeo de alto desempenho. Talvez o mais impressionante seja que os vídeos produzidos não foram apenas rápidos; eles foram mais nítidos e precisos do que os feitos por outros métodos de atalho, pontuando mais de 17 dB acima em métricas de qualidade de imagem. Os pesquisadores provaram que, ao entender exatamente como os dados de vídeo são estruturados — especificamente como diferentes partes da imagem se relacionam com o tempo e o espaço — eles puderam construir um sistema que pula as partes entediantes do trabalho enquanto mantém as partes criativas perfeitas. Isso não é apenas um pequeno ajuste; é uma mudança fundamental na forma como dizemos aos computadores para fazer filmes, provando que, às vezes, a melhor maneira de ir mais rápido é saber exatamente o que você não precisa fazer.

Resumo Técnico: Kaleido

Declaração do Problema

Os Transformers de Difusão de Vídeo (vDiTs) emergiram como a arquitetura de estado da arte para geração de vídeo de alta fidelidade, mas enfrentam gargalos computacionais severos. O processo de inferência envolve a desruído iterativo ao longo de muitos passos temporais, onde o mecanismo de autoatenção domina o tempo de execução, representando aproximadamente 68% do tempo total de execução. À medida que as resoluções e durações de vídeo aumentam, o comprimento da sequência de tokens cresce, fazendo com que a complexidade da autoatenção escale quadraticamente ( $O(N^2 \times d)$ ).

As estratégias de aceleração existentes adaptam amplamente técnicas de atenção esparsa de Grandes Modelos de Linguagem (LLMs), que dependem da poda de pontuações de atenção insignificantes baseadas em esparsidade semântica. No entanto, essas abordagens são fundamentalmente incompatíveis com dados de vídeo. Diferente do texto, os tokens de vídeo carregam semânticas visuais densas e contínuas, onde cada token contribui para a coerência espacial e consistência temporal. A poda ingênua das correlações de atenção leva a descontinuidades de movimento e artefatos de cintilação (flickering). Além disso, conforme os passos de difusão são reduzidos via destilação, a autoatenção torna-se o único gargalo dominante, tornando as técnicas de redução de passos insuficientes.

Metodologia

O Kaleido aborda esses desafios através de um co-design algoritmo-hardware que explora as correlações espaço-temporais por canal dentro do espaço latente dos vDiTs, em vez de depender de esparsidade por token.

1. Algoritmo: Reuso por Canal

O insight central é que os modelos vDiT utilizam o Rotary Positional Embedding (RoPE), que particiona os canais dos tokens em três grupos distintos: temporal ( $t$ ), horizontal ( $x$ ) e vertical ( $y$ ). Esses grupos codificam informações posicionais em diferentes frequências, induzindo padrões específicos nas pontuações de atenção.

Descoberta de Correlação: Os autores demonstram que tokens adjacentes dentro de um grupo de canais específico exibem alta similaridade ao longo de dimensões ortogonais à sua direção de codificação. Por exemplo, os canais $t$ são altamente correlacionados ao longo das dimensões espaciais ( $x$ e $y$ ), enquanto os canais $x$ são correlacionados ao longo da dimensão temporal.
Mecanismo de Reuso: Em vez de pular computações (como na atenção esparsa), o Kaleido reutiliza resultados parciais.
- Verificação de Similaridade: Antes da computação, o sistema calcula a similaridade ( $\Delta$ ) entre tokens adjacentes ao longo de um eixo predefinido.
- Limiarização (Thresholding): Dois limiares, $\theta_{th1}$ $θ_{t h 1}$ e $\theta_{th2}$ $θ_{t h 2}$ , determinam a estratégia de reuso:
  - Se $\Delta < \theta_{th1}$ : Reuso Total. O token reutiliza completamente o resultado parcial de atenção do token anterior.
  - Se $\theta_{th1} \le \Delta < \theta_{th2}$ : Reuso Parcial. O token reutiliza os bits mais significativos (ex: os 3 bits superiores) do resultado anterior e computa apenas os bits inferiores restantes.
  - Se $\Delta \ge \theta_{th2}$ : Computação Total.
- Aplicabilidade: Esta estratégia é aplicada às camadas de autoatenção, cross-attention e MLP. Para MLPs, o reuso é aplicado às ativações em vez dos pesos.

2. Hardware: Acelerador Sistólico Reconfigurável

Os padrões irregulares de acesso a dados introduzidos pelo algoritmo de reuso são incompatíveis com matrizes sistólicas padrão. O Kaleido introduz uma arquitetura de hardware customizada para suportar isso:

Elementos de Processamento (PEs) Reconfiguráveis: A matriz de PEs é aumentada com registros e multiplexadores adicionais para suportar quatro modos de execução. Esses modos permitem que os PEs lidem com computação total, reuso total e reuso parcial (computação de meio-bit) dinamicamente dentro de um único tile. Os PEs podem acumular resultados parciais de quadros anteriores sem recarregá-los da memória on-chip.
Despachante de Dados: Para mitigar a esparsidade irregular que causa baixa utilização de PE, um despachante de dados dedicado é introduzido. Ele consiste em:
- Agendador (Scheduler): Agrupa tokens com padrões de reuso semelhantes (representados como strings binárias) em clusters.
- Combinador (Matcher): Pareia canais de entrada compatíveis dentro de um cluster para mesclar fluxos de dados, garantindo que linhas adjacentes alimentadas na matriz de PE possam ser processadas simultaneamente, maximizando assim a utilização.

Principais Contribuições

Caracterização Sistemática de vDiTs: O artigo é o primeiro a explicar sistematicamente as correlações espaço-temporais nos espaços latentes de vDiTs, identificando o particionamento de canais baseado em RoPE como a causa raiz de padrões de atenção distintos.
Algoritmo de Reuso por Canal: Um algoritmo leve que pula computações redundantes ao reutilizar resultados parciais ao nível de canal. Diferente da fusão por token, isso preserva a precisão ao nível de pixel, alcançando uma qualidade generativa significativamente maior (>17 dB de melhoria no PSNR sobre co-designs anteriores).
Arquitetura de Acelerador Co-projetada: Uma matriz sistólica reconfigurável com PEs sob medida e um despachante de dados que lida com a esparsidade irregular, melhorando a utilização de PE de ~69% para ~85%.
Avaliação Abrangente: Avaliação extensa em quatro modelos mainstream de vDiT (HunyuanVideo, Wan, CogVideoX, TurboDiffusion) contra GPUs e aceleradores de última geração.

Resultados

Avaliado em um nó tecnológico de 16nm com uma configuração de matriz de PE de 128x128:

Desempenho: O Kaleido alcança até 5.9× de aceleração sobre aceleradores de última geração (ex: AdapTiV, Exion) e 6.6× de aceleração sobre uma GPU Nvidia A100.
Eficiência Energética: O sistema entrega até 16.0× de economia de energia em comparação com a linha de base A100.
Qualidade Generativa: O Kaleido mantém uma qualidade de vídeo superior, alcançando pontuações de PSNR de 29.9 dB (HunyuanVideo) e 24.5 dB (Wan), que são >17 dB superiores a baselines baseados em aproximação como o Cambricon-D. Também supera métodos de atenção esparsa otimizados por software (ex: MInference, SVG) em métricas de qualidade de imagem (PSNR, SSIM, LPIPS).
Escalabilidade: A lacuna de desempenho aumenta conforme a resolução do vídeo sobe de 480p para 720p, uma vez que resoluções mais altas fortalecem as correlações espaço-temporais exploradas pelo algoritmo.

Significância

O artigo posiciona o Kaleido como uma evolução necessária na aceleração da geração de vídeo. Argumenta-se que simplesmente transferir técnicas de atenção esparsa baseadas em LLM para vídeo é ineficaz devido à natureza contínua dos dados visuais. Ao mudar o foco de "podar" para "reutilizar" com base nas únicas correlações por canal dos vDiTs, o Kaleido oferece uma abordagem fundamentada que aborda simultaneamente o gargalo computacional e preserva os requisitos de alta fidelidade da IA generativa. O trabalho demonstra que o co-design algoritmo-hardware é essencial para desbloquear a eficiência dos próximos modelos de difusão de vídeo sem comprometer a qualidade do output.