🤖 AI

Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations

Kaleido est une co-conception algorithme-matériel qui accélère les Transformers de diffusion vidéo en exploitant les corrélations spatio-temporelles par canal dans l'espace latent afin de permettre un algorithme de réutilisation léger et un accélérateur à réseau systolique reconfigurable, atteignant jusqu'à 5,9x d'accélération et 16,0x d'économies d'énergie tout en maintenant une qualité générative élevée.

Auteurs originaux : Wenxuan Miao, Haosong Liu, Weiming Hu, Zihan Liu, Aiyue Chen, Jianlin Yu, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng

Publié 2026-07-16

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Wenxuan Miao, Haosong Liu, Weiming Hu, Zihan Liu, Aiyue Chen, Jianlin Yu, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs peuvent rêver des films entiers à partir d'une seule phrase, créant des scènes si réelles que vous pourriez presque les toucher. Cette magie est alimentée par les « modèles de diffusion vidéo », un type d'intelligence artificielle qui apprend à créer des vidéos en partant d'un écran rempli de bruit statique et en le nettoyant lentement, étape par étape, jusqu'à ce qu'une image claire émerge. Pensez à un sculpteur commençant avec un bloc de pierre brut et retirant l'excédent pour révéler une statue. Cependant, ce processus est incroyablement lent et gourmand en énergie. L'ordinateur doit effectuer des millions de petits calculs pour chaque image, encore et encore, comme un chef goûtant une soupe des centaines de fois avant de la servir. À mesure que ces modèles d'IA s'améliorent pour créer des vidéos plus longues et de meilleure qualité, le temps et l'énergie nécessaires pour les faire fonctionner sont devenus un goulot d'étranglement massif, ralentissant tout, du montage de films à la création de mondes virtuels. Les scientifiques et les ingénieurs font la course pour trouver des moyens d'accélérer cela sans gâcher la qualité du film final.

Entrez dans l'ère de Kaleido, une nouvelle invention ingénieuse de chercheurs de l'Université Jiao Tong de Shanghai et de Huawei, qui agit comme un raccourci super intelligent pour ces ordinateurs de création vidéo. L'équipe a découvert que pendant que l'IA est occupée à « nettoyer » la vidéo, elle répète souvent les mêmes calculs de manière répétitive car les images de la vidéo sont très similaires entre elles de certaines manières spécifiques. Au lieu de tout recalculer à partir de zéro, l'algorithme de Kaleido agit comme un bibliothécaire brillant qui se souvient : « Hé, j'ai déjà fait cette partie pour la dernière image, alors réutilisons cette réponse ! » Mais il y a un piège : ces raccourcis créent un motif de travail désordonné et irrégulier que les puces informatiques standard détestent, un peu comme un chef essayant de couper des légumes avec un couteau émoussé qui glisse sans cesse. Pour résoudre cela, les chercheurs n'ont pas seulement écrit une nouvelle recette ; ils ont construit une toute nouvelle cuisine. Ils ont conçu une puce matérielle personnalisée dotée d'un « répartiteur de données » spécial qui organise les raccourcis désordonnés en lots nets et efficaces, permettant à l'ordinateur de sauter le travail redondant sans perdre une seule goutte de qualité.

Le résultat est un système nettement plus rapide et plus économe en énergie que tout ce qui est actuellement disponible. Dans leurs tests, Kaleido a généré des vidéos jusqu'à 5,9 fois plus vite et a économisé 16,0 fois plus d'énergie par rapport aux meilleurs accélérateurs existants et aux cartes graphiques haut de gamme. Le plus impressionnant, peut-être, est que les vidéos qu'il a produites n'étaient pas seulement rapides ; elles étaient plus nettes et plus précises que celles produites par d'autres méthodes de raccourcis, obtenant un score plus de 17 dB supérieur dans les mesures de qualité d'image. Les chercheurs ont prouvé qu'en comprenant exactement comment les données vidéo sont structurées — spécifiquement comment différentes parties de l'image sont liées au temps et à l'espace — ils pouvaient construire un système qui saute les parties ennuyeuses du travail tout en gardant les parties créatives parfaites. Ce n'est pas seulement un petit ajustement ; c'est un changement fondamental dans la façon dont nous disons aux ordinateurs de réaliser des films, prouvant que parfois, la meilleure façon d'aller plus vite est de savoir exactement ce qu'il ne faut pas faire.

Résumé Technique : Kaleido

Énoncé du Problème

Les Transformers de Diffusion Vidéo (vDiT) sont devenus l'architecture de pointe pour la génération de vidéos haute fidélité, mais ils font face à de sévères goulots d'étranglement computationnels. Le processus d'inférence implique un débruitage itératif sur de nombreux pas de temps, où le mécanisme d'auto-attention domine le temps d'exécution, représentant environ 68 % du temps de fonctionnement total. À mesure que les résolutions et les durées vidéo augmentent, la longueur de la séquence de tokens croît, provoquant une complexité de l'auto-attention qui suit une progression quadratique ( $O(N^2 \times d)$ ).

Les stratégies d'accélération existantes adaptent largement les techniques d'attention parcielle des Grands Modèles de Langage (LLM), qui reposent sur l'élagage des scores d'attention insignifiants basés sur la parcimonie sémantique. Cependant, ces approches sont fondamentalement inadaptées aux données vidéo. Contrairement au texte, les tokens vidéo transportent des sémantiques visuelles denses et continues où chaque token contribue à la cohérence spatiale et à la cohérence temporelle. L'élagage naïf des corrélations d'attention entraîne des discontinuités de mouvement et des artefacts de scintillement. De plus, lorsque les pas de temps de diffusion sont réduits via la distillation, l'auto-attention devient le seul goulot d'étranglement dominant, rendant les techniques de réduction de pas de temps insuffisantes.

Méthodologie

Kaleido répond à ces défis par une co-conception algorithme-matériel qui exploite les corrélations spatio-temporelles par canal au sein de l'espace latent des vDiT, plutôt que de s'appuyer sur la parcimonie au niveau des tokens.

1. Algorithme : Réutilisation par Canal (Channel-Wise Reuse)

L'idée centrale est que les modèles vDiT utilisent l'encodage de position rotatif (RoPE), qui partitionne les canaux des tokens en trois groupes distincts : temporel ( $t$ ), horizontal ( $x$ ) et vertical ( $y$ ). Ces groupes encodent l'information positionnelle à différentes fréquences, induisant des motifs spécifiques dans les scores d'attention.

Découverte de Corrélation : Les auteurs démontrent que les tokens adjacents au sein d'un groupe de canaux spécifique présentent une forte similitude le long des dimensions orthogonales à leur direction d'encodage. Par exemple, les canaux $t$ sont fortement corrélés à travers les dimensions spatiales ( $x$ et $y$ ), tandis que les canaux $x$ sont corrélés à travers la dimension temporelle.
Mécanisme de Réutilisation : Au lieu de sauter des calculs (comme dans l'attention parcielle), Kaleido réutilise des résultats partiels.
- Vérification de Similitude : Avant le calcul, le système calcule la similitude ( $\Delta$ ) entre les tokens adjacents le long d'un axe prédéfini.
- Seuillage : Deux seuils, $\theta_{th1}$ $θ_{t h 1}$ et $\theta_{th2}$ $θ_{t h 2}$ , déterminent la stratégie de réutilisation :
  - Si $\Delta < \theta_{th1}$ : Réutilisation Totale. Le token réutilise complètement le score d'attention partiel du token précédent.
  - Si $\theta_{th1} \le \Delta < \theta_{th2}$ : Réutilisation Partielle. Le token réutilise les bits les plus significatifs (par exemple, les 3 bits supérieurs) du résultat précédent et ne calcule que les bits inférieurs restants.
  - Si $\Delta \ge \theta_{th2}$ : Calcul Total.
- Applicabilité : Cette stratégie est appliquée aux couches d'auto-attention, d'attention croisée et de MLP. Pour les MLP, la réutilisation s'applique aux activations plutôt qu'aux poids.

2. Matériel : Accélérateur Systolique Reconfigurable

Les schémas d'accès aux données irréguliers introduits par l'algorithme de réutilisation sont incompatibles avec les matrices systoliques standards. Kaleido introduit une architecture matérielle personnalisée pour y répondre :

Éléments de Traitement (PE) Reconfigurables : La matrice de PE est augmentée de registres et de multiplexeurs supplémentaires pour supporter quatre modes d'exécution. Ces modes permettent aux PE de gérer dynamiquement un calcul complet, une réutilisation totale et une réutilisation partielle (calcul de demi-bit) au sein d'un même bloc (tile). Les PE peuvent accumuler les résultats partiels des images précédentes sans les recharger depuis la mémoire sur puce.
Distributeur de Données (Data Dispatcher) : Pour atténuer la parcimonie irrégulière qui cause une faible utilisation des PE, un distributeur de données dédié est introduit. Il se compose de :
- Un Planificateur (Scheduler) : Regroupe les tokens ayant des motifs de réutilisation similaires (représentés par des chaînes binaires) en clusters.
- Un Appariement (Matcher) : Couple des canaux d'entrée compatibles au sein d'un cluster pour fusionner les flux de données, garantissant que les lignes adjacentes injectées dans la matrice de PE puissent être traitées simultanément, maximisant ainsi l'utilisation.

Principales Contributions

Caractérisation Systématique des vDiT : Ce papier est le premier à expliquer systématiquement les corrélations spatio-temporelles dans les espaces latents des vDiT, identifiant le partitionnement des canaux basé sur RoPE comme la cause racine de motifs d'attention distincts.
Algorithme de Réutilisation par Canal : Un algorithme léger qui saute les calculs redondants en réutilisant des résultats partiels au niveau des canaux. Contrairement au regroupement de tokens, cela préserve la précision au niveau du pixel, atteignant une amélioration de la qualité générative nettement supérieure (>17 dB de PSNR par rapport aux co-conceptions antérieures).
Architecture d'Accélérateur Co-conçue : Une matrice systolique reconfigurable avec des PE adaptés et un distributeur de données qui gère la parcimonie irrégulière, améliorant l'utilisation des PE de ~69 % à ~85 %.
Évaluation Complète : Évaluation étendue sur quatre modèles vDiT de premier plan (HunyuanVideo, Wan, CogVideoX, TurboDiffusion) par rapport aux GPU et accélérateurs de pointe.

Résultats

Évalué sur un nœud technologique de 16 nm avec une configuration de matrice de PE de 128x128 :

Performance : Kaleido atteint jusqu'à 5,9× d'accélération par rapport aux accélérateurs de pointe (ex: AdapTiV, Exion) et 6,6× d'accélération par rapport à un GPU Nvidia A100.
Efficacité Énergétique : Le système offre jusqu'à 16,0× d'économies d'énergie par rapport à la référence A100.
Qualité Générative : Kaleido maintient une qualité vidéo supérieure, atteignant des scores PSNR de 29,9 dB (HunyuanVideo) et 24,5 dB (Wan), ce qui est >17 dB plus élevé que les bases d'approximation comme Cambricon-D. Il surpasse également les méthodes d'attention parcielle optimisées par logiciel (ex: MInference, SVG) en termes de métriques de qualité d'image (PSNR, SSIM, LPIPS).
Scalabilité : L'écart de performance s'élargit à mesure que la résolution vidéo augmente de 480p à 720p, car les hautes résolutions renforcent les corrélations spatio-temporelles exploitées par l'algorithme.

Signification

Ce papier positionne Kaleido comme une évolution nécessaire de l'accélération de la génération vidéo. Il soutient que le simple transfert des techniques d'attention parcielle basées sur les LLM vers la vidéo est inefficace en raison de la nature continue des données visuelles. En déplaçant l'accent de "l'élagage" vers la "réutilisation" basée sur les corrélations uniques par canal des vDiT, Kaleido propose une approche rigoureuse qui traite simultanément le goulot d'étranglement computationnel et préserve les exigences de haute fidélité de l'IA générative. Ce travail démontre que la co-conception algorithme-matériel est essentielle pour libérer l'efficacité des prochains modèles de diffusion vidéo sans compromettre la qualité du résultat.