🤖 AI

Partition the Support, Reconstruct the Residual: Training-Free Sparse Attention for Video Generation and World Models

SparsePR est une méthode d'attention éparse sans entraînement pour la génération de vidéos et les modèles de monde qui combine un partitionnement couplé à la réponse avec une reconstruction résiduelle ajustée par sonde afin d'accélérer considérablement l'inférence tout en préservant la qualité de la génération en minimisant l'erreur d'attention-reconstruction.

Auteurs originaux : Pardis Taghavi, Reza Langari, Gaurav Pandey

Publié 2026-08-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Pardis Taghavi, Reza Langari, Gaurav Pandey

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un ordinateur essayant d'imaginer une nouvelle vidéo, image par image, ou de prédire comment un objet physique se déplacera dans l'espace. Pour ce faire, le logiciel utilise un cerveau numérique massif qui doit constamment se remémorer chaque fragment d'information qu'il a généré jusqu'à présent pour décider de la suite. Ce processus revient à essayer de lire un livre tout en se souvenant de chaque mot de chaque page que vous avez déjà lues ; plus l'histoire grandit, plus il devient difficile de tout garder en mémoire. Ce « regard en arrière » est le moteur de la génération de vidéos moderne, mais c'est aussi son fardeau le plus lourd. À mesure que les vidéos s'allongent et que les images deviennent plus nettes, l'ordinateur doit comparer chaque nouvel élément de la scène à chaque ancien élément, une tâche dont l'ampleur croissante ralentit la machine jusqu'à l'immobilisme. Les scientifiques cherchent depuis longtemps un moyen de rendre ce processus plus rapide en ignorant les parties du passé qui n'ont pas d'importance, mais simplement supprimer les distractions évidentes s'est avéré difficile sans gâcher la qualité de l'image finale.

Une équipe de chercheurs de l'Université Texas A&M a développé une nouvelle méthode pour résoudre ce problème sans avoir besoin de réentraîner le cerveau de l'ordinateur. Ils appellent leur approche SparsePR, une technique qui agit comme un éditeur intelligent pour la mémoire de l'ordinateur. Au lieu de supprimer aveuglément des informations ou de deviner quelles parties conserver, cette méthode regroupe soigneusement les informations en fonction de la manière dont l'ordinateur y réagit. Lorsque l'ordinateur considère une nouvelle image, il observe comment les différentes parties des images précédentes répondent à celle-ci. Les chercheurs ont découvert que le simple fait de regrouper des pixels aux apparences similaires ne suffisait pas ; parfois, deux parties très différentes d'une vidéo doivent être traitées comme une seule unité parce que le cerveau de l'ordinateur les traite de la même manière. En organisant les données sur la base de ces réactions réelles plutôt que sur la simple similitude visuelle, le système peut ignorer en toute sécurité une vaste quantité d'informations tout en sachant exactement ce qui lui manque.

Les chercheurs ont découvert que les tentatives précédentes pour accélérer la génération de vidéos commettaient souvent une erreur critique : elles supposaient que si l'ordinateur maintenait l'essentiel de son « attention » sur une partie spécifique de la vidéo, le résultat serait bon. Ils ont découvert que cela n'était pas vrai. Même lorsque l'ordinateur se concentrait intensément sur les bonnes zones, les parties qu'il ignorait pouvaient encore causer des erreurs significatives dans le résultat final. C'est comme un photographe qui se concentre parfaitement sur un sujet mais oublie que l'éclairage de l'arrière-plan change ; le sujet est net, mais l'image entière est fausse. La nouvelle méthode corrige cela en jetant un regard minuscule et précis sur les parties de la vidéo qu'elle ignore afin de calculer exactement comment corriger l'image finale. Elle utilise un petit nombre de vérifications de type « sonde » — comme un test rapide de contrôle qualité sur quelques échantillons — pour construire une carte mathématique qui prédit les erreurs dans le reste de la vidéo et les corrige instantanément.

Dans leurs tests, les chercheurs ont appliqué cette technique à quatre modèles de vidéo avancés différents, incluant des systèmes conçus pour générer de nouveaux films et d'autres construits pour prédire des mouvements physiques dans le monde réel. Ils ont constaté qu'en utilisant cette nouvelle façon de regrouper les données et de corriger les erreurs, les ordinateurs pouvaient fonctionner entre 1,48 et 2,61 fois plus vite qu'auparavant. Malgré cette accélération massive, la qualité des vidéos est restée presque identique aux versions originales, plus lentes. Le système a obtenu ces résultats en n'effectuant que 22 à 26 pour cent des calculs totaux qu'il devrait normalement réaliser. Les chercheurs ont démontré que la clé de ce succès ne résidait pas seulement dans la réduction du travail, mais dans la compréhension de la forme spécifique des erreurs laissées derrière elles et dans leur correction sur mesure. Ce travail prouve que nous n'avons pas besoin de sacrifier la qualité pour la vitesse ; en comprenant exactement comment fonctionne l'attention de l'ordinateur, nous pouvons le rendre beaucoup plus efficace sans perdre la capacité de créer des mondes complexes et réalistes.

Résumé Technique : SparsePR – Attention Éparse Sans Entraînement pour la Génération de Vidéo et les Modèles de Monde

1. Énoncé du Problème

Les modèles de génération de vidéo (ex: DiTs) et les modèles de monde vidéo traitent de longues séquences de jetons spatio-temporels, ce qui fait de l'attention auto-attentionnelle quadratique un goulot d'étranglement principal lors de l'inférence. Bien que l'attention par blocs éparses sans entraînement offre une voie vers l'accélération, les approches existantes font face à deux limitations fondamentales lorsqu'elles traitent la parcimonie comme une propriété par ligne :

Ambiguïté du Support de Routage Partagé : La concentration de l'attention par ligne ne spécifie pas le support exécutable requis lorsque plusieurs requêtes partagent une décision de routage unique. Les requêtes au sein d'un groupe peuvent avoir des supports de clés mal superposés, ce qui fait que le support agrégé (l'union des clés nécessaires pour le groupe) est nettement plus grand que la somme des supports individuels.
Erreur de Mesure Post-Softmax : La masse d'attention conservée seule ne détermine pas l'erreur introduite par les interactions ignorées. Deux routes avec une masse conservée similaire peuvent produire des erreurs de sortie très différentes selon la différence entre les sorties induites par les supports omis par rapport aux supports conservés.

Les méthodes actuelles échouent souvent à prendre en compte ces dépendances, menant soit à une densité excessive (réduisant l'accélération), soit à une dégradation significative de la qualité (augmentant l'erreur de reconstruction).

2. Méthodologie : SparsePR

Les auteurs proposent SparsePR, un cadre sans entraînement qui combine le Partitionnement Couplé à la Réponse avec la Reconstruction de Résidu par Ajustement de Sonde. La méthode opère entièrement en ligne sans entraînement hors ligne.

A. Partitionnement Couplé à la Réponse

Contrairement aux méthodes précédentes qui regroupent les requêtes et les clés indépendamment ou utilisent un raffinement alterné, SparsePR construit des partitions exécutables en un seul passage asymétrique basé sur la géométrie de la réponse dérivée de l'appel d'attention actuel :

Coordonnées Clé-Réponse : Des requêtes échantillonnées ( $Q_s$ ) définissent une métrique $M_K = Q_s^\top Q_s / M_s$ . Les clés sont regroupées en fonction de leurs profils de réponse sous ces requêtes échantillonnées (via k-means sur les vecteurs propres de $M_K$ ). Cela forme des groupes Clé/Valeur (K/V) appariés.
Coordonnées Requête-Réponse : Les centroïdes des groupes K/V résultants définissent un nouvel espace métrique pour les requêtes. Les requêtes sont regroupées en fonction de la similitude de leurs profils de logit pré-softmax sur ces groupes K/V.
Résultat : Ce couplage garantit que les requêtes partageant une route ont des exigences de support similaires, minimisant ainsi l'expansion du « support agrégé » observée dans le regroupement sémantique.

B. Reconstruction de Résidu par Ajustement de Sonde

Pour traiter l'erreur provenant des interactions ignorées, SparsePR ne repose pas sur des approximations par blocs ou sur la réutilisation temporelle :

Sélection de Sonde : Un petit ensemble de lignes de requête ( $M \ll N_q$ ) est sélectionné (stratifié à travers les groupes de requêtes) et évalué exactement pour calculer le résidu dense ( $R = O_{dense} - O_{sparse}$ ).
Calibration Affine : La méthode modélise le résidu comme une fonction affine de la sortie éparse ( $R \approx b + xB$ ). Elle ajuste une carte affine spécifique à l'appel en utilisant les résidus de sonde, régularisée par une régression Ridge.
Restriction de Sous-Espace : Pour éviter l'extrapolation dans des directions de sortie non observées, la correction est projetée sur le sous-espace engendré par les vecteurs singuliers principaux des résidus de sonde.
Correction : La carte ajustée estime le résidu pour les lignes non sondées, qui est ajouté à la sortie éparse pour récupérer l'approximation dense.

C. Exécution Éparse

Le cadre permute les jetons en mises en page contiguës par groupe majeur et utilise la primitive d'attention éparse à blocs variables de FlashInfer. La densité totale de paires exécutées ( $\rho_{exec}$ ) inclut à la fois les cellules de routage éparses et les lignes de sonde exactes.

3. Principales Contributions

Analyse Structurelle : L'article identifie trois dépendances critiques dans l'attention par blocs éparses exécutable :
- La parcimonie par requête ne détermine pas le support de routage partagé (le support agrégé peut être 3 à 4 fois plus élevé).
- La masse d'attention conservée ne garantit pas une faible erreur post-softmax.
- La géométrie de la partition affecte significativement la fraction « explicable par affine » du résidu.
Cadre SparsePR : Introduction d'une méthode sans entraînement combinant le partitionnement couplé à la réponse (pour minimiser l'expansion du support) et la reconstruction de résidu par ajustement de sonde (pour corriger les interactions ignorées).
Évaluation Complète : Évaluation sur quatre modèles hétérogènes (HunyuanVideo, Wan2.2, Cosmos-Predict2.5, Cosmos3-Nano) en utilisant un comptage de paires exactes et un chronométrage de bout en bout, démontrant une réduction constante de l'erreur et des accélérations.

4. Résultats Expérimentaux

Les auteurs ont évalué SparsePR sur des tâches de texte-vers-vidéo, d'image-vers-vidéo et de prédiction de monde physique.

Préservation de la Qualité : SparsePR correspond étroitement aux benchmarks de qualité denses. Par exemple, sur HunyuanVideo-13B, il atteint un PSNR de 31,844 (vs la ligne de base dense) avec un LPIPS de 0,087, surpassant les méthodes éparses précédentes comme SVG2 et SpargeAttn.
Efficacité : La méthode atteint des accélérations de bout en bout de 1,48 $\times$ à 2,61 $\times$ tout en maintenant une densité de paires exécutées réalisée de seulement 22,0 % à 26,0 %.
Insights d'Ablation :
- Ajustement de Sonde : Représente la majorité de la réduction d'erreur.
- Partitionnement Couplé à la Réponse : Réduit considérablement l'erreur de « chute brutale » (hard-drop) et améliore la reconstruction sous un budget de sonde fini en réduisant l'énergie résiduelle orthogonale.
- Surcharge (Overhead) : La reconstruction par ajustement de sonde ajoute une surcharge négligeable (environ 1,1 % de la latence totale), car les principales économies de coût proviennent du routage éparse.

5. Signification et Revendications

L'article affirme qu'une exécution éparse efficace pour les modèles vidéo dépend de deux facteurs souvent traités séparément : la géométrie de la partition (qui dicte le support requis pour le routage partagé) et la reconstruction des interactions ignorées (qui dicte l'erreur de sortie).

SparsePR démontre qu'en couplant le processus de partitionnement à la géométrie de la réponse de l'appel actuel et en calibrant la reconstruction du résidu avec un petit ensemble de sondes exactes, il est possible d'atteindre une fidélité proche de la densité avec des économies de calcul substantielles. Les auteurs soulignent que cette approche est sans entraînement, ce qui la rend applicable aux modèles de vidéo DiT pré-entraînés existants sans nécessiter de ré-entraînement ou de distillation. Les résultats suggèrent que la simple parcimonie par ligne est insuffisante pour la génération de vidéo, et qu'un partitionnement structuré, conscient de la réponse, combiné à une correction précise du résidu, est nécessaire pour une accélération de haute qualité.