🤖 AI

PipeFusion: Patch-level Pipeline Parallelism for Diffusion Transformers Inference

PipeFusion est une méthodologie d'inférence parallèle innovante pour les Transformers de diffusion qui partitionne les images en patches et les couches de modèle sur plusieurs GPU, exploitant le parallélisme de pipeline au niveau des patches et la réutilisation des cartes de caractéristiques obsolètes pour réduire considérablement les coûts de communication et l'utilisation de la mémoire tout en atteignant des performances de pointe dans la génération d'images haute résolution.

Auteurs originaux : Jiarui Fang, Jinzhe Pan, Aoyu Li, Xibo Sun, Jiannan Wang

Publié 2026-05-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiarui Fang, Jinzhe Pan, Aoyu Li, Xibo Sun, Jiannan Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de peindre une fresque massive et incroyablement détaillée sur un mur. Pour ce faire, vous disposez d'une équipe de 8 artistes (GPU) travaillant ensemble. Le processus de peinture est unique : vous ne peignez pas simplement l'ensemble en une seule fois. Vous commencez par une toile vierge et bruyante, puis vous l'affinez lentement, étape par étape, en éliminant le bruit et en ajoutant des détails jusqu'à ce que l'image soit nette. C'est ainsi que fonctionnent les générateurs d'images modernes de l'IA (appelés Diffusion Transformers).

Le problème est que, pour les images haute résolution, ce processus est lent. Si vous essayez de faire travailler les artistes ensemble en utilisant des méthodes traditionnelles, ils passent plus de temps à débattre de qui possède quelle partie de la peinture et à se passer des seaux de peinture d'avant en arrière qu'à peindre réellement.

PipeFusion est une nouvelle et astucieuse façon d'organiser ces artistes pour achever le travail beaucoup plus rapidement. Voici comment cela fonctionne, en utilisant des analogies simples :

1. L'Ancienne Méthode : Passer le Seau Entier

Dans les méthodes précédentes (comme le « Parallélisme des Tenseurs » ou le « Parallélisme des Séquences »), chaque fois qu'un artiste termine une petite étape, il doit s'arrêter et partager tout ce qu'il vient de faire avec tous les autres avant de passer à l'étape suivante.

L'Analogie : Imaginez 8 chefs préparant une soupe. Chaque fois qu'un chef ajoute une pincée de sel, il doit s'arrêter, crier la recette aux 7 autres chefs, attendre qu'ils confirment, puis tout le monde ajoute son propre sel. C'est sûr, mais incroyablement lent à cause de tout ce bavardage et de l'attente.

2. La Méthode « PipeFusion » : La Chaîne de Montage avec une Touche

PipeFusion change la donne en divisant le travail de deux manières :

Diviser le Mur : Au lieu qu'un seul chef fasse tout le mur, le mur est découpé en 8 bandes verticales. Chaque chef est responsable de sa propre bande.
Diviser les Couches : La recette (le modèle d'IA) est également découpée en 8 parties. Le Chef 1 exécute la première partie de la recette pour sa bande, puis passe le résultat au Chef 2, qui exécute la deuxième partie, et ainsi de suite.

Cela crée une chaîne de montage. Tandis que le Chef 2 travaille sur la deuxième étape de la recette, le Chef 1 commence déjà la première étape du prochain lot. Ils travaillent en flux continu, en chevauchant leurs tâches afin que personne ne reste inactif.

3. Le Secret : Des Ingrédients « Périmés »

Voici le véritable tour de magie. Dans ce processus de peinture, l'image change très lentement d'une étape à l'autre. Le « bruit » à l'étape 10 ressemble presque exactement au bruit à l'étape 11.

L'Analogie : Imaginez que vous faites un gâteau. Habituellement, vous avez besoin d'œufs frais pour chaque lot. Mais PipeFusion réalise que les œufs utilisés il y a 10 minutes sont encore assez bons pour le lot actuel.
Comment cela aide : Au lieu d'attendre les données « fraîches » de l'étape en cours (ce qui nécessiterait d'attendre que toute l'équipe termine), PipeFusion permet aux artistes d'utiliser les données « périmées » (légèrement anciennes) de l'étape précédente pour continuer à travailler.
Le Résultat : Les artistes n'ont pas à s'arrêter et à attendre l'arrivée des données fraîches. Ils continuent de peindre en utilisant les données légèrement plus anciennes, qui sont de toute façon presque identiques. Cela masque le temps nécessaire pour transmettre les informations entre les artistes.

4. Pourquoi C'est Mieux

Moins de Bavardages : Parce qu'ils utilisent les données « périmées » qu'ils ont déjà, ils n'ont pas besoin de crier à travers la cuisine aussi souvent. Cela économise énormément de temps.
Moins de Mémoire : Les méthodes traditionnelles exigent que chaque chef garde une copie de l'état actuel de tout le mur dans sa tête. PipeFusion ne leur demande que de se souvenir de leur propre petite bande. Cela signifie que vous pouvez exécuter ces modèles massifs sur des ordinateurs standards sans manquer de mémoire (RAM).
Meilleure Qualité : Parce que PipeFusion utilise des données « fraîches » pendant une plus grande partie du processus par rapport à d'autres astuces similaires, la peinture finale apparaît plus nette et plus précise.

La Conclusion

L'article a testé cela sur 8 cartes graphiques puissantes (GPU) en utilisant des modèles d'IA célèbres comme Flux.1, Stable Diffusion 3 et Pixart.

Vitesse : PipeFusion était jusqu'à 1,5 fois plus rapide que les meilleures méthodes existantes.
Mémoire : Il utilisait considérablement moins de mémoire, lui permettant d'exécuter des modèles très volumineux que d'autres méthodes ne pouvaient pas gérer en haute résolution.
Qualité : Les images générées étaient pratiquement indiscernables des versions originales de haute qualité.

En bref, PipeFusion revient à transformer un groupe d'artistes chaotique en une chaîne de montage hautement efficace et chevauchante qui utilise « les nouvelles d'hier » pour continuer à travailler aujourd'hui, résultant en une génération d'art par IA plus rapide, moins chère et de haute qualité.

Résumé Technique : PipeFusion

Énoncé du Problème

Les Transformers de Diffusion (DiT) sont devenus l'architecture de référence pour la synthèse d'images et de vidéos haute résolution, surpassant les modèles U-Net traditionnels. Cependant, les DiT font face à des défis majeurs de latence lors de l'inférence, en particulier lors de la génération d'images haute résolution ou de longues séquences. Cette latence découle de la croissance quadratique du calcul d'attention par rapport à la longueur de la séquence.

Les stratégies d'inférence parallèle existantes peinent à relever ces défis efficacement sur des configurations multi-GPU :

Parallélisme Tensoriel (TP) : Bien qu'efficace pour les Grands Modèles de Langage (LLM), le TP est inefficace pour les DiT en raison des volumes d'activation importants. La surcharge de communication (spécifiquement les opérations All-Reduce) dépasse souvent les bénéfices du calcul parallèle, en particulier pour les modèles comportant de nombreuses couches.
Parallélisme de Séquence (SP) : Des méthodes comme DeepSpeed-Ulysses et Ring-Attention partitionnent la séquence d'entrée (patchs d'image) entre les dispositifs. Bien qu'elles réduisent la pression mémoire, elles nécessitent un échange de données étendu (transmission des activations Query, Key et Value) pour chaque couche, entraînant des coûts de communication élevés.
DistriFusion : Une méthode de parallélisme de séquence asynchrone qui exploite la redondance temporelle des entrées (la similarité des entrées et des activations entre les pas de temps de diffusion consécutifs). Bien qu'elle superpose la communication au calcul, elle souffre d'une inefficacité mémoire. DistriFusion nécessite de maintenir les dimensions spatiales complètes des activations Key (K) et Value (V) pour toutes les couches sur chaque dispositif, ce qui fait que les coûts mémoire augmentent linéairement avec la longueur de la séquence et empêche une mise à l'échelle efficace pour les grands modèles comme Flux.1.

Méthodologie : PipeFusion

L'article propose PipeFusion, une stratégie novatrice de parallélisme de pipeline au niveau des patchs, conçue spécifiquement pour l'inférence DiT. PipeFusion adresse les limites des méthodes existantes en partitionnant simultanément les couches du modèle et les patchs d'image d'entrée sur plusieurs GPU.

Mécanismes Principaux

Double Partitionnement :
- Partitionnement des Couches : Le backbone DiT est divisé selon la direction du flux de données. Chaque GPU se voit attribuer un ensemble contigu de couches de transformateurs.
- Partitionnement des Patchs : L'image d'entrée est divisée en $M$ patchs non chevauchants. Chaque GPU traite un patch à travers ses couches assignées de manière pipelined.
Exploitation de la Redondance Temporelle :
- Les processus de diffusion présentent une forte similarité entre les entrées et les activations des pas de temps successifs. PipeFusion exploite cela en réutilisant des cartes de caractéristiques « obsolètes » du pas de temps de diffusion précédent ( $T+1$ ) pour fournir un contexte au pas de temps courant ( $T$ ).
- Au lieu d'attendre de nouvelles activations de tous les dispositifs pour le pas de temps courant, un dispositif peut commencer le calcul en utilisant des activations obsolètes de l'étape précédente. Cela permet au pipeline de fonctionner en continu avec un temps d'inactivité minimal (bulles), sauf lors du démarrage initial.
Optimisation de la Communication :
- Contrairement au SP et au TP, qui transmettent des activations pour chaque couche, PipeFusion ne transmet que l'entrée de la couche initiale et la sortie de la couche finale pour une étape spécifique.
- Il utilise une communication asynchrone Point-à-Point (P2P) pour envoyer les activations de patch de micro-étape au dispositif suivant, superposant efficacement la communication au calcul.
Efficacité Mémoire :
- PipeFusion distribue les paramètres du modèle entre les dispositifs, réduisant l'utilisation mémoire des paramètres d'un facteur $N$ (le nombre de dispositifs).
- Crucialement, concernant les tampons KV requis pour l'attention : PipeFusion doit seulement stocker $1/N$ des tenseurs K et V spatiaux complets pour les couches assignées à ce dispositif. À l'inverse, DistriFusion nécessite les tenseurs K et V spatiaux complets pour toutes les couches sur chaque dispositif. Cela rend PipeFusion nettement plus efficace en mémoire pour les grands modèles.

Contributions Clés

Stratégie de Parallélisme Novatrice : Introduction de PipeFusion, qui combine le parallélisme de pipeline au niveau des couches avec le partitionnement de séquence au niveau des patchs, adapté aux mécanismes d'attention complète des DiT.
Réduction des Coûts de Communication : PipeFusion réduit la communication inter-dispositifs en transmettant uniquement les entrées/sorties d'étape plutôt que les activations couche par couche. L'analyse théorique montre que les coûts de communication sont indépendants du nombre de couches ( $L$ ) et ne dépendent que de la longueur de la séquence ( $p$ ) et de la taille cachée ( $h_s$ ).
Amélioration de l'Évolutivité Mémoire : En distribuant les paramètres et en réduisant la taille requise du tampon KV à $1/N$ , PipeFusion permet l'inférence de modèles massifs (par exemple, Flux.1 12B) sur du matériel standard, là où d'autres méthodes échouent en raison d'erreurs de mémoire insuffisante (OOM).
Préservation de la Qualité : L'analyse théorique et les résultats empiriques indiquent que PipeFusion maintient une qualité de génération supérieure à DistriFusion car il utilise une plus grande zone d'activations « fraîches » durant le processus de diffusion, tandis que DistriFusion repose davantage sur des données obsolètes.

Résultats Expérimentaux

Les auteurs ont évalué PipeFusion sur un cluster de 8×L40 PCIe GPU utilisant trois modèles DiT de pointe : PixArt (0,6B), Stable Diffusion 3 (2B) et Flux.1 (12B).

Performance de Latence :
- PipeFusion a atteint la latence d'inférence la plus faible sur toutes les résolutions testées (de 1024px à 4096px) et tous les modèles.
- Sur 8×L40 GPU, PipeFusion était 1,48× à 1,55× plus rapide que les meilleures bases de parallélisme de séquence (USP) pour PixArt et SD3.
- Pour le modèle Flux.1 12B, PipeFusion a réalisé un accélération de 1,23× à 1,25× par rapport au meilleur parallélisme de séquence.
- Dans les tâches haute résolution (4096px), DistriFusion a rencontré des problèmes OOM, tandis que PipeFusion a maintenu de fortes performances avec une part de communication de seulement 4,6 % de la latence totale (contre 17,9 % pour le SP).
Efficacité Mémoire :
- PipeFusion a démontré une évolutivité mémoire supérieure. Pour Flux.1 à 2048px, l'utilisation mémoire totale de PipeFusion n'était que de 32 % à 36 % de celle requise par le Parallélisme de Séquence.
- Il a géré avec succès des tâches de résolution 8192px pour PixArt, là où DistriFusion a échoué.
Qualité de l'Image :
- L'évaluation quantitative utilisant la Fréchet Inception Distance (FID) a montré que PipeFusion surpassait constamment DistriFusion, obtenant des scores plus proches de l'implémentation originale sur un seul dispositif.
- Les comparaisons visuelles ont confirmé que les images générées par PipeFusion étaient presque indiscernables des sorties originales.

Importance et Revendications

L'article revendique que PipeFusion représente un changement fondamental dans la parallélisation de l'inférence DiT. En exploitant systématiquement la redondance temporelle des entrées, il atteint un équilibre entre l'efficacité de la communication, l'empreinte mémoire et la qualité de génération que les méthodes existantes ne peuvent égaler.

Les auteurs positionnent PipeFusion non pas comme un remplacement universel de toutes les stratégies de parallélisme, mais comme un composant hautement efficace pour les schémas d'hybridation de parallélisation. Ils suggèrent que PipeFusion est particulièrement adapté aux environnements inter-nœuds à faible bande passante, tandis que le Parallélisme de Séquence reste efficace pour les paramètres intra-nœuds à haute bande passante (NVLink).

Ce travail met en évidence que la redondance temporelle dans les processus de diffusion est une ressource viable et sous-utilisée pour concevoir de nouvelles formes de parallélisme, offrant une voie vers une génération d'images haute résolution évolutive sur des clusters multi-GPU standards. Les auteurs notent également que l'approche est naturellement compatible avec les modèles de génération vidéo, qui partagent des architectures MM-DiT similaires et des longueurs de séquence plus longues.