Video-Rate Streaming Stylization on a Vision-Aware MLLM-Conditioned Edit Diffusion: Asymmetric Batched Inference on a Distilled UNet + MLLM Text Encoder

Résumé Technique : Stylisation de Flux Vidéo à Taux Vidéo sur un Modèle de Diffusion Éditable Conditionné par un MLLM Sensible à la Vision

Énoncé du Problème
La traduction vidéo en temps réel utilisant des modèles de diffusion reposait traditionnellement sur des piles de diffusion d'images conditionnées par du texte, où le débruiteur U-Net constitue le goulot d'étranglement computationnel par image, et l'encodeur de texte est un réseau léger de type CLIP (~125M de paramètres). Cependant, une distillation agressive du débruiteur (réduisant celui-ci à des étudiants de 4 ou 1 étape) inverse ce goulot d'étranglement. Dans un régime de diffusion éditable « sensible à la vision », où le système doit traiter à la fois une image source et une instruction textuelle, l'encodeur de texte est remplacé par un Grand Modèle de Langage Multimodal (MLLM) lourd, tel que Qwen3-VL (2,13B de paramètres).

Dans ce régime « Petit Débruiteur Distillé plus Encodeur MLLM Lourd » (SDD-MTE), l'encodeur de texte MLLM devient la voie critique. Les techniques de streaming standard conçues pour les pipelines dominés par le débruiteur échouent ici car :

1. Latence de l'Encodeur : L'encodeur MLLM est nettement plus grand que le débruiteur et contient des points de synchronisation intrinsèques CPU-GPU (ex: dans les embeddings de position rotatifs) qui empêchent une simple distribution en flux unique.
2. Surcharge de Cohérence Temporelle : Les adaptateurs temporels existants comme ControlNet-LLLite reposent sur des branches Python et des vérifications d'identité de tenseurs qui brisent la capture de graphe de torch.compile, provoquant des implémentations naïves tournant ~3,5× plus lentement que l'U-Net de base.
3. Instabilité Numérique : Les sorties de large plage du MLLM (écart-type=37, max=1160) provoquent des dépassements de capacité (overflow) des mécanismes d'attention FP16, rendant indisponibles les chemins TensorRT (utilisés par des systèmes comme StreamDiffusion).

L'article traite du défi consistant à atteindre un débit de streaming à taux vidéo sur un seul GPU grand public dans ce régime de goulot d'étranglement inversé.

Méthodologie
Les auteurs proposent un pipeline de streaming construit autour de trois mécanismes d'ingénierie spécifiques conçus pour le régime SDD-MTE, instanciés sur un U-Net distillé de 0,39B (DreamLite-mobile) couplé à un encodeur Qwen3-VL de 2,13B.

1. Pipelining Asymétrique Flux Latéral / Flux Principal :

   • Le pipeline se divise en deux flux CUDA concurrents. Le Flux Principal gère le débruitage U-Net compilé et le décodage VAE pour le lot actuel ($n$).
   • Le Flux Latéral traite simultanément l'encodage de texte (TE) du MLLM et l'encodage VAE pour le lot suivant ($n+1$).
   • Cette conception masque la latence de synchronisation intrinsèque de l'encodeur MLLM derrière le calcul de l'U-Net.
   • Amortissement par Lot (Batch Amortization) : Le système met en mémoire tampon $B$ images (ex: $B=8$ ou $16$) avant chaque appel de pipeline. Puisque l'encodeur MLLM évolue de manière sous-linéaire avec la taille du lot (sous-linéarité $s \approx 0,226$ à $B=8$) tandis que l'U-Net compilé évolue de manière quasi linéaire ($s \approx 0,77$), le traitement par lots réduit considérablement le coût par image du TE sans augmenter proportionnellement le coût de l'U-Net.
   • Mise en Cache de Prompt Statique (Optionnel) : Pour les flux avec des instructions fixes, le système peut encoder une image représentative unique et diffuser ses tenseurs clé/valeur au reste du lot, ou rafraîchir l'encodage tous les $N$ lots.

2. Reformulation de ControlNet-LLLite Compatible avec la Compilation :

   • Pour permettre l'optimisation torch.compile, les auteurs ont refactorisé l'adaptateur ControlNet-LLLite afin de supprimer les branches Python et les changements d'identité de tenseurs qui forçaient auparavant la recompilation Dynamo à chaque image.
   • Les changements clés incluent l'enregistrement des embeddings de conditionnement comme buffers de taille fixe avec mises à jour sur place, la suppression des chemins d'entraînement uniquement (dropout, vérifications de type de données), et l'exposition d'une méthode forward_inference dédiée.
   • Cela permet à l'ensemble de la pile U-Net + adaptateur d'être fusionné en un seul graphe, atteignant une accélération de 4,75× par rapport à l'implémentation de référence en mode eager.

3. Rafraîchissement Périodique du Conditionnement et Sous-ensemble de Hooks :

   • Calendrier de Rafraîchissement : Au lieu de re-calculer l'embedding de conditionnement LLLite (dérivé de l'image précédente déformée) pour chaque lot, le système le reconstruit tous les $N$ lots (ex: $N=8$). Cela amortit le coût du CNN de conditionnement, qui domine le temps d'exécution du chemin LLLite.
   • Sous-ensemble de Hooks : Le plein adaptateur de 108 hooks est réduit à un sous-ensemble de 38 hooks situés uniquement dans les down_blocks. Cela réduit la charge de travail de l'encodeur de conditionnement d'environ 65 % tout en récupérant la netteté spatiale perdue lors de l'utilisation des 108 hooks complets (qui tendent à produire un artefact de "violet lissé").
   • Flux Asynchrone : Le calcul du flux optique de Farneback est threadé et lancé de manière asynchrone pendant le pré-chargement (prefetch) pour chevaucher le prochain créneau du flux latéral.

Contributions Clés

• Architecture Système : Une nouvelle stratégie de pipelining asymétrique qui traite l'encodeur MLLM comme une charge de travail distincte et concurrente pour surmonter le goulot d'étranglement inversé dans les régimes SDD-MTE.
• Optimisation Compilateur : Une implémentation de ControlNet-LLLite refactorisée compatible avec torch.compile, permettant l'exécution de graphes fusionnés pour les adaptateurs temporels.
• Mécanismes d'Efficacité : Une combinaison d'amortissement du TE par lots, de rafraîchissement périodique du conditionnement et de sélection de sous-ensemble de hooks qui réduisent collectivement la latence par image sans dégradation significative de la qualité.
• Validation Empirique : Évaluation complète sur du matériel grand public (RTX 3090 Ti, 4090, 5090) démontrant un débit soutenu et une cohérence temporelle à travers des scénarios in-domain et cross-dataset.

Résultats
Évalué sur une seule RTX 3090 Ti à une résolution de 512×512 avec une taille de lot $B=8$ et une inférence en 1 étape ($K=1$) :

• Débit : Le pipeline maintient 27,4 FPS (latence p50 ~0,5s) et 29,6 FPS à $B=16$ (latence p50 ~1,0s) sur une exécution de 480 images.
• Échelle Matérielle : Les performances montent à 54,9 FPS sur RTX 4090 et 74,1 FPS sur RTX 5090.
• Qualité : La configuration "champion" (sous-ensemble de hooks down_blocks + rafraîchissement périodique) atteint une erreur de déformation ($\epsilon_w$) de 18,34, soit une réduction de 20 % du scintillement par rapport à la ligne de base sans LLLite (22,97), tout en maintenant le détail spatial (score Sobel 4,74 contre 5,10 pour la ligne de base).
• Généralisation : L'adaptateur temporel publié se généralise bien aux 19 séquences DAVIS-2017 non utilisées et 15 clips provenant de 7 sources non-DAVIS, avec des métriques de performance dans la marge de bruit in-clip du champion.
• Généralisation des Prompts : Le modèle gère bien les prompts de style inédits (ex: Van Gogh), bien que les performances se dégradent pour les styles avec des textures haute fréquence hors du manifold d'entraînement (ex: demi-teintes de bande dessinée).

Signification et Revendications
L'article se positionne comme une étude de systèmes plutôt qu'une revendication de supériorité de benchmark. Il stipule explicitement qu'il ne prétend pas être supérieur aux systèmes de classe StreamDiffusion (qui utilisent des encodeurs CLIP) mais situe ses chiffres par rapport à une réexécution du même stack de StreamDiffusion pour donner du contexte.

La principale importance réside dans la démonstration que le streaming à taux vidéo est réalisable sur un seul GPU grand public, même lorsque l'encodeur de texte est un MLLM lourd, à condition que l'architecture du système soit redessinée pour accommoder le goulot d'étranglement inversé. Les auteurs soulignent que les techniques standard d'accélération de débruiteur sont insuffisantes pour ce régime et que les mécanismes proposés (pipelining asymétrique, adaptateurs compatibles avec la compilation et conditionnement amorti) sont nécessaires pour débloquer les performances en temps réel.

L'article sert également de guide pour les praticiens en documentant les résultats négatifs (ex: mélange de latents naïf, échecs FP16 TensorRT avec les sorties MLLM, et les pièges de l'utilisation de l'erreur de déformation seule comme métrique pour les artefacts de lissage) afin d'éviter des impasses d'ingénierie communes dans ce domaine spécifique.