Résumé Technique : SwiftI2V

Énoncé du Problème

La génération Image-to-Video (I2V) haute résolution vise à synthétiser des dynamiques temporelles réalistes tout en préservant strictement les détails d'apparence fins et la structure spatiale d'une image d'entrée haute résolution (par exemple, une résolution 2K). L'article identifie deux défis principaux dans ce domaine :

1. Mise à l'échelle computationnelle : Le nombre de tokens visuels croît de manière quadratique avec la résolution spatiale, rendant la génération basée sur l'attention dans les Transformers de Diffusion (DiT) prohibitivement coûteuse en termes de mémoire et de latence.
2. Fidélité sous conditionnement fort : Contrairement au Text-to-Video (T2V), l'I2V exige une adhérence stricte à l'identité et aux textures de l'image d'entrée. Les solutions existantes peinent à équilibrer efficacité et fidélité :
   • Modèles de bout en bout : Bien que capables d'une haute fidélité, ils nécessitent de traiter tous les tokens simultanément, entraînant une utilisation de la mémoire GPU ingérable et une latence élevée.
   • Basse Résolution + Super-Résolution Vidéo (LR+VSR) : Cette approche génère une vidéo basse résolution qu'elle upscale ensuite. Cependant, l'étape de super-résolution n'est souvent pas explicitement conditionnée par l'image d'entrée, ce qui conduit à des détails hallucinés et à une dérive par rapport aux structures locales de l'entrée.

Méthodologie

SwiftI2V propose un cadre efficace à deux étapes, conçu pour l'I2V en résolution 2K, qui découple la modélisation du mouvement de la synthèse des détails.

1. Cadre I2V Haute Résolution à Deux Étapes

Le cadre suit une conception découplée mouvement-détail :

• Étape I : Génération de Référence de Mouvement en Basse Résolution :
  • L'image d'entrée est sous-échantillonnée vers une basse résolution (360P).
  • Un backbone DiT à grande capacité (avec Low-Res LoRA) génère une vidéo basse résolution. Cette étape se concentre sur l'apprentissage d'un mouvement globalement cohérent et d'une structure grossière.
  • Pour accélérer l'inférence, un Few-Step LoRA est employé pour réduire les étapes de débruitage à quatre.
  • Construction de Référence Hybride : La sortie de l'Étape I est upscalée vers la résolution cible. La première image est remplacée par l'image d'entrée haute résolution originale pour servir de conditionnement strict, tandis que les images suivantes préservent la référence de mouvement. Cette vidéo hybride agit comme guide structurel pour l'Étape II.
• Étape II : Synthèse Vidéo Haute Résolution :
  • Cette étape se concentre sur la synthèse de détails haute fréquence conditionnée par la référence de mouvement de l'Étape I et l'apparence de l'image d'entrée.
  • Un backbone DiT plus petit est utilisé, car il n'a pas besoin de remodeler le mouvement à partir de zéro.
  • Un VAE 3D avec des facteurs de sous-échantillonnage plus élevés (16, 16, 4) est utilisé pour réduire le nombre de tokens.
  • Construction de l'Entrée : La séquence latente bruitée est ancrée en remplaçant son premier bloc par l'image d'entrée encodée ($z_x$). Cet ancrage est concaténé avec la vidéo de référence hybride encodée ($z_{ref}$) pour former l'entrée du DiT.

2. Génération Conditionnelle par Segments (CSG)

Pour répondre aux contraintes de budget de tokens de la génération 2K, SwiftI2V introduit la CSG :

• Segmentation : La séquence temporelle est partitionnée en segments bornés. Chaque segment traite un nombre fixe de blocs bruités ($M$) plus un court contexte de blocs voisins ($N$) provenant du segment précédent.
• Interaction Contextuelle Bidirectionnelle : Contrairement au streaming autorégressif (AR) standard où les blocs précédents sont des contextes fixes en lecture seule, la CSG emploie une attention bidirectionnelle dans la fenêtre. Le bloc ancre, les blocs voisins et les blocs bruités actuels s'attendent mutuellement. Cela permet au contexte de se réorganiser dynamiquement pour correspondre aux besoins de débruitage du segment actuel, atténuant l'accumulation d'erreurs et les artefacts de frontière tout en maintenant la fidélité à l'entrée.
• Streaming : Les segments sont traités séquentiellement, permettant une sortie en streaming et bornant l'empreinte mémoire par étape.

3. Entraînement de Transition d'Étape

Pour combler l'écart entre les entrées basses résolution propres utilisées lors de l'entraînement de l'Étape II et les sorties potentiellement riches en artefacts de l'Étape I lors de l'inférence, les auteurs proposent une stratégie de transition simple :

• Pendant l'entraînement, les entrées de l'Étape II sont synthétisées en prenant des vidéos basses résolution de vérité terrain, en ajoutant du bruit, et en les débruitant en utilisant le modèle de l'Étape I.
• Cela injecte des artefacts de style Étape I (par exemple, des distorsions VAE, des scintillements) dans les données d'entraînement, permettant à l'Étape II d'apprendre la robustesse face à ces incohérences d'interface spécifiques sans réintroduire la modélisation du mouvement.

Contributions Clés

1. Cadre SwiftI2V : Un cadre efficace qui atteint des performances I2V 2K compétitives tout en réduisant le temps GPU total de 202× par rapport aux bases de référence de bout en bout. Il permet une génération 2K pratique sur une seule GPU grand public (par exemple, RTX 4090).
2. Génération Conditionnelle par Segments (CSG) : Une stratégie novatrice qui borne le budget de tokens par étape pour la génération en streaming 2K. Elle utilise une interaction contextuelle bidirectionnelle pour prévenir l'accumulation d'erreurs autorégressives et maintenir la cohérence entre les segments.
3. Entraînement de Transition d'Étape : Une stratégie simple qui injecte des artefacts de l'Étape I dans les entrées d'entraînement de l'Étape II, réduisant considérablement l'écart entraînement-test dans les pipelines en cascade et améliorant la robustesse.

Résultats Expérimentaux

Évalué sur le benchmark VBench-I2V en résolution 2K (2560×1408, 81 images) :

• Performance : SwiftI2V obtient un score total de 6,4244, surpassant les bases de référence de bout en bout comme CineScale (6,3638) et les modèles efficaces comme LTX-2 (6,3579). Il obtient le score I2V Background le plus élevé (0,9975), indiquant une préservation supérieure des structures spécifiques à l'entrée par rapport aux pipelines basés sur la VSR.
• Efficacité :
  • Temps : SwiftI2V génère une vidéo en 111 secondes sur une seule GPU NVIDIA H800. En revanche, CineScale nécessite 5600 secondes sur 4 GPU. Cela représente une réduction de 202× du temps GPU total.
  • Mémoire : SwiftI2V maintient une utilisation de mémoire de pointe de 33,5 Go (survenant dans l'Étape I), l'Étape II atteignant un pic de seulement 20,8 Go. Cela permet un déploiement sur des GPU grand public (par exemple, RTX 4090 avec 24 Go de VRAM) avec déchargement de mémoire.
• Études d'ablation : Le retrait de la CSG entraîne une utilisation mémoire plus élevée et un manque de capacité de streaming. Le retrait de l'interaction bidirectionnelle provoque une baisse de fidélité et une accumulation accrue d'erreurs. Le retrait de l'entraînement de transition d'étape résulte en des artefacts persistants dans la sortie finale.

Importance et Revendications

L'article revendique que SwiftI2V résout avec succès le dilemme efficacité-fidélité dans l'I2V haute résolution. En découplant la génération de mouvement (Étape I) du raffinement des détails (Étape II) et en employant la CSG, la méthode évite les coûts prohibitifs des modèles haute résolution de bout en bout.

Les auteurs soulignent que leur approche rend la génération I2V 2K pratique accessible sur des GPU grand public uniques, abaissant la barrière matérielle pour la synthèse vidéo de haute qualité. Le paradigme proposé basé sur les segments est présenté comme une direction prometteuse pour la vidéo générative évolutive, longue durée et interactive, offrant un équilibre entre la faisabilité computationnelle et l'adhérence stricte à la fidélité de l'image d'entrée. L'article note que, bien qu'il améliore substantiellement l'efficacité, il n'atteint pas encore une synthèse strictement temps réel, identifiant la compression supplémentaire des modèles et l'inférence adaptée au matériel comme des directions futures.