💻 computer science

FlowLong: Inference-time Long Video Generation via Manifold-constrained Tweedie Matching

FlowLong est une méthode d'inférence sans entraînement et indépendante de l'architecture qui génère des vidéos longues en fusionnant des fenêtres glissantes se chevauchant par l'intermédiaire d'un appariement de Tweedie contraint par une variété et d'un échantillonnage stochastique de phase précoce afin d'assurer la cohérence temporelle et la fidélité visuelle sans entraînement supplémentaire du modèle.

Auteurs originaux : Jangho Park, Geon Yeong Park, Gihyun Kwon, Jong Chul Ye

Publié 2026-05-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jangho Park, Geon Yeong Park, Gihyun Kwon, Jong Chul Ye

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste très talentueux capable de dessiner des scènes magnifiques en haute définition, mais qui suit une règle stricte : il ne peut travailler que sur une seule toile de la taille d'une carte postale à la fois. Si vous lui demandez de dessiner un film entier, il se fatigue, le style change, ou les personnages commencent à répéter les mêmes mouvements encore et encore.

C'est le problème des générateurs de vidéo actuels basés sur l'IA. Ils sont excellents pour créer de courts clips (comme une carte postale), mais lorsque vous essayez de réaliser un long film, la qualité se dégrade, l'intrigue dérive, ou le mouvement devient robotique et répétitif.

FlowLong est un nouveau « réalisateur » qui aide ces artistes à créer de longs films sans avoir besoin de les réentraîner ni de modifier leur style. Il y parvient grâce à deux astuces ingénieuses : Le Fondu de Chevauchement et Le Nouveau Départ.

1. Le Fondu de Chevauchement (Appariement de Tweedie)

Imaginez que vous voulez peindre une longue fresque murale, mais que votre artiste ne peut peindre qu'une section de 10 pieds à la fois.

L'Ancienne Méthode : Vous demandez à l'artiste de peindre les 10 premiers pieds, puis de déplacer la toile et de peindre les 10 pieds suivants. Le problème ? La fin de la première section peut sembler légèrement différente du début de la seconde. Les couleurs peuvent changer, ou le bras du personnage peut se trouver dans une position différente.
La Méthode FlowLong : Vous demandez à l'artiste de peindre les 10 premiers pieds, mais aussi de peindre les 10 pieds suivants en même temps, en veillant à ce que les 2 derniers pieds de la première section et les 2 premiers pieds de la seconde section se chevauchent.
La Magie : FlowLong prend la version la plus « nette » de l'image provenant des deux sections qui se chevauchent et les fusionne parfaitement, comme un fondu enchaîné seamless dans un film. Cela garantit que la transition entre les deux sections est fluide et cohérente. Cela force les deux peintures séparées à s'accorder sur l'apparence de la partie partagée.

2. Le Nouveau Départ (Échantillonnage Stochastique de la Phase Précoce)

Voici la partie délicate : même si vous fusionnez parfaitement les chevauchements, l'artiste peut encore se retrouver « bloqué » dans une routine. S'il commence la seconde section avec une idée légèrement différente, son esprit peut dériver vers son chemin original et séparé, ce qui fait que le film finit par sembler disjoint plus tard.

Le Problème : Pensez-y comme deux randonneurs partant sur des sentiers différents. Même s'ils se rencontrent sur un pont (le chevauchement), ils peuvent immédiatement retourner sur leurs propres sentiers séparés à cause de « l'inertie ».
La Solution FlowLong : Au tout début du processus (lorsque l'image n'est encore qu'un nuage flou de bruit), FlowLong donne à l'artiste une légère « secousse ». Il injecte un peu de fraîcheur aléatoire (bruit) dans le mélange.
Le Résultat : Cette secousse brise l'habitude des randonneurs de s'en tenir à leurs anciens sentiers. Elle force les deux sections séparées à se mélanger et à interagir tant qu'elles sont encore floues. Une fois qu'elles se sont accordées sur la direction générale, FlowLong arrête de les secouer et les laisse avancer de manière déterministe (fluide) jusqu'à la ligne d'arrivée. Cela garantit que tout le film reste sur la même voie sans perdre les détails nets et de haute qualité.

Pourquoi Cela Compte

Aucun Réentraînement Nécessaire : Vous n'avez pas besoin d'enseigner de nouvelles astuces à l'artiste. Vous lui donnez simplement un nouvel ensemble d'instructions sur la façon d'organiser son travail. Cela fonctionne avec n'importe quel modèle d'IA vidéo, prêt à l'emploi.
Polyvalent : Il ne fonctionne pas seulement pour la vidéo. L'article montre qu'il peut également :
- Générer vidéo et audio simultanément (comme un film avec une bande-son).
- Transformer du texte en mondes 3D (créer une scène 3D à partir d'une description).
Meilleure Qualité : Contrairement à d'autres méthodes qui allongent les vidéos mais les remplissent de boucles répétitives ou d'erreurs de dérive, FlowLong crée des vidéos longues qui restent cohérentes, diversifiées et de haute qualité.

En Résumé

FlowLong est comme un gestionnaire de production intelligent pour les artistes de l'IA. Au lieu de les laisser lutter pour dessiner un long film seuls, il divise le travail en morceaux qui se chevauchent, fusionne parfaitement les bords et leur donne une petite pichenette au départ pour s'assurer qu'ils restent tous sur la même longueur d'onde. Le résultat est une vidéo longue, cohérente et de haute qualité générée sans avoir besoin de réentraîner l'IA sous-jacente.

Résumé Technique : FlowLong

Énoncé du Problème

L'extension de l'horizon de génération des modèles de diffusion vidéo au-delà de leur durée d'entraînement native demeure un défi fondamental. Les modèles de diffusion vidéo actuels, généralement entraînés sur de courts clips en raison de la pénurie de données, subissent une dégradation sévère de la qualité lorsqu'ils sont appliqués à des séquences plus longues. Les solutions existantes se divisent en deux catégories, toutes deux présentant des limitations significatives :

Extensions bidirectionnelles sans entraînement : Des méthodes comme FIFO-Diffusion, RIFLEx et UltraViCo étendent des modèles pré-entraînés sans entraînement supplémentaire, mais reposent sur des modifications spécifiques à l'architecture. Elles souffrent d'artefacts visuels cumulatifs et d'une dégradation de la cohérence à mesure que la durée de la vidéo augmente.
Approches autorégressives : Des méthodes comme CausVid et Self-Forcing génèrent des vidéos séquentiellement. Bien qu'efficaces, elles sont sujettes au biais d'exposition et à la dérive temporelle en raison de la réutilisation des caches KV, conduisant souvent à des motifs de mouvement répétitifs et à une accumulation d'erreurs au fil du temps. De plus, elles nécessitent généralement une distillation à partir d'un modèle enseignant bidirectionnel, limitant leur applicabilité à de nouvelles architectures (par exemple, les modèles audio-vidéo conjoints).

Méthodologie

Les auteurs proposent FlowLong, un nouveau cadre d'inférence qui génère des vidéos longues en harmonisant plusieurs segments vidéo courts se chevauchant, sans aucun entraînement supplémentaire ni modification architecturale. La méthode s'appuie sur la vision géométrique des modèles génératifs basés sur le flux et traite la génération de vidéos longues comme un problème inverse.

Le cadre fonctionne grâce à deux mécanismes principaux :

1. Correspondance de Tweedie

Pour assurer la cohérence temporelle entre les segments vidéo adjacents, FlowLong impose une contrainte de variété sur les régions de chevauchement.

Contrainte de chevauchement : Les segments adjacents $x_k$ et $x_{k+1}$ partagent un chevauchement de $O$ images. La méthode exige que les dernières $O$ images du segment $k$ coïncident avec les premières $O$ images du segment $k+1$ .
Perte de guidage : Une perte de guidage est définie sur la variété des données propres pour assouplir cette contrainte. Elle mesure l'écart entre l'estimation débruitée du segment courant et l'échantillon propre prédit du segment adjacent dans la région de chevauchement.
Correction de gradient : Au cours du processus d'échantillonnage inverse, cette perte est intégrée comme une correction de gradient en une étape sur l'estimation débruitée. Cela aboutit à une mise à jour sous forme fermée appelée correspondance de Tweedie, qui interpole les échantillons propres prédits des segments adjacents dans la région de chevauchement. Cela assure des transitions fluides et impose les contraintes de variété sans modifier le modèle de base.

2. Échantillonnage stochastique en phase précoce

Alors que la correspondance de Tweedie aligne les segments, l'échantillonnage déterministe par équation différentielle ordinaire (ODE) peut entraîner une réversion des trajectoires vers leurs chemins divergents originaux en raison de l'"inertie" provenant d'initialisations de bruit indépendantes.

Échantillonnage hybride : Pour briser cette inertie, la méthode introduit un bruit stochastique durant la phase précoce, à fort bruit, de l'échantillonnage (où $t$ est grand). Cela perturbe l'état après chaque correction de correspondance de Tweedie, remixant efficacement les trajectoires et facilitant le mélange inter-segments.
Transition vers ODE : Après la phase stochastique précoce, la méthode passe à un échantillonnage ODE déterministe. Cela préserve la fidélité visuelle fine tout en maintenant la cohérence temporelle établie durant la phase stochastique.

Généralisabilité

Le cadre est agnostique au modèle et s'applique à tout modèle basé sur le flux générant des fenêtres de taille fixe. Il a été démontré sur :

Texte vers Vidéo : Extension de modèles comme Wan 2.1 et LTX-2.
Génération Audio-Vidéo Conjointe : Extension de LTX-2 en appliquant la correspondance de Tweedie et l'échantillonnage stochastique simultanément aux latents vidéo et audio.
Texte vers 3DGS : Extension de VIST3A (qui combine Wan 2.1 avec AnySplat) pour générer des scènes de Splat Gaussien 3D plus longues à partir de texte.

Contributions Clés

Cadre FlowLong : Une solution sans entraînement et agnostique à l'architecture qui étend les modèles de diffusion basés sur le flux pré-entraînés au-delà de leur horizon natif purement au moment de l'inférence.
Correspondance de Tweedie : Une technique qui impose des contraintes de variété et une cohérence temporelle en mélangeant les échantillons propres prédits à travers les segments se chevauchant.
Échantillonnage stochastique en phase précoce : Une stratégie qui brise l'inertie de trajectoire par fenêtre en injectant du bruit dans le régime à fort bruit avant de passer à un échantillonnage ODE déterministe.
Polyvalence : La méthode est validée sur la génération texte-vers-vidéo, la génération audio-vidéo conjointe et la génération texte-vers-3DGS, surpassant les références sans ajustement fin.

Résultats Expérimentaux

Les auteurs ont évalué FlowLong sur des tâches de génération de vidéos de 30 et 60 secondes en utilisant le benchmark VBench (couvrant la qualité esthétique, la fluidité du mouvement, le scintillement temporel, etc.) et la génération texte-vers-3DGS.

Génération Vidéo : FlowLong a constamment surpassé les références bidirectionnelles sans entraînement (RIFLEx, UltraViCo) et les références autorégressives (CausVid, Self-Forcing, LongLive).
- Il a atteint une Degré de Dynamisme et une Fluidité du Mouvement supérieurs, évitant les motifs de mouvement répétitifs courants dans les modèles autorégressifs.
- Il a éliminé la dérive d'erreur et la saturation des pixels observées dans d'autres méthodes à mesure que la durée de la vidéo augmentait.
- Il a pris en charge la génération multi-plans avec des invites globales et locales, maintenant une cohérence sémantique à travers les transitions de scène.
Texte vers 3DGS : Appliqué à VIST3A, FlowLong a généré 1,64 fois plus de Gaussiennes 3D par scène que la référence. Les scènes 3D générées ont présenté une plus grande diversité de points de vue et des scores de confiance géométrique plus élevés (le logit moyen de confiance est passé de 26,27 à 41,52).
Études d'ablation : Les expériences ont confirmé que la combinaison de la correspondance de Tweedie et de l'échantillonnage stochastique en phase précoce offre le meilleur équilibre entre cohérence temporelle et qualité visuelle. L'échantillonnage ODE complet manquait de cohérence, tandis que l'échantillonnage SDE complet dégradait la qualité visuelle.

Importance et Revendications

L'article revendique que FlowLong fournit un cadre polyvalent, plug-and-play pour extrapoler l'horizon génératif de tout modèle basé sur le flux. Son importance principale réside dans sa capacité à :

Générer des vidéos plusieurs fois plus longues que la durée de fenêtre native sans aucun entraînement supplémentaire ni modification architecturale.
Surmonter le biais d'exposition et la répétition de mouvement inhérents aux approches autorégressives en évitant la réutilisation des caches KV.
S'étendre de manière transparente à des tâches complexes comme la génération audio-vidéo conjointe et la génération de scènes 3D, où les méthodes existantes peinent en raison des dépendances architecturales.

Les auteurs reconnaissent une limitation : la contrainte de cohérence basée sur le chevauchement est intrinsèquement locale, ce qui peut entraver la cohérence sémantique globale dans des vidéos extrêmement longues, un défi qu'ils identifient pour un travail futur.