💻 computer science

UnityShots: Memory-Driven Multi-Shot Audio-Video Generation with Boundary-Aware Gating

UnityShots est un système de génération audio-vidéo multi-séquences piloté par la mémoire et basé sur LTX-2.3 qui assure la cohérence entre les séquences grâce à un mécanisme de porte sensible aux limites pour une mémoire visuelle de taille fixe et des jetons de locuteur de référence pour l'audio, surpassant les bases de référence en libre accès sur un nouveau benchmark multiculturel.

Auteurs originaux : Jiehui Huang, Yuechen Zhang, Bin Xia, Jiahao Wang, Xu He, Zhenchao Tang, Meng Chu, Xin Tao, Pengfei Wan, Jiaya Jia

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiehui Huang, Yuechen Zhang, Bin Xia, Jiahao Wang, Xu He, Zhenchao Tang, Meng Chu, Xin Tao, Pengfei Wan, Jiaya Jia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigiez un film. Vous avez un scénario avec de nombreuses scènes différentes (plans). Le plus grand défi de la réalisation d'un film avec l'IA est de maintenir la cohérence de l'histoire. Si vous demandez à une IA de créer la Scène 1, puis la Scène 2, puis la Scène 3, elle oublie souvent à quoi ressemblait le personnage principal dans la Scène 1 lorsqu'elle arrive à la Scène 3. La couleur des cheveux du personnage peut changer, ses vêtements peuvent varier, ou sa voix peut sembler appartenir à une personne différente.

UnityShots est un nouveau système d'IA conçu pour résoudre ce problème d'« oubli ». Considérez-le comme un réalisateur extrêmement organisé qui ne perd jamais de vue l'histoire. Voici comment il fonctionne, en utilisant des analogies simples :

1. Le système à deux mémoires (l'« Ancre » et l'« Étape »)

La plupart des générateurs de vidéos par IA sont comme des personnes dotées d'une mémoire à très court terme. Ils ne se souviennent que des dernières secondes. UnityShots est différent car il transporte deux types spécifiques de mémoire dans sa poche arrière pour chaque nouvelle scène :

L'Ancre à Long Terme (LTM - Long-Term Memory) : Imaginez une photo du personnage principal épinglée au mur au tout début du film. Peu importe le nombre de scènes qui défilent, l'IA jette toujours un coup d'œil à cette photo pour se souvenir : « Voici qui est le personnage. » Cela garantit que le visage, les vêtements et l'identité du personnage restent les mêmes du premier plan jusqu'au dernier.
L'Étape à Court Terme (STM - Short-Term Memory) : Imaginez que l'IA garde également une note mentale de la façon dont la scène précédente s'est terminée exactement. Le personnage vient-il de se lever ? La caméra bougeait-elle vers la gauche ? Cette mémoire de l'« étape » aide la nouvelle scène à s'enchaîner naturellement avec l'ancienne, afin que le mouvement ne paraisse pas saccadé ou brisé.

2. Le « Gardien Intelligent »

Dans un film normal, un réalisateur décide quand passer d'une scène à l'autre en fonction de l'action ou de la musique. UnityShots possède un Gardien Intelligent qui effectue cela automatiquement.

Indices Visuels : Il surveille les changements visuels (comme une coupe soudaine ou un nouveau lieu).
Indices Audio : Il écoute le rythme de la musique ou le tempo de l'audio.
La Décision : Lorsque le Gardien voit un changement majeur (comme une coupe franche dans le scénario), il sait qu'il doit mettre à jour la mémoire de l'« Étape à Court Terme » pour correspondre à la nouvelle action. Mais, crucialement, il ne lâche jamais l'« Ancre à Long Terme ». Il sait que même si la scène change complètement, le personnage principal doit rester le même.

3. L'« Ancre Vocale »

Tout comme le visage du personnage doit rester cohérent, sa voix doit l'être aussi. UnityShots n'essaie pas de se souvenir de toute la piste audio du film. Au lieu de cela, il conserve une seule « carte d'identité vocale » pour chaque personnage. Chaque fois qu'une nouvelle scène commence, il présente cette carte à l'IA, en disant : « Rappelle-toi, c'est la même personne qui parle. » Cela empêche la voix du personnage de sembler être celle d'une personne différente dans le plan suivant.

4. Les « Strata » (L'étagère à compartiments)

Pour organiser toutes ces informations sans s'embrouiller, UnityShots utilise un système de classement spécial appelé Strata-RoPE.

Imaginez une étagère avec trois compartiments distincts et séparés :

Étagère du haut : Contient l'« Ancre à Long Terme » (le plan d'ouverture).
Étagère du milieu : Contient l'« Étape à Court Terme » (le passé immédiat).
Étagère du bas : Contient la « Scène Actuelle » (ce qui est en train d'être créé).

Parce que ces étagères sont physiquement séparées, l'IA ne mélange jamais les détails anciens du personnage avec les détails de la nouvelle scène. Elle sait exactement quelle étagère consulter pour quelle information.

5. Le Résultat : Un Film Cohérent

Le papier a testé ce système sur un « benchmark multiculturel » (une collection de 200 histoires courtes avec des personnages issus de six contextes culturels différents et de nombreuses langues).

Les anciennes méthodes : Résultaient souvent en une « dérive », où le personnage changeait d'apparence ou la voix changeait de ton au milieu de l'histoire.
UnityShots : A réussi à maintenir les personnages identiques en apparence et en voix à travers de multiples coupes, même dans des séquences longues. Il a obtenu de meilleurs résultats que les autres outils open-source et a égalé la qualité des meilleurs systèmes commerciaux fermés, avec la capacité supplémentaire de gérer l'audio et la vidéo ensemble de manière fluide.

En résumé : UnityShots est comme un réalisateur qui possède une photo permanente des acteurs sur le mur (Mémoire à Long Terme), un bloc-notes de la dernière action (Mémoire à Court Terme) et un règlement strict sur la façon de changer de scène (le Gardien). Cela lui permet de générer des vidéos de longue durée, composées de plusieurs scènes, où l'histoire, les personnages et les voix restent cohérents du début à la fin.

Résumé Technique : UnityShots

Énoncé du Problème

La génération de séquences audio-vidéo cohérentes multi-plans nécessite de maintenir l'apparence du sujet, le contexte de la scène et l'identité du locuteur à travers les limites des plans. Les approches existantes souffrent de limitations structurelles :

Les méthodes de bout en bout sont entraînées sur des séquences de longueur fixe, ce qui limite leur extensibilité pour la narration longue durée en raison des contraintes de mémoire GPU.
Les méthodes plan par plan reposent souvent sur des fenêtres glissantes ou des banques de clés qui croissent linéairement avec la longueur de la séquence, entraînant une dérive d'identité lorsque la fenêtre de conditionnement dépasse le plan d'ouverture.
Les méthodes orchestrées par des agents utilisent des planificateurs LLM pour enchaîner des générateurs pré-entraînés, mais les modèles sous-jacents manquent d'un entraînement natif pour la cohérence inter-plans, rendant la propagation du signal difficile.

De plus, les conceptions actuelles traitent la mémoire comme une fenêtre de contexte monolithique, échouant à distinguer les ancres narratives à long terme (le plan d'ouverture) de la continuité locale à court terme (la queue immédiate précédente). De plus, aucun modèle existant n'utilise conjointement les signaux de bordure visuels et audio pour contrôler dynamiquement les mises à jour de la mémoire lors des coupures de plans.

Méthodologie

UnityShots est un système de génération audio-vidéo multi-plans piloté par la mémoire, basé sur le transformateur de diffusion à double flux LTX-2.3 de 22B. Il introduit une banque de mémoire structurée et des mécanismes de porte conditionnés par les bordures pour résoudre la cohérence inter-plans.

1. Banque de Mémoire à Double Flux

Le système maintient des emplacements de mémoire de taille fixe pour les flux vidéo et audio :

Mémoire Vidéo : Composée de deux emplacements de taille fixe mis à jour à chaque coupure :
- Mémoire à Long Terme (LTM) : Ancrée au plan d'ouverture ( $P_\ell=2$ cadres latents). Elle préserve l'identité narrative globale. Sa contribution est régie par un coefficient basé sur des règles qui garantit que l'ancre n'est jamais totalement effacée, quelle que soit la force de la coupure.
- Mémoire à Court Terme (STM) : Détient la queue immédiatement précédente ( $P_v=4$ cadres latents). Elle capture la dynamique de mouvement locale et l'état de la scène. Son poids est affiné par un MLP adaptatif au contenu, conditionné par le contenu du plan sortant et entrant.
Mémoire Audio : Au lieu d'une fenêtre glissante, le système injecte un jeton de référence du locuteur fixe dérivé de l'audio de référence ( $A_{ref}$ ) à chaque plan. Cela préserve le timbre vocal sans maintenir une banque audio glissante.

2. Porte de Mémoire Conditionnée par la Bordure

Les mises à jour de la mémoire sont pilotées par un score de bordure composite ( $b_N$ ) qui fusionne les signaux visuels et audio :
$b_N = \tau_N \cdot (\alpha s_{vis} + \beta s_{aud} + \gamma s_{beat})$
Où $\tau_N$ est un a priori de type de coupure discrète (PREMIER, CONTINUATION, DUR), $s_{vis}$ est la probabilité de coupure visuelle, $s_{aud}$ est le changement d'énergie RMS, et $s_{beat}$ encode la position du battement.

Coefficients de Porte : Deux coefficients monotone croissants ( $g_{ltm}$ et $g_{stm}$ ) sont dérivés du score de bordure tronqué. Le coefficient LTM est strictement borné au-dessus de zéro pour éviter la perte de l'ancre, tandis que le coefficient STM s'adapte pour assurer la liaison entre les bordures.
Mécanisme de Mise à Jour : Les emplacements de mémoire sont mis à jour avant chaque passage de débruitage à l'aide d'une règle de mise à jour bornée qui empêche l'écrasement abrupt de l'ancre du plan d'ouverture.

3. Encodage de Position Strata-RoPE

Pour distinguer le plan actuel, la STM et la LTM sans jetons de profondeur supplémentaires, le système utilise le Strata-RoPE. L'axe RoPE temporel est partitionné en trois strates non chevauchantes :

Plan Actuel : $[0, T_v - 1]$
Bande STM : $[f_{lim} - P_v, f_{lim} - 1]$
Bande LTM : $[f_{lim} - 2P_v, f_{lim} - P_v - 1]$
Cette conception permet au noyau rotatif d'atténuer automatiquement les interactions entre strates en fonction de la distance.

4. Entraînement et Inférence

Entraînement : Le modèle est entraîné sur 146k clips cinématographiques et clips musicaux annotés en deux étapes. L'étape 1 affine le backbone sur des plans uniques. L'étape 2 introduit les emplacements de mémoire et la porte, en s'entraînant sur des blocs multi-plans ( $k \in [3, 9]$ ) sous conditionnement mixte (I2V, T2V, R2V).
Inférence : Pour chaque plan, la STM reçoit la queue du plan précédent, et la LTM est mise à jour via le mécanisme de porte. Le backbone débruite le plan actuel conditionné par l'identité de référence, les emplacements de mémoire et l'audio de référence.

Contributions Clés

Génération à Double Flux Pilotée par la Mémoire : Un backbone de bout en bout entraîné avec une banque de mémoire vidéo à deux emplacements (LTM/STM) et une ancre de référence du locuteur, permettant de contrôler la force de transition via un a priori de type de coupure appris via AdaLN.
Porte de Mémoire Conditionnée par la Bordure : Un mécanisme qui met à jour les banques de mémoire à chaque coupure en utilisant un signal de bordure visuel-audio conjoint, distinguant les ancres globales de la continuité locale.
Benchmark Multi-culturel Multi-plans : La publication de 200 séquences multi-plans couvrant six groupes culturels et dix langues, présentant des identités de référence, de l'audio et des étiquettes de transition par bordure.

Résultats

Évalué sur le benchmark multi-culturel dans les modes I2V, T2V et R2V, UnityShots démontre des performances supérieures :

Cohérence : Il domine les bases de référence open-source sur chaque métrique de cohérence inter-plans (Cohérence Narrative, Histoire, Consistance du Personnage). Par exemple, en mode I2V, il atteint +0,40 NC et +0,69 Story par rapport à la base de référence open-source la plus forte.
Comparaison avec le Close-Source : Bien que les systèmes fermés comme Kling affichent une haute fidélité par image, UnityShots égale ou dépasse ces derniers sur les axes multi-plans (NC, Histoire, Rythme) et surpasse significativement ces derniers en continuité audio (AES-A, CLAP) grâce à son ancre de locuteur.
Robustesse des Longues Séquences : Les études d'ablation confirment que les deux emplacements de mémoire sont nécessaires. Le système complet maintient la consistance de l'identité même dans des séquences de plus de 6 plans, là où les variantes à emplacement unique ou les bases de référence souffrent de dérive.
Évaluation Humaine : Une étude utilisateur avec 32 participants a montré qu'UnityShots recevait une préférence majoritaire pour la consistance de l'identité et la qualité globale contre toutes les bases de référence open-source.

Signification

L'article pose que traiter la mémoire comme une fenêtre monolithique est insuffisant pour la génération de longue durée. En séparant explicitement les ancres d'identité à long terme de la continuité à court terme et en contrôlant leurs mises à jour via des signaux de bordure audio-visuels conjoints, UnityShots fournit une solution scalable pour la génération cohérente de séquences multi-plans. Ce travail comble le fossé entre la qualité de génération d'un plan unique et les exigences structurelles de la narration cinématographique, offrant un système compatible avec les pipelines de production manuels et pilotés par des agents. La publication d'un benchmark diversifié et multi-culturel vise à faciliter la recherche ultérieure sur la diversité démographique et la cohérence inter-plans.