💻 computer science

Keyframe-Anchored Identity Preservation for Sequential-Action Video Generation

Cet article propose un cadre de pipeline à trois étapes, sans entraînement, qui préserve l'identité du sujet dans la génération de vidéos d'actions séquentielles en réécrivant les invites pour les états terminaux, en générant des images clés par conditionnement conjoint sur l'identité de référence et les images précédentes, et en améliorant les segments intermédiaires grâce à un guidage multi-référence et une recherche de bruit pilotée par l'identité.

Auteurs originaux : Zhenjie Liu, Binyan Chen, Hao Chen, Tong Pan, Shangfei Wang

Publié 2026-07-21

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhenjie Liu, Binyan Chen, Hao Chen, Tong Pan, Shangfei Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un réalisateur essayant de filmer un film avec un acteur très spécial et têtu. Cet acteur est un personnage numérique créé par un programme informatique appelé « modèle de diffusion ». Considérez ce modèle comme un artiste magique et chaotique, incroyablement doué pour peindre des images basées sur vos descriptions, mais qui a une mémoire terrible. Si vous lui demandez de dessiner un « homme avec une barbe lisant un livre », il peut dessiner un homme parfait. Mais si vous lui demandez ensuite de dessiner le même homme debout en train de faire un signe de la main, il pourrait s'embrouiller. La barbe pourrait disparaître, le visage pourrait changer de forme, ou l'homme pourrait soudainement ressembler à une personne complètement différente. C'est le problème de la « dérive d'identité » (identity drift). Dans le monde de la génération de vidéo par IA, garder un personnage exactement identique pendant qu'il bouge et change d'actions, c'est comme essayer d'empêcher un flocon de neige de fondre en marchant avec lui sur un trottoir brûlant.

Imaginez maintenant que vous ne vouliez pas seulement qu'ils fassent une seule chose, mais que vous vouliez qu'ils jouent tout un scénario. D'abord, il lit un livre. Ensuite, il lève les yeux vers le ciel. Puis, il regarde de nouveau vers le bas. Faire cela en une seule rafale continue est un cauchemar pour l'IA car, plus la vidéo est longue, plus le visage du personnage a tendance à « dériver » et à changer. Cet article traite d'un défi spécifique où l'objectif est de générer une vidéo d'une personne spécifique exécutant une séquence d'actions différentes, tout en veillant à ce que la personne dans la vidéo ressemble exactement à la photo de référence avec laquelle vous avez commencé. Les chercheurs de l'Université de science et technologie de Chine ont décidé de ne pas essayer de filmer tout le film en une seule prise. Au lieu de cela, ils ont trouvé un moyen ingénieux de décomposer le film en scènes gérables, d'ancrer le visage du personnage à la fin de chaque scène, puis de recoudre les morceaux pour que l'acteur n'oublie jamais qui il est.

Le tour de magie en trois étapes

Les auteurs proposent un pipeline « sans entraînement » (training-free), ce qui est une façon élégante de dire qu'ils n'ont pas eu besoin de réapprendre à l'IA comment dessiner ; ils avaient simplement besoin de lui donner de meilleures instructions et un meilleur flux de travail. Ils appellent leur méthode « Préservation de l'identité par ancrage de keyframes » (Keyframe-Anchored Identity Preservation), ce qui semble compliqué mais est en fait assez logique. Pensez à cela comme à la construction d'un pont au-dessus d'une rivière. Au lieu d'essayer de poser toute la route d'un coup (ce qui pourrait s'effondrer), vous construisez des piliers solides et robustes (les keyframes/images clés) à des points spécifiques, puis vous remplissez la route entre eux.

Étape 1 : Le docteur du scénario (Polissage de prompt sensible à l'action)
D'abord, l'équipe a réalisé que les instructions données à l'IA étaient trop vagues. Les prompts originaux étaient comme un réalisateur criant : « OK, maintenant il lit, puis il lève la tête ! » à un artiste qui a besoin d'une image claire du résultat final de chaque action. L'IA se perdait sur le moment où arrêter de lire et comment lever la tête.

Pour corriger cela, les chercheurs ont utilisé un assistant IA intelligent (un grand modèle de langage ou LLM) pour réécrire le script. Au lieu de décrire l'action de lire, l'assistant a réécrit le prompt pour décrire l'état du personnage après la lecture. C'est la différence entre dire « L'homme tourne la tête » et « L'homme regarde maintenant vers la gauche ». En se concentrant sur l'« état terminal » (la pose finale) de chaque action, l'IA obtient une cible claire à atteindre. Cela garantit que lorsque l'IA génère la « keyframe » (le point d'ancrage), elle sait exactement à quoi le personnage doit ressembler à ce moment précis.

Étape 2 : La réaction en chaîne (Génération de keyframes préservant l'identité)
Vient ensuite le dessin effectif des points d'ancrage. Les chercheurs n'ont pas demandé à l'IA de dessiner toute la vidéo d'un coup. Au lieu de cela, ils lui ont demandé de dessiner une chaîne d'images fixes, les unes après les autres.

Pour dessiner la première image, ils ont montré à l'IA la photo de référence (la personne originale) et le premier prompt réécrit.
Pour dessiner la deuxième image, ils ont montré à l'IA la même photo de référence (pour garder le visage identique) ET la première image qu'ils venaient de créer (pour maintenir la continuité de la position du corps).
Ils ont répété cela pour chaque action du script.

C'est la partie « en chaîne ». En injectant l'image précédente dans l'étape suivante, l'IA sait comment bouger le corps naturellement sans perdre le lien avec le visage original. C'est comme un jeu de « téléphone arabe » où vous murmurez les instructions, mais au lieu que le message soit déformé, vous transmettez un croquis physique qui garantit que l'artiste suivant sache exactement où le précédent s'est arrêté. Cela sépare l'« identité » (le visage, qui reste le même) de la « pose » (le corps, qui change), résolvant ainsi le problème de la dérive.

Étape 3 : Le filet de sécurité (Amélioration de l'inférence sensible à l'identité)
Enfin, l'IA possède une série d'images fixes (les keyframes), mais elle doit remplir les mouvements entre elles pour créer une vidéo fluide. C'est là que la magie opère. Les chercheurs ont ajouté deux astuces spéciales au processus de génération de vidéo pour s'assurer que le personnage ne dérape pas pendant le mouvement.

Guidage multi-référence : Imaginez que vous essayez de dessiner un tableau pendant que quelqu'un vous murmure trois choses à l'oreille : la description textuelle, l'image précédente et la photo originale. L'IA écoute habituellement le texte et l'image précédente. Les chercheurs ont forcé l'IA à écouter très attentivement la photo originale. Ils ont ajusté les calculs mathématiques pour que le signal d'« identité » soit amplifié, rendant beaucoup plus difficile pour l'IA de changer accidentellement le visage du personnage tout en bougeant le corps.
Recherche de bruit (Noise Searching) : Lorsqu'une IA génère une vidéo, elle commence par un écran rempli de bruit statique (comme de la neige sur une télévision) et nettoie progressivement l'image pour la révéler. Habituellement, l'IA choisit simplement un patch de neige aléatoire pour commencer. Les chercheurs ont décidé d'être exigeants. Ils ont généré plusieurs patchs de « neige » différents et les ont testés rapidement pour voir lequel donnerait le visage le plus réussi. Ils ont choisi le vainqueur et l'ont utilisé comme point de départ. C'est comme tester différentes graines pour voir laquelle fera la plus belle fleur avant de planter tout le jardin.

Les résultats : Est-ce que ça a marché ?

L'équipe a testé sa méthode lors d'une compétition appelée IPVG26 (Track 2), où l'objectif était de générer des vidéos de personnes spécifiques exécutant des séquences d'actions. Ils n'ont pas seulement supposé ; ils ont mesuré leurs résultats par rapport aux autres équipes de haut niveau.

Leur approche s'est classée troisième sur le classement officiel. Bien qu'ils n'aient pas pris la première place, les résultats sont impressionnants, surtout dans les domaines qui comptent le plus : maintenir le visage reconnaissable (Préservation de l'Identité) et s'assurer que les actions se produisent au bon moment (Alignement Temporel).

Lorsqu'ils ont testé leur système, ils ont constaté que le « Guidage Multi-Référence » était le moteur principal. Lorsqu'ils ont supprimé cette fonctionnalité, le score de cohérence de l'identité a chuté de manière significative (de 0,4055 à 0,3520). Cela a prouvé que le fait de dire explicitement à l'IA de se concentrer sur la photo de référence était la clé pour empêcher le visage de dériver. La « Recherche de Bruit » a également aidé, mais l'apport était moindre.

Le papier compare également deux « backbones » (les moteurs de vidéo sous-jacents utilisés). Ils ont découvert qu'un modèle appelé LTX-2.3 est plus performant que le modèle Wan2.1-VACE sur presque toutes les métriques. Le modèle LTX-2.3 a obtenu un score global de 0,4971, contre 0,4818 pour l'autre modèle.

Ce que cela signifie

L'article ne prétend pas avoir résolu le problème de la génération de vidéo par IA pour toujours. Il ne dit pas que le personnage ne changera jamais, ni que la méthode fonctionne parfaitement pour tous les scénarios possibles. Au contraire, il suggère que décomposer une tâche vidéo complexe en étapes plus petites et ancrées est une méthode très efficace pour la gérer.

En traitant la vidéo comme une chaîne d'« états terminaux » (la fin de chaque action) plutôt que comme un flux continu, les chercheurs ont réussi à préserver l'identité du personnage même lorsque les actions étaient complexes et séquentielles. Ils ont démontré qu'il n'est pas toujours nécessaire de réentraîner l'IA de zéro ; parfois, il suffit de lui donner une meilleure carte, une ancre plus solide et un petit coup de pouce supplémentaire lorsqu'elle choisit son point de départ. Pour quiconque cherche à créer des histoires numériques avec des personnages cohérents, cette approche par « ancrage de keyframes » offre un moyen fiable et sans réentraînement de garder l'acteur dans son rôle, peu importe le nombre de scènes qu'il doit jouer.

Résumé Technique : Ancrage par Images Clés pour la Préservation de l'Identité dans la Génération de Vidéos à Actions Séquentielles

Définition du Problème

L'article traite du défi de la Génération de Vidéo Texte-vers-Vidéo avec Préservation d'Identité (IPVG) dans le contexte de la IPVG26 Challenge Track 2. Contrairement aux tâches IPVG traditionnelles qui reposent sur un seul prompt holistique, ce cadre nécessite de générer une vidéo basée sur :

Une image d'identité de référence ( $I_{ref}$ ).
Une description globale de la scène ( $P_{global}$ ).
Une séquence structurée temporellement de légendes d'actions horodatées $\{(s_i, e_i, c_i)\}_{i=1}^N$ , où chaque $c_i$ décrit une sous-action spécifique avec des temps de début et de fin.

La difficulté centrale réside dans le maintien de la reconnaissabilité du sujet (l'identité) tout en exécutant une séquence scriptée d'actions distinctes. Les générateurs de vidéos de bout en bout standards souffrent souvent de dérive d'apparence à mesure que le mouvement s'accumule et que les actions décrites changent, provoquant une perte de ressemblance du sujet au cours d'une séquence multi-actions.

Méthodologie

Les auteurs proposent un pipeline en trois étapes, sans entraînement (training-free), qui décompose la tâche de génération de vidéo en une chaîne d'images clés préservant l'identité, évitant ainsi les compromis spatio-temporels de l'optimisation conjointe.

1. Polissage de Prompt Sensible à l'Action (Action-Aware Prompt Polishment)

Les entrées textuelles brutes (description globale et légendes temporelles) sont souvent narratives et manquent de la précision spatiale requise pour les modèles de génération d'images.

Processus : Un LLM multimodal, spécifiquement Qwen3.6-27B, réécrit les entrées.
Première image : Le prompt global est réécrit en un prompt ( $\hat{P}_{global}$ ) qui ancre les attributs d'identité du sujet (forme du visage, carnation, etc.) et établit la scène, garantissant un moment d'ouverture plausible.
États terminaux : Chaque légende temporelle $c_i$ est réécrite en un prompt d'image finale ( $\hat{c}_i$ ). Crucialement, ces prompts décrivent l'état terminal de l'action (pose finale, position des mains, regard) plutôt que la progression du mouvement. Cela fournit des contraintes spatiales non ambiguës pour la génération de l'image clé suivante.

2. Génération d'Images Clés en Chaîne Préservant l'ID (ID-Preserving Chained Keyframe Generation)

Au lieu de générer la vidéo complète d'un coup, le système génère une séquence d'images clés $\{K_0, K_1, \dots, K_N\}$ , où chaque $K_i$ représente l'état terminal du $i$ -ème segment d'action.

Conditionnement en chaîne :
- $K_0$ est généré conditionné sur $I_{ref}$ et $\hat{P}_{global}$ .
- Les images clés suivantes $K_i$ $K_{i}$ sont générées conditionnées sur trois entrées :
  1. $I_{ref}$ : Fournit des caractéristiques d'identité invariantes dans le temps.
  2. $K_{i-1}$ : Fournit l'état visuel précédent (pose, orientation, disposition de la scène) pour assurer la continuité temporelle.
  3. $\hat{c}_i$ : Spécifie l'état terminal cible pour l'action actuelle.
Mécanisme : Cette conception découple l'apparence invariante dans le temps (provenant de $I_{ref}$ ) de la pose variable dans le temps (provenant de $K_{i-1}$ ), permettant au modèle de ne modifier que les aspects décrits dans le nouveau prompt tout en héritant du reste.

3. Amélioration de l'Inférence Sensible à l'ID (ID-Aware Inference Enhancement)

Une fois les images clés établies, les segments de vidéo entre elles sont synthétisés à l'aide d'un modèle de vidéo basé sur la diffusion (spécifiquement LTX-2.3 en mode interpolation d'images clés). Deux améliorations sans entraînement sont appliquées lors de l'inférence :

Guidage Multi-Référence : Étend le Classifier-Free Guidance (CFG) standard en ajoutant des termes de guidage spécifiques. La trajectoire d'échantillonnage est guidée par :
- $\Delta_{cfg}$ : Alignement textuel standard.
- $\Delta_{stg}$ : Guidage spatio-temporel (via la perturbation de l'attention) pour la cohérence temporelle.
- $\Delta_{mod}$ : Guidage de modalité qui amplifie explicitement l'influence des conditions visuelles (images clés limites) pour imposer la cohérence de l'identité.
Recherche de Bruit Sensible à l'ID (Identity-Driven Noise Searching) : Traite le bruit de diffusion initial $z_T$ comme une variable d'optimisation plutôt que comme un tirage aléatoire. Pour chaque segment, $K$ tenseurs de bruit candidats sont échantillonnés, et un court regard vers l'avant (lookahead) de débruitage est effectué. Le candidat présentant la récompense la plus élevée (similitude cosinus entre l'embedding facial du premier cadre décodé et $I_{ref}$ ) est sélectionné pour un débruitage complet.
Allocation de Longueur Variable : Les segments sont alloués en nombre de cadres proportionnellement à leur durée, arrondi pour satisfaire les contraintes du VAE ( $8k+1$ ).

Contributions Clés

Module de Polissage de Prompt Sensible à l'Action : Une méthode pour réécrire les légendes globales et temporelles en prompts d'images d'états terminaux, fournissant des cibles spatiales claires pour la synthèse d'images clés.
Génération d'Images Clés en Chaîne Préservant l'ID : Une stratégie de génération qui conditionne chaque image clé à la fois sur l'identité de référence et sur l'image clé précédente, séparant efficacement l'identité de la pose pour maintenir la reconnaissabilité et la continuité du mouvement.
Amélioration de l'Inférence Sensible à l'ID : Une étape sans entraînement intégrant le guidage multi-référence et la recherche de bruit sensible à l'identité pour renforcer la fidélité de l'identité lors de l'échantillonnage.
Décomposition par Ancrage d'Images Clés : Un changement de paradigme passant de la génération de bout en bout à l'interpolation entre des points terminaux ancrés par l'identité, répondant aux défis spécifiques des tâches d'actions séquentielles.

Résultats

La méthode proposée a été évaluée sur le jeu de test IPVG26 Track 2 (200 échantillons du dataset ReactID).

Performance sur le Leaderboard : La méthode s'est classée 3ème sur le classement officiel (Score : 2.9375), derrière USTC-CMI et WislabGDUT.
Comparaison de Backbone : Les auteurs ont comparé LTX-2.3 (mode interpolation d'images clés) à Wan2.1-VACE (mode première/dernière image). LTX-2.3 a surpassé Wan2.1-VACE sur tous les indicateurs, particulièrement en termes de préservation de l'identité et d'alignement, menant à sa sélection comme backbone final.
Études d'Ablation :
- La suppression du Guidage Multi-Référence a provoqué la chute la plus significative du score d'identité (de 0.4055 à 0.3520), confirmant son rôle de moteur principal de la cohérence du sujet.
- La suppression de la Recherche de Bruit a entraîné un déclin modéré mais constant des scores d'identité et globaux.
- Les deux améliorations ont amélioré les métriques d'identité sans affecter de manière significative la fluidité du mouvement ou la qualité de l'image.

Signification et Revendications

L'article affirme que la décomposition par ancrage d'images clés est une solution efficace pour le défi spécifique de la préservation de l'identité lors d'actions séquentielles. En découplant la disposition de l'identité invariante dans le temps du mouvement temporel, la méthode évite la dérive d'apparence commune aux générateurs de bout en bout. Les auteurs soulignent que leur approche est sans entraînement (training-free), ne nécessant aucun ajustement fin des modèles existants, tout en atteignant des performances compétitives sur un benchmark exigeant. Les résultats suggèrent que la séparation explicite de la génération des états terminaux (images clés) de l'interpolation du mouvement, combinée à un renforcement de l'identité au moment de l'inférence, est une stratégie viable pour la synthèse de vidéos multi-actions contrôlables.