Identity-Preserving Text-to-Video Generation via Agentic Enhancement and Semantic Repair
Le papier propose l'Agentic Enhancement and Semantic Repair (AESR), un cadre léger qui combine un module d'amélioration de prompt agentique et un module de réparation sémantique visuelle piloté par un VLM pour surmonter la dérive d'identité et les échecs de suivi d'instructions dans les modèles de texte-vidéo à code fermé, remportant la première place du ACM MM 2026 Identity-Preserving Video Generation Challenge.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde en évolution rapide de l'intelligence artificielle, un défi spécifique est apparu : apprendre aux machines à créer des images animées qui suivent non seulement une histoire écrite, mais qui maintiennent également l'apparence exacte d'une personne spécifique tout au long du clip. Imaginez demander à un ordinateur de générer une vidéo d'un ami marchant dans un marché animé, puis s'arrêtant pour acheter une fleur, tout en veillant à ce que le visage dans la vidéo soit indubitablement celui de votre ami. Bien que les outils modernes puissent déjà produire des mouvements et des éclairages d'un réalisme saisissant, ils peinent souvent avec cette cohérence. Le personnage peut commencer comme étant votre ami, puis se transformer lentement en quelqu'un d'autre, ou l'ordinateur peut simplement oublier d'inclure la fleur que vous avez demandée, surtout lorsque les instructions deviennent complexes. Il s'agit d'un obstacle important car les générateurs de vidéos les plus puissants disponibles aujourd'hui sont des « boîtes noires » — des systèmes fermés dont les rouages internes sont cachés, ce qui rend impossible pour les chercheurs de simplement modifier le code pour corriger ces erreurs.
Une équipe de chercheurs de l'Université de Pékin a développé une nouvelle approche pour résoudre ce problème sans avoir besoin d'ouvrir la boîte noire. Au lieu d'essayer de modifier le générateur de vidéo lui-même, ils ont construit un assistant intelligent qui travaille autour de lui. Ce système, qu'ils appellent AESR, agit comme un directeur et un monteur hautement qualifiés qui préparent les instructions avant le tournage et corrigent les erreurs après la première prise. Les chercheurs ont constaté qu'en affinant soigneusement les invites textuelles (prompts) données à l'ordinateur, puis en utilisant des références visuelles pour corriger des erreurs spécifiques dans la vidéo générée, ils pouvaient considérablement améliorer les résultats. Dans une grande compétition internationale pour cette technologie, leur système s'est classé premier, prouvant que cette méthode de guidage et de réparation du résultat est un moyen pratique et puissant de créer des vidéos où l'identité du sujet reste fidèle à la réalité.
Le cœur de leur solution réside dans deux étapes distinctes qui se produisent avant et après la création de la vidéo. Premièrement, l'équipe a réalisé que la façon dont un humain écrit une invite importe énormément, mais que différents générateurs de vidéo préfèrent différents styles d'écriture. Pour gérer cela, ils ont créé un « manuel de procédures » numérique qui apprend de l'expérience. Ce manuel commence par les instructions officielles fournies par les créateurs du générateur de vidéo, qui indiquent au système comment il aime recevoir les commandes. Cependant, les chercheurs sont allés plus loin en ajoutant une couche d'apprentissage à partir d'exemples réels. Ils ont mis en place une boucle automatisée où le système génère une vidéo, vérifie les erreurs, puis met à jour son manuel avec ce qu'il a appris. Si le système remarque que le générateur de vidéo oublie souvent d'inclure un type de mouvement spécifique ou ne décrit pas clairement un objet, le manuel enregistre cet échec et la correction pour la prochaine fois. Au fil du temps, cette collection de connaissances grandit, permettant au système de concevoir de meilleures instructions pour des scènes complexes, telles qu'une personne interagissant avec plusieurs objets ou exécutant une séquence d'actions.
Même avec de meilleures instructions, la première version d'une vidéo contient souvent de petites erreurs que le texte seul ne peut pas corriger. Un ordinateur peut comprendre les mots « une femme regardant la caméra », mais la vidéo résultante pourrait la montrer regardant ailleurs, ou elle pourrait omettre un détail crucial comme un chapeau spécifique qu'elle est censée porter. Pour remédier à cela, les chercheurs ont introduit une seconde étape appelée réparation sémantique visuelle. Dans cette phase, un système d'intelligence artificielle distinct agit comme un critique, regardant la vidéo de travail et la comparant à la demande originale. Lorsqu'il repère un problème, tel qu'un objet manquant ou un visage qui a légèrement dévié, il ne se contente pas d'écrire une nouvelle description. Au lieu de cela, il sélectionne une image spécifique de la vidéo et l'édite pour montrer exactement ce qui devrait s'y trouver. Cette image éditée sert de cible visuelle concrète. Le système injecte ensuite cette image corrigée, ainsi que la vidéo originale et un nouvel ensemble d'instructions, dans un outil de montage vidéo. Cet outil utilise l'image éditée comme guide pour corriger le segment spécifique de la vidéo, garantissant que le résultat final correspond à l'intention visuelle de l'invite.
Pour garantir le meilleur résultat possible, les chercheurs ne se sont pas appuyés sur une seule tentative. Ils ont généré plusieurs versions de chaque vidéo en utilisant différentes combinaisons de leurs instructions améliorées et de leurs techniques de réparation. Ils ont ensuite utilisé une stratégie de sélection pour comparer ces candidats, en pesant des facteurs tels que la correspondance de la vidéo avec le texte, la constance du visage et la fluidité globale du mouvement. En choisissant la meilleure version unique parmi ce groupe, ils ont maximisé la qualité du produit final. Testé contre un ensemble de 200 exemples difficiles impliquant la préservation de l'identité faciale, leur système a surpassé les méthodes existantes. Les résultats ont montré que leur approche a réussi à réduire les erreurs où le visage du sujet changeait ou là où des éléments visuels clés disparaissaient. Le succès de l'équipe a été confirmé lors du défi ACM MM 2026 Identity-Preserving Video Generation, où leur système, nommé MIPL_Video, a décroché la première place dans la catégorie de l'identité faciale.
Ce travail démontre que même lorsque les outils les plus puissants sont fermés à une modification directe, il existe des moyens efficaces de les guider vers de meilleurs résultats. En combinant un système d'apprentissage qui améliore les instructions avec un éditeur visuel qui corrige des erreurs spécifiques, les chercheurs ont créé un flux de travail qui est à la fois léger et hautement efficace. Leurs conclusions suggèrent que l'avenir de la génération de vidéos de haute qualité préservant l'identité ne dépendra peut-être pas de la construction de modèles plus grands et plus complexes, mais plutôt du développement de manières plus intelligentes d'interagir avec les modèles que nous possédons déjà. La capacité de maintenir la ressemblance d'une personne tout en suivant des histoires complexes et dynamiques ouvre de nouvelles possibilités pour la narration et la création de contenu, prouvant qu'une préparation minutieuse et une correction ciblée peuvent obtenir des résultats que la génération brute seule ne peut atteindre.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.