🤖 AI

ARGUS: Stacked Multi-View Identity Mosaic Injection for Subject-Preserving Video Generation

Le document présente Argus, un cadre basé sur Wan qui surmonte les limites des paradigmes de référence par points dans la génération de vidéos préservant le sujet en employant l'injection de mosaïque d'identité multi-vues empilées (SMII) et l'auto-supervision contrefactuelle pour atteindre une robustesse de pointe à travers divers mouvements, changements de points de vue et occlusions.

Auteurs originaux : Zijie Meng, Jiwen Liu, Yufei Liu, Chengzhuo Tong, Xiaoqiang Liu, Yuanxing Zhang, Yulong Xu, Pengfei Wan

Publié 2026-06-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zijie Meng, Jiwen Liu, Yufei Liu, Chengzhuo Tong, Xiaoqiang Liu, Yuanxing Zhang, Yulong Xu, Pengfei Wan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à dessiner une vidéo de votre meilleur ami, « Alex », à partir d'une seule photo et d'une description comme « Alex promenant un chien ».

L'ancienne méthode consistait à donner au robot un seul instantané d'Alex. Le robot regardait cette photo unique et tentait de la copier parfaitement. Mais voici le problème : si la photo montre Alex portant des lunettes de soleil par une journée ensoleillée, le robot pourrait s'embrouiller et penser que les « lunettes de soleil » et la « lumière du soleil » font partie du visage d'Alex. Si vous demandez au robot de montrer Alex en train de marcher sous la pluie ou de tourner la tête sur le côté, le robot échoue souvent. Soit il oublie à quoi ressemble Alex, soit il s'obstine à garder les lunettes de soleil même quand elles ne devraient pas être là. Il traite l'identité d'Alex comme un point unique et figé dans le temps.

Argus est un nouveau système qui change la donne. Au lieu de donner au robot une seule photo, Argus lui donne une banque de mémoire dynamique.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le « Directeur d'Identité » (Le bibliothécaire intelligent)

Avant que le robot ne commence à dessiner, un bibliothécaire IA intelligent (appelé MLLM Identity Director) parcourt tout un album de photos et de vidéos d'Alex.

Le Travail : Il ne se contente pas de choisir la « meilleure » photo. Il choisit un ensemble diversifié de moments : Alex qui sourit, Alex qui regarde de côté, Alex dans l'obscurité, Alex avec un chapeau, et Alex sans chapeau.
Le Résolveur de Conflits : Si l'utilisateur écrit « Alex en chemise rouge » mais que les photos montrent Alex en chemise bleue, le bibliothécaire sait qu'il doit donner la priorité au texte de l'utilisateur pour la couleur de la chemise, tout en conservant le visage des photos. Il agit comme un réalisateur sur un plateau de cinéma, s'assurant que le script (le prompt) et l'apparence de l'acteur (l'identité) ne s'affrontent pas.

2. L'« Injection de Mosaïque » (Le bloc de mémoire 3D)

C'est le tour de magie central, appelé SMII.

L'Ancienne Méthode : Imaginez essayer de coller une photo sur un flux vidéo. Cela ressemble souvent à un autocollant qui ne s'intègre pas tout à fait dans le flux.
La Méthode Argus : Le bibliothécaire dispose ces 9 moments sélectionnés en une mosaïque de grille 3x3 (comme un plateau de morpion).
Le Truc du « Voyage dans le Temps » : Au lieu de coller cette grille dans la vidéo, Argus la place avant le début de la vidéo dans la mémoire de l'ordinateur. Considérez cela comme une mémoire de « temps négatif ». Le processus de génération de la vidéo peut regarder en arrière vers cette grille pour se souvenir de l'apparence d'Alex, mais la grille elle-même n'est jamais mélangée ou « polluée » par la nouvelle vidéo en cours de création. C'est une mémoire en lecture seule que le robot peut consulter dès qu'il a besoin de se rappeler la forme du nez ou la couleur des yeux d'Alex, quel que soit le mouvement d'Alex dans la nouvelle scène.

3. L'« Entraînement Contrefactuel » (La salle de sport du « Et si ? »)

Habituellement, pour apprendre à un robot à reconnaître une personne, vous avez besoin de paires de vidéos : une où la personne est immobile, et une autre où la même personne court. Ces paires sont difficiles à trouver.

Le Secret d'Argus : Il n'a pas besoin de ces paires. À la place, il prend une vidéo d'Alex et crée des milliers de versions « fausses ». Il change aléatoirement l'arrière-plan, ajoute du bruit numérique, modifie l'éclairage, ou même ajoute numériquement un chapeau ou des lunettes.
La Leçon : En forçant le robot à reconnaître Alex malgré tous ces changements aléatoires, le robot apprend ce qui est véritablement « Alex » (la structure du visage) et ce qui n'est que du « bruit » (l'arrière-plan ou les accessoires). Il apprend à ignorer les distractions.

4. L'« Guidage Adaptatif » (Le bouton de volume)

Lorsque le robot dessine réellement la vidéo, il doit équilibrer deux choses : suivre les instructions textuelles et maintenir le visage ressemblant à celui d'Alex.

Le Problème : Si vous poussez trop fort le bouton « garder le visage », la vidéo devient rigide et figée. Si vous poussez trop peu, le visage change et devient quelqu'un d'autre.
La Solution : Argus utilise un bouton de volume intelligent appelé Adaptive Self-Likeness Guidance.
- Au début de la vidéo : Il se concentre sur la vue d'ensemble (la disposition, le mouvement).
- Au milieu de la vidéo : Il augmente le volume de l'identité pour s'assurer que le visage est correct.
- À la fin de la vidéo : Il le baisse légèrement pour laisser les textures paraître naturelles et non trop nettes ou plastiques.

Les Résultats

Le papier a testé Argus sur un « test de résistance » appelé HardID-Celeb, qui inclut des scénarios difficiles comme :

Grand Yaw (Lacet important) : La personne tourne la tête presque à 90 degrés (montrant son profil).
Occlusion : Le visage de la personne est partiellement couvert dans la première image.

Dans ces tests difficiles, Argus a surpassé toutes les autres méthodes. Alors que les autres systèmes perdaient l'identité de la personne lorsqu'elle tournait la tête ou lorsque son visage était couvert, Argus a maintenu la reconnaissance de la personne, préservant ses traits uniques même dans des angles et des éclairages difficiles.

En résumé : Argus cesse de traiter l'identité d'une personne comme une simple photo statique et commence à la traiter comme une mémoire vivante et respirante qui peut être consultée sous n'importe quel angle, à n'importe quel moment, sans être confondue par l'arrière-plan ou l'éclairage.

Résumé Technique : Argus – Injection de Mosaïque d'Identité Multi-Vues Empilées pour la Génération de Vidéo Préservant le Sujet

1. Définition du Problème

Le papier traite du défi de la génération de vidéo préservant le sujet, une tâche distincte de la synthèse standard de texte-vers-vidéo ou d'image-vers-vidéo. L'objectif n'est pas seulement de générer un mouvement réaliste, mais de garantir que le sujet généré reste la même personne spécifique à travers des variations complexes, notamment :

De grands changements de point de vue (ex. : grands angles de lacet/yaw).
Des changements d'expressions faciales et de micro-mouvements.
Des occlusions partielles et des variations d'échelle.
Des conflits entre les prompts textuels, les conditions de la première image et les références d'identité.

Les auteurs soutiennent que les méthodes existantes souffrent d'un « paradigme de référence ponctuelle ». Les approches actuelles conditionnent généralement la génération sur une seule image statique ou quelques images via des adaptateurs ou une concaténation de tokens. Cela réduit l'identité à une observation unique entrelacée avec des variables de nuisance (pose, éclairage, accessoires, arrière-plan). Par conséquent, les modèles soit sur-privilégient la référence (copiant des détails indésirables), soit la sous-privilégient (provoquant une dérive de l'identité). Le papier pose l'idée que l'identité humaine dans une vidéo est une distribution plutôt qu'un point, nécessissant l'exposition à des preuves diverses, dynamiques et randomisées par rapport aux nuisances.

2. Méthodologie

Argus est un cadre construit sur le modèle de fondation vidéo Wan 2.1 (un Transformer de Diffusion de 14 milliards de paramètres entraîné par Flow Matching). Il introduit trois composants clés pour passer d'une correspondance de référence statique à une mémoire d'identité dynamique :

A. Argus Identity Director (AID)

Une interface de perception utilisant un Modèle de Langage Multimodal (MLLM) gelé (Qwen3-VL).

Fonction : Il compile les preuves d'identité les plus informatives à partir d'une banque de références (images ou vidéos) et résout les conflits entre le prompt textuel, la première image et les références d'identité.
Stratégie de sélection : Au lieu de sélectionner les images ayant les scores les plus élevés, il optimise la diversité à travers des axes tels que le point de vue, l'expression, le mouvement, l'échelle et l'illumination, tout en minimisant la redondance et les risques de nuisance.
Sortie : Il produit un ensemble de neuf observations d'identité diverses (un mélange d'images statiques et de micro-clips), une légende d'identité consciente des conflits, et un vecteur de descripteur d'identité global ( $h_D$ ) qui conditionne le DiT aux côtés des embeddings de texte et de la première image.

B. Stacked Multi-View Identity Mosaic Injection (SMII)

Il s'agit du mécanisme d'injection central, conçu pour intégrer l'identité directement dans l'espace de tokens natif du modèle sans adaptateurs externes.

Construction de la mosaïque : Les observations d'identité sélectionnées sont disposées en une mosaïque empilée de $3 \times 3$ . Chaque cellule peut être une image statique ou un court micro-clip.
Tensorisation synchronisée par diffusion : Contrairement aux méthodes qui injectent des tokens de référence « propres », le SMII place la mosaïque d'identité sur le même chemin de Flow Matching que la vidéo cible. Le latent d'identité est bruité au pas de temps actuel ( $\sigma_t$ ) pour correspondre au niveau de bruit du latent de la vidéo. Cela garantit que le flux d'identité s'aligne avec le prior de caractéristiques appris par l'embedding de patch de Wan.
Ancrage positionnel de temps négatif : Les tokens d'identité se voient assigner des coordonnées temporelles négatives (ex. : de $-n$ à $-1$), les positionnant comme une « histoire pré-vidéo » adjacente à la première image ( $t=0$ ). Cela permet au modèle d'être attentif aux preuves d'identité sans les interpréter comme du contenu généré.
Mémoire en lecture seule : Un masque d'attention par bloc garantit que les tokens d'identité n'attendent qu'aux autres tokens d'identité, tandis que les tokens vidéo peuvent être attentifs aux deux. Cela empêche la mémoire de référence d'être contaminée par le contenu vidéo généré.

C. Stratégies d'entraînement et de guidage

Entraînement contrefactuel sans paires croisées (No-Cross-Pair) : Argus ne repose pas sur des données appariées coûteuses (vidéo de référence + vidéo cible du même sujet). À la place, il utilise des références de même clip ou de même identité avec une forte augmentation contrefactuelle. Les arrière-plans, accessoires, éclairages et recadrages sont randomisés tandis que l'identité faciale stable est préservée. Cela force le modèle à apprendre des caractéristiques invariantes à l'identité.
Temporal Identity Annealing (TIA) : Un mécanisme de porte qui module l'attention vidéo-vers-identité en fonction du temps de diffusion. Il concentre la lecture de l'identité dans la « phase intermédiaire structurelle » du débruitage, empêissant l'injection d'identité de trop contraindre la disposition globale (début) ou de trop accentuer les visages (fin).
Adaptive Self-Likeness Guidance (ASLG) : Lors de l'inférence, cette méthode découple le guidage textuel de la fidélité de l'identité. Elle construit une branche de « modèle faible » via un masque de saut apprenable, permettant au système d'interpoler entre les prédictions conditionnelles et inconditionnelles spécifiquement pour l'identité, empêchant le contrôle de l'identité de submerger le prompt textuel.

3. Contributions Clés

Cadre Argus : Un système de génération de vidéo préservant le sujet qui passe d'un conditionnement par point de référence à une mémoire d'identité dynamique, acceptant à la fois des références d'images et de vidéos.
Module SMII : Un mécanisme d'injection natif qui représente les preuves multi-vues sous forme de tokens de mémoire en lecture seule, à temps négatif et synchronisés par diffusion, éliminant les décalages de distribution associés à la concaténation de tokens de référence classiques.
Paradigme d'entraînement : Une stratégie d'entraînement contrefactuel sans paires croisées qui atteint la robustesse grâce à une randomisation massive des nuisances plutôt qu'en exigeant des données de vidéos de sujets appariées.
Benchmarks et Métriques :
- HardID-Celeb : Un nouveau benchmark de figures publiques conçu pour tester la préservation de l'identité sous de grands angles de lala de lacet (yaw), l'occlusion de la première image et les visages de petite taille.
- YawScore & OccScore : Nouvelles métriques mesurant spécifiquement la robustesse aux changements de point de vue importants et aux conditions de première image occluse.

4. Résultats

Argus atteint des performances de pointe sur les benchmarks généraux et de test de stress :

OpenS2V-Eval Human-Domain : Argus obtient un Score Total de 64,38, dépassant la meilleure base de référence de 4,18 points. Il domine également en FaceSim (71,86), NexusScore (51,62) et NaturalScore (79,14).
HardID-Celeb : Argus surpasse nettement les bases de référence dans les scénarios de stress, atteignant un FaceSim de 76,80. Notamment, il améliore le YawScore de 12,60 points et l'OccScore de 15,10 points par rapport aux meilleures bases de référence, démontant une capacité supérieure à récupérer l'identité sous l'effet du point de vue et de l'occlusion.
Études d'ablation : Supprimer le SMII (en le remplaçant par une simple concaténation de tokens) fait chuter le Score Total de 10,52 points. Remplacer l'entraînement contrefactuel par 2K échantillons de paires croisées réduit le score de 5,76 points, validant l'efficacité de la stratégie d'entraînement proposée.

5. Signification et Revendications

Le papier affirme que la mémoire d'identité dynamique et l'auto-supervision contrefactuelle à grande échelle sont des alternatives hautement efficaces au conditionnement par référence statique et à la supervision par données appariées.

En reformulant l'identité non pas comme un point statique unique mais comme une distribution compacte et dynamique accessible via une mémoire à temps négatif, Argus résout l'enchevêtrement de l'identité avec les variables de nuisance. Les auteurs soutiennent que cette approche permet au modèle de reconnaître les sujets familiers à travers les mouvements, les changements d'expression et les occlusions plus efficacement que les méthodes reposant sur la similitude de face frontale ou des adaptateurs de trame unique. La publication de HardID-Celeb et des métriques associées vise à fournir une évaluation plus fidèle de la préservation de l'identité dans des scénarios réels et complexes.