Technische Samenvatting: Argus – Gestapelde Multi-View Identiteitsmozaïekinjectie voor Subject-Preserving Videogeneratie

1. Probleemdefinitie

Het artikel behandelt de uitdaging van subject-preserving videogeneratie (onderwerp-behoudende videogeneratie), een taak die verschilt van standaard tekst-naar-video of beeld-naar-video synthese. Het doel is niet enkel het genereren van realistische beweging, maar het waarborgen dat het gegenereerde onderwerp exact dezelfde specifieke persoon blijft bij complexe variaties, waaronder:

• Grote viewpoint-veranderingen (bijv. grote yaw-hoeken).
• Gezichtsuitdrukkingen en micro-bewegingen.
• Partiële occlusies (afdekking) en schaalvariaties.
• Conflicten tussen tekstprompts, eerste-frame-condities en identiteitsreferenties.

De auteurs stellen dat bestaande methoden lijden aan een "punt-referentie paradigma." Huidige benaderingen conditioneren generatie doorgaans op een enkele statische afbeelding of enkele frames via adapters of token-concatenatie. Dit reduceert identiteit tot een enkele observatie die verstrengeld is met nuisance-variabelen (pose, belichting, accessoires, achtergrond). Gevolg is dat modellen ofwel te veel vertrouwen op de referentie (waardoor ongewenste details worden gekopieerd) of te weinig vertrouwen op de referentie (wat leidt tot identiteitsdrift). Het artikel stelt dat menselijke identiteit in video een distributie is in plaats van een punt, wat blootstelling vereist aan diverse, dynamische en door nuisance gerandomiseerde bewijslast.

2. Methodologie

Argus is een framework gebouwd op het Wan 2.1 video-fundamenteel model (een Diffusion Transformer met 14 miljard parameters getraind met Flow Matching). Het introduceert drie kerncomponenten om de overgang te maken van statische referentiematching naar dynamisch identiteitsgeheugen:

A. Argus Identity Director (AID)

Een perceptuele front-end die gebruikmaakt van een bevroren Multimodale Large Language Model (MLLM) (Qwen3-VL).

• Functie: Het compileert de meest informatieve identiteitsbewijzen uit een referentiebank (afbeeldingen of video's) en lost conflicten op tussen de tekstprompt, het eerste frame en de identiteitsreferenties.
• Selectiestrategie: In plaats van te selecteren op de hoogste score, optimaliseert het voor diversiteit over assen zoals viewpoint, expressie, beweging, schaal en verlichting, terwijl redundantie en nuisance-risico's worden geminimaliseerd.
• Output: Het produceert een set van negen diverse identiteitsobservaties (een mix van statische afbeeldingen en micro-clips), een conflict-bewuste identiteitscaption, en een globale identiteitsdescriptor-vector ($h_D$) die de DiT conditioneert naast tekst- en eerste-frame-embeddings.

B. Stacked Multi-View Identity Mosaic Injection (SMII)

Dit is het kernmechanisme voor injectie, ontworpen om identiteit direct in de natuurlijke tokenruimte van het model te integreren zonder externe adapters.

• Mozaïekconstructie: De geselecteerde identiteitsobservaties worden gerangschikt in een $3 \times 3$ gestapeld mozaïek. Elke cel kan een statische afbeelding of een korte micro-clip zijn.
• Diffusion-Synchronized Tensorization: In tegenstelling tot methoden die "schone" referentietokens injecteren, plaatst SMII het identiteitsmozaïek op hetzelfde Flow Matching pad als de doelvideo. De identiteitslatent wordt geruisd op het huidige tijdstip ($\sigma_t$) om overeen te komen met het ruisniveau van de video-latent. Dit zorgt ervoor dat de identiteitsstroom uitlijnt met de feature prior die geleerd is door de patch embedding van Wan.
• Negative-Time Positional Anchoring: Identiteitstokens krijgen negatieve temporele coördinaten toegewezen (bijv. $-n$ tot $-1$), waardoor ze worden gepositioneerd als "pre-video historie" naast het eerste frame ($t=0$). Dit stelt het model in staat om naar identiteitsbewijs te kijken zonder het te interpreteren als gegenereerde inhoud.
• Read-Only Memory: Een block attention mask zorgt ervoor dat identiteitstokens alleen naar andere identiteitstokens kijken, terwijl video-tokens naar zowel als andere kunnen kijken. Dit voorkomt dat het referentiegeheugen wordt gecontamineerd door de gegenereerde video-inhoud.

C. Training en Guidance Strategieën

• No-Cross-Pair Counterfactual Training: Argus vertrouwt niet op dure gepaarde data (referentievideo + doelvideo van hetzelfde subject). In plaats daarvan gebruikt het same-clip of same-identity referenties met sterke counterfactual augmentatie. Achtergronden, accessoires, belichting en crops worden gerandomiseerd terwijl de stabiele gezichtsidentiteit behouden blijft. Dit dwingt het model om identiteits-invariante features te leren.
• Temporal Identity Annealing (TIA): Een gating-mechanisme dat de video-naar-identiteit aandacht moduleert op basis van de diffusietijd. Het concentreert het lezen van de identiteit in de "structurele middenfase" van de denoising, wat voorkomt dat de injectie van identiteit de globale lay-out te veel beperkt (vroeg) of het gezicht te veel verscherpt (laat).
• Adaptive Self-Likeness Guidance (ASLG): Tijdens de inferentie ontkoppelt deze methode de tekst-guidance van de identiteitsgetrouwheid. Het construeert een "zwakke model"-tak via een leerbare skip mask, waardoor het systeem kan interpoleren tussen conditionele en onconditionele voorspellingen specifiek voor identiteit, wat voorkomt dat de identiteitscontrole de tekstprompt overstemt.

3. Belangrijkste Bijdragen

1. Argus Framework: Een subject-preserving videogeneratiesysteem dat de overstap maakt van punt-referentie conditionering naar dynamisch identiteitsgeheugen, waarbij zowel afbeeldingen als video-referenties worden geaccepteerd.
2. SMII Module: Een native injectiemechanisme dat multi-view bewijs representeert als diffusion-synchronized, negative-time, read-only memory tokens, waardoor distributieverschillen geëlimineerd worden die gepaard gaan met het concateneren van schone referentie-tokens.
3. Trainingsparadigma: Een no-cross-pair counterfactual training strategie die robuustheid bereikt door grootschalige nuisance-randomisatie in plaats van de noodzaak voor gepaarde subject-video data.
4. Benchmarks en Metrieken:
   • HardID-Celeb: Een nieuwe benchmark voor publieke figuren, ontworpen om de identiteitsbehoud onder zware druk te testen, zoals grote yaw, occlusie van het eerste frame en kleine gezichten.
   • YawScore & OccScore: Nieuwe metrieken die specifiek de robuustheid meten tegen grote viewpoint-veranderingen en occlusie-condities van het eerste frame.

4. Resultaten

Argus bereikt state-of-the-art prestaties op zowel algemene als stress-geteste benchmarks:

• OpenS2V-Eval Human-Domain: Argus behaalt een Total Score van 64.38, wat een verbetering is van 4.18 punten ten opzichte van de sterkste baseline. Het voert ook in FaceSim (71.86), NexusScore (51.62) en NaturalScore (79.14).
• HardID-Celeb: Argus presteert significant beter dan de baselines in stress-scenario's, met een FaceSim van 76.80. Opvallend genoeg verbetert het de YawScore met 12.60 punten en de OccScore met 15.10 punten ten opzichte van de sterkste baselines, wat een superieur vermogen aantoont om identiteit te herstellen onder viewpoint- en occlusie-stress.
• Ablatie-studies: Het verwijderen van SMII (vervanging door naïeve token-concatenatie) verlaagt de Total Score met 10.52 punten. Het vervangen van counterfactual training door 2K cross-pair samples vermindert de score met 5.76 punten, wat de effectiviteit van de voorgestelde trainingsstrategie valideert.

5. Betekenis en Claims

Het artikel claimt dat dynamisch identiteitsgeheugen en grootschalige counterfactual zelf-supervisie zeer effectieve alternatieven zijn voor statische referentie-conditionering en gepaarde data-supervisie.

Door identiteit te herdefiniëren, niet als een enkel statisch punt, maar als een compacte, dynamische distributie die toegankelijk is via negative-time geheugen, lost Argus de verstrengeling van identiteit met nuisance-variabelen op. De auteurs stellen dat deze aanpak het model in staat stelt om bekende onderwerpen over beweging, expressie-verschuivingen en occlusies heen effectiever te herkennen dan methoden die vertrouwen op frontal-face gelijkenis of single-frame adapters. De release van HardID-Celeb en de bijbehorende metrieken beoogt een getrouwere evaluatie van identiteitsbehoud in uitdagende, real-world scenario's te bieden.