Sintesi Tecnica: Argus – Stacked Multi-View Identity Mosaic Injection per la Generazione di Video con Preservazione del Soggetto

1. Definizione del Problema

Il documento affronta la sfida della generazione di video con preservazione del soggetto, un compito distinto dalla sintesi standard di testo-video o immagine-video. L'obiettivo non è semplicemente generare un movimento realistico, ma garantire che il soggetto generato rimanga lo stesso individuo specifico attraverso variazioni complesse, tra cui:

• Grandi cambiamenti di visuale (es. grandi angoli di yaw).
• Spostamenti delle espressioni facciali e micro-movimenti.
• Occlusioni parziali e variazioni di scala.
• Conflitti tra prompt testuali, condizioni del primo frame e riferimenti d'identità.

Gli autori sostengono che i metodi esistenti soffrano di un "paradigma di riferimento puntuale". Gli approcci attuali tipicamente condizionano la generazione su una singola immagine statica o pochi frame tramite adapter o concatenazione di token. Questo collassa l'identità in un'unica osservazione intrecciata con variabili di disturbo (posa, illuminazione, accessori, sfondo). Di conseguenza, i modelli o si fidano troppo del riferimento (copiando dettagli indesiderati) o si fidano troppo poco (causando deriva dell'identità). Il documento postula che l'identità umana nel video sia una distribuzione piuttosto che un punto, richiedendo l'esposizione a prove diverse, dinamiche e randomizzate rispetto alle variabili di disturbo.

2. Metodologia

Argus è un framework costruito sulla base del modello video Wan 2.1 (un Diffusion Transformer da 14 miliardi di parametri addestrato con Flow Matching). Introduce tre componenti principali per passare dal matching di un riferimento statico alla memoria d'identità dinamica:

A. Argus Identity Director (AID)

Un front-end percettivo che utilizza un LLM Multimodale (MLLM) congelato (Qwen3-VL).

• Funzione: Compila le prove d'identità più informative da un archivio di riferimento (immagini o video) e risolve i conflitti tra il prompt testuale, il primo frame e i riferimenti d'identità.
• Strategia di Selezione: Invece di selezionare i frame con il punteggio più alto, ottimizza la diversità attraverso assi quali visuale, espressione, movimento, scala e illuminazione, minimizzando al contempo ridondanza e rischi di variabili di disturbo.
• Output: Produce un set di nove osservazioni d'identità diverse (un mix di immagini statiche e micro-clip), una didascalia d'identità consapevole dei conflitti e un vettore descrittore d'identità globale ($h_D$) che condiziona il DiT insieme agli embedding del testo e del primo frame.

B. Stacked Multi-View Identity Mosaic Injection (SMII)

Questo è il meccanismo di iniezione centrale, progettato per integrare l'identità direttamente nello spazio dei token nativi del modello senza l'uso di adapter esterni.

• Costruzione del Mosaico: Le osservazioni d'identità selezionate sono disposte in un mosaico impilato $3 \times 3$. Ogni cella può essere un'immagine statica o una breve micro-clip.
• Tensorizzazione Sincronizzata con la Diffusione: A differenza dei metodi che iniettano token di riferimento "puliti", SMII pone il mosaico d'identità sullo stesso percorso di Flow Matching del video target. Il latente dell'identità viene addizionato di rumore al timestep corrente ($\sigma_t$) per corrispondere al livello di rumore del latente del video. Ciò assicura che il flusso dell'identità sia allineato con il prior di feature appreso dal patch embedding di Wan.
• Ancoraggio Posizionale a Tempo Negativo: Ai token d'identità vengono assegnate coordinate temporali negative (es. da $-n$ a $-1$), posizionandoli come "storia pre-video" adiacente al primo frame ($t=0$). Ciò consente al modello di prestare attenzione alle prove d'identità senza interpretarle come contenuto generato.
• Memoria di Solo Lettura: Una maschera di attenzione a blocco garantisce che i token d'identità prestino attenzione solo ad altri token d'identità, mentre i token del video possono prestare attenzione a entrambi. Ciò evita che la memoria di riferimento venga contaminata dal contenuto video generato.

C. Strategie di Addestramento e Guida

• Addestramento Controfattuale No-Cross-Pair: Argus non si affida a costosi dati accoppiati (video di riferimento + video target dello stesso soggetto). Utilizza invece riferimenti dello stesso clip o della stessa identità con una forte aumentazione controfattuale. Sfondi, accessori, illuminazione e ritagli vengono randomizzati, mentre la stabile identità facciale è preservata. Questo forza il modello a imparare caratteristiche invarianti rispetto all'identità.
• Temporal Identity Annealing (TIA): Un meccanismo di gating che modula l'attenzione video-identità in base al tempo di diffusione. Concentra la lettura dell'identità nella "fase centrale strutturale" del denoising, impedendo all'iniezione dell'identità di vincolare eccessivamente il layout globale (fase iniziale) o di sovra-affilare i volti (fase finale).
• Adaptive Self-Likeness Guidance (ASLG): In fase di inferenza, questo metodo scinde la guida testuale dalla fedeltà dell'identità. Costruisce un ramo "modello debole" tramite una maschera di skip apprendibile, permettendo al sistema di interpolare tra predizioni condizionali e incondizionali specificamente per l'identità, evitando che il controllo dell'identità sovrasti il prompt testuale.

3. Contributi Chiave

1. Framework Argus: Un sistema di generazione video con preservazione del soggetto che passa dal condizionamento a riferimento puntuale alla memoria d'identità dinamica, accettando sia riferimenti video che immagini.
2. Modulo SMII: Un meccanismo di iniezione nativo che rappresenta le prove multi-view come token di memoria a tempo negativo, di solo lettura e sincronizzati con la diffusione, eliminando i mismatch di distribuzione associati alla concatenazione di token di riferimento puliti.
3. Paradigma di Addestramento: Una strategia di addestramento controfattuale no-cross-pair che raggiunge la robustezza attraverso la randomizzazione su larga scala delle variabili di disturbo piuttosto che richiedere dati di soggetti accoppiati.
4. Benchmark e Metriche:
   • HardID-Celeb: Un nuovo benchmark su figure pubbliche progettato per testare l'identità sotto stress da grandi angoli di yaw, occlusione del primo frame e volti piccoli.
   • YawScore & OccScore: Nuove metriche che misurano specificamente la robustezza ai grandi cambiamenti di visuale e alle condizioni di primo frame occluso.

4. Risultati

Argus raggiunge prestazioni allo stato dell'arte sia sui benchmark generali che su quelli di stress-test:

• OpenS2V-Eval Human-Domain: Argus raggiunge un Punteggio Totale di 64.38, superando il baseline più forte di 4.18 punti. Eccelle anche in FaceSim (71.86), NexusScore (51.62) e NaturalScore (79.14).
• HardID-Celeb: Argus supera significativamente i baseline in scenari critici, raggiungendo un FaceSim di 76.80. In particolare, migliora lo YawScore di 12.60 punti e l'OccScore di 15.10 punti rispetto ai baseline più forti, dimostando una capacità superiore di recuperare l'identità sotto stress da visuale e occlusione.
• Studi di Ablazione: Rimuovere SMII (sostituendolo con una semplice concatenazione di token) riduce il Punteggio Totale di 10.52 punti. Sostituire l'addestramento controfattuale con 2K campioni cross-pair riduce il punteggio di 5.76 punti, validando l'efficacia della strategia di addestramento proposta.

5. Significato e Rivendicazioni

Il documento afferma che la memoria d'identità dinamica e la supervisione controfattuale su larga scala sono alternative altamente efficaci al condizionamento da riferimento statico e alla supervisione con dati accoppiati.

Riformulando l'identità non come un singolo punto statico ma come una distribuzione compatta e dinamica accessibile tramite memoria a tempo negativo, Argus risolve l'intreccio dell'identità con le variabili di disturbo. Gli autori sostengono che questo approccio consenta al modello di riconoscere i soggetti familiari attraverso movimenti, cambiamenti di espressione e occlusioni in modo più efficace rispetto ai metodi basati sulla somiglianza del volto frontale o su adapter a singolo frame. Il rilascio di HardID-Celeb e delle relative metriche mira a fornire una valutazione più fedele della preservazione dell'identità in scenari reali e impegnativi.