🤖 AI

ARGUS: Stacked Multi-View Identity Mosaic Injection for Subject-Preserving Video Generation

Das Papier stellt Argus vor, ein auf Wan basierendes Framework, das die Einschränkungen von Punkt-Referenz-Paradigmen bei der subjektenerhaltenden Videogenerierung durch den Einsatz von Stacked Multi-View Identity Mosaic Injection (SMII) und kontrafaktischer Selbstüberwachung überwindet, um eine erstklassige Robustheit gegenüber vielfältigen Bewegungen, Ansichtswechseln und Verdeckungen zu erreichen.

Ursprüngliche Autoren: Zijie Meng, Jiwen Liu, Yufei Liu, Chengzhuo Tong, Xiaoqiang Liu, Yuanxing Zhang, Yulong Xu, Pengfei Wan

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zijie Meng, Jiwen Liu, Yufei Liu, Chengzhuo Tong, Xiaoqiang Liu, Yuanxing Zhang, Yulong Xu, Pengfei Wan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Video von Ihrem besten Freund „Alex“ zu zeichnen, basierend auf einem einzigen Foto und einer Beschreibung wie „Alex geht mit einem Hund spazieren“.

Der alte Weg bestand darin, dem Roboter ein einziges Schnappschussfoto von Alex zu geben. Der Roboter würde dieses eine Foto betrachten und versuchen, es perfekt zu kopieren. Aber hier liegt das Problem: Wenn das Foto zeigt, dass Alex an einem sonnigen Tag eine Sonnenbrille trägt, könnte der Roboter verwirrt sein und denken, dass „Sonnenbrille“ und „Sonnenlicht“ Teil von Alex' Gesicht sind. Wenn Sie den Roboter bitten, Alex im Regen spazieren zu gehen oder den Kopf zur Seite zu drehen, scheitert der Roboter oft. Entweder vergisst er, wie Alex aussieht, oder er beharrt stur darauf, die Sonnenbrille aufzubewahren, auch wenn sie dort nicht hingehört. Er behandelt Alex' Identität als einen einzelnen, eingefrorenen Zeitpunkt.

Argus ist ein neues System, das alles verändert. Anstatt dem Roboter nur ein Foto zu geben, gibt Argus ihm ein dynamisches Gedächtnis.

So funktioniert es, unterteilt in einfache Konzepte:

1. Der „Identity Director“ (Der kluge Bibliothekar)

Bevor der Roboter mit dem Zeichnen beginnt, schaut ein kluger KI-Bibliothekar (der MLLM Identity Director) durch ein ganzes Album von Alex' Fotos und Videos.

Die Aufgabe: Er wählt nicht einfach nur das „beste“ Foto aus. Er wählt eine vielfältige Auswahl an Momenten: Alex beim Lächeln, Alex beim seitlichen Schauen, Alex im Dunkeln, Alex mit einem Hut und Alex ohne Hut.
Der Konfliktlöser: Wenn die Anweisung des Nutzers besagt: „Alex in einem roten Hemd“, aber die Fotos Alex in einem blauen Hemd zeigen, weiß der Bibliothekar, dass er das Textbefehl des Nutzers für die Hemdfarbe priorisieren muss, aber das Gesicht aus den Fotos beibehalten muss. Er agiert wie ein Regisseur am Filmset und stellt sicher, dass das Skript (der Prompt) und das Aussehen des Schauspielers (die Identität) nicht gegeneinander kämpfen.

2. Die „Mosaic Injection“ (Der 3D-Gedächtnisblock)

Dies ist der eigentliche magische Trick, genannt SMII.

Der alte Weg: Stellen Sie sich vor, man versucht, ein Foto auf einen Videostream aufzukleben. Es sieht oft aus wie ein Aufkleber, der nicht ganz in den Fluss passt.
Der Argus-Weg: Der Bibliothekar ordnet diese 9 ausgewählten Momente zu einem 3x3-Raster-Mosaik an (wie ein Tic-Tac-Toe-Spielfeld).
Der „Zeitreise“-Trick: Anstatt dieses Gitter in das Video einzufügen, platziert Argus es vor dem Beginn des Videos im Computergedächtnis. Denken Sie an ein „Negativzeit“-Gedächtnis. Der Prozess der Videogenerierung kann auf dieses Gitter zurückblicken, um sich zu erinnern, wie Alex aussieht, aber das Gitter selbst wird niemals durch das neu erstellte Video „verunreinigt“ oder „kontaminiert“. Es ist ein Read-Only-Speicher, den der Roboter jederzeit anpeilen kann, um sich an die Form von Alex' Nase oder die Augenfarbe zu erinnern, unabhängig davon, wie sich Alex in der neuen Szene bewegt.

3. Das „Counterfactual Training“ (Das „Was wäre wenn“-Fitnessstudio)

Normalerweise muss man einem Roboter, um eine Person zu erkennen, Paare von Videos zeigen: eines, in dem die Person stillsteht, und eines derselben Person, die rennt. Diese sind schwer zu finden.

Argus' Geheimnis: Es benötigt keine solchen Paare. Stattdessen nimmt es ein Video von Alex und erstellt tausende „falsche“ Versionen. Es tauscht zufällig den Hintergrund aus, fügt digitales Rauschen hinzu, ändert die Beleuchtung oder fügt sogar digital einen Hut oder eine Brille hinzu.
Die Lektion: Indem es den Roboter dazu zwingt, Alex trotz all dieser zufälligen Änderungen zu erkennen, lernt der Roboter, was wirklich „Alex“ ist (die Gesichtsstruktur) und was nur „Rauschen“ ist (der Hintergrund oder Zubehör). Er lernt, die Ablenkungen zu ignorieren.

4. Die „Adaptive Guidance“ (Der Lautstärkeregler)

Wenn der Roboter tatsächlich das Video zeichnet, muss er zwei Dinge ausbalancieren: dem Textbefehl folgen und das Gesicht so halten, dass es wie Alex aussieht.

Das Problem: Wenn man den „Behalte das Gesicht“-Knopf zu stark drückt, sieht das Video steif und eingefroren aus. Wenn man ihn zu schwach drückt, verändert sich das Gesicht zu jemand anderem.
Die Lösung: Argus verwendet einen klugen „Lautstärkeregler“ namens Adaptive Self-Likeness Guidance.
- Zu Beginn des Videos: Konzentriert es sich auf das große Ganze (Layout, Bewegung).
- In der Mitte des Videos: Dreht es die Lautstärke für die Identität hoch, um sicherzustellen, dass das Gesicht korrekt ist.
- Am Ende des Videos: Dreht es sie wieder etwas leiser, damit die Texturen natürlich wirken und nicht zu scharf oder plastisch erscheinen.

Die Ergebnisse

Das Paper testete Argus in einem „Stresstest“ namens HardID-Celeb, der schwierige Szenarien beinhaltet wie:

Großer Gierwinkel (Large Yaw): Die Person dreht ihren Kopf fast um 90 Grad (zeigt ihr Profil).
Okklusion (Verdeckung): Das Gesicht der Person ist im ersten Frame teilweise verdeckt.

In diesen schwierigen Tests übertraf Argus alle anderen Methoden. Während andere Systeme die Identität der Person verloren, wenn sie den Kopf drehten oder wenn das Gesicht verdeckt war, bewahrte Argus die Erkennbarkeit der Person und hielt ihre einzigartigen Merkmale selbst in schwierigen Winkeln und Lichtverhältnissen aufrecht.

Kurz gesagt: Argus hört auf, die Identität einer Person als ein einzelnes, statisches Foto zu behandeln, und beginnt, sie als ein lebendiges, atmendes Gedächtnis zu behandeln, das aus jedem Winkel und zu jeder Zeit abgerufen werden kann, ohne durch den Hintergrund oder die Beleuchtung verwirrt zu werden.

Technisches Resümee: Argus – Gestapelte Multi-View Identity Mosaic Injection für die subjektserhaltende Videogenerierung

1. Problemdefinition

Die Arbeit befasst sich mit der Herausforderung der subjektserhaltenden Videogenerierung, einer Aufgabe, die sich von der Standard-Text-zu-Video- oder Bild-zu-Video-Synthese unterscheidet. Das Ziel besteht nicht nur darin, realistische Bewegungen zu erzeugen, sondern sicherzustellen, dass das generierte Subjekt über komplexe Variationen hinweg dieselbe spezifische Person bleibt, einschließlich:

Großer Viewpoint-Änderungen (z. B. große Yaw-Winkel).
Gesichtsausdruckswechseln und Mikro-Bewegungen.
Teilweiser Okklusionen (Verdeckungen) und Skalenvariationen.
Konflikten zwischen Text-Prompts, dem ersten Frame und Identitätsreferenzen.

Die Autoren argumentieren, dass bestehende Methoden unter einem „Punkt-Referenz-Paradigma“ leiden. Aktuelle Ansätze konditionieren die Generierung typischerweise auf ein einzelnes statisches Bild oder einige wenige Frames via Adapter oder Token-Konkatenation. Dies kollabiert die Identität zu einer einzigen Beobachtung, die mit Störvariablen (Pose, Beleuchtung, Accessoires, Hintergrund) verknüpft ist. Infolgedessen vertrauen Modelle entweder zu sehr auf die Referenz (wodurch unerwünschte Details kopiert werden) oder zu wenig auf sie (was zu Identitätsdrift führt). Die Arbeit postuliert, dass die menschliche Identität in Videos eine Distribution und kein Punkt ist, was die Exposition gegenüber diversen, dynamischen und störungs-randomisierten Evidenzen erfordert.

2. Methodik

Argus ist ein Framework, das auf dem Wan 2.1 Video-Foundationsmodell (einem 14B-Parameter Diffusion Transformer, trainiert mit Flow Matching) aufbaut. Es führt drei Kernkomponenten ein, um den Übergang von der statischen Referenz-Anpassung zur dynamischen Identitäts-Erinnerung zu vollziehen:

A. Argus Identity Director (AID)

Ein perzeptives Front-End unter Verwendung eines gefrorenen Multimodalen Large Language Models (MLLM) (Qwen3-VL).

Funktion: Es kompiliert die informativsten Identitäts-Evidenzen aus einer Referenzbank (Bilder oder Videos) und löst Konflikte zwischen dem Text-Prompt, dem ersten Frame und den Identitätsreferenzen auf.
Selektionsstrategie: Anstatt nach Top-Scoring-Frames zu wählen, optimiert es die Diversität über Achsen wie Viewpoint, Ausdruck, Bewegung, Skala und Beleuchtung, während Redundanz und Störrisiken minimiert werden.
Ausgabe: Es produziert einen Satz von neun diversen Identitäts-Beobachtungen (eine Mischung aus statischen Bildern und Mikro-Clips), eine konfliktbewusste Identitäts-Caption und einen globalen Identitäts-Deskriptor-Vektor ( $h_D$ ), der den DiT zusammen mit Text- und First-Frame-Embeddings konditioniert.

B. Stacked Multi-View Identity Mosaic Injection (SMII)

Dies ist der zentrale Injektionsmechanismus, der darauf ausgelegt ist, die Identität direkt in den nativen Token-Raum des Modells zu integrieren, ohne externe Adapter zu verwenden.

Mosaic-Konstruktion: Die ausgewählten Identitäts-Beobachtungen werden in einem $3 \times 3$ gestapelten Mosaik angeordnet. Jede Zelle kann ein statisches Bild oder ein kurzer Mikro-Clip sein.
Diffusions-synchronisierte Tensorisierung: Im Gegensatz zu Methoden, die „saubere“ Referenz-Token injizieren, platziert SMII das Identitäts-Mosaik auf demselben Flow Matching Pfad wie das Zielvideo. Das Identitäts-Latent wird auf das Rauschniveau ( $\sigma_t$ ) des Video-Latents rauschen, um das aktuelle Zeitschritt-Niveau zu treffen. Dies stellt sicher, dass der Identitätsstrom mit dem durch Wan's Patch-Embedding gelernten Feature-Prior übereinstimmt.
Negative-Time Positional Anchoring: Identitäts-Token erhalten negative temporale Koordinaten (z. B. $-n$ bis $-1$), wodurch sie als „Vor-Video-Historie“ unmittelbar neben dem ersten Frame ( $t=0$ ) positioniert werden. Dies ermöglicht es dem Modell, auf Identitäts-Evidenzen zu achten, ohne sie als generierten Inhalt zu interpretieren.
Read-Only Memory: Eine Block-Attention-Mask stellt sicher, dass Identitäts-Token nur auf andere Identitäts-Token achten, während Video-Token auf beide achten können. Dies verhindert, dass das Referenzgedächtnis durch den generierten Videoinhalt kontaminiert wird.

C. Trainings- und Guidance-Strategien

No-Cross-Pair Counterfactual Training: Argus stützt sich nicht auf teure gepaarte Daten (Referenzvideo + Zielvideo derselben Person). Stattdessen verwendet es Same-Clip- oder Same-Identity-Referenzen mit starker kontrafaktischer Augmentierung. Hintergründe, Accessoires, Beleuchtung und Crops werden randomisiert, während die stabile Gesichtsidentität bewahrt bleibt. Dies zwingt das Modell, identitätsinvariante Merkmale zu lernen.
Temporal Identity Annealing (TIA): Ein Gating-Mechanismus, der die Video-zu-Identität-Attention basierend auf der Diffusionszeit moduliert. Er konzentriert das Lesen der Identität in der „strukturellen Mittelphase“ des Denoising, um zu verhindern, dass die Identitäts-Injektion das globale Layout (frühe Phase) zu stark einschränkt oder Gesichter (späte Phase) zu stark überschärft.
Adaptive Self-Likeness Guidance (ASLG): Bei der Inferenz entkoppelt diese Methode die Text-Guidance von der Identitäts-Fidelität. Sie konstruiert einen „schwachen Modell“-Zweig über eine lernbare Skip-Maske, was es dem System ermöglicht, zwischen konditionierten und unkonditionierten Vorhersagen spezifisch für die Identität zu interpolieren, um zu verhindern, dass die Identitätskontrolle den Text-Prompt überlagert.

3. Kernbeiträge

Argus Framework: Ein System zur subjektserhaltenden Videogenerierung, das von der Punkt-Referenz-Konditionierung zum dynamischen Identitätsgedächtnis wechselt und sowohl Bild- als auch Video-Referenzen akzeptiert.
SMII-Modul: Ein nativer Injektionsmechanismus, der Multi-View-Evidenzen als diffusions-synchronisierte, negative-time, Read-Only-Memory-Token darstellt und so Diskrepanzen in der Verteilung vermeidet, die mit der Konkatenation sauberer Referenz-Token einhergehen.
Trainingsparadigma: Eine No-Cross-Pair Counterfactual Training Strategie, die Robustheit durch groß angelegte Störungs-Randomisierung erreicht, anstatt auf gepaarte Subjekt-Video-Daten angewiesen zu sein.
Benchmarks und Metriken:
- HardID-Celeb: Ein neuer Benchmark für Personen des öffentlichen Lebens, der die Identitätserhaltung unter extremen Bedingungen wie großem Yaw, Okklusion des ersten Frames und kleinen Gesichtern stresst.
- YawScore & OccScore: Neue Metriken, die spezifisch die Robustheit gegenüber großen Viewpoint-Änderungen und okkludierten First-Frame-Bedingungen messen.

4. Ergebnisse

Argus erzielt State-of-the-Art-Leistungen sowohl in allgemeinen als auch in Stress-Benchmarks:

OpenS2V-Eval Human-Domain: Argus erreicht einen Gesamtscore von 64,38 und verbessert damit den stärksten Baseline-Wert um 4,18 Punkte. Es führt zudem in FaceSim (71,86), NexusScore (51,62) und NaturalScore (79,14).
HardID-Celeb: Argus übertrifft Baselines in Stress-Szenarien signifikant und erreicht einen FaceSim von 76,80. Bemerkenswert ist, dass es den YawScore um 12,60 Punkte und den OccScore um 15,10 Punkte gegenüber den stärksten Baselines verbessert, was die überlegene Fähigkeit zur Wiederherstellung der Identität unter Viewpoint- und Okklusionsstress demonstriert.
Ablationsstudien: Das Entfernen von SMII (Ersatz durch naive Token-Konkatenation) senkt den Gesamtscore um 10,52 Punkte. Der Ersatz des kontrafaktischen Trainings durch 2K Cross-Pair-Samples reduziert den Score um 5,76 Punkte, was die Wirksamkeit der vorgeschlagenen Trainingsstrategie validiert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass dynamisches Identitätsgedächtnis und groß angelegte kontrafaktische Selbstüberwachung hocheffektive Alternativen zur statischen Referenz-Konditionierung und gepaarten Daten-Supervision sind.

Durch die Umformulierung der Identität – nicht als einzelner statischer Punkt, sondern als kompakte, dynamische Distribution, die über das Negative-Time-Memory zugänglich ist – löst Argus die Verknüpfung der Identität mit Störvariablen auf. Die Autoren argumentieren, dass dieser Ansatz es dem Modell ermöglicht, bekannte Subjekte über Bewegungen, Ausdruckswechsel und Okklusionen hinweg effektiver zu erkennen als Methoden, die auf Frontalansicht-Ähnlichkeit oder Single-Frame-Adapteren basieren. Die Veröffentlichung von HardID-Celeb und den zugehörigen Metriken zielt darauf ab, eine treffendere Evaluierung der Identitätserhaltung in anspruchsvollen, realen Szenarien zu ermöglichen.