💻 computer science

InteractiveAvatar: Real-Time Streaming Video Generation for Consistent and Intent-Aware Avatars

InteractiveAvatar est un cadre de génération de vidéo en streaming infini et en temps réel qui exploite la distillation autorégressive, un mécanisme de mémoire visuelle long-court et un module de raisonnement-réaction pour atteindre une cohérence visuelle et des interactions fondées sur l'intention de pointe pour les avatars pilotés par l'audio.

Auteurs originaux : Quanyue Song, Yishan He, Yanfei Zhang, Shihao Cheng, Zhixiang He, Zhizhi Guo, Chi Zhang, Xuelong Li, Caigui Jiang

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Quanyue Song, Yishan He, Yanfei Zhang, Shihao Cheng, Zhixiang He, Zhizhi Guo, Chi Zhang, Xuelong Li, Caigui Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parlez à un ami numérique lors d'un appel vidéo. Habituellement, ces amis numériques sont un peu comme des marionnettes cassées : ils peuvent bouger les lèvres parfaitement pour correspondre à votre voix, mais si vous leur parlez trop longtemps, leur visage peut commencer à paraître bizarre, ou ils peuvent oublier à quoi ils ressemblaient il y a cinq minutes. De plus, si vous leur demandez de « vérifier l'heure », ils peuvent simplement dire l'heure à voix haute tout en continuant de fixer le vide, incapables de regarder réellement une montre.

Le papier InteractiveAvatar présente une nouvelle façon de construire ces amis numériques pour qu'ils puissent discuter avec vous indéfiniment sans paraître glitchés, et pour qu'ils puissent réellement faire les choses que vous leur demandez de faire.

Voici comment ils ont procédé, expliqué avec des analogies simples :

1. Le Problème : L'« Amnésie » et le « Robot »

Les auteurs affirment que les avatars numériques actuels présentent deux problèmes principaux :

Le Visage qui « Dérive » : Si vous laissez la vidéo tourner pendant longtemps, le visage de l'avatar commence lentement à changer. Peut-être que les yeux deviennent plus grands, ou que la couleur des cheveux change. C'est comme un peintre qui continue d'ajouter de nouvelles couches de peinture sans regarder le croquis original ; finalement, l'image ne ressemble plus du tout à la personne avec laquelle vous avez commencé.
Le Robot « Aveugle » : Les avatars actuels sont principalement « pilotés par l'audio ». Si vous dites « Regarde la montre », ils entendent le son et bougent la bouche, mais ils ne comprennent pas la signification. Ils ne tournent pas réellement la tête pour regarder une montre parce qu'ils ne « réfléchissent » pas à votre requête.

2. La Solution : Un Cerveau en Deux Parties

Pour corriger cela, l'équipe a construit un système doté de deux outils spéciaux : un Système de Mémoire et un Cerveau Pensant.

Le Système de Mémoire : « Le Carnet de Notes à Court Terme et l'Album Photo à Long Terme »

Pour empêcher le visage de l'avatar de dériver, ils ont créé quelque chose appelé Mémoire Visuelle Long-Court (LSVM).

Le Carnet de Notes à Court Terme : Imaginez que l'avatar garde un carnet de notes des dernières secondes de la vidéo. Cela garantit que lorsqu'il bouge la tête, le mouvement est fluide et naturel, et non saccadé.
L'Album Photo à Long Terme : C'est la partie ingénieuse. Au lieu d'essayer de se souvenir de chaque image (ce qui serait trop lourd et lent), l'avatar possède un « Album Photo » des moments les plus importants.
- Comment ça marche : Pendant que la vidéo joue, le système demande constamment : « Est-ce que cette nouvelle image est importante ? » Si l'avatar met un chapeau ou prend une tasse de café, le système prend un « instantané » et le place dans l'album. Si l'avatar est juste assis en train de parler, il peut sauter l'instantané.
- Le Bénéfice : Cela agit comme une ancre. Même après 10 minutes de discussion, l'avatar peut regarder son « album » pour se rappeler : « Ah oui, je porte un chapeau », ou « J'ai une tasse de café ». Cela permet au personnage de rester cohérent du début à la fin.

Le Cerveau Pensant : « Le Réalisateur et le Régisseur »

Pour que l'avatar comprenne ce que vous voulez, ils ont ajouté un Module de Raisonnement-Réaction (RRM).

Le Réalisateur (LLM) : Quand vous parlez, un puissant « Réalisateur » IA vous écoute. Il ne se contente pas d'entendre les mots ; il comprend votre intention. Si vous dites « Vérifie l'heure », le Réalisateur réalise : « Ah, l'utilisateur veut que l'avatar regarde une montre ».
Le Cycle d'État (State Cycling) : Le système bascule entre deux modes :
1. Mode Action : L'avatar est occupé à faire quelque chose (comme regarder une montre ou s'asseoir).
2. Mode Stable : Une fois l'action terminée, l'avatar adopte une pose calme (comme s'asseoir tranquillement) afin de ne pas bouger inutilement.
Le Changement Rapide (Cache-Switching) : Habituellement, lorsqu'une instruction change, l'ordinateur doit tout recalculer, ce qui prend du temps. Ce système utilise une astuce de « Changement Rapide ». Il garde une sauvegarde des calculs pour la scène actuelle. Lorsque l'instruction change (par exemple, de « lève-toi » à « assieds-toi »), il remplace instantanément l'ancienne sauvegarde par la nouvelle, rendant la réaction immédiate et fluide.

3. Le Résultat : Une Conversation Réelle et Infinie

En combinant ces outils avec une méthode d'entraînement spéciale (appelée Distillation, qui consiste à apprendre à un étudiant à résoudre un problème en une étape au lieu de dix), ils ont créé un système qui :

Fonctionne en Temps Réel : Vous pouvez parler à l'avatar, et il répond immédiatement, sans longs temps d'attente.
Dure Éternellement : Vous pouvez avoir une conversation pendant des heures, et l'avatar aura toujours la même apparence, avec les mêmes vêtements et accessoires.
Vous Comprend : Si vous lui demandez d'accomplir une action, il l'accomplit réellement, plutôt que de simplement en parler.

En résumé : InteractiveAvatar est comme si l'on donnait à une marionnette numérique une mémoire à long terme pour qu'elle n'oublie pas son visage, et un cerveau qui comprend vos blagues et vos requêtes, permettant une conversation fluide, infinie et réaliste.

Résumé Technique : InteractiveAvatar

Problématique

Les modèles récents basés sur la diffusion ont fait progresser la génération d'avatars pilotés par l'audio, permettant une synchronisation labiale et une apparence réalistes. Cependant, les approches existantes font face à deux limitations fondamentales dans les scénarios de streaming en temps réel :

Incohérence Temporelle Visuelle : Les méthodes actuelles reposent généralement sur une attention causale avec un champ récepteur limité (quelques segments précédents et une image de référence). À mesure que la génération s'étend sur de longues durées, cela entraîne une « dérive temporelle », où les segments vidéo adjacents divergent, provoquant des incohérences dans l'identité, les objets et la stabilité de la scène.
Absence d'Interaction Sensible à l'Intention : La plupart des systèmes suivent un simple paradigre piloté par l'audio où les modèles de langage étendus (LLM) génèrent la parole, et l'avatar anime les lèvres et les gestes grossiers en fonction des corrélations audio-mouvement. Ces systèmes ne parviennent pas à percevoir explicitement l'intention de l'utilisateur pour générer des actions fines et sémantiquement alignées (par exemple, regarder une montre lorsqu'on demande l'heure) ou pour adapter la scène de manière dynamique, ce qui limite le réalisme du comportement interactif.

Méthodologie

Les auteurs proposent InteractiveAvatar, un cadre de génération de vidéo en streaming infini et en temps réel conçu pour répondre à ces défis grâce à trois composantes clés :

1. Mémoire Visuelle Longue-Courte (LSVM - Long-Short Visual Memory)

Pour maintenir la cohérence visuelle sur des durées arbitrairement longues, les auteurs introduisent un mécanisme de mémoire qui compresse de manière flexible les informations visuelles historiques :

Structure de Double Mémoire : Le système maintient une Mémoire à Court Terme ( $M_s$ ) contenant des représentations denses des cadres récents (par exemple, les 5 dernières secondes) pour assurer une cohérence temporelle locale. Il maintient également une Mémoire à Long Terme ( $M_l$ ) avec une capacité fixe de tokens compacts représentant des états visuels globalement saillants.
Compression de la Mémoire : Un modèle léger compresse les latents vidéo en tokens compacts sans sous-échantillonnage temporel, préservant la capacité de séparer et de mettre à jour les latents pendant le streaming.
Sélection Dynamique de Images Clés (DKFS - Dynamic Key-Frame Selection) : Lors de l'inférence, lorsqu'un cadre sort de la fenêtre à court terme, il est évalué pour la rétention à long terme. Le système utilise SigLIP2 pour extraire des caractéristiques sémantiques et calcule un score de redondance globale. Un cadre candidat est inséré dans la mémoire à long terme uniquement s'il réduit la redondance sémantique globale, garantissant que la mémoire stocke des images clés diverses et représentatives plutôt que des cadres échantillonnés uniformément dans le temps.

2. Module Raisonnement-Réaction (RRM - Reasoning-Reaction Module)

Pour permettre des interactions sensibles à l'intention, le cadre intègre un centre de raisonnement basé sur un LLM :

Stratégie de Cycle d'État (State-Cycling Strategy) : Le LLM traite l'entrée de l'utilisateur et l'état stable actuel pour produire trois composants : un Prompt d'Action (guidant le mouvement corporel/la pose), l'Audio de Réponse, et un Prompt d'État Stable (définissant la condition visuelle statique post-action). Le modèle de diffusion est conditionné par le prompt d'action et l'audio pendant la réponse, puis bascule vers le prompt stable une fois que l'audio se termine, garantissant que l'avatar revient à un état cohérent sans dérive de mouvement.
Mécanisme de Commutation de Cache (Cache-Switching Mechanism) : Pour réduire la latence lors des transitions d'état, le système ré-encode les conditions textuelles mises à jour et recompute les caches Key-Value (KV) pour les segments immédiatement précédents. Cela permet au modèle de se réaligner rapidement avec les nouveaux prompts d'action sans attendre une régénération complète.

3. Adaptation par Distillation Autorégressive

Pour atteindre des performances en temps réel, les auteurs adaptent un backbone de Transformer de Diffusion (DiT) pré-entraîné (Wan 2.2 5B) via un pipeline d'entraînement en quatre étapes :

Pré-entraînement AI2V : Entraînement sur de larges données audio-visuelles avec attention bidirectionnelle.
Pré-entraînement de la Compression de Mémoire : Entraînement du module de compression sur la reconstruction vidéo.
Initialisation ODE : Entraînement avec une attention causale par blocs pour approximer les trajectoires ODE du modèle enseignant.
Auto-Forçage DMD (Self-Forcing DMD) : Application de la Distillation de Correspondance de Distribution (DMD) pour distiller le modèle de diffusion en un générateur autorégressif à quelques étapes. Cela minimise la divergence KL inverse entre les distributions de l'étudiant et de l'enseignant, permettant une inférence stable à faible nombre d'étapes.

Principales Contributions

Cadre InteractiveAvatar : Un nouveau système de génération d'avatar piloté par l'audio en streaming temps réel, capable de synthèse de longue durée avec une forte cohérence visuelle et une interaction sensible à l'intention.
Mémoire Visuelle Longue-Courte (LSVM) : Un mécanisme qui préserve les représentations visuelles historiques via une sélection dynamique d'images clés, améliorant considérablement la cohérence visuelle et empêchant la dérive temporelle dans les séquences longues.
Module Raisonnement-Réaction (RRM) : Un module équipé de la Stratégie de Cycle d'État et de la Commutation de Cache qui permet à l'avatar d'interpréter l'intention de l'utilisateur, de générer des paroles et des actions coordonnées, et d'exécuter des commandes avec une latence réduite.

Résultats Expérimentaux

Les auteurs ont évalué InteractiveAvatar par rapport aux méthodes de pointe (ex: OmniAvatar, WanS2V, LiveAvatar) à travers 500 cas de tests vidéo impliquant divers scénarios d'interaction.

Performance Quantitative : InteractiveAvatar a atteint des résultats de pointe en Cohérence au niveau de l'objet (OBJ) (85.2) et en Alignement Texte-Vidéo (TV) (25.93), avec une préservation de l'Identité (ID) compétitive. Bien que les métriques de qualité vidéo (IQA, FID) soient comparables aux bases de référence, la méthode a démontré une stabilité temporelle supérieure.
Efficacité en Temps Réel : En exploitant le modèle léger de 5B et la distillation, le système a atteint 26.68 FPS, surpassant toutes les bases de référence (la plus rapide suivante, LiveAvatar, atteignait 21.94 FPS).
Analyse Qualitative : Les comparaisons visuelles ont montré que tandis que les bases de référence souffraient de changements de forme/couleur d'objets, de changements de caméra abrupts ou d'échecs à suivre les instructions d'action, InteractiveAvatar maintenait une apparence d'objet cohérente (ex: une montre) et exécutait correctement des actions complexes (ex: s'asseoir, regarder sa montre) alignées avec l'intention de l'utilisateur.
Études d'Ablation : Supprimer le module LSVM a provoqué une chute significative de la cohérence des objets (OBJ passant de 85.2 à 78.4). Supprimer les composants RRM a entraîné une perte d'actions sensibles à l'intention, faisant revenir le système à de simples réponses verbales. Supprimer la distillation DMD a fait chuter la vitesse d'inférence à 1.27 FPS.

Signification

L'article affirme qu'InteractiveAvatar comble le fossé entre la génération d'avatars de haute qualité et les humains numériques interactifs et réalistes. En résolvant conjointement les défis de la cohérence visuelle à long terme et de la réactivité sensible à l'intention, le cadre fournit une base pratique pour les prochaines générations d'applications immersives. Les auteurs soulignent que leur approche permet aux avatars non seulement de parler, mais aussi d'accomplir des actions contextuellement pertinentes et de maintenir une stabilité visuelle lors d'interactions prolongées, passant de simples systèmes réactifs à des agents numériques pleinement conscients de l'intention.