Résumé Technique : Wan-Streamer v0.1

Problématique

Les systèmes artificiels actuels d'interaction humaine reposent souvent sur des pipelines modulaires en cascade (par exemple, des modules distincts pour la détection de l'activité vocale, l'ASR, la modélisation du langage, la TTS et la génération de vidéo). Ces architectures introduisent une latence significative aux limites des modules, accumulent les erreurs de reconnaissance et de synchronisation, et peinent à apprendre des comportements complexes tels que la gestion des tours de parole, la gestion des interruptions et la cohérence cross-modale en tant que comportement unifié.

De plus, l'interaction humaine réelle est fondamentalement en streaming et full-duplex : la perception et l'expression se chevauchent dans le temps. Un système qui attend d'avoir fini de percevoir avant de raisonner, ou qui finit de raisonner avant de générer une réponse, ne parvient pas à reproduire une interaction naturelle. Les modèles multimodaux existants traitent souvent les modalités de manière asymétrique (par exemple, acceptant des entrées vidéo mais ne produisant que du texte en sortie) ou s'appuient sur le texte comme représentation intermédiaire cachée entre des composants entraînés séparément. Le défi central est de créer un système où le flux entrant de parole et de vidéo affecte immédiatement le flux sortant de parole et de mouvement, et où les états audio et visuels générés sont couplés avant le décodage, le tout au sein d'un processus causal unique à faible latence.

Méthodologie

Architecture : Modèle de bout en bout à streaming natif

Wan-Streamer est conçu dès le départ comme un modèle de fondation interactif, de bout en bout et à streaming natif. Il modélise le langage, l'audio et la vidéo comme des entrées et des sorties au sein d'un Transformer unique.

• Séquence unifiée : Le modèle traite une séquence entrelacée de jetons visuels, audio et textuels (en entrée et en sortie).
• Contraintes causales : Toute la pile est strictement causale pour supporter le streaming :
  • VAE strictement causaux : Les auto-encodeurs variationnels (VAE) audio et vidéo sont entraînés pour un codage latent en streaming.
  • Encodeurs/Décodeurs causaux : Les encodeurs et décodeurs audio et visuels opèrent de manière causale.
  • Attention par blocs causaux : Le Transformer utilise une attention par blocs causaux pour coordonner la génération incrémentale en streaming.
• Objectifs d'entraînement :
  • Langage : Optimisé via la prédiction du prochain jeton (entropie croisée).
  • Audio/Vidéo : Représentés dans des espaces latents continus et générés conjointement à l'aide du flow matching conditionnel. Le modèle estime les champs de vitesse pour les latents audio et vidéo bruités, conditionnés par le contexte de streaming propre (observations passées de l'utilisateur et réponses engagées de l'agent).

Stratégie de Données et d'Entraînement

Le modèle est entraîné sur un large mélange de données à travers trois étapes :

1. Pré-entraînement sur tâches indépendantes : Le Transformer unifié est initialisé à partir d'un modèle de langage et entraîné sur un mélange de tâches de compréhension (image, audio, vidéo, dialogue) et de génération (image, audio, vidéo, audio-visuel conjoint). Cela aligne la perception, le raisonnement et la génération latente dans un seul modèle de séquence.
2. Entraînement à l'interaction de bout en bout : Le modèle est affiné sur des données d'interaction duplex où les entrées/sorties de l'utilisateur et de l'agent (texte, audio, vidéo) sont entrelacées dans le même flux causal. Cela apprend au modèle à mettre à jour son état en fonction des observations actuelles, à générer des réponses synchronisées et à gérer le timing des réponses et les interruptions.
3. Distillation pour la faible latence : Un modèle enseignant plus puissant (utilisant le Classifier-Free Guidance et plus d'étapes de flow-matching) est distillé dans un étudiant efficace. Une distillation glissante est employée pour atténuer la dégradation sur long horizon en entraînant l'étudiant sur son propre historique généré.

Inférence : Pipeline Thinker-Performer

Pour maximiser l'utilisation du matériel et le chevauchement, le modèle unique de bout en bout est déployé sous forme de pipeline Thinker-Performer :

• Thinker (Penseur) : Gère l'encodage causal audio/vidéo, le décodage causal par jetons pour le langage et les mises à jour d'état, la construction du cache KV, et le décodage causal des latents précédents.
• Performer (Exécutant) : Gère uniquement le solveur de flow-matching coûteux pour générer les prochains latents audio-visuels propres.
• Chevauchement : Le système pipeline la perception de l'image actuelle, le décodage de la trame précédente, la communication KV/latente, et le débruitage de la trame suivante. Le Thinker met à jour l'état et décode la sortie de l'unité précédente pendant que le Performer génère le latent de l'unité suivante. Cela permet au système de fonctionner en temps réel tant que le temps de génération du Performer respecte la durée de l'unité de streaming (160 ms).

Contributions Clés

1. Modèle Wan-Streamer : Un modèle de fondation à streaming natif, de bout en bout, supportant le texte, l'audio et la vidéo comme entrées et sorties au sein d'un seul Transformer, éliminant la dépendance aux modules externes de VAD, ASR, TTS ou d'animation.
2. Architecture Multimodale Entièrement Causale : Une architecture novatrice comprenant des VAE audio/vidéo strictement causaux, des encodeurs/décodeurs causaux, une attention multimodale par blocs causaux et un streaming autorégressif de l'historique complet.
3. Système d'Inférence à Faible Latence : Une stratégie de déploiement Thinker-Performer qui préserve l'état unifié du modèle via l'échange de cache KV tout en superposant la compréhension et la génération, atteignant une latence d'interaction totale inférieure à la seconde.

Résultats et Performance

• Latence :
  • Latence de réponse côté modèle : Environ 200 ms (mesurée de la réception d'une unité de streaming utilisateur de 160 ms au décodage de la réponse audio-visuelle correspondante).
  • Latence d'interaction totale : Environ 550 ms lorsqu'elle est combinée avec un budget réseau bidirectionnel de 350 ms.
  • Unité de Streaming : Supporte des unités de streaming aussi courtes que 160 ms à 25 FPS.
• Naturel et Comportement :
  • Le modèle maintient l'identité, le regard, la posture et les micro-mouvements faciaux pendant les états d'inactivité.
  • Il produit un feedback non verbal réactif (hochements de tête, micro-expressions) temporellement couplé à la parole de l'utilisateur.
  • Il supporte l'interruption full-duplex : le modèle peut arrêter, raccourcir ou rediriger son discours lorsque l'utilisateur l'interrompt, car il continue de consommer les observations de l'utilisateur tout en générant sa propre réponse.
  • Il permet une parole proactive, initiant des commentaires basés sur des événements visuels dans le flux d'entrée sans invite explicite de l'utilisateur.
• Validation : Les résultats actuels (v0.1) sont validés à une résolution de sortie de 192p, servant de preuve de concept pour la conception de streaming de bout en bout.

Signification et Revendications

L'article positionne Wan-Streamer comme un modèle de fondation interactif, multimodal, de bout en bout et unifié qui répond aux limites des systèmes en cascade. Sa principale signification réside dans la démonstration que la capacité de streaming est une contrainte de modélisation plutôt qu'une simple optimisation de service.

En apprenant conjointement la perception, le raisonnement, la génération, le timing des réponses, la gestion des tours de parole et la synchronisation cross-modale au sein d'un état d'interaction persistant, Wan-Streamer atteint une communication audio-visuelle full-duplex de moins d'une seconde. Les auteurs soutiennent que les agents multimodaux en temps réel doivent être conçnés comme des systèmes full-duplex natifs où l'écoute, la vue, la parole et la réponse visible sont apprises conjointement, plutôt que d'être assemblés comme des modules post-hoc. Cette approche réduit la latence du pipeline, empêche l'accumulation d'erreurs et permet une interaction continue plus humaine.