Riepilogo Tecnico: Wan-Streamer v0.1

Problema

Gli attuali sistemi artificiali per l'interazione umana si basano spesso su pipeline modulari e a cascata (ad esempio, moduli separati per la Rilevazione dell'Attività Vocale, ASR, Modellazione del Linguaggio, TTS e generazione video). Queste architetture introducono una latenza significativa ai confini tra i moduli, accumulano errori di riconoscimento e sincronizzazione e faticano ad apprendere comportamenti complessi come la gestione dei turni, la gestione delle interruzioni e la coerenza cross-modale come un comportamento unificato.

Inoltre, l'interazione umana nel mondo reale è fondamentalmente streaming e full-duplex: percezione ed espressione si sovrappongono nel tempo. Un sistema che attende di finire di percepire prima di ragionare, o che finisce di ragionare prima di generare una risposta, non riesce a replicare l'interazione naturale. I modelli multimodali esistenti spesso trattano le modalità in modo asimmetrico (ad esempio, accettando input video ma producendo solo testo in uscita) o si affidano al testo come rappresentazione intermedia nascosta tra componenti addestrate separatamente. La sfida principale è creare un sistema in cui l'audio e il video in ingresso influenzino immediatamente l'audio e il movimento in uscita, e dove gli stati audio e visivi generati siano accoppiati prima della decodifica, il tutto all'interno di un singolo processo causale a bassa latenza.

Metodologia

Architettura: Modello End-to-End Nativo-Streaming

Wan-Streamer è progettato sin dalle fondamenta come un modello fondazionale interattivo, end-to-end e nativo-streaming. Modella il linguaggio, l'audio e il video sia come input che come output all'interno di un singolo Transformer.

• Sequenza Unificata: Il modello elabora una sequenza intercalata di token visivi, audio e testuali (sia in ingresso che in uscita).
• Vincoli Causali: L'intero stack è strettamente causale per supportare lo streaming:
  • VAE Strettamente Causali: Gli Autoencoder Variazionali (VAE) per l'audio e il video sono addestrati per la codifica latente in streaming.
  • Encoder/Decoder Causali: Gli encoder e i decoder audio e visivi operano in modo causale.
  • Attenzione Block-Causal: Il Transformer utilizza l'attenzione block-causal per coordinare la generazione incrementale in streaming.
• Obiettivi di Addestramento:
  • Linguaggio: Ottimizzato tramite predizione del next-token (cross-entropy).
  • Audio/Video: Rappresentati in spazi latenti continui e generati congiuntamente utilizzando il conditional flow matching. Il modello stima i campi di velocità per i latenti audio e video rumorosi, condizionati dal contesto pulito in streaming (osservazioni passate dell'utente e risposte impegnate dell'agente).

Strategia di Dati e Addestramento

Il modello è addestrato su un ampio mix di dati attraverso tre fasi:

1. Pre-addestramento su Task Indipendenti: Il Transformer unificato viene inizializzato da un modello linguistico e addestrato su un mix di compiti di comprensione (immagine, audio, video, dialogo) e generazione (immagine, audio, video, audio-visivo congiunto). Questo allinea la percezione, il ragionamento e la generazione latente in un unico modello di sequenza.
2. Addestramento all'Interazione End-to-End: Il modello è sottoposto a fine-tuning su dati di interazione duplex in cui gli input/output dell'utente e dell'agente (testo, audio, video) sono intercalati nello stesso flusso causale. Ciò insegna al modello a aggiornare il proprio stato in base alle osservazioni correnti, generare risposte sincronizzate e gestire la tempistica delle risposte e le interruzioni.
3. Distillazione per la Bassa Latenza: Un modello insegnante più forte (che utilizza Classifier-Free Guidance e più step di flow-matching) viene distillato in uno studente efficiente. Viene impiegata la distillazione "rolling" per mitigare il degrado su lungo termine, addestrando lo studente sulla propria cronologia generata.

Inferenza: Pipeline Thinker-Performer

Per massimizzare l'utilizzo dell'hardware e la sovrapposizione, il singolo modello end-to-end viene distribuito come una pipeline Thinker-Performer:

• Thinker (Pensatore): Gestisce la codifica causale di audio/video, la decodifica token-causal per linguaggio e aggiornamenti di stato, la costruzione del KV-cache e la decodifica causale dei latenti precedenti.
• Performer (Esecutore): Gestisce solo l'oneroso solver di flow-matching per generare i successivi latenti audio-visivi puliti.
• Sovrapposizione (Overlap): Il sistema mette in pipeline la percezione del frame corrente, la decodifica del frame precedente, la comunicazione KV/latente e il denoising del frame successivo. Il Thinker aggiorna lo stato e decodifica l'output dell'unità precedente mentre il Performer genera il latente dell'unità successiva. Ciò consente al sistema di funzionare in tempo reale, purché il tempo di generazione del Performer rientri nella durata dell'unità di streaming (160 ms).

Contributi Chiave

1. Modello Wan-Streamer: Un modello fondazionale nativo-streaming, end-to-end, che supporta testo, audio e video sia come input che come output all'interno di un singolo Transformer, eliminando la dipendenza da moduli esterni di VAD, ASR, TTS o animazione.
2. Architettura Multimodale Completamente Causale: Un'architettura innovativa composta da VAE audio/video strettamente causali, encoder/decoder causali, attenzione multimodale block-causal e streaming autoregressivo a full-history.
3. Sistema di Inferenza a Bassa Latenza: Una strategia di distribuzione Thinker-Performer che preserva lo stato unificato del modello tramite lo scambio di KV-cache e la sovrapposizione di comprensione e generazione, raggiungendo una latenza di interazione totale inferiore al secondo.

Risultati e Prestazioni

• Latenza:
  • Latenza di Risposta del Modello: Circa 200 ms (misurata dal ricevimento di un'unità streaming dell'utente di 160 ms alla decodifica della corrispondente risposta audio-video).
  • Latenza Totale di Interazione: Circa 550 ms quando combinata con un budget di rete bidirezionale di 350 ms.
  • Unità di Streaming: Supporta unità di streaming brevi quanto 160 ms a 25 FPS.
• Naturalezza e Comportamento:
  • Il modello mantiene identità, sguardo, postura e movimenti facciali sottili durante gli stati di idle.
  • Produce feedback non verbali reattivi (annuire, micro-espressioni) temporalmente accoppiati con il parlato dell'utente.
  • Supporta l'interruzione full-duplex: il modello può interrompere, accorciare o reindirizzare il discorso quando l'utente interrompe, poiché continua a consumare le osservazioni dell'utente mentre genera la propria risposta.
  • Consente il parlare proattivo, iniziando commenti basati su eventi visivi nel flusso di input senza espliciti prompt dell'utente.
• Validazione: I risultati attuali (v0.1) sono validati a una risoluzione di output di 192p, fungendo da prova di concetto per il design end-to-end in streaming.

Significato e Rivendicazioni

Il documento posiziona Wan-Streamer come un modello fondazionale interattivo, end-to-end e multimodale unificato che affronta i limiti dei sistemi a cascata. Il suo significato primario risiede nel dimostrare che la capacità di streaming è un vincolo di modellazione piuttosto che una semplice ottimizzazione di servizio.

Apprendendo la percezione, il ragionamento, la generazione, la tempistica della risposta e la sincronizzazione cross-modale congiuntamente all'interno di un unico stato di interazione persistente, Wan-Streamer raggiunge una comunicazione audio-visiva full-duplex sub-secondaria. Gli autori sostengono che gli agenti multimodali in tempo reale debbano essere progettati come sistemi nativi full-duplex dove l'ascolto, la visione, il parlare e la risposta visibile sono appresi congiuntamente, piuttosto che assemblati come moduli post-hoc. Questo approccio riduce la latenza della pipeline, previene l'accumulo di errori e consente un'interazione continua e più simile a quella umana.