Wan-Streamer v0.2: Higher Resolution, Same Latency

Riepilogo Tecnico: Wan-Streamer v0.2

Problematica
Wan-Streamer v0.1 ha stabilito un modello di interazione audio-visiva end-to-end con streaming nativo, in cui le modalità utente e agente (testo, audio, video) sono modellate su un unico timeline causale. Tuttavia, la risoluzione di output di v0.1, pari a 192×336 pixel, limitava l'ambito visivo a inquadrature tipiche delle videochiamate ravvicinate (close-up). Questa risoluzione comprimeva la postura corporea, lo sguardo, le mani, gli oggetti vicini e il contesto della scena, rendendo difficile l'interazione "ancorata alla scena" (scene-grounded). La sfida per la v0.2 era quella di aggiornare la risoluzione di output per supportare composizioni a medio campo (mid-shot) più ampie, preservando rigorosamente la latenza segnale-segnale lato modello di circa 200 ms, necessaria per un dialogo full-duplex in tempo reale. L'aumento delle dimensioni dello stream visivo comporta tipicamente un maggiore carico computazionale e tempi di inferenza più lunghi, minacciando il budget di latenza ristretto necessario per un'interazione naturale.

Metodologia
Per ottenere una risoluzione più elevata senza aumentare la latenza, la v0.2 mantiene la formulazione stabile di streaming nativo della v0.1, ma altera fondamentalmente la topologia di serving e la strategia di deployment. Il sistema è suddiviso in due ruoli distinti:

1. Il Pensatore (Percorso Single-GPU):

   • Rimane su una singola GPU per garantire un percorso di controllo a bassa latenza.
   • Gestisce la percezione in streaming (codifica audio/video), gli aggiornamenti del linguaggio e dello stato, la costruzione della cache KV e il decoding causale finale.
   • Produce slice K/V (Key/Value) compatibili con il performer e compatte, che condizionano il processo di generazione.
   • Questo percorso assicura che il ciclo critico di interazione (percezione e risposta dell'emissione) rimanga veloce.

2. Il Performer (Percorso Multi-GPU):

   • Utilizza un gruppo di parallelismo di contesto in stile Ulysses su più GPU per gestire la costosa generazione latente per il video ad alta risoluzione.
   • Gestione K/V: I rank del Performer ricevono le slice K/V dal Pensatore e le scrivono in cache locali pre-partizionate (pre-sharded).
   • Parallelismo di Sequenza: La lunga sequenza video latente ad alta risoluzione (640×368) è suddivisa tra i rank per il denoising. Viene utilizzato il protocollo di comunicazione all-to-all e gather di Ulysses all'interno del gruppo performer per sincronizzare i meccanismi di attenzione.
   • Gestione Audio: Poiché le sequenze latenti audio sono significativamente più brevi di quelle video, vengono generate senza partizionamento di sequenza per evitare sovraccarichi inutili.
   • Disaccoppiamento: Il calcolo del linguaggio/stato è completamente incorporato nelle slice K/V prodotte dal Pensatore. Di conseguenza, nessuna sequenza linguistica separata deve essere comunicata all'interno del gruppo Performer, isolando il costo aggiunto della generazione visiva dal percorso di controllo critico per la latenza.

Contributi Chiave

• Aggiornamento della Risoluzione: Ha aggiornato con successo lo stream di output interattivo da 192×336 a 640×368 a 25 FPS.
• Preservazione della Latenza: Ha mantenuto la latenza segnale-segnale lato modello di circa 200 ms nonostante l'aumento del carico computazionale dello stream ad alta risoluzione.
• Nuova Topologia di Serving: Ha introdotto un'architettura ibrida caratterizzata da un "Pensatore" a singola GPU per la percezione e la gestione dello stato, accoppiato a un "Performer" multi-GPU in stile Ulysses per la generazione latente in parallelismo di contesto. Ciò utilizza cache K/V pre-partizionate e parallelismo di sequenza specificamente per il percorso di denoising del video ad alta risoluzione.
• Ampio Scopo Visivo: Ha abilitato agenti a medio campo ancorati alla scena, dove postura, sguardo, mani e disposizione della scena locale rimangono leggibili durante la conversazione in tempo reale, superando i limiti delle inquadrature ravvicinate.

Risultati

• Metriche di Performance: Il sistema raggiunge un output video di 640×368 a 25 FPS con una latenza lato modello di circa 200 ms.
• Latenza Totale di Interazione: Combinata con un budget di rete bidirezionale standard di 350 ms, la latenza di interazione remota totale rimane di circa 550 ms, identica al target della v0.1.
• Qualità Visiva: Le osservazioni qualitative confermano che il formato aggiornato supporta interazioni ravvicinate più chiare e agenti a medio campo ancorati alla scena. Il modello preserva con successo l'identità, lo sguardo, il movimento della bocca e la postura corporea entro i vincoli di streaming in tempo reale.

Significatività
L'articolo afferma che Wan-Streamer v0.2 dimostra che un'interazione audio-visiva ad alta fedeltà e ancorata alla scena è realizzabile senza sacrificare i requisiti di bassa latenza necessari per un dialogo naturale. Disaccoppiando l'elevato costo computazionale della generazione video ad alta risoluzione dal percorso critico della latenza attraverso una specializzata architettura Pensatore-Performer, il sistema espande l'ambito dell'interazione visiva dalle semplici videochiamate alle conversazioni contestualizzate, dove l'agente è visibilmente inserito nel proprio ambiente. Questo approccio valida il fatto che le formulazioni di streaming nativo possano scalare in risoluzione mantenendo i rigorosi vincoli temporali necessari per l'interazione multimodale full-duplex.