Wan-Streamer v0.2: Higher Resolution, Same Latency

Resumo Técnico: Wan-Streamer v0.2

Definição do Problema
O Wan-Streamer v0.1 estabeleceu um modelo de interação audiovisual end-to-end de streaming nativo, onde as modalidades do usuário e do agente (texto, áudio, vídeo) são modeladas em uma única linha do tempo causal. No entanto, a resolução de saída de 192×336 pixels do v0.1 limitava o escopo visual a enquadramentos de videochamada em close-up. Esta resolução comprimia a postura corporal, o olhar, as mãos, objetos próximos e o contexto da cena, dificultando a interação "ancorada na cena" (scene-grounded). O desafio para o v0.2 era atualizar a resolução de saída para suportar composições de plano médio mais amplas, preservando estritamente a latência sinal-para-sinal de aproximadamente 200 ms do lado do modelo, necessária para o diálogo full-duplex em tempo real. Aumentar o tamanho do fluxo visual normalmente aumenta a carga computacional e o tempo de inferência, ameaçando o rigoroso orçamento de latência necessário para uma interação natural.

Metodologia
Para alcançar uma resolução mais alta sem aumentar a latência, o v0.2 mantém a formulação de streaming nativo estável do v0.1, mas altera fundamentalmente a topologia de serviço e a estratégia de implantação. O sistema é dividido em dois papéis distintos:

1. O Pensador (Caminho de GPU Única):

   • Permanece em uma única GPU para garantir um caminho de controle de baixa latência.
   • Lida com a percepção de streaming (codificação de áudio/vídeo), atualizações de linguagem e estado, construção de cache KV e decodificação causal final.
   • Produz fatias de K/V (Chave/Valor) compactas e compatíveis com o performer que condicionam o processo de geração.
   • Este caminho garante que o loop crítico de interação (percepção para emissão de resposta) permaneça rápido.

2. O Performer (Caminho de Multi-GPU):

   • Utiliza um grupo de paralelismo de contexto no estilo Ulysses através de múltiplas GPUs para lidar com a custosa geração de latente para o vídeo de alta resolução.
   • Manipulação de K/V: Os ranks do Performer recebem fatias de K/V do Pensador e as escrevem em caches locais pré-fragmentados (pre-sharded).
   • Paralelismo de Sequência: A longa sequência de vídeo latente de alta resolução (640×368) é dividida entre os ranks para denoising. A comunicação all-to-all e gather do Ulysses é usada dentro do grupo do performer para sincronizar os mecanismos de atenção.
   • Manipulação de Áudio: Como as sequências latentes de áudio são significativamente mais curtas que as sequências de vídeo, elas são geradas sem fragmentação de sequência para evitar overhead desnecessário.
   • Desacoplamento: A computação de linguagem/estado é totalmente incorporada nas fatias de K/V produzidas pelo Pensador. Consequentemente, nenhuma sequência de linguagem separada precisa ser comunicada dentro do grupo do Performer, isolando o custo adicional de geração visual do caminho de controle crítico de latência.

Principais Contribuições

• Atualização de Resolução: Atualizou com sucesso o fluxo de saída interativo de 192×336 para 640×368 a 25 FPS.
• Preservação de Latência: Manteve a latência sinal-para-sinal de aproximadamente 200 ms do lado do modelo, apesar do aumento da carga computacional do fluxo de maior resolução.
• Nova Topologia de Serviço: Introduziu uma arquitetura híbrida apresentando um "Pensador" de GPU única para percepção e gerenciamento de estado, pareado com um "Performer" de multi-GPU estilo Ulysses para geração de latente com paralelismo de contexto. Isso utiliza caches K/V pré-fragmentados e paralelismo de sequência especificamente para o caminho de denoising de vídeo de alta resolução.
• Escopo Visual Expandido: Permitiu agentes de plano médio ancorados na cena, onde postura, olhar, mãos e o layout local da cena permanecem legíveis durante a conversa em tempo real, indo além das limitações do enquadramento em close-up.

Resultados

• Métricas de Desempenho: O sistema alcança saída de vídeo de 640×368 a 25 FPS com uma latência do lado do modelo de aproximadamente 200 ms.
• Latência Total de Interação: Quando combinado com um orçamento de rede bidirecional padrão de 350 ms, a latência de interação remota total permanece em aproximadamente 550 ms, idêntica ao alvo do v0.1.
• Qualidade Visual: Observações qualitativas confirmam que o formato atualizado suporta interações de close-up mais claras e agentes de plano médio ancorados na cena. O modelo preserva com sucesso identidade, olhar, movimento da boca e postura corporal dentro das restrições de streaming em tempo real.

Significância
O artigo afirma que o Wan-Streamer v0.2 demonstra que a interação audiovisual de alta fidelidade e ancorada na cena é alcançável sem sacrificar os requisitos de baixa latência de um diálogo natural. Ao desacoplar o pesado custo computacional da geração de vídeo de alta resolução do caminho crítico de latência através de uma arquitetura especializada de Pensador-Performer, o sistema expande o escopo da interação visual de simples videochamadas para conversas situadas, onde o agente está visivelmente ancorado em seu ambiente. Esta abordagem valida que formulações de streaming nativo podem escalar em resolução enquanto mantêm as rigorosas restrições temporais necessárias para a interação multimodal full-duplex.