Resumo Técnico: Wan-Streamer v0.1

Declaração do Problema

Os sistemas artificiais atuais para interação humana frequentemente dependem de pipelines modulares em cascata (por exemplo, módulos separados para Detecção de Atividade de Voz, ASR, Modelagem de Linguagem, TTS e geração de vídeo). Essas arquiteturas introduzem latência significativa nas fronteiras dos módulos, acumulam erros de reconhecimento e sincronização, e têm dificuldade em aprender comportamentos complexos como gestão de turnos, tratamento de interrupções e consistência multimodal como um comportamento unificado.

Além disso, a interação humana no mundo real é fundamentalmente streaming e full-duplex: percepção e expressão se sobrepõem no tempo. Um sistema que espera terminar de perceber antes de raciocinar, ou termina de raciocinar antes de gerar uma resposta, falha em replicar a interação natural. Modelos multimodais existentes frequentemente tratam as modalidades de forma assimétrica (por exemplo, aceitando entrada de vídeo, mas apenas produzindo texto) ou dependem do texto como uma representação intermediária oculta entre componentes treinados separadamente. O desafio central é criar um sistema onde o áudio e o vídeo de entrada afetem imediatamente o áudio e o movimento de saída, e onde os estados de áudio e visual gerados sejam acoplados antes da decodificação, tudo dentro de um processo causal único e de baixa latência.

Metodologia

Arquitetura: Modelo End-to-End de Streaming Nativo

O Wan-Streamer foi projetado desde o início como um modelo de fundação interativo, end-to-end e de streaming nativo. Ele modela linguagem, áudio e vídeo como entradas e saídas dentro de um único Transformer.

• Sequência Unificada: O modelo processa uma sequência intercalada de tokens visuais, de áudio e de texto (tanto de entrada quanto de saída).
• Restrições Causais: Toda a pilha é estritamente causal para suportar o streaming:
  • VAEs Estritamente Causais: Autoencoders Variacionais (VAEs) de áudio e vídeo são treinados para codificação latente de streaming.
  • Codificadores/Decodificadores Causais: Codificadores e decodificadores de áudio e visuais operam de forma causal.
  • Atenção de Bloco-Causal: O Transformer utiliza atenção de bloco-causal para coordenar a geração incremental de streaming.
• Objetivos de Treinamento:
  • Linguagem: Otimizada via predição do próximo token (entropia cruzada).
  • Áudio/Vídeo: Representados em espaços latentes contínuos e gerados conjuntamente usando flow matching condicional. O modelo estima campos de velocidade para latentes de áudio e vídeo ruidosos, condicionados ao contexto de streaming limpo (observações passadas do usuário e respostas comprometidas do agente).

Estratégia de Dados e Treinamento

O modelo é treinado em uma ampla mistura de dados em três estágios:

1. Pré-treinamento de Tarefas Independentes: O Transformer unificado é inicializado a partir de um modelo de linguagem e treinado em uma mistura de tarefas de compreensão (imagem, áudio, vídeo, diálogo) e geração (imagem, áudio, vídeo, áudio-visual conjunto). Isso alinha percepção, raciocínio e geração latente em um único modelo de sequência.
2. Treinamento de Interação End-to-End: O modelo é ajustado em dados de interação duplex onde as entradas/saídas do usuário e do agente (texto, áudio, vídeo) estão intercaladas na mesma corrente causal. Isso ensina o modelo a atualizar seu estado com base nas observações atuais, gerar respostas sincronizadas e gerir o tempo de resposta e interrupções.
3. Destilação para Baixa Latência: Um modelo professor mais forte (usando Classifier-Free Guidance e mais etapas de flow-matching) é destilado em um aluno eficiente. A destilação rotativa (rolling distillation) é empregada para mitigar a degradação de longo horizonte, treinando o aluno em seu próprio histórico gerado.

Inferência: Pipeline Thinker-Performer

Para maximizar a utilização do hardware e a sobreposição, o modelo end-to-end único é implantado como um pipeline Thinker-Performer:

• Thinker (Pensador): Lida com a codificação causal de áudio/vídeo, decodificação causal de tokens para linguagem e atualizações de estado, construção de cache KV e decodificação causal de latentes anteriores.
• Performer (Executor): Lida apenas com o solver de flow-matching caro para gerar os próximos latentes de áudio-visual limpos.
• Sobreposição: O sistema faz o pipeline da percepção do frame atual, decodificação do frame anterior, comunicação KV/latente e denoising do próximo frame. O Thinker atualiza o estado e decodifica a saída da unidade anterior enquanto o Performer gera o latente da próxima unidade. Isso permite que o sistema funcione em tempo real, desde que o tempo de geração do Performer caiba dentro da duração da unidade de streaming (160 ms).

Contribuições Principais

1. Modelo Wan-Streamer: Um modelo de fundação de streaming nativo, end-to-end, que suporta texto, áudio e vídeo como entradas e saídas dentro de um único Transformer, eliminando a dependência de módulos externos de VAD, ASR, TTS ou animação.
2. Arquitetura Multimodal Totalmente Causal: Uma arquitetura inovadora composta por VAEs de áudio/vídeo estritamente causais, codificadores/decodificadores causais, atenção multimodal de bloco-causal e streaming autorregressivo de histórico completo.
3. Sistema de Inferência de Baixa Latência: Uma estratégia de implantação Thinker-Performer que preserva o estado unificado do modelo via troca de cache KV enquanto sobrepõe compreensão e geração, alcançando latência de interação sub-segundo.

Resultados e Desempenho

• Latência:
  • Latência de Resposta do Lado do Modelo: Aproximadamente 200 ms (medidos desde o recebimento de uma unidade de streaming de usuário de 160 ms até a decodificação da resposta de áudio-vídeo correspondente).
  • Latência Total de Interação: Aproximadamente 550 ms quando combinada com um orçamento de rede bidirecional de 350 ms.
  • Unidade de Streaming: Suporta unidades de streaming de apenas 160 ms a 25 FPS.
• Naturalidade e Comportamento:
  • O modelo mantém identidade, olhar, postura e movimentos faciais sutis durante estados ociosos.
  • Produz feedback não verbal responsivo (acenos, microexpressões) temporalmente acoplado à fala do usuário.
  • Suporta interrupção full-duplex: o modelo pode parar, encurtar ou redirecionar a fala quando o usuário interrompe, pois continua consumindo as observações do usuário enquanto gera sua própria resposta.
  • Permite fala proativa, iniciando comentários baseados em eventos visuais no fluxo de entrada sem prompts explícitos do usuário.
• Validação: Os resultados atuais (v0.1) são validados em uma resolução de saída de 192p, servindo como uma prova de conceito para o design de streaming end-to-end.

Significância e Alegações

O artigo posiciona o Wan-Streamer como um modelo de fundação interativo, multimodal, unificado e end-to-end que aborda as limitações dos sistemas em cascata. Sua principal significância reside em demonstrar que o streaming é uma restrição de modelagem, e não apenas uma otimização de serviço.

Ao aprender percepção, raciocínio, geração, tempo de resposta, gestão de turnos e sincronização multimodal conjuntamente dentro de um estado de interação persistente, o Wan-Streamer alcança comunicação áudio-visual full-duplex de sub-segundo. Os autores argumentam que agentes multimodais em tempo real devem ser projetados como sistemas full-duplex nativos, onde ouvir, ver, falar e a resposta visível são aprendidos conjuntamente, em vez de montados como módulos post-hoc. Esta abordagem reduz a latência do pipeline, evita o acúmulo de erros e permite uma interação contínua e mais humana.