Resumo Técnico: Visko Orbis 1.0

Declaração do Problema

Os sistemas atuais de geração de vídeo (ex: Sora, Veo, Kling) operam predominantemente em um paradigma offline: um usuário envia um comando, aguarda o processamento e recebe um clipe fixo que não pode ser alterado. Embora esses sistemas se destaquem em fidelidade visual e geração de curta duração, eles falham em suportar experiências ao vivo e interativas onde o vídeo é consumido enquanto está sendo criado (ex: streaming ao vivo, narrativa interativa, companheiros virtuais). Tentativas existentes de streaming ou vídeo interativo geralmente abordam apenas aspectos isolados — como streaming causal, interação limitada ou estabilidade de longo horizonte — mas carecem de um sistema de ponta a ponta que suporte simultaneamente o controle do usuário em tempo real, a geração sustentada de longa duração sem deriva de qualidade e a entrega progressiva. Além disso, servir tais modelos em tempo real exige resolver gargalos de inferência relacionados à reutilização de estado, execução paralela e upscaling progressivo.

Metodologia

O Visko Orbis 1.0 é formulado como um Modelo Vivo (Live Model): um processo persistente que gera vídeo em tempo real sob um relógio contínuo, aceitando atualizações sem reinicialização. O sistema é construído sobre um modelo de vídeo latente por blocos (chunk-wise) que gera sucessivos blocos temporais enquanto mantém uma memória multiescala limitada do rollout precedente.

1. Curadoria de Dados e Pipeline de Treinamento

O pipeline de treinamento utiliza um mecanismo de dados em múltiplas etapas para filtrar, anotar e reequilibrar uma coleção de vídeos brutos em larga escala:

• Processamento de Dados: Vídeos brutos passam por recorte consciente de cenas (3–240s), filtragem de segurança em camadas e filtragem de qualidade cascata (avaliando integridade estrutural, coerência temporal e movimento). O reequilíbrio de distribuição garante a cobertura em diversos domínios (natureza, urbano, industrial, jogos) para evitar o colapso do modelo em estilos visuais estreitos.
• Legendagem: Um sistema de legendagem de múltiplas etapas gera legendas de evento único para supervisão holística e legendas temporais alinhadas a eventos que delimitam ações a intervalos específicos, permitindo que o modelo lide com a troca de comandos dentro de um único vídeo.
• Treinamento Progressivo:
  • Pré-treinamento Bidirecional: Treinado em vídeos de 1–5s para estabelecer um forte prior visual.
  • Adaptação para Streaming: O modelo é adaptado para geração causal por blocos em vídeos de 3–10s usando um objetivo de fluxo retificado linear.
  • Meio de Treinamento (Mid-Training): Especializado em dados de evento único e múltiplos eventos para melhorar a naturalidade do movimento e a coerência temporal.
  • Ajuste Fino (Fine-Tuning): Subconjuntos de alta qualidade, curados por humanos, são usados para refinar a fidelidade visual e as transições de eventos.
  • Pós-treinamento: Inclui pós-treinamento de fluxo de poucos passos via destilação (removendo o ramo incondicional) e Aprendizado por Reforço com Grupo Relativo (GRPO) para otimizar a qualidade visual, o movimento e o alinhamento texto-vídeo. Um modelo de mundo latente é usado para pontuar futuros candidatos quanto à plausibilidade física.

2. Arquitetura do Modelo e Memória

• Formulação: O modelo gera blocos $z_k$ condicionados a instruções de texto $c_k$, referências visuais $r_k$ e um histórico limitado $H_k$. As instruções são tratadas como controles externos; as atualizações afetam apenas os blocos ainda não comprometidos.
• Memória Multiescala Limitada: Para sustentar rollouts de escala de horas, o sistema retém o histórico recente na resolução latente nativa enquanto comprime progressivamente os períodos mais antigos em um estado aprendido de capacidade fixa. Isso evita o acúmulo de erros e a deriva de cor, mantendo a computação por bloco constante.
• Super-resolução: Um modelo dedicado de super-resolução de vídeo de refinamento único transforma blocos nativos de 832 × 480 em saída 4K. Ele utiliza autoencoders temporalmente destilados e atenção de janela espacial para preservar a consistência de movimento sem introduzir dependências autorregressivas entre os blocos.

3. Inferência e Servimento

A pilha de inferência é projetada para entrega progressiva e interação em tempo real:

• Controle ao Vivo: Os prompts são codificados assincronamente e aplicados nas fronteiras dos blocos. Um resumo de prompt rotativo mantém o contexto através das interações.
• Execução Otimizada: O sistema utiliza execução de transformer compilado, kernels fundidos e execução multi-GPU de sequência completa (usando particionamento de sequência estilo Ulysses) para minimizar a latidade.
• Estabilização de Deriva: Controles adaptativos ao conteúdo (ex: perturbação aditiva, escalonamento de RoPE temporal e roteamento de prompt negativo consciente de movimento) são aplicados para estabilizar rollouts longos contra erros acumulados.
• Saída: O pipeline entrega vídeo 4K a 24 FPS com uma resposta visível média às atualizações de prompt de menos de um segundo.

Principais Contribuições

1. Formulação Unificada de Vídeo ao Vivo: Um processo de fluxo latente por blocos persistente, onde o estado visual é carregado entre os blocos, permitindo que instruções indexadas no tempo alterem o conteúdo sem reiniciar o rollout. Isso suporta continuidade T2V, I2V e V2V sob uma única interface.
2. Dados e Treinamento Alinhados a Eventos: Um mecanismo de dados de múltiplas etapas produzindo legendas temporalmente localizadas e um currículo que transita de priors de vídeos curtos para streaming condicionado ao histórico, incluindo treinamento específico para troca de prompts e estabilidade de longo horizonte.
3. Memória Limitada para Geração de Longo Horizonte: Um mecanismo que retém o histórico recente em alta resolução enquanto comprime dados antigos em um estado fixo, permitindo rollouts de escala de horas sem deriva evidente de qualidade ou cor.
4. Pós-treinamento de Fluxo de Poucos Passos: Um pipeline combinando destilação de orientação, correspondência de distribuição de auto-forçamento e aprendizado por reforço baseado em GRPO para alinhar o modelo com recompensas de qualidade de vídeo e plausibilidade física.
5. Co-design de Sistema de Alta Resolução em Streaming: Uma pilha de servimento otimizada que integra reutilização de estado, paralelismo de sequência de lote-um e um modelo de super-resolução consciente de referência para alcançar entrega 4K em tempo real.

Resultados

O artigo avalia o Visko Orbis 1.0 em 74 casos envolvendo vídeos de 1 a 3 minutos com múltiplas trocas de eventos, comparando-o com sistemas de estado da arte como Helios, Self-Forcing, LongLive e Causal-Forcing.

• Métricas Quantitativas:
  • DOVER: Alcançou as maiores pontuações estética (0.8101) e técnica (0.5572).
  • VideoAlign: Garantiu as melhores pontuações de qualidade visual (1.5777) e qualidade de movimento (1.8646), além do maior logit de alinhamento texto-vídeo (0.1043).
  • Preferência Humana (HPSv3): Registrou uma média de quadro de 8.1018 e um mínimo de 6.9719.
• Arena de Preferência Humana: Em um estudo comparativo entre 9 sistemas, o Visko Orbis 1.0 alcançou o Elo Geral mais alto (1838) e o Elo de Estabilidade Temporal mais alto (1940). Embora outros sistemas (ex: HappyOyster) tenham mostrado fidelidade visual competitiva, o Orbis demonstrou uma vantagem distinta em manter experiências de visualização de longo formato coerentes e lidar com trocas de instrução.
• Consistência de Longo Horizonte: A Figura 1 ilustra que, em um rollout de 3600 segundos (1 hora), o sistema mantém qualidade estética estável, alinhamento de prompt e saturação de cor (trajetórias HSV) em comparação com os sistemas de base, que exibem deriva.

Significância e Alegações

O artigo posiciona o Visko Orbis 1.0 como a primeira realização do paradigma de Modelo Vivo (Live Model) para geração de vídeo. Ele afirma deslocar a fronteira da geração de vídeo de produzir clipes estáticos e limitados para sustentar um fluxo visual controlável. Ao integrar geração com estado, treinamento alinhado a eventos e servimento eficiente em tempo real, o sistema permite que usuários direcionem a geração de vídeo continuamente conforme ela se desenrola. Os autores afirmam que este trabalho avança a geração de vídeo em direção a um meio criativo responsivo, suportando aplicações que variam desde streaming ao vivo e narrativa interativa até robótica e companheirismo virtual, tudo mantendo alta fidelidade visual e estabilidade temporal durante durações estendidas.