💻 computer science

Vorch-Director: Interactive World Story Model via Noise-Aware Error Rectification

O Vorch-Director é um modelo de história de mundo interativo que aprimora a geração audiovisual de longo horizonte ao introduzir uma estratégia de correção residual consciente de ruído para mitigar o acúmulo de erros e o desvio de identidade, enquanto aproveita embeddings de tarefa e treinamento de tarefas mistas para suportar condicionamento unificado de múltiplos disparos no LTX-2 diffusion transformer.

Autores originais: Lisai Zhang, Yidi Wu, Qi Liu, Xin Ma, Yang Ding, Gang Yue, Siqian Yang, Jingyuan Chen, Lin Ma, Yaohui Wang

Publicado 2026-08-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Lisai Zhang, Yidi Wu, Qi Liu, Xin Ma, Yang Ding, Gang Yue, Siqian Yang, Jingyuan Chen, Lin Ma, Yaohui Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a contar uma história. Você dá a ele algumas frases e ele escreve a próxima. Depois, você pega essa nova frase, a alimenta novamente e pede a próxima. Você continua fazendo isso, esperando construir um romance inteiro. É assim que muitos geradores de vídeo de IA modernos funcionam: eles criam um clipe curto e, em seguida, usam esse clipe como a "memória" para criar o próximo, costurando-os para formar um filme longo. Esse processo é chamado de continuação autorregressiva.

No entanto, há um problema complicado com este método de "copiar e colar". Quando o robô aprende, ele é apresentado a histórias perfeitas e limpas escritas por humanos. Mas quando ele realmente faz um filme, ele tem que confiar em seu próprio trabalho anterior, que nunca é totalmente perfeito. Ele pode ter um pequeno borrão, um rosto ligeiramente errado ou uma voz que soa um pouco estranha. Quando o robô usa esse clipe levemente falho para fazer o próximo, os erros pioram. Quando o filme chega aos dez minutos, os personagens podem parecer cera derretida, suas vozes podem estar distorcidas e a história pode derivar para o absurdo. Isso é conhecido como viés de exposição: o robô é treinado em um mundo imaculado, mas tem que viver em um mundo bagunçado. Cientistas têm tentado consertar isso para que possamos gerar vídeos longos, consistentes e de alta qualidade com som sincronizado, mas, até agora, as soluções foram como tentar consertar um barco com vazamento apenas retirando a água com baldes, sem consertar o buraco.

Apresentamos o Vorch-Director, uma nova abordagem que atua como um editor inteligente para a geração de vídeo por IA. Os pesquisadores por trás deste projeto perceberam que a maneira como os modelos de IA cometem erros não é aleatória; ela depende de quão "ruidoso" ou incerto o modelo é em qualquer momento dado. Pense nisso como desenhar um quadro: quando você está fazendo o esboço inicial, seus erros são grandes e estruturais (como deixar a cabeça grande demais). Quando você está adicionando os detalhes finais, seus erros são minúsculos (como uma sobrancelha torta). Métodos anteriores tentaram corrigir erros lançando "erros de prática" aleatórios para a IA durante o treinamento, mas eles não se importavam com o tipo de erro que era. Eles poderiam ter tentado corrigir um erro minúsculo de sobrancelha com uma correção gigante do tamanho de uma cabeça, o que só piorava as coisas.

O Vorch-Director muda o jogo ao ser consciente do ruído (noise-aware). O sistema mantém uma biblioteca dos próprios erros da IA, mas etiqueta cada erro com o nível específico de "ruído" em que foi cometido. Quando a IA está aprendendo a gerar uma nova cena, o sistema observa o quão incerta a IA está no momento. Se a IA está em uma fase de "esboço bruto" (ruído alto), o sistema fornece a ela erros estruturais grandes para praticar a correção. Se a IA está em uma fase de "detalhes finos" (ruído baixo), o sistema fornece erros sutis e minúsculos. Isso garante que a IA aprenda a corrigir o tipo certo de problemas no momento certo.

Para fazer isso funcionar para histórias longas, a equipe também introduziu alguns truques inteligentes. Eles criaram uma "âncora limpa" — um clipe curto e perfeito no início de cada novo segmento que a IA pode observar para lembrar quem os personagens realmente são, evitando que eles derivem para formas estranhas. Eles também deram à IA "etiquetas de nome" especiais (chamadas de task embeddings) para que ela saiba exatamente qual parte da entrada é a história até o momento, qual parte é uma foto de referência e qual parte é a nova cena que ela precisa criar. Isso ajuda a IA a manter os personagens com a mesma aparência mesmo quando a câmera corta para um novo ângulo ou uma nova localização.

Os resultados são promissores. Quando testado em benchmarks projetados para medir o quão bem a IA mantém a consistência de personagens e histórias ao longo do tempo, o Vorch-Director mostrou significativamente menos "deriva" (drift) do que outros modelos de ponta. Em testes envolvendo vídeos de um minuto com áudio sincronizado, o novo modelo manteve os rostos reconhecíveis e as vozes estáveis, enquanto outros modelos frequentemente resultavam em personagens se transformando em manchas estranhas ou vozes tornando-se ininteligíveis. Embora o artigo observe que ainda há espaço para melhorias — especialmente para igualar a consistência de modelos puramente visuais — o novo método sugere que, ao combinar o tipo de erro com o estágio de geração, podemos ensinar a IA a contar histórias muito mais longas, coerentes e realistas sem perder o juízo pelo caminho.

Resumo Técnico: Vorch-Director

Declaração do Problema

A continuação autorregressiva oferece um caminho para gerar conteúdo audiovisual de escala de minutos através da extensão repetida de um gerador de janela curta. No entanto, um descompasso crítico entre treino e teste (viés de exposição) dificulta essa abordagem. Durante o treino, os modelos são condicionados a históricos de verdade fundamental limpos (teacher forcing), enquanto na inferência, eles dependem de seus próprios outputs gerados anteriormente. O reuso recursivo de predições imperfeitas leva ao acúmulo de erros, manifestando-se como deriva de identidade (identity drift), suavização excessiva, inconsistência de movimento e dessincronização audiovisual ao longo de horizontes temporais longos.

Soluções existentes tentam mitigar isso via recuperação de memória (que assume um contexto limpo) ou treino de auto-rollout (que é computacionalmente caro). Abordagens recentes leves, como o Matrix-Game, injetam resíduos de predição no histórico de condicionamento para simular erros de tempo de inferência durante o treino. No entanto, esses métodos negligenciam uma propriedade fundamental dos modelos de difusão: os resíduos de predição são inerentemente dependentes do nível de ruído ( $\sigma$ ) do flow-matching no qual foram produzidos. Resíduos de alto $\sigma$ representam desvios estruturais grosseiros, enquanto resíduos de baixo $\sigma$ capturam erros de detalhes finos. O reuso indiscriminado de resíduos em diferentes regimes de ruído resulta em sub-corrupção ou sobre-corrupção do histórico, falhando em replicar fielmente a distribuição de inferência.

Adicionalmente, a geração de longo horizonte introduz problemas de extrapolação posicional. Modelos de continuação padrão dependem de índices posicionais contínuos que crescem com o comprimento da geração, forçando o modelo a extrapolar além dos intervalos de treino. Isso cria uma segunda fonte de viés de exposição.

Metodologia: Vorch-Director

O Vorch-Director aborda esses desafios através de uma estratégia de retificação de erro consciente do ruído construída sobre o LTX-2 Audio-Visual Diffusion Transformer (DiT).

1. Injeção de Resíduo Consciente de $\sigma$

A inovação central é uma estratégia que alinha os erros injetados com o processo de denoising:

Coleta de Resíduos: Durante o treino, resíduos de reconstrução ( $\delta = \hat{x}_0 - x_0$ ) são coletados de tokens alvo e armazenados em um buffer circular. Crucialmente, cada resíduo é etiquetado com o nível de ruído $\sigma$ no qual foi gerado.
Amostragem Compatível com o Ruído: Ao perturbar o histórico de condicionamento para um passo específico de denoising com nível de ruído $\sigma$ , o sistema amostra resíduos do buffer onde o nível de ruído armazenado $\sigma'$ satisfaz $|\sigma' - \sigma| \leq \tau_\sigma$ .
Injeção: Esses resíduos compatíveis são injetados nos tokens do histórico com uma força $\gamma$ (amostrada de $U(0.9, 1.2)$ ). Isso garante que o histórico "corrompido" apresentado ao modelo durante o treino imite o regime de erro específico que o modelo está aprendendo a denoise no momento, em vez de aplicar ruído arbitrário.

2. Estabilização de Condicionamento e Embeddings de Tarefa

Para evitar o colapso total pela injeção de erro e lidar com a complexidade de múltiplos shots:

Sink de Condicionamento Limpo: Uma janela curta e não corrompida (1 segundo) do histórico é anexada como um "sink" ( $\tau_{sink}$ ). Isso fornece uma âncora estável e limpa para o modelo referenciar, prevenindo a deriva de identidade enquanto o restante do histórico ( $\tau_{hist}$ ) é corrompido.
Embeddings de Tarefa: Para resolver a extrapolação posicional, o modelo utiliza embeddings de tarefa leves ( $e_\tau$ ) para distinguir papéis de tokens (Alvo, Histórico, Sink, Imagens de Referência, Áudio de Referência) em vez de depender apenas de índices posicionais crescentes. Isso permite que os índices posicionais sejam resetados para novos segmentos enquanto preserva a consistência temporal, desacoplando papéis semânticos da posição absoluta.
Template de Prompt Unificado: Um template de prompt estruturado vincula referências de assunto (imagens e áudio) e descrições de shots, permitindo que um único modelo lide com tarefas de text-to-video, image-to-video e continuação audiovisual.

3. Objetivo de Treino

O modelo é treinado em um corpus de quatro tarefas mistas (25% cada):

Continuação de vídeo (apenas histórico).
Continuação + Imagem (histórico + referências de assunto).
Subject-IP (geração impulsionada por imagem de referência).
Continuação audiovisual (vídeo/áudio de histórico + referências).

A função de perda é uma perda de flow-matching mascarada aplicada apenas aos tokens alvo, garantindo que o sinal de supervisão permaneça limpo enquanto a distribuição do contexto corresponde às condições de inferência.

Principais Contribuições

Injeção de Resíduo Consciente de $\sigma$ : Uma estratégia que combina resíduos de predição com o nível de ruído correspondente do flow-matching, mitigando substancialmente o viés de exposição na geração autorregressiva de difusão.
Interface de Condicionamento Unificada: Um sistema de embedding de tarefa leve que distingue vídeo histórico, imagens de referência e vídeo alvo, permitindo o reuso de codificação posicional através de passos de continuação e eliminando o viés de extrapolação posicional.
Framework Integrado: Um framework baseado em LTX-2 que combina a estratégia de treino proposta com treino de tarefas mistas, suportando geração audiovisual multi-shot, multi-assunto e guiada por referências dentro de um único modelo.
Novo Benchmarking: Avaliação no ST-Bench e a introdução de um novo benchmark audiovisual de longo horizonte apresentando métricas de Consistência Relativa ao Âncora (ARC) e Reaparecimento (Reappear), que caracterizam melhor a degradação progressiva do que as avaliações padrão de shots adjacentes.

Resultados

Experimentos extensos demonstram que o Vorch-Director melhora a estabilidade e a fidelidade audiovisual sobre baselines fortes:

ST-Bench (História Multi-shot): O Vorch-Director lidera as quatro métricas de consistência cross-shot por uma margem ampla. Notavelmente, alcança um score ViCLIP de 0.7887 comparado ao melhor baseline (JoyAI-Echo) em 0.5900. Também supera significativamente os baselines em medidas de identidade de longo alcance (ARC: 0.6570 vs. 0.3961; Reappear: 0.6648 vs. 0.4114).
UnityShots (T2V & R2V): Em configurações de Text-to-Video (T2V), o Vorch-Director lidera em ViCLIP, ARC e Reappear. Em Reference-to-Video (R2V), lidera o baseline mais forte em todas as quatro métricas de consistência.
Benchmark de Longo Prazo Áudio-Visual: Em uma tarefa de geração de escala de minutos com 22 shots e áudio sincronizado:
- O Vorch-Director melhora cada métrica de consistência cross-shot contra o baseline audiovisual JoyAI-Echo (ex: ViCLIP 0.6269 vs. 0.4922).
- Embora baselines puramente visuais (StoryMem, Memento) mostrem scores mais altos em algumas métricas de similaridade, o artigo nota que esses sistemas não geram áudio (resolvendo um problema estritamente mais fácil) e exibem menos movimento inter-frame, o que infla os scores de similaridade.
- Qualitativamente, o Vorch-Director mantém o reconhecibilidade do protagonista e a fidelidade da cena através de 22 shots sem a corrupção cromática ou o colapso de identidade vistos em baselines como Memento e StoryMem.

Significância e Alegações

O artigo alega que o principal obstáculo para a geração audiovisual de escala de minutos não é o comprimento do contexto em si, mas o descompasso de histórico causado pelo viés de exposição. Ao alinhar os erros injetados com o processo de denoising via consciência do nível de ruído, o Vorch-Director produz históricos autorregressivos mais realistas enquanto retém a eficiência do treino de teacher-forcing.

Os autores posicionam o Vorch-Director como uma melhoria ortogonal aos mecanismos de memória e gating existentes; em vez de decidir o que histórico recuperar, ele torna o modelo de continuação base robusto a histórico recuperado ou gerado imperfeito. O trabalho demonstra que um único modelo pode suportar geração audiovisual complexa, multi-shot, multi-assunto e sincronizada, abordando os problemas de deriva e dessincronização que atualmente limitam a geração de vídeo autorregressiva. O artigo nota modestamente que fechar a lacuna para sistemas puramente visuais mantendo o áudio sincronizado continua sendo um desafio aberto, mas o Vorch-Director representa um passo significativo para a geração estável de longo horizonte.