Resumo Técnico: GroundShot

Definição do Problema

Gerar vídeos longos de múltiplos planos com consistência visual permanece um desafio em aberto na síntese de texto-para-vídeo (T2V). Embora modelos recentes consigam produzir clipes curtos coerentes, estendê-los para narrativas de múltiplos planos leva ao drift visual (desvio visual). À medida que o número de planos aumenta, entidades (personagens, objetos, locais) frequentemente mudam em características faciais, cor, forma ou coerência espacial.

O artigo identifica duas limitações primárias em métodos atuais de múltiplos planos:

1. Referências de Quadro Inteiro: Abordagens existentes frequentemente dependem de memórias de nível de quadro ou quadros próximos. Isso mistura personagens, objetos e fundos, forçando o gerador a inferir a aparência das entidades a partir de contextos visuais misturados, o que se torna não confiável conforme as cenas se tornam complexas.
2. Geração em Ordem Narrativa: A maioria dos métodos gera os planos na ordem narrativa. Isso força o sistema a inicializar a memória a partir de visões iniciais potencialmente fracas (ex: um plano de estabelecimento distante) em vez de esperar por uma aparência mais clara e informativa que pode ocorrer mais tarde na história. Erros nessas referências iniciais de baixa qualidade propagam-se para frente, causando um drift de identidade cumulativo.

Os autores observam que espectadores humanos julgam a consistência comparando cada aparição subsequente de uma entidade contra sua primeira aparição clara (a "referência canônica"). Portanto, a consistência deve ser gerenciada ao nível da entidade, desacoplando a ordem de geração da ordem narrativa para priorizar a criação de referências canônicas de alta qualidade.

Metodologia: GroundShot

O GroundShot é um framework agêntico, livre de treinamento e agnóstico a modelos, projetado para gerenciar a memória visual ao nível da entidade e o escalonamento de planos. Ele opera como um invólucro (wrapper) em torno de backends existentes de T2V ou de vídeo condicionado por referência (Ref2V). O pipeline consiste em cinco estágios principais:

1. Parsing de Roteiro e Extração de Entidades

Um parser de LLM analisa o roteiro de texto de entrada e a legenda global opcional para:

• Identificar entidades recorrentes (personagens, objetos, locais).
• Vincular menções textuais entre os planos para atribuir um ID de Entidade único.
• Atribuir níveis de prioridade (Personagens > Objetos > Locais).
• Determinar o conjunto de entidades que aparecem em cada plano.

2. Escalonamento de Planos Baseado em Qualidade

Em vez de seguir a ordem narrativa, o GroundShot determina uma ordem de geração ($\pi$) ótima baseada na utilidade esperada dos planos como fontes de referência.

• Estimativa de Qualidade de Referência: Para cada entidade $e$ e plano $s_i$, um estimador de qualidade de referência $Q_{ref}$ prevê uma pontuação $q_{src}(s_i, e)$ baseada em quão claramente a entidade deve aparecer (considerando escala, oclusão e ângulo de visão).
• Construção de Grafo de Dependência: O escalonador constrói um grafo direcionado onde as arestas apontam de um "plano de origem" selecionado (o plano com a maior qualidade prevista para uma entidade) para outros planos que contêm essa entidade.
• Ordenação Topológica: O escalonador resolve ciclos (preferências conflitantes entre entidades) priorizando entidades de maior prioridade e maiores ganhos de qualidade, realizando então uma ordenação topológica para produzir a ordem de geração. Isso garante que planos de referência de alta qualidade sejam gerados antes dos planos dependentes.

3. Memória Visual ao Nível da Entidade

O GroundShot mantém uma memória visual dinâmica $R$ organizada por entidade, não por quadro.

• Referência Canônica: A primeira referência suficientemente de alta qualidade para uma entidade é protegida como a referência canônica ($r^*_e$). Este âncora nunca é sobrescrito.
• Referências Suplementares: O sistema admite referências suplementares apenas se forem consistentes com a identidade canônica (portão de identidade/ identity gate) mas fornecerem evidência visual não redundante, como diferentes expressões, ângulos ou extensões de cena (portão de diversidade/ diversity gate).
• Fundamentação e Verificação: Após um plano ser gerado, o sistema realiza a fundamentação ao nível da entidade (usando modelos como o ReferDINO) para extrair recortes (crops) candidatos.
  • Personagens/Objetos: Recortes de primeiro plano são extraídos.
  • Locais: O primeiro plano é mascarado e removido via um modelo de edição de imagem para reconstruir a cena de fundo.
  • Verificações de Qualidade: Os candidatos passam por verificações de qualidade específicas de tipo (ex: visibilidade facial, nitidez, segurança da reconstrução). Apenas candidatos que passam por um limiar $\tau_{type}$ são admitidos na memória.

4. Geração de Planos

Para cada plano na ordem escalonada:

• Recuperação de Referência: O sistema recupera a referência canônica por padrão. Se uma referência suplementar corresponder melhor à visão, expressão ou cobertura de local específica do plano alvo, ela é selecionada via um classificador VLM.
• Modo de Geração:
  • T2V: Se não houver uma referência de primeiro plano utilizável, o plano é gerado a partir de texto.
  • Ref2V: Se as referências estiverem disponíveis, o plano é gerado condicionado a elas.
• Verificação e Reparo: Um crítico VLM verifica o vídeo gerado contra o prompt e as referências. Se problemas graves (incompatibilidade de identidade, ausência de entidades) forem detectados, reparos direcionados (ex: condicionamento mais forte, ajustes de prompt, re-semeadura) são tentados.

5. Aprendizado de Experiência

O GroundShot mantém um log de experiência de geração $X$ registrando ações de reparo bem-sucedidas e modos de falha. Isso guia decisões futuras para planos similares, permitindo melhorias iterativas dentro de uma única execução de geração.

Principais Contribuições

1. Framework GroundShot: Um novo framework agêntico, livre de treinamento, que formula a consistência de múltiplos planos como um problema de gerenciamento de referência ao nível da entidade. Ele explicitamente desacopla a ordem de geração da ordem narrativa através de um escalonamento baseado em qualidade e mantém uma memória visual curada de referências de entidades.
2. GroundBench: Um benchmark diagnóstico projetado para avaliar a consistência de múltiplos planos ao nível da entidade. Ele organiza roteiros em módulos de desafio controlados (ex: mudanças de escala, discriminação de múltiplas identidades, revisitas de cena) para permitir uma análise de falhas detalhada, indo além de métricas holísticas de nível de quadro.
3. Validação Empírica: Experimentos extensos demonstram que o GroundShot supera fortes baselines (incluindo HoloCine, MultiShotMaster e StoryMem) em métricas de consistência ao nível da entidade (ARC, WCI, XCD) sem exigir treinamento adicional ou modificação de modelo.

Resultados

• Desempenho Quantitativo: No GroundBench, o GroundShot alcança resultados de estado da arte em Consistência Relativa ao Âncora (ARC) e Identidade de Pior Caso (WCI), indicando preservação superior da identidade da entidade entre os planos. Também melhora a Discriminação entre Personagens (XCD), separando efetivamente identidades similares.
• Agnosticismo de Backbone: O framework melhora a consistência em três backends diferentes de geração de vídeo (Vidu, Kling e o open-source Wan2.1+Phantom), provando que os ganhos derivam do framework agêntico e não de um backend específico.
• Avaliação Humana: Em um estudo com 48 participantes, o GroundShot recebeu as classificações mais altas para Consistência de Identidade (4.18/5), Alinhamento de Texto (4.23/5) e Qualidade Geral (4.21/5), superando todos os baselines.
• Estudos de Ablação:
  • Fundamentação de Entidade: Remover a fundamentação ao nível da entidade (usando quadros inteiros em vez disso) causou a maior queda de desempenho, confirmando a necessidade de referências de entidade desvinculadas.
  • Escalonamento: Reverter para a geração em ordem narrativa degradou significamente o ARC e o WCI, validando a importância de gerar primeiro os planos de origem de referência.
  • Memória Dinâmica: Permitir referências suplementares (além do âncora canônico único) mostrou-se crítico para lidar com mudanças de ângulo e extensões de cena, particularmente para locais.

Significância e Alegações

O artigo afirma que o GroundShot aborda a limitação fundamental do drift cumulativo na geração de vídeos de longa duração ao mudar o paradigma de condicionamento sequencial de nível de quadro para o gerenciamento de referência centrado na entidade.

• Prioridade da Referência Canônica: Ao priorizar a geração de planos que forneçam aparições claras e de alta qualidade das entidades, o GroundShot estabelece uma estrutura de consistência "em forma de estrela", onde todas as aparições subsequentes se ligam a um padrão único e confiável, em vez de derivar de uma cadeia de potenciais quadros intermediários fracos.
• Desacoplamento da Produção da Narrativa: O framework demonstra que a ordem em que os planos são gerados não precisa coincidir com a ordem narrativa. Essa flexibilidade permite que o sistema "pré-calcule" a identidade visual de personagens e cenas antes que sejam necessários na história.
• Praticidade: O GroundShot não requer treinamento adicional dos modelos de geração de vídeo subjacentes, tornando-o imediatamente aplicável aos sistemas atuais de estado da arte de T2V e Ref2V.

Os autores reconhecem que o GroundShot é limitado pelo teto de qualidade de seu backend de geração de vídeo subjacente; se o backend não conseguir produzir uma entidade reconhecível em uma única tentativa, o framework não poderá resolver totalmente o problema. No entanto, o framework eleva significativamente o teto de consistência para a geração de múltiplos planos ao garantir que as referências utilizadas sejam das mais alta qualidade possível disponível.