Resumo Técnico: Geometry-Instructed Video Editing (GIVE)

1. Definição do Problema

A edição geométrica ao nível de objeto — como translação, rotação, escala, duplicação ou remoção de objetos — é uma operação rotineira nos fluxos de trabalho tradicionais de Criação de Conteúdo Digital (DCC), mas permanece pouco confiável nos atuais sistemas de edição de vídeo generativos. Os métodos existentes enfrentam duas limitações primárias:

• Ambiguidade no Estado 3D: Controles no espaço da imagem ou semânticos (prompts de texto, máscaras) não definem explicitamente os estados 3D pré e pós-edição do objeto alvo. Isso leva a restrições fracas, onde os modelos podem subexecutar operações ou falhar em atualizar efeitos secundários dependentes da geometria (ex: sombras, reflexos) de forma consistente.
• Fragilidade da Reconstrução 3D: Métodos que dependem de reconstrução 3D explícita (ex: elevação para um proxy 3D) são frequentemente custosos, exigem otimização por vídeo e são frágeis sob dinâmicas complexas do mundo real. Proxies imprecisos propagam erros, resultando em edições não confiáveis e efeitos secundários inconsistentes.

O desafio central é especificar a mudança de estado 3D do objeto alvo de forma inequívoca através de visualizações e do tempo, preservando regiões não editadas e garantindo coerência temporal, sem depender de uma reconstrução 3D frágil por vídeo.

2. Metodologia

Os autores propõem o GIVE, um framework de edição de vídeo instruído por geometria que representa edições como transições entre estados de objeto pré-edição e pós-edição. O framework consiste em três componentes principais:

A. Representação Unificada de Estado de Objeto

Em vez de usar rótulos específicos para tarefas, o GIVE define edições através de dois fluxos de instrução geométrica leves e alinhados ao vídeo, derivados de caixas delimitadoras orientadas em 3D (3D oriented bounding boxes):

1. Fluxo de Caixa de Profundidade (Depth-Box Stream): Codifica o posicionamento 3D grosseiro e a extensão espacial do objeto em coordenadas de câmera. É rasterizado como um mapa de profundidade (z-buffer) normalizado para $[0, 1]$.
2. Fluxo de Caixa de Orientação (Orientation-Box Stream): Codifica o rumo (heading) do objeto de maneira agnóstica à aparência. Renderiza a caixa 3D usando cores de identidade de face canônicas e fixas para fornecer pistas de orientação anisotrópica sem vazar a textura do objeto.

Estes fluxos existem tanto para o estado pré-edição (origem) quanto para o pós-edição (alvo). O operador de edição é induzido implicitamente pela diferença entre esses dois estados. Casos especiais como remoção (fluxos pós-edição vazios) e duplicação (múltiplas instâncias pós-edição) são tratados naturalmente dentro desta formulação.

B. Modelo de Difusão de Vídeo Instruído por Geometria

O GIVE instancia o editor como um modelo de difusão de vídeo latente condicional (Video DiT):

• Arquitetura: O vídeo RGB de entrada e os quatro fluxos de instrução geométrica (profundidade e orientação pré/pós) são codificados por um VAE de vídeo compartilhado em tokens espaço-temporais.
• Tokenização: Estes tokens são concatenados com o latente do vídeo editado ruidoso. A sequência é processada por um Transformer de Difusão de Vídeo.
• Alinhamento de Estado RoPE: Para garantir que os tokens de diferentes fluxos (origem vs. alvo) correspondam aos mesmos locais espaço-temporais, os autores alinham os índices de Codificação Posicional Rotativa (RoPE) entre todos os fluxos. Um deslocamento de estado constante distingue os tokens do estado de origem dos tokens do estado de alvo, permitindo que o modelo infira a edição pretendida a partir da relação entre os estados do objeto, em vez de rótulos de operadores explícitos.
• Inferência: Na inferência, o sistema utiliza ferramentas prontas (SAM 2 para segmentação, Geo4D para estimativa de profundidade/pose) para gerar os fluxos de geometria a partir da entrada do usuário, não exigindo otimização por vídeo ou buffers de engine.

C. Síntese de Dados Procedural Escalável

Para abordar a falta de supervisão pareada controlada em vídeos do mundo real, os autores construíram um pipeline de síntese de gráficos escalável (Unreal Engine) para gerar o GIVE-Data:

• Processo: O pipeline amostra cenas, assets, trajetórias de câmera e programas de edição (translação, rotação, escala, etc.). Ele executa o programa de edição no objeto alvo enquanto mantém constantes todos os outros fatores (iluminação, câmera, fundo).
• Saída: Renderiza pares de vídeo antes/depois ($V, V'$) controlados junto com fluxos de instrução geométrica sincronizados.
• Física: A renderização baseada em física garante que os efeitos dependentes da geometria (sombras, reflexos) mudem consistentemente com a transformação, fornecendo supervisão direta para uma edição fiel.

3. Principais Contribuições

1. Formulação Unificada de Estado de Objeto: Uma representação inovadora para edição de vídeo que utiliza fluxos de geometria pré/pós (caixas de profundidade e orientação) para definir transições de estado de objeto, suportando diversos operadores de estilo DCC dentro de um único framework.
2. Supervisão Procedural Escalável: Um conjunto de dados em larga escala (GIVE-Data, 202k clipes pareados) e um benchmark (GIVE-Bench) gerados via pipeline de engine gráfica, isolando edições geométricas e garantindo efeitos secundários consistentes para treinamento.
3. Modelo de Difusão Instruído por Geometria: Uma arquitetura Video DiT que integra fluxos de geometria via alinhamento de estado RoPE, permitindo que um único modelo realize translação, rotação, escala, duplicação, remoção e edição de trajetória.
4. Desempenho Robusto no Mundo Real: Um método que alcança alta fidelidade de edição e coerência temporal em vídeos do mundo real sem exigir reconstrução 3D por vídeo.

4. Resultados Experimentais

O artigo avalia o GIVE tanto no GIVE-Bench sintético quanto em 240 vídeos do mundo real.

• Desempenho Quantitativo (GIVE-Bench): O GIVE supera baselines representativos (incluindo DragVideo, Kling-O1, ProPainter, ROSE e DaS) em todos os operadores em PSNR, SSIM e LPIPS. Os ganhos são particularmente significativos para tarefas dependentes de geometria, como escala e translação, onde os baselines frequentemente derivam ou falham em atualizar efeitos secundários.
• Avaliação de Vídeos Reais:
  • Pontuações VBench: O GIVE alcança pontuações competitivas em consistência temporal e qualidade de vídeo, frequentemente melhorando métricas de consistência em comparação aos baselines.
  • Estudo de Usuário: Em um estudo de usuário cego de best-of-K, o GIVE alcançou a maior Taxa de Vitória (WinRate) em todos os operadores (ex: 66,75% para rotação, 76,42% para remoção, 85,92% para edição de trajetória), indicando uma percepção mais forte de fidelidade de edição.
• Estudos de Ablação: A remoção de qualquer um dos fluxos (caixa de orientação ou caixa de profundidade) degrada o desempenho, confirmando seus papéis complementares. O alinhamento de estado RoPE mostrou-se crítico para manter a correspondência espaço-temporal e melhorar as pontuações métricas.

5. Significância e Alegações

O artigo afirma que o GIVE aborda o desafio central da revisão geométrica de objetos em vídeo, mudando de uma reconstrução 3D frágil para uma formulação unificada de estado de objeto impulsionada por orientação geométrica leve.

• Fidelidade: Ao definir explicitamente os estados pré e pós, o GIVE garante que as mudanças 3D pretendidas sejam executadas com precisão, e que os efeitos secundários (sombras, reflexos) sejam atualizados consistentemente com a transformação.
• Escalabilidade: O pipeline de síntese de dados procedural permite a geração de dados de treinamento em larga escala e controlados sem anotação humana, permitindo o aprendizado de transições geométricas complexas.
• Generalidade: O framework suporta uma ampla gama de operadores de estilo DCC (rotação, escala, remoção, etc.) dentro de um único modelo, evitando a necessidade de interfaces específicas para cada tarefa.

Os autores reconhecem uma limitação atual na eficiência computacional, observando que a concatenação de múltiplos fluxos de geometria aumenta o comprimento da sequência e a latência, o que identificam como uma direção para trabalhos futuros.