Resumo Técnico: CoT-Edit: Deixe o CoT Guiar a Edição de Vídeo por Instrução

1. Declaração do Problema

A edição de vídeo baseada em instruções impulsionada por texto enfrenta desafios significativos em cenários complexos do mundo real, particularmente ao lidar com múltiplos objetos coexistentes, entidades semelhantes densamente distribuídas ou interações dinâmicas. Prompts puramente textuais frequentemente falham em capturar relações espaciais precisas e restrições físicas, levando a:

• Ambiguidade de Alvo: Dificuldade em selecionar o objeto pretendido entre outros semelhantes (ex: alterar o "cachorro amarelo" quando vários cachorros estão presentes).
• Implausibilidade Física: Falha em respeitar trajetórias de movimento, escala ou relações de contato (ex: um objeto voando em um padrão impossível ou ignorando a gravidade).
• Deriva de Localização: Grounding espacial impreciso resultando em edições que afetam as regiões erradas ou carecem de estabilidade temporal.

Métodos existentes frequentemente dependem de conjuntos de dados de larga escala e modelos de alta capacidade para aprender essas restrições implicitamente, mas frequentemente sofrem de um grounding espacial insuficiente. Além disso, gerar máscaras baseando-se apenas em textos ambíguos propaga a incerteza semântica para a camada espacial, comprometendo a qualidade da edição.

2. Metodologia: O Framework Plan–Guide–Edit

Os autores propõem um framework modular que une explicitamente a intenção semântica de alto nível e a execução espacial de baixo nível através de três estágios principais: Plan (Planejar), Guide (Guiar) e Edit (Editar).

3.1. Planner: Planejamento Semântico–Espacial com CoT

O Planner atua como um tradutor semântico-espacial, utilizando um Modelo de Linguagem de Grande Escala Multimodal (MLLM) aprimorado por Cadeia de Pensamento (Chain-of-Thought - CoT). Em vez de uma saída direta de passagem única, o MLLM realiza um processo de raciocínio estruturado e de múltiplos passos sobre os frames-chave de entrada e as instruções de texto:

1. Parsing de Tarefa e Percepção Entre Frames: Identifica a intenção de edição (ex: adição, troca) e rastreia objetos entre frames, distinguindo o movimento da câmera do movimento do objeto.
2. Modelagem de Física e Consistência Temporal: Raciocina explicitamente sobre restrições físicas (gravidade, oclusão, contato) e continuidade temporal (deslocamento, mudanças de escala) para garantir plausibilidade cinemática.
3. Geração de Saída: Produz duas saídas estruturadas:
   • Sequência de Bounding Boxes Temporais: Uma sequência de caixas delimitadoras normalizadas ($\{b_t\}$) alinhadas com os frames-chave, fornecendo âncoras espaciais explícitas.
   • Instrução Enriquecida: Uma descrição de texto aumentada incorporando atributos do alvo, relações espaciais e restrições de cena.

3.2. Guide: Geração de Máscara Guiada por Box

O ramo Guide transforma o problema difícil de geração de máscara global em um problema de refinamento local usando as saídas do Planner como restrições rígidas.

• Geração Condicionada por Box: A sequência de bounding boxes serve como uma restrição rígida (hard constraint), enquanto a instrução enriquecida e os recursos de vídeo atuam como restrições suaves (soft constraints).
• Autoatenção Espaçotemporal: O ramo compartilha uma arquitetia hierárquica com o Editor, utilizando autoatenção para consistência temporal e atenção cruzada para injetar priors semânticos e espaciais.
• Correção Bidirecional:
  • Reverse-Connector: Alimenta o entendimento semântico de alto nível do Editor de volta ao Guide para recuperar detalhes em estruturas finas ou regiões ocluídas.
  • Mask-Connector: Injeta recursos de máscara refinados de volta ao Editor para garantir que a orientação espacial de baixo nível seja mantida entre as camadas.
• Saída: Gera uma sequência de máscaras binárias temporalmente consistentes ($\{M_t\}$).

3.3. Editor: Edição Baseada em Difusão

O Editor executa a modificação real da aparência e a geração de conteúdo usando um backbone de difusão (Wan2.2 5B).

• Fusão de Múltiplas Condições: O Editor integra a instrução enriquecida (via recursos do Qwen-VL), as máscaras espaço-temporais precisas e a representação latente do vídeo original.
• Mecanismo de Atenção Cruzada: Módulos especializados de atenção cruzada injetam o conhecimento semântico organizado do MLLM e os recursos de máscara no processo de difusão.
• Composição: Uma estratégia guiada por máscara aplica edições estritamente dentro das regiões da máscara enquanto preserva o vídeo original fora dela, garantindo coerência temporal e fidelidade semântica.

Estratégia de Treinamento

O framework emprega uma abordagem de treinamento em dois estágios para reduzir os requisitos de dados e melhorar a estabilidade:

1. Treinamento Modular: Os ramos de Máscara (Guide) e Editor são treinados separadamente em conjuntos de dados mistos de segmentação de imagem/vídeo e edição.
2. Treinamento Conjunto: Os ramos são treinados conjuntamente em um conjunto de dados interno de alta qualidade de 100 mil pares de edição de vídeo com anotações de máscara precisas.

3. Principais Contribuições

• Paradigma Plan–Guide–Edit: Um framework inovador que desacopla a intenção semântica da execução espacial, analisando alvos e localizando-os no espaço e no tempo antes que o processo de edição por difusão comece.
• MLLM Planner Aprimorado por CoT: Um módulo de raciocínio que resolve proativamente ambiguidades textuais e gera priors espaciais (bounding boxes) e instruções enriquecidas fisicamente consistentes.
• Predição de Máscara Condicionada por Box: Um mecanismo que converte priors espaciais explícitos em máscaras de alta qualidade e temporalmente consistentes, aliviando significativamente a carga sobre o editor de difusão.
• Colaboração Bidirecional: Um design que apresenta Reverse-Connectors e Mask-Connectors que permitem que o Editor e o Guide refinem mutuamente seus outputs, melhorando a estabilidade de borda e a plausibilidade física.

4. Resultados Experimentais

Os autores avaliaram o CoT-Edit contra baselines de estado da arte (ex: InsV2V, StableV2V, Lucy-1.1, OmniVideo) usando tanto métricas automáticas quanto estudos de usuário.

• Desempenho Quantitativo: O CoT-Edit alcançou desempenho de estado da arte em múltiplas métricas, incluindo:
  • Qualidade Visual: Melhoria no FVD (1015.67 vs. baselines >1400), Consistência Temporal (TC), Suavidade de Movimento (MS) e Estética (AES).
  • Seguimento de Instrução: Scores mais altos de CLIPScore e classificações Gemini para plausibilidade física, relações espaciais e qualidade geral de edição.
  • Raciocínio Espacial: Ganhos notáveis no tratamento de instruções complexas envolvendo múltiplos objetos semelhantes e leis físicas (ex: movimento parabólico).
• Melhorias Qualitativas: Comparações visuais demonstraram localização de alvo superior, melhor preservação de regiões não editadas e a capacidade de gerar movimentos fisicamente plausíveis (ex: bolas quicando) que métodos baseados apenas em texto não conseguiram alcançar.
• Estudos de Ablação:
  • CoT: A remoção do raciocínio de Cadeia de Pensamento levou a falhas na geração de trajetórias de movimento fisicamente plausíveis. O estudo comparou variantes incluindo Qwen3-VL-32B e Gemini 2.5 Pro (ambos com e sem CoT) para verificar a eficácia.
  • Ramo de Máscara: A inclusão do ramo de Máscara e dos conectores bidirecionais melhorou significativamente a localização espacial e os scores de seguimento de instrução. O estudo comparou configurações usando Qwen3-VL-8B como um módulo de aprimoramento de instrução dentro do ramo Editor.

5. Significância e Alegações

O artigo afirma que a principal significância do CoT-Edit reside no estabelecimento de um elo semântico-espacial confiável através de planejamento estruturado. Ao modelar explicitamente restrições espaciais e priors físicos antes da geração, o framework:

• Desacopla a Localização da Geração: Aliviando o modelo de difusão do fardo do grounding espacial, o que simplifica a tarefa de geração e reduz a necessidade de conjuntos de dados alinhados massivos.
• Garante Consistência Física: O raciocínio explícito sobre escala, cinemática e relações de contato evita modos comuns de falha, como deriva de objeto ou física impossível.
• Melhora a Eficiência e Estabilidade: A abordagem de treinamento modular e em estágios clarifica os objetivos de aprendizado para cada componente, levando a um treinamento mais estável e inferência mais eficiente em comparação com modelos de edição de texto-para-vídeo de ponta a ponta.

Os autores concluem que esta abordagem permite a edição de vídeo precisa, fisicamente consistente e temporalmente coerente, abordando a lacuna crítica entre instruções de linguagem natural de alto nível e a execução de nível de pixel de baixo nível.