Resumo Técnico: RVEDiT – Raciocínio Implícito em Transformers de Difusão para Edição de Vídeo

Declaração do Problema

A edição de vídeo baseada em instruções exige transformar um vídeo-fonte de acordo com uma instrução em linguagem natural, preservando o conteúdo irrelevante e mantendo a coerência temporal. Os autores argumentam que os editores existentes baseados em Transformers de Difusão (DiT) lutam com essa tarefa devido a duas limitações estruturais nos pipelines atuais:

1. Condicionamento Indiferenciado: Nos DiTs padrão, instruções textuais e tokens visuais são concatenados em uma única sequência conjunta processada uniformemente por cada bloco do transformer. Isso força um único fluxo de tokens a codificar simultaneamente a intenção de edição de alto nível e os alvos visuais de baixo nível, não deixando nenhum "espaço de trabalho" dedicado para o raciocínio.
2. Raciocínio Interno Não Supervisionado: Os padrões de atenção cruzada que governam a edição são supervisionados apenas indiretamente através de perdas de reconstrução em nível de pixel (por exemplo, correspondência de fluxo). Consequentemente, o rastro de raciocínio interno do modelo (os mapas de atenção que codificam quais tokens de texto leem quais regiões visuais) está subconstrangido. O modelo aprende a minimizar o erro de reconstrução, mas não é explicitamente ensinado a estabelecer as correspondências de granularidade fina necessárias para edições fiéis às instruções.

O artigo postula que a edição de vídeo baseada em instruções é fundamentalmente um problema de raciocínio latente que deve ser resolvido nativamente dentro do backbone do DiT, em vez de terceirizar o raciocínio para Grandes Modelos de Linguagem Multimodais (MLLMs) externos, que podem introduzir alucinações, ou tratar o backbone como uma caixa preta.

Metodologia: RVEDiT

Os autores propõem o RVEDiT (Reasoning Video Editing DiT), um framework projetado para estruturar o fluxo de condicionamento e supervisionar o processo de raciocínio interno. Ele consiste em dois componentes complementares:

1. Condicionamento de Tokens Roteado por Granularidade (GRTC)

Este componente aborda o gargalo do condicionamento indiferenciado introduzindo um mecanismo de roteamento consciente da profundidade:

• Tokens de Edição Aprendíveis: Um conjunto de $K$ tokens de edição aprendíveis ($X_e$) é destilado de um MLLM (especificamente Qwen2.5-VL) dado o vídeo-fonte e a instrução. Esses tokens atuam como um portador abstrato e contextualizado globalmente da intenção de edição.
• Roteamento Baseado em Profundidade: Os tokens são roteados para diferentes camadas do DiT com base em sua granularidade semântica:
  • Camadas Rasas ($\ell_{idx} \le L_s$): Atendem apenas aos tokens de edição aprendíveis ($X_e$). Isso permite que os blocos iniciais estabeleçam uma intenção de edição global sem serem diluídos por milhares de tokens em nível de pixel.
  • Camadas Profundas ($\ell_{idx} > L_s$): Atendem à sequência completa $[X_e; X_v; X_\ell]$, onde $X_v$ são tokens visuais nativos e $X_\ell$ são tokens textuais. Isso permite que os blocos mais profundos ancoragem a intenção global em regiões específicas, texturas e movimentos.
• Efeito: Isso cria um processo de edição do grosseiro ao fino dentro do backbone, separando a formação da intenção global do refinamento local.

2. Alinhamento de Atenção Ancorado em Referência (RAAA)

Este componente aborda o gargalo do raciocínio não supervisionado introduzindo um regularizador no momento do treinamento que não incorre em custos de inferência:

• Ramo de Referência: Durante o treinamento, uma segunda passagem forward é realizada através do mesmo DiT (com pesos compartilhados) condicionado ao vídeo-alvo de verdade fundamental ($v^*$) e sua legenda ($\ell^*$). Este ramo gera um rastro de raciocínio "bem-sucedido" (mapas de atenção cruzada) que serve como uma âncora.
• Maximização de Informação Mútua: O método maximiza a informação mútua entre os recursos de atenção cruzada do ramo de edição (condicionado a fonte + instrução) e o ramo de referência (condicionado ao alvo).
• Objetivo: Usando um estimador InfoNCE simétrico, o modelo é incentivado a alinhar a geometria de atenção do ramo de edição com o ramo de referência em uma profundidade amostrada aleatoriamente. Isso ensina ao modelo onde e como atender para refletir uma edição bem-sucedida, em vez de apenas minimizar o erro de reconstrução de pixel.
• Inferência: O ramo de referência é descartado após o treinamento, não adicionando sobrecarga computacional à implantação.

O objetivo final de treinamento combina a perda padrão de correspondência de fluxo ($\mathcal{L}_{fm}$) com o termo de alinhamento ($\mathcal{L}_{align}$):
$$\mathcal{L} = \mathcal{L}_{fm} + \lambda_{align} \mathcal{L}_{align}$$

Principais Contribuições

1. Formulação do Problema: O artigo identifica e formaliza dois gargalos estruturais nos pipelines existentes de DiT (condicionamento indiferenciado e raciocínio não supervisionado) que impedem o raciocínio implícito na edição de vídeo.
2. Framework RVEDiT: Um framework nativo do DiT que internaliza o raciocínio através de:
   • Condicionamento de Tokens Roteado por Granularidade: Estabelece um processo de edição do grosseiro ao fino roteando tokens derivados de MLLM para camadas rasas e tokens nativos para camadas profundas.
   • Alinhamento de Atenção Ancorado em Referência: Supervisiona ativamente o caminho de raciocínio maximizando a informação mútua entre os rastros de atenção de edição e referência.
3. Validação Empírica: Extensos experimentos demonstram que o RVEDiT supera as linhas de base de código aberto mais avançadas, particularmente em edições localizadas, composicionais e sensíveis à fidelidade.

Resultados Experimentais

Os autores avaliaram o RVEDiT no OpenVE-Bench contra linhas de base incluindo VACE, OmniVideo, ICVE, Lucy-Edit, DITTO e Kiwi-Edit. A avaliação foi conduzida usando um protocolo MLLM-como-julgador (Gemini-3.1-Pro e Qwen3.5-VL-35B) pontuando três eixos: Conformidade à Instrução (IC), Fidelidade de Consistência (CF) e Qualidade Visual (VQ).

• Desempenho Quantitativo: O RVEDiT alcançou as melhores pontuações gerais sob ambos os juízes (77,42 com Qwen3.5-VL-35B e 62,48 com Gemini-3.1-Pro).
• Ganhos Específicos: O modelo mostrou desempenho particularmente forte nas tarefas Adição Local e Alteração Local, que exigem modificação precisa e preservação do conteúdo circundante. Também teve bom desempenho na transferência de Estilo Global.
• Estudos de Ablação:
  • A remoção do GRTC degradou o desempenho em tarefas que exigem uma intenção global clara (Adição Local, Estilo Global).
  • A remoção do RAAA causou uma queda em tarefas que exigem correspondência posicional de granularidade fina (Adição Local, métricas CF e VQ).
  • A remoção de ambos os componentes resultou em falha significativa, particularmente em tarefas de Remoção Local (IC caiu em quase 17 pontos em comparação com o modelo completo).
• Análise Mecanística: A análise da massa de atenção confirmou que as camadas rasas focam nos tokens de edição (intenção global), enquanto as camadas mais profundas migram para tokens nativos (refinamento local), validando o design do grosseiro ao fino.

Significado e Alegações

O artigo alega que o RVEDiT demonstra com sucesso que moldar explicitamente o processo de raciocínio interno de backbones generativos é um caminho viável para uma edição de vídeo robusta e controlável. Ao tratar a tarefa como um problema de raciocínio latente e abordar os gargalos estruturais dos DiTs padrão, o método alcança:

• Fidelidade à Instrução: Melhor adesão a instruções complexas em linguagem natural.
• Preservação da Fonte: Melhor retenção de conteúdo não editado e estrutura da cena.
• Coerência Temporal: Redução de flickering e artefatos entre quadros.

Os autores enfatizam que essas melhorias são alcançadas sem módulos de planejamento externos ou custos adicionais de inferência, sugerindo que passagens generativas de ponta a ponta podem ser dotadas de capacidades de raciocínio implícito através de design arquitetônico e objetivos de treinamento direcionados.