What Semantics Survive the Connector? Diagnosing VLM-to-DiT Alignment in Video Editing

Declaração do Problema

Modelos generativos de vídeo recentes dependem cada vez mais de Modelos Visão-Linguagem (VLMs) acoplados a Transformadores de Difusão (DiTs) para realizar edição de vídeo baseada em instruções. O paradigma predominante envolve o uso de um módulo conector (tipicamente um MLP) para alinhar as capacidades ricas e multimodais de raciocínio de um VLM (por exemplo, Qwen2.5-VL) com o espaço de incorporação de texto original do DiT. Este design assume que o conector pode transferir seamlessmente a compreensão semântica do VLM para o DiT, potencialmente aumentada por tokens de consulta aprendíveis para refinamento.

No entanto, os autores hipotetizam que esse alinhamento atua como um severo gargalo semântico. Embora os VLMs possam compreender com sucesso instruções de edição complexas, o conector pode degradar variáveis estruturais de alta granularidade — como slots espaciais específicos, valores de atributos alvo e papéis de objetos — antes que eles alcancem o DiT. As atuais métricas de avaliação de ponta a ponta falham em isolar essa questão, pois confundem falhas de alinhamento com erros próprios de remoção de ruído ou atenção do DiT. Além disso, conjuntos de dados de vídeo naturais carecem de anotações desentrelaçadas necessárias para sondar essas variáveis semânticas específicas.

Metodologia

1. TRACE-Edit: Um Benchmark Diagnóstico

Para investigar rigorosamente essa hipótese, os autores introduzem o TRACE-Edit, um benchmark diagnóstico controlado projetado para isolar semânticas estruturais de edição.

• Construção: O conjunto de dados é construído via um pipeline de composição. Primeiro, vídeos "atômicos" de objeto único são gerados e verificados por um VLM para garantir clareza de sujeito, categoria e atributos. Estes são então compostos em grades de vídeo 2x2.
• Formulação da Tarefa: As instruções são relacionais, exigindo que o modelo modifique um objeto em um slot (por exemplo, canto superior esquerdo) para corresponder a um atributo (cor, material ou ação) de um objeto em outro slot (por exemplo, canto inferior direito).
• Verdade Terrena: Cada exemplo inclui rótulos exatos para o slot editado ($y_{slot}$), o valor alvo ($y_{tgt}$), o objeto editado ($y_{editobj}$) e o objeto de referência ($y_{refobj}$).
• Escala: O conjunto de dados contém 5.524 vídeos compostos, gerando 11.048 exemplos de edição relacional nos domínios de cor, material e ação.

2. Protocolo Diagnóstico

Os autores avaliam quatro modelos representativos (variantes do UniVideo, Kiwi-Edit e um Wan-Query personalizado) usando um framework diagnóstico multiestágio em vez de uma classificação padrão:

• Análise Geométrica: Medição de mudanças no rank efetivo, variância de características e Alinhamento de Kernel Centralizado (CKA) entre representações pré-conector (VLM) e pós-conector (voltadas para o DiT).
• Sondagem Linear: Treinamento de classificadores lineares em características pré e pós-conector para medir a acessibilidade de variáveis específicas (tipo de atributo, slot editado, valor alvo, papéis de objetos).
• Decomposição de Roteamento de Tokens: Em modelos usando tokens de consulta, os autores analisam onde reside a evidência semântica (apenas texto, apenas consulta ou visões mistas) e calculam contribuições de margem ao nível do token.
• Roteamento de Atenção: Análise de como o DiT aloca atenção para tokens de condição (texto vs. consulta) ao longo dos passos de remoção de ruído e camadas.
• Análise de Falhas ao Nível de Saída: Uso de um VLM como juiz para categorizar falhas de vídeo geradas em "subedição" (conservadora) vs. "erros estruturais" (slot errado, vinculação errada, alvo errado).

Resultados Principais

1. Degradação Semântica no Conector

• Transformação Geométrica: O alinhamento do conector não é uma projeção passiva; ele reconfigura substancialmente a geometria do espaço de características. Embora alguns modelos mostrem aumento no rank efetivo, eles frequentemente sofrem colapsos severos na variância de características.
• Preservação Seletiva: Intenção grosseira (por exemplo, "mudar a cor") é preservada com precisão quase perfeita. No entanto, semânticas estruturais de alta granularidade degradam-se significativamente:
  • Slot Editado: A precisão cai de ~92% para ~74% no U-Query após o alinhamento.
  • Valor Alvo: A acessibilidade cai em todos os modelos (por exemplo, de ~51% para ~49% no U-Query).
  • Papéis de Objetos: A decodabilidade de objetos editados vs. de referência varia, com alguns modelos perdendo essa informação completamente.
• Mudança no Roteamento de Tokens: Em modelos baseados em consulta, embora os tokens de texto retenham semântica forte, o conector desvia a evidência semântica real dos tokens de consulta. No entanto, o DiT continua a alocar atenção dominante para esses tokens de consulta, criando uma desconexão entre o roteamento de informações e a alocação de atenção.

2. Falhas de Saída são Estruturais, Não Conservadoras

• A análise de vídeos gerados revela que erros estruturais (slot errado, vinculação errada, alvo errado) constituem o modo de falha primário (40,9%–61,9% dos erros), superando amplamente a subedição (11,1%–14,6%).
• Isso confirma que os modelos frequentemente tentam uma edição, mas falham em preservar as vinculações corretas slot-valor-papel, correlacionando-se diretamente com a degradação semântica observada no conector.

3. Limitações de Designs Atuais

• Tokens de Consulta: Adicionar meramente tokens de consulta não resolve o problema; se o conector falhar em preservar informações de slot-valor-papel ao longo da rota de consulta, o DiT não pode utilizá-las efetivamente.
• Força do Backbone: Substituir o backbone do DiT (por exemplo, trocar HunyuanVideo por Wan) não recupera variáveis estruturais perdidas durante o alinhamento VLM-para-DiT, indicando que o gargalo reside no conector, não no gerador.

Contribuições Principais

1. TRACE-Edit: Um benchmark sintético controlado que isola variáveis de slot, valor e papel de objeto para diagnosticar semânticas estruturais na edição de vídeo, superando as limitações de benchmarks de vídeo natural não estruturados.
2. Protocolo Diagnóstico: Um framework abrangente para sondar o alinhamento VLM-para-DiT, analisando a geometria do espaço de condição, acessibilidade semântica, roteamento de tokens e alocação de atenção.
3. Evidência Empírica de Gargalo: Um estudo rigoroso demonstrando que designs atuais VLM-para-DiT sofrem de degradação semântica, identificando o conector como um gargalo primário que fratura programas de edição relacional.

Significado e Alegações

O artigo desafia a suposição predominante de que conectores atuam como adaptadores semânticos sem perdas. Os autores afirmam que semânticas estruturais de alta granularidade são severamente degradadas durante o alinhamento, revertendo a crença de que simplesmente usar um VLM poderoso e um conector é suficiente para edição complexa de vídeo.

O significado deste trabalho reside em:

• Reenquadramento do Problema: Deslocar o foco da qualidade de vídeo de ponta a ponta para a qualidade da representação intermediária do conector.
• Identificação do Gargalo: Apontar o alinhamento VLM-para-DiT como o ponto de falha crítico para variáveis estruturais, e não a capacidade de remoção de ruído do DiT.
• Direções Futuras: Os autores argumentam que futuros editores de vídeo devem tratar o design do conector como um problema de preservação semântica. Eles propõem que modelos que dependem de tokens de consulta devem relatar diagnósticos sobre se variáveis de slot, valor e papel de objeto permanecem acessíveis após o conector, em vez de depender exclusivamente de métricas de qualidade de geração final.

O artigo conclui que, sem abordar a incapacidade do conector de preservar vinculações relacionais de alta granularidade, mesmo os VLMs e DiTs mais avançados falharão em executar edição de vídeo precisa baseada em instruções.