MATRIX: Mask Track Alignment for Interaction-aware Video Generation

1. O Problema

Os Transformers de Difusão de Vídeo (Video DiTs) têm avançado significativamente na geração de vídeo a partir de texto. No entanto, eles ainda enfrentam dificuldades críticas ao modelar interações entre múltiplas instâncias (sujeito-objeto) ou entre múltiplos sujeitos. As falhas principais observadas são:

1. Falha de Fundamentação Semântica (Semantic Grounding Failure): O modelo não consegue localizar corretamente os sujeitos ou objetos especificados no prompt (substantivos) ou falha ao vincular a relação de ação (verbo) entre eles. Isso resulta em vídeos onde o "quem faz o quê para quem" está incorreto.
2. Falha de Propagação Semântica (Semantic Propagation Failure): Mesmo que a fundamentação inicial seja correta, as ligações semânticas não persistem ao longo do tempo. Isso causa "drift" (desvio de identidade), duplicação de objetos ou alucinações, onde a interação se dissolve ou se transforma em algo não solicitado.

A questão central levantada pelos autores é: Como os DiTs de vídeo representam internamente essas interações e como podemos garantir que essas representações persistam?

2. Metodologia

A abordagem do MATRIX é baseada em uma análise profunda dos mecanismos de atenção interna dos DiTs e na introdução de uma regularização específica.

A. Análise e Descoberta (O "Porquê")

Os autores realizaram o primeiro estudo sistemático sobre como os DiTs representam interações, utilizando um novo dataset (MATRIX-11K). Eles analisaram a atenção 3D completa (3D Full Attention) e identificaram duas perspectivas chave:

• Fundamentação Semântica: Analisada via atenção de vídeo para texto (video-to-text). Verifica se os tokens de substantivos (sujeito/objeto) e verbos (interação) se alinham com as regiões visuais corretas.
• Propagação Semântica: Analisada via atenção de vídeo para vídeo (video-to-video). Verifica se as ligações de identidade e interação persistem consistentemente entre os quadros.

Descoberta Crucial: Eles constataram que esses efeitos de fundamentação e propagação não ocorrem uniformemente em todas as camadas do modelo. Em vez disso, concentram-se fortemente em um pequeno subconjunto de camadas, que eles denominam "camadas dominantes de interação" (interaction-dominant layers). Em gerações bem-sucedidas, a atenção nessas camadas está fortemente alinhada com as máscaras dos objetos; em falhas, essa atenção é difusa ou desalinhada.

B. Dataset: MATRIX-11K

Para realizar essa análise e treinar o modelo, os autores criaram o MATRIX-11K, um dataset de 11.000 vídeos com:

• Legendas ricas em interações.
• Tracks de máscaras de múltiplas instâncias: Cada objeto participante da interação possui uma máscara binária por quadro, vinculada a um ID persistente ao longo do vídeo.
• O pipeline de curadoria utiliza LLMs para extrair trios de interação (sujeito-verbo-objeto) e VLMs (Vision-Language Models) para verificar a correspondência visual, garantindo alta precisão na anotação.

C. O Framework MATRIX

Com base na análise, o MATRIX propõe uma regularização simples e eficaz que alinha a atenção do modelo com as tracks de máscaras do dataset.

• Arquitetura: Baseia-se em um modelo DiT pré-treinado (ex: CogVideoX-5B-I2V) com adaptação via LoRA (Low-Rank Adaptation).
• Foco Seletivo: O treinamento supervisiona apenas as camadas dominantes de interação identificadas na análise, deixando o restante do modelo congelado para preservar a qualidade geral do vídeo.
• Funções de Perda:
  1. Perda de Alinhamento de Fundamentação Semântica (SGA - Semantic Grounding Alignment): Alinha a atenção vídeo-para-texto nas camadas selecionadas. Força os tokens de substantivos a atenderem às regiões de suas instâncias e os tokens de verbos a atenderem à união das regiões de sujeito e objeto.
  2. Perda de Alinhamento de Propagação Semântica (SPA - Semantic Propagation Alignment): Alinha a atenção vídeo-para-vídeo. Garante que a atenção iniciada em uma instância no primeiro quadro permaneça concentrada na mesma instância ao longo do tempo, prevenindo drift.
• Decodificador Leve: Um decodificador causal leve mapeia as atenções do espaço latente para o espaço de pixels (máscaras) para calcular as perdas de forma precisa.

3. Avaliação: InterGenEval

Os autores argumentam que as métricas existentes (como VBench) avaliam apenas alinhamento global ou qualidade visual, falhando em capturar a fidelidade da interação. Eles propõem o InterGenEval, um protocolo de avaliação específico para interações:

• KISA (Key Interaction Semantic Alignment): Verifica passo a passo (pré, durante e pós-interação) se a ação ocorreu conforme descrito.
• SGI (Semantic Grounding Integrity): Avalia se o sujeito e o objeto foram corretamente identificados e vinculados à ação.
• SPI (Semantic Propagation Integrity): Mede a consistência temporal, penalizando o surgimento ou desaparecimento de instâncias.
• IF (Interaction Fidelity): A pontuação final é a média ponderada dessas métricas.

4. Resultados

Os experimentos demonstram que o MATRIX supera significativamente os modelos de base (baselines) como CogVideoX-2B/5B, Open-Sora e TaVid.

• Desempenho Quantitativo: No InterGenEval, o MATRIX alcançou a maior pontuação em todas as métricas de interação (KISA, SGI, IF), com ganhos relativos de mais de 30% em comparação ao modelo base CogVideoX-5B.
• Qualidade Visual: O método não compromete a qualidade do vídeo. Métricas de qualidade visual (IQ, Motion Smoothness) e fidelidade humana (HA - Human Anatomy) foram mantidas ou levemente melhoradas, indicando que a regularização não degrada a estética.
• Ablação: Estudos mostraram que:
  • O uso do dataset MATRIX-11K sozinho já traz melhorias.
  • A seleção de camadas é crucial; treinar todas as camadas dilui o sinal.
  • A combinação de SGA e SPA é necessária: SGA melhora a precisão da ação, enquanto SPA garante a consistência temporal.
• Generalização: O método foi testado em outros backbones (como Wan2.1-14B) e funcionou como um adaptador "plug-and-play", melhorando a fidelidade das interações sem necessidade de reengenharia arquitetural massiva.

5. Significado e Contribuições

O trabalho MATRIX é significativo por várias razões:

1. Interpretabilidade: Ele revela onde e como os DiTs de vídeo processam interações (nas camadas dominantes específicas), oferecendo uma visão clara sobre o "caixa preta" da geração de vídeo.
2. Solução Eficiente: Em vez de treinar modelos do zero ou usar controles complexos (como caixas delimitadoras manuais), o MATRIX usa uma regularização leve baseada em atenção e LoRA, tornando-a computacionalmente eficiente.
3. Padrão de Avaliação: A introdução do InterGenEval preenche uma lacuna crítica na comunidade, fornecendo métricas que realmente avaliam a lógica causal e semântica das interações, e não apenas a aparência visual.
4. Aplicabilidade: O método permite a geração de vídeos complexos com múltiplos agentes interagindo de forma coerente, o que é essencial para aplicações em simulação, robótica, realidade aumentada e narrativas visuais.

Em resumo, o MATRIX resolve o problema de "alucinação de interação" em modelos de vídeo modernos ao forçar a atenção do modelo a seguir a lógica espacial e temporal definida por tracks de máscaras, resultando em vídeos onde "quem faz o quê para quem" é semanticamente correto e temporalmente estável.