Resumo Técnico: SARA (Alinhamento Relacional Semântico Adaptativo)

Declaração do Problema

Modelos Recentes de Difusão de Vídeo (VDMs) alcançaram alta fidelidade visual e coerência temporal, mas lutam com controlabilidade semântica de fino grão. Eles frequentemente descartam entidades, associam incorretamente atributos a sujeitos errados ou enfraquecem interações especificadas no prompt. Embora objetivos de alinhamento de representação como VideoREPA e MoAlign melhorem a aderência ao texto ao destilar relações de tokens espaço-temporais de um Modelo de Fundação Visual (VFM) congelado, eles sofrem de um problema de alocação de supervisão.

• VideoREPA pondera todos os pares de tokens igualmente (orçamento $O(N^2)$), independentemente do prompt. Em cenas com múltiplas entidades, isso resulta em aproximadamente 27% do orçamento de supervisão sendo desperdiçado em pares fundo-fundo (que o prompt nunca referencia), enquanto pares sujeito-sujeito (críticos para relações inter-entidades) recebem apenas ~23%.
• MoAlign tenta corrigir isso comprimindo o alvo do VFM em um subespaço supervisionado por movimento, atuando efetivamente como um roteador E (AND) que supervisiona apenas pares sujeito-sujeito em movimento. No entanto, o fluxo óptico é um proxy ruidoso para saliência (falhando sob oclusão, movimento rápido ou baixa textura) e ignora sujeitos estáticos e pares sujeito-fundo, que são essenciais para ancorar entidades em suas cenas.

O desafio central é como alocar um orçamento fixo de pares $O(N^2)$ para concentrar a supervisão em relações relevantes ao prompt (tanto sujeito-sujeito quanto sujeito-fundo) em vez de preenchimento de fundo.

Metodologia: SARA

SARA propõe um framework de dois estágios que mantém a forma de Destilação de Relação de Tokens (TRD) do VideoREPA, mas introduz uma saliência condicionada ao texto para rotear dinamicamente a supervisão.

Estágio 1: Treinamento de um Alinhador de Saliência Condicionado ao Texto

Um alinhador leve é treinado offline para prever um mapa de saliência contínuo $M_p$ condicionado ao prompt de texto.

• Backbones: Utiliza V-JEPA congelado (visual), SAM 3.1 (segmentação) e Qwen3-VL-Embedding (texto).
• Arquitetura: Um módulo de atenção cruzada funde tokens visuais com embeddings de texto, seguido por uma cabeça de saliência (MLP + sigmoide) e um projetor visual para aprendizado contrastivo.
• Estratégia de Supervisão:
  1. Supervisão Separada por Entidade: Em vez de uma única máscara global, o alinhador é treinado em $K+2$ passagens por vídeo: $K$ pares por entidade (legenda + máscara binária), um par de entidades combinadas e um par de fundo. Isso previne que o modelo colapse em um prior genérico de primeiro plano.
  2. Regularizador InfoNCE: Alinha os recursos visuais fundidos com os estados ocultos do texto no espaço de embedding para evitar que a saliência colapse sobre o sujeito mais dominante, preservando o contraste entre entidades.
• Saída: Um mapa de saliência contínuo $M_p \in [0, 1]$ indicando a relevância de cada token para o prompt.

Estágio 2: TRD Roteado por Saliência

Durante o treinamento contínuo do VDM (especificamente Wan2.2), o alinhador do Estágio 1 congelado gera mapas de saliência para a legenda completa do vídeo. Esses mapas são fundidos na perda TRD através de um operador de roteamento de pares.

• Operadores de Roteamento de Pares: SARA define relaxações de lógica fuzzy de operações booleanas para mapear saliências de tokens ($w_i, w_j$) para pesos de pares ($W_{ij}$):
  • E (AND): $w_i w_j$ (Retém apenas pares sujeito-sujeito; similar ao efeito do MoAlign).
  • XOR: $|w_i - w_j|$ (Retém apenas pares de fronteira).
  • OU (Padrão): $w_i + w_j - w_i w_j$. Esta é a inovação central. Retém pares sujeito-sujeito e pares sujeito-fundo, roteando a supervisão para longe de pares fundo-fundo.
• Função de Perda: A perda TRD padrão é modificada para ser uma média ponderada onde os pesos são determinados pelo operador OU. Isso realoca o orçamento de supervisão do ruído de fundo para relações semanticamente relevantes, sem alterar o alvo do VFM ou o número de parâmetros treináveis no caminho de difusão.

Contribuições Principais

1. Conceitual: Reenquadra a adaptação semântica para VDMs como um problema de roteamento de pares sobre a TRD. Formaliza o MoAlign como um roteador E implícito e propõe um roteador OU supervisionado por texto que inclui explicitamente a ancoragem sujeito-fundo.
2. Metodológica: Introduz um alinhador de saliência condicionado ao texto treinado com máscaras SAM por entidade e um regularizador InfoNCE. Isso permite que o sistema decida dinamicamente quais pares de tokens carregam supervisão com base no prompt, em vez de pistas de movimento estáticas.
3. Empírica: Demonstra que o SARA supera consistentemente o SFT, VideoREPA e MoAlign no backbone Wan2.2 em múltiplos protocolos de avaliação.

Resultados

Os experimentos foram conduzidos em um corpus de 500K clipes com múltiplas entidades usando o transformador Wan2.2 alto-ruído. A avaliação incluiu uma rubrica VLM de 13 dimensões, suites públicas VBench-1.0/2.0 e um estudo cego com usuários.

• Rubrica VLM: SARA é o único método a melhorar simultaneamente o Alinhamento ao Texto (TA) e a Qualidade de Movimento (MQ) em comparação com a linha de base pré-treinada. Supera a linha de base mais forte (MoAlign) em todas as dimensões.
• VBench: SARA alcança as pontuações agregadas mais altas tanto no VBench-1.0 (Semântica: +0,90 sobre o VideoREPA) quanto no VBench-2.0 (Final: +0,38 sobre o MoAlign).
• Estudo com Usuários: Em um estudo cego de pares, os anotadores preferiram o SARA a todas as linhas de base, com a maior margem contra o modelo pré-treinado.
• Ablações: Remover a cabeça de saliência ou o regularizador InfoNCE causa quedas significativas de desempenho. Substituir o roteador OU por E ou XOR também degrada o desempenho, confirmando que a inclusão de pares sujeito-fundo é crítica.

Significado e Alegações

O artigo afirma que o SARA aborda a "diluição" dos sinais de supervisão nos métodos atuais de alinhamento de representação. Ao deslocar a alocação do orçamento $O(N^2)$ de um heurística impulsionada por geometria ou movimento para uma heurística impulsionada pelo prompt, o SARA garante que o modelo aprenda a associar atributos e interações especificamente onde o texto indica.

Os autores observam que, embora o SARA melhore a aderência ao prompt, ele herda as limitações do protocolo de treinamento do modelo base. Especificamente, como apenas o especialista de alto-ruído do MoE Wan2.2 é atualizado, há uma queda leve e consistente na qualidade renderizada de "baixo-ruído" (ex.: fidelidade humana, consistência temporal) em comparação com o modelo pré-treinado congelado. No entanto, o SARA exibe a menor queda entre todos os métodos de treinamento contínuo, sugerindo que suas atualizações direcionadas são menos disruptivas para o especialista de baixo-ruído congelado do que atualizações uniformes.

O artigo conclui que o SARA fornece um mecanismo mais eficiente e semanticamente consciente para alinhar modelos de difusão de vídeo, alcançando resultados state-of-the-art na aderência a texto de fino grão sem exigir condições adicionais no tempo de inferência ou alterações arquitetônicas no backbone de difusão.