ElasticTTT: Prior-Preserving Test-Time Tuning for Video Editing

Resumo Técnico: ElasticTTT: Ajuste em Tempo de Teste com Preservação de Priors para Edição de Vídeo

Definição do Problema
O Ajuste em Tempo de Teste (Test-Time Tuning - TTT) emergiu como um paradigma poderoso para a edição de vídeo, visando adaptar modelos de difusão pré-treinados a vídeos de origem específicos fornecidos pelo usuário para melhorar a aparência, a estrutura e a preservação do movimento. No entanto, os autores identificam um descompasso fundamental entre a natureza de mapeamento de distribuição dos modelos de difusão generativos e a otimização de ponto único inerente ao TTT padrão. Esse descompasso desencadeia um fenômeno denominado Colapso de Prior (Prior Collapse), um estado degenerado onde o modelo descarta condições de texto e latentes espaciais, colapsando as gerações para o vídeo de origem ou emaranhando características de regiões distintas.

O artigo caracteriza o Colapso de Prior através de dois modos de falha complementares:

1. Colapso de Condicionamento (Conditioning Collapse): O direcionamento condicional torna-se ancorado à dinâmica condicionada à origem durante o ajuste. O modelo enfraquece gradualmente as vias de condicionamento de texto, ignorando a instrução de edição alvo e falhando em seguir a nova orientação semântica.
2. Emaranhamento Espacial (Spatial Entanglement): As representações espaciais tornam-se globalmente acopladas durante a difusão à medida que o modelo tenta memorizar o alvo global. Isso impede o controle localizado, causando modificações indesejadas fora da região alvo e corrupção visual.

Intervenções existentes, como a Adaptação de Baixo Rank (LoRA), perdas de preservação de prior ou modificações de mapas de atenção, são descritas como subótimas, muitas vezes dependendo de ajustes arquiteturais delicados, conjuntos de dados auxiliares ou permanecendo sensíveis a hiperparâmetros. Além disso, transferir técnicas de TTT baseadas em imagem para Transformers de Difusão de Vídeo (DiT) sem adaptação acelera severamente o Colapso de Prior devido aos complexos priors espaço-temporais dos modelos de vídeo.

Metodologia: ElasticTTT
Para resolver a tensão entre otimização e amostragem e resgatar a elasticidade generativa, os autores propõem o ElasticTTT, um framework que intervém em todo o pipeline generativo através de três componentes inovadores:

1. Regularização de Distribuição Alvo (Target Distribution Regularization - TDR):

   • Objetivo: Prevenir o Colapso de Condicionamento durante a fase de otimização (treinamento).
   • Mecanismo: Em vez de otimizar contra uma distribuição Dirac determinística e rígida (o vídeo de origem único), o TDR injeta estocasticidade controlada no alvo de otimização. Especificamente, o vetor de velocidade alvo é computado usando uma versão perturbada do latente de origem ($\tilde{x}_0 = x_0 + \epsilon_{reg}$), enquanto a trajetória de entrada permanece limpa.
   • Efeito: Isso substitui a singularidade aguda por uma variedade Gaussiana local contínua. Teoricamente, isso introduz uma penalidade de variância ciente da geometria (penalidade Gauss-Newton) no cenário de perda, impedindo que o modelo memorize "preguiçosamente" um mapeamento espacial infinitamente agudo. Isso força o modelo a reter seus priors de difusão elásticos enquanto ainda converge para o campo vetorial esperado correto.

2. Guia de Classificador-Livre Contrastiva (Contrastive Classifier-Free Guidance - Contrastive CFG):

   • Objetivo: Resolver o deslocamento de distribuição residual e desacoplar conceitos de origem durante a fase de inferência (amostragem).
   • Mecanismo: O CFG padrão direciona a geração usando um prompt negativo. O ElasticTTT estende isso para uma formulação tridirecional. Ele contrasta explicitamente a condição alvo ($C_{trg}$) contra a condição de origem ($C_{src}$) usada durante o ajuste. A fórmula de guia inclui um termo que subtrai a predição condicionada à origem: $v_{\theta}(x_t, t, C_{trg}) - v_{\theta}(x_t, t, C_{src})$.
   • Efeito: Isso repele ativamente a trajetória de amostragem do "viés do atrator de origem" (o poço de energia criado pelo TTT), garantindo transições semânticas nítidas e restaurando a capacidade do modelo de seguir novas instruções sem ser puxado de volta para os conceitos do vídeo de origem.

3. Agendamento de Ruído Assíncrono (Asynchronous Noise Scheduling - Async-NS):

   • Objetivo: Mitigar o Emaranhamento Espacial durante a inferência.
   • Mecanismo: Os autores argumentam que a uniformidade temporal exacerba o emaranhamento. O Async-NS atribui níveis de ruído e embeddings de tempo distintos para regiões editadas versus regiões ancoradas (não editadas). Uma máscara define as áreas editadas; as regiões editadas seguem um agendamento de alto ruído ($T_e$) para permitir flexibilidade para novos conceitos, enquanto as regiões preservadas seguem um agendamento de baixo ruído ($T_p$) para reter o máximo de informação de origem.
   • Efeito: Isso quebra fisicamente o emaranhamento das representações ao forçar a rede a processar regiões com regimes de ruído e embeddings de tempo distintos. Isso concede ao modelo liberdade localizada para sobrescrever conceitos alvo enquanto guia com segurança os arredores não editados de volta ao seu estado físico, evitando a necessidade de modificações invasivas nos mapas de atenção.

Principais Resultados
O artigo avalia o ElasticTTT em um conjunto de testes customizado de 125 pares texto-vídeo cobrindo cinco tipos de tarefas (edição de assunto, edição de fundo, adição de assunto, ajuste de cor e edição geral), utilizando o Wan2.1 1.3B como backbone.

• Desempenho Quantitativo: O ElasticTTT alcança desempenho de estado da arte (SOTA) em múltiplas métricas, incluindo VBench (qualidade visual/consistência temporal), VEBench e CLIP-T (alinhamento semântico). Ele supera tanto métodos sem treinamento (ex: UniEdit, Flow-align) quanto outras abordagens baseadas em TTT (ex: Tune-A-Video, VidTTA). Notavelmente, ele alcança pontuações altas em Adesão à Instrução (IA) e Preservação da Origem (SP) simultaneamente, enquanto os baselines frequentemente sofrem de trade-offs (ex: alta preservação, mas baixa adesão à instrução).
• Avaliação Humana: Em um estudo com 10 participantes, o ElasticTTT recebeu as pontuações médias mais altas (3.60/5.0), destacando-se particularmente em Qualidade de Vídeo (3.87) e Adesão à Instrução (3.32).
• Estudos de Ablação: Remover qualquer um dos três componentes principais (TDR, Contrastive CFG ou Async-NS) leva a uma degradação significativa do desempenho. Especificamente, sem o TDR, o modelo falha em adicionar novos conceitos; sem o Contrastive CFG, as edições são sutis e indistinguíveis; sem o Async-NS, o modelo falha em isolar as regiões alvo, causando a modificação simultânea do primeiro plano e do plano de fundo.
• Escalabilidade: O método generaliza-se efetivamente para modelos maiores (Wan2.2-5B), mostrando melhorias ainda mais pronunciadas na adesão à instrução e qualidade de vídeo em comparação com o modelo 1.3B.

Significância e Alegações
O artigo alega que o ElasticTTT representa uma solução fundamentada para a tensão fundamental entre o overfitting específico de instância (necessário para o TTT) e a natureza estocástica e de preservação de distribuição dos modelos de difusão. Ao demonstrar que o Colapso de Prior é um modo de falha distinto do overfitting padrão, os autores argumentam que simplesmente prevenir o overfitting é insuficiente; é necessário ativar a "elasticidade generativa" do prior.

A significância do trabalho reside em:

1. Resolução Sistemática: Fornece um framework unificado que aborda tanto o Colapso de Condicionamento quanto o Emaranhamento Espacial, dois modos de falha anteriormente tratados com heurísticas díspares e muitas vezes subótimas.
2. Insight Teórico: Oferece uma análise matemática de como o TDR injeta uma penalidade ciente da geometria para evitar que o otimizador fique preso em mínimos agudos, e como o Contrastive CFG cancela algebricamente o deslocamento de distribuição induzido pelo TTT.
3. Impacto Prático: Alcança desempenho SOTA em edição de vídeo de um único passo (one-shot) sem exigir conjuntos de dados pareados externos ou treinamento pesado, tornando-o um motor de dados viável para sintetizar dados de edição pareados para futuros modelos de larga escala.

Os autores concluem que seu trabalho é um passo importante em direção a modelos baseados em difusão mais confiáveis e destaca direções promissoras para o design de sistemas de IA personalizados que equilibram a adesão à instrução com a fidelidade à origem.