YOSE: You Only Select Essential Tokens for Efficient DiT-based Video Object Removal

1. Declaração do Problema

Remoção de Objetos em Vídeo (VOR) visa apagar objetos indesejados de vídeos, mantendo o realismo espacial e a consistência temporal. Métodos recentes de última geração (SOTA), como o MiniMax Remover, utilizam Transformadores de Difusão (DiT) para alcançar resultados de alta qualidade. No entanto, esses métodos sofrem com significativa latência de inferência e ineficiência computacional.

• A Questão Central: Os modelos VOR baseados em DiT existentes realizam cálculos densos sobre todo o espaço de tokens espaciotemporais (todos os quadros e pixels), mesmo quando apenas uma região pequena e mascarada requer processamento.
• A Consequência: A complexidade computacional permanece constante, independentemente do tamanho da máscara. Como as tarefas de VOR do mundo real tipicamente envolvem pequenas proporções de máscara (por exemplo, ~70% dos casos têm máscaras <20%), isso resulta em redundância massiva. Por exemplo, o MiniMax Remover opera a apenas ~10 FPS, limitando a aplicação prática.

2. Metodologia: Framework YOSE

Os autores propõem o YOSE (You Only Select Essential Tokens), um framework leve de ajuste fino (fine-tuning) do tipo plug-in, projetado para acelerar a VOR baseada em DiT sem re-arquitetar o modelo subjacente. O YOSE introduz dois componentes principais:

A. Indexação Variável por Lote (BVI)

O BVI é um operador de indexação dinâmica diferenciável que permite ao modelo processar apenas os tokens dentro das regiões mascaradas (tokens essenciais).

• Mecanismo: Em vez de indexação rígida (que bloqueia o fluxo de gradiente), o BVI utiliza uma seleção baseada em interpolação contínua (via grid_sample) para mapear tokens mascarados para uma sequência de comprimento variável.
• Índice de Avanço ($Ind_F$): Seleciona os tokens essenciais da área mascarada para processamento.
• Índice de Retrocesso ($Ind_B$): Restaura os resultados processados de volta às suas posições espaciotemporais originais.
• Benefício: Suporta processamento de tokens de comprimento variável em um lote, permitindo que o modelo lide com diferentes tamanhos de máscara de forma eficiente, mantendo o fluxo de gradiente para treinamento de ponta a ponta. Isso reduz a complexidade computacional de $O(N_{total})$ para $O(N_{masked})$.

B. Módulo Simulador de Processo de Difusão (DiffSim)

Processar apenas tokens mascarados corre o risco de quebrar a continuidade semântica com as regiões não mascaradas (fundo). O DiffSim aborda isso simulando a influência das regiões não mascaradas sem processá-las.

• Mecanismo:
  1. Constrói um Latente Residual ($Res_{Nis}$) representando a diferença entre o latente de ruído e o latente de vídeo mascarado.
  2. Gera características Key & Value (KV) de proxy para as regiões não mascaradas usando parâmetros aprendíveis: um parâmetro de combinação ($G$), um parâmetro de escala ($S$) e um viés ($Bias$).
  3. A fórmula para a KV simulada é: $KV = G \cdot Lat_{mask} + (1-G) \cdot Res_{Nis}$, seguida por modulação de escala e viés.
• Benefício: Essas características simuladas são injetadas no mecanismo de autoatenção do DiT. Isso permite que os tokens "internos" (mascarados) atendam ao contexto "externo" (não mascarado), preservando a consistência semântica e temporal através das fronteiras, sem o custo do cálculo de tokens completos.

C. Estratégia de Fusão

Para eliminar artefatos de fronteira causados por incompatibilidades estatísticas entre regiões processadas e não processadas:

• A máscara é dilatada para criar uma região de sobreposição.
• A média e a variância da região de sobreposição gerada são alinhadas com a região não mascarada original.
• Uma estratégia de mistura ponderada é aplicada para garantir uma transição suave.

3. Principais Contribuições

1. Framework YOSE: Um framework de ajuste fino sensível à máscara que acelera a VOR baseada em DiT (por exemplo, MiniMax Remover) processando apenas tokens essenciais, alcançando complexidade computacional linear em relação à proporção da máscara.
2. Indexação Variável por Lote (BVI): Um operador diferenciável que permite seleção e processamento eficientes de tokens de comprimento variável, resolvendo os problemas de fluxo de gradiente e paralelização de lote associados ao mascaramento dinâmico.
3. Simulador de Processo de Difusão (DiffSim): Um módulo inovador que aproxima a influência da difusão das regiões não mascaradas dentro dos blocos DiT, garantindo consistência semântica global sem cálculo redundante.
4. Desempenho: O método alcança até 2,5× de aceleração (atingindo ~25 FPS para proporções de máscara de 20%), mantendo qualidade visual comparável ou ligeiramente superior à linha de base.

4. Resultados Experimentais

Os autores avaliaram o YOSE no MiniMax Remover e no VACE usando os conjuntos de dados DAVIS e YouTube-VOS.

• Velocidade e Eficiência:
  • FLOPs e Latência: O YOSE exibe uma relação linear entre o tempo de inferência e a proporção da máscara.
  • Aceleração: Alcança 3,3× de aceleração na proporção de máscara de 5% e 2,5× de aceleração na proporção de máscara de 20% (cenários típicos do mundo real).
  • FPS: Aumenta de 10 FPS (MiniMax) para **25 FPS** (YOSE) na resolução 480p.
• Qualidade Visual:
  • Métricas: O YOSE mantém pontuações comparáveis ou ligeiramente melhoradas nas métricas VBench (Suavidade de Movimento, Qualidade Estética) e métricas de fundo (PSNR, SSIM, LPIPS).
  • Preservação do Fundo: Notavelmente, o YOSE (VACE) melhorou o PSNR do fundo em 5,47 dB e o SSIM em 0,07 em comparação com o VACE original, prevenindo efetivamente a "alucinação" de artefatos com formato de máscara no fundo.
• Estudos de Ablação:
  • A remoção do DiffSim leva a uma queda tanto na suavidade de movimento quanto na qualidade de reconstrução do fundo.
  • A remoção da Estratégia de Fusão resulta em artefatos de fronteira visíveis.
  • Eficiência de Treinamento: O BVI permite treinamento com tamanho de lote de 4 em 8 GPUs em ~4 horas, comparado a ~11 horas para abordagens convencionais.

5. Significado

O YOSE representa um passo significativo em direção à edição de vídeo prática e em tempo real. Ao desacoplar o custo computacional do tamanho total do vídeo e vinculá-lo estritamente à área de interesse (a máscara), ele resolve o principal gargalo dos atuais modelos de vídeo generativos baseados em DiT.

• Escalabilidade: Torna a remoção de objetos em vídeo de alta fidelidade viável em hardware de consumo ou para aplicações em tempo real onde a latência é crítica.
• Generalizabilidade: O framework é agnóstico ao modelo (plug-and-play) e foi validado com sucesso em múltiplas arquiteturas baseadas em DiT (MiniMax Remover, VACE).
• Qualidade vs. Velocidade: Demonstra que uma aceleração agressiva não necessariamente requer um compromisso na fidelidade visual; em alguns casos, o processamento seletivo até melhora a estabilidade do fundo, impedindo que o modelo interprete excessivamente as regiões não mascaradas.