Resumo Técnico: GenEraser

Declaração do Problema

A remoção de objetos em vídeo frequentemente luta para eliminar simultaneamente os objetos-alvo e seus efeitos físicos associados (por exemplo, fumaça, reflexos, luz, sombras e ondulações) em cenários fora do domínio. Os métodos existentes dependem principalmente de máscaras espaciais, que frequentemente falham em capturar efeitos fracamente correlacionados devido a ambiguidades espaço-temporais complexas. Por exemplo, enquanto as sombras são fortemente correlacionadas com os objetos, fenômenos como luz ou fumaça exibem correlações mais fracas, tornando a remoção puramente guiada por máscara insuficiente.

Além disso, existe um conflito de otimização fundamental nos modelos de remoção atuais entre a generalização semântica de alto nível (remover com sucesso objetos e efeitos em cenas diversas) e a preservação precisa de pixels ao nível de pixel (manter a fidelidade em regiões não editadas). Modelos especialistas únicos frequentemente sofrem overfitting em pixels locais durante o treinamento, degradando sua capacidade de generalização em cenários de mundo aberto. Adicionalmente, o potencial do guia textual explícito para aproveitar os priores pré-treinados de texto-para-visão permanece subexplorado, com a maioria dos métodos dependendo de prompts estáticos ou negligenciando tokens semânticos para efeitos físicos.

Metodologia

O GenEraser é um novo framework projetado para abordar esses desafios através de um procedimento de treinamento em duas etapas e uma arquitetura de especialistas desacoplada.

1. Mistura de Especialistas Multi-Condicionais (MC-MoE) com Texto Bipartido

Para explorar totalmente os priores multimodais dos Transformadores de Difusão (especificamente a arquitetura MMDiT), os autores introduzem um mecanismo de Mistura de Especialistas Multi-Condicionais.

• Guia de Texto Bipartido: Diferentemente de prompts padrão, o sistema utiliza "Texto Bipartido" que descreve explicitamente tanto os objetos-alvo a serem apagados (em vermelho) quanto os efeitos físicos associados a serem eliminados (em amarelo), juntamente com o estado de fundo desejado. Isso permite que o mecanismo de atenção cruzada estabeleça conexões semânticas diretas com efeitos complexos.
• Dropout Condicional: Durante o treinamento da Etapa I, o modelo é otimizado sob três ramos distintos via dropout condicional aleatório:
  1. Guia apenas texto: Força o modelo a reconstruir alvos usando apenas pistas textuais.
  2. Guia apenas máscara: Confia em restrições espaciais.
  3. Guia conjunto (completo): Combina ambas as modalidades.
     Esta estratégia cultiva especialistas específicos de modalidade, aprimorando a capacidade do modelo de identificar efeitos complexos que apenas máscaras poderiam perder.

2. Fusão "CFG" Profunda Aprendível (LD-CFG)

Para abordar a dominância variável de condições de texto versus máscara em diferentes cenários (por exemplo, o texto é dominante para remover ondulações, enquanto as máscaras são dominantes para evitar a remoção de indivíduos não-alvo), os autores propõem o módulo LD-CFG.

• Diferentemente do Guia Livre de Classificador (CFG) tradicional, que depende do ajuste manual e heurístico das escalas de guia, o LD-CFG equilibra adaptativamente pistas textuais e de máscara.
• No treinamento da Etapa II, o modelo processa entradas dos ramos apenas texto, apenas máscara e conjunto em paralelo. Camadas lineares aprendíveis dentro de cada bloco DiT fundem essas características, permitindo que o modelo determine dinamicamente a dominância relativa de cada modalidade para uma cena específica sem intervenção manual.

3. Arquitetura de Especialistas Desacoplada (Localizador e Preservador)

Para resolver o compromisso entre generalização semântica e alinhamento de pixels, o GenEraser emprega dois modelos especialistas distintos:

• Localizador (Especialista de Alto Ruído): Treinado em uma mistura diversificada de dados sintéticos e do mundo real (VOR e ROSE) por menos etapas de otimização. Seu objetivo principal é a generalização semântica robusta para localizar e eliminar com precisão efeitos físicos complexos em cenários de mundo aberto.
• Preservador (Especialista de Baixo Ruído): Treinado exclusivamente em dados sintéticos "perfeitos em pixels" (ROSE) por um período mais longo. Seu objetivo é garantir a reconstrução de alta fidelidade de regiões de fundo não editadas, evitando artefatos de desalinhamento frequentemente encontrados em conjuntos de dados do mundo real.
• Sinergia: O Localizador lida com a remoção de objetos e efeitos, enquanto o Preservador garante que o fundo permaneça fiel ao vídeo original.

Principais Contribuições

1. Mistura de Especialistas Multi-Condicionais e Texto Bipartido: Um mecanismo que aproveita priores multimodais ricos para aprimorar a identificação e eliminação de efeitos físicos complexos ao modelar explicitamente tanto objetos quanto seus efeitos causais via texto.
2. Mecanismo de Fusão "CFG" Profunda Aprendível: Um módulo que alcança um equilíbrio contínuo e adaptativo à cena entre condições de máscara e textuais, superando as limitações do ajuste manual de hiperparâmetros.
3. Arquitetura de Especialistas Desacoplada: Um design inovador que separa os papéis de "Localizador" e "Preservador" para mitigar o conflito inerente entre generalização semântica e alinhamento ao nível de pixel.
4. Desempenho de Estado da Arte: Experimentos extensivos demonstrando desempenho superior em múltiplos benchmarks enquanto mantém generalização robusta.

Resultados

O GenEraser foi avaliado nos benchmarks ROSE, VOR-Eval e nos conjuntos de dados VOR-Wild.

• Melhorias Quantitativas: A variante 5B do GenEraser alcançou uma melhoria de 2,16 dB em PSNR sobre o anterior estado da arte (SVOR) no Benchmark ROSE e uma melhoria de 1,44 dB sobre o EffectErase no VOR-Eval.
• Generalização: No benchmark VOR-Wild (cenários de mundo aberto), o GenEraser alcançou uma Taxa de Preferência de Apagamento (EPR) de 0,5872 (modelo 5B), superando significativamente linhas de base como ROSE (0,3744) e SVOR (0,4769).
• Desempenho Qualitativo: O modelo remove com sucesso uma gama mais ampla de efeitos físicos — incluindo fumaça, deformações, luz, espelhos, sombras e reflexos — onde métodos concorrentes frequentemente deixam artefatos, descontinuidades de fundo ou apagamentos incompletos.

Significado

O artigo afirma que o GenEraser estabelece um novo estado da arte para remoção de objetos e efeitos em vídeo. Seu significado reside em ir além das limitações de métodos puramente guiados por máscara, aproveitando explicitamente priores de texto-para-visão para lidar com efeitos espaço-temporais complexos. Ao desacoplar as tarefas de apagamento semântico e preservação de fundo, o framework resolve com sucesso o conflito de otimização que historicamente dificultou a generalização em cenários de mundo aberto. A introdução do módulo LD-CFG avança ainda mais o campo ao permitir o equilíbrio adaptativo e específico da cena das modalidades de guia, eliminando a necessidade de ajuste manual e heurístico.