Resumen Técnico: GenEraser

Enunciado del Problema

La eliminación de objetos en video a menudo lucha por eliminar simultáneamente los objetos objetivo y sus efectos físicos asociados (por ejemplo, humo, reflejos, luz, sombras y ondulaciones) en escenarios fuera del dominio. Los métodos existentes dependen principalmente de máscaras espaciales, que a menudo fallan al capturar efectos débilmente correlacionados debido a ambigüedades espacio-temporales complejas. Por ejemplo, mientras que las sombras están fuertemente correlacionadas con los objetos, fenómenos como la luz o el humo exhiben correlaciones más débiles, lo que hace que la eliminación guiada puramente por máscaras sea insuficiente.

Además, existe un conflicto fundamental de optimización en los modelos actuales de eliminación entre la generalización semántica de alto nivel (eliminar con éxito objetos y efectos en diversas escenas) y la preservación precisa de píxeles a nivel de fondo (mantener la fidelidad en regiones no editadas). Los modelos de experto único a menudo se sobreajustan a píxeles locales durante el entrenamiento, degradando su capacidad para generalizar en escenarios de mundo abierto. Además, el potencial de la guía textual explícita para aprovechar los priores preentrenados de texto-a-visión permanece poco explorado, ya que la mayoría de los métodos dependen de prompts estáticos o descuidan los tokens semánticos para efectos físicos.

Metodología

GenEraser es un marco novedoso diseñado para abordar estos desafíos mediante un procedimiento de entrenamiento de dos etapas y una arquitectura de expertos desacoplada.

1. Mezcla de Expertos Multi-Condicionada (MC-MoE) con Texto Bipartito

Para aprovechar plenamente los priores multimodales de los Transformadores de Difusión (específicamente la arquitectura MMDiT), los autores introducen un mecanismo de Mezcla de Expertos Multi-Condicionada.

• Guía de Texto Bipartito: A diferencia de los prompts estándar, el sistema utiliza "Texto Bipartito" que describe explícitamente tanto los objetos objetivo a borrar (en rojo) como los efectos físicos asociados a eliminar (en amarillo), junto con el estado deseado del fondo. Esto permite que el mecanismo de atención cruzada establezca conexiones semánticas directas con efectos complejos.
• Eliminación Condicional (Dropout): Durante el entrenamiento de la Etapa I, el modelo se optimiza bajo tres ramas distintas mediante eliminación condicional aleatoria:
  1. Guía solo de texto: Obliga al modelo a reconstruir objetivos utilizando únicamente pistas textuales.
  2. Guía solo de máscara: Se basa en restricciones espaciales.
  3. Guía conjunta (completa): Combina ambas modalidades.
     Esta estrategia cultiva expertos específicos de modalidad, mejorando la capacidad del modelo para identificar efectos complejos que las máscaras por sí solas podrían pasar por alto.

2. Fusión "CFG" Profunda Aprendible (LD-CFG)

Para abordar la dominancia variable de las condiciones de texto frente a máscara en diferentes escenarios (por ejemplo, el texto es dominante para eliminar ondulaciones, mientras que las máscaras son dominantes para evitar la eliminación de individuos no objetivo), los autores proponen el módulo LD-CFG.

• A diferencia de la Guía Libre de Clasificador (CFG) tradicional, que depende del ajuste manual y heurístico de las escalas de guía, LD-CFG equilibra adaptativamente las pistas textuales y de máscara.
• En el entrenamiento de la Etapa II, el modelo procesa entradas de las ramas solo de texto, solo de máscara y conjunta en paralelo. Capas lineales aprendibles dentro de cada bloque DiT fusionan estas características, permitiendo que el modelo determine dinámicamente la dominancia relativa de cada modalidad para una escena específica sin intervención manual.

3. Arquitectura de Expertos Desacoplada (Localizador y Preservador)

Para resolver el compromiso entre la generalización semántica y la alineación de píxeles, GenEraser emplea dos modelos de expertos distintos:

• Localizador (Experto de Alto Ruido): Entrenado con una mezcla diversa de datos sintéticos y del mundo real (VOR y ROSE) durante menos pasos de optimización. Su objetivo principal es la generalización semántica robusta para localizar y eliminar con precisión efectos físicos complejos en escenarios de mundo abierto.
• Preservador (Experto de Bajo Ruido): Entrenado exclusivamente con datos sintéticos "píxel-perfect" (ROSE) durante un período más largo. Su objetivo es garantizar una reconstrucción de alta fidelidad de las regiones de fondo no editadas, evitando los artefactos de desalineación que a menudo se encuentran en conjuntos de datos del mundo real.
• Sinergia: El Localizador se encarga de la eliminación de objetos y efectos, mientras que el Preservador asegura que el fondo permanezca fiel al video original.

Contribuciones Clave

1. Mezcla de Expertos Multi-Condicionada y Texto Bipartito: Un mecanismo que aprovecha los ricos priores multimodales para mejorar la identificación y eliminación de efectos físicos complejos al modelar explícitamente tanto los objetos como sus efectos causales mediante texto.
2. Mecanismo de Fusión "CFG" Profunda Aprendible: Un módulo que logra un equilibrio continuo y adaptable a la escena entre condiciones de máscara y texto, superando las limitaciones del ajuste manual de hiperparámetros.
3. Arquitectura de Expertos Desacoplada: Un diseño novedoso que separa los roles de "Localizador" y "Preservador" para mitigar el conflicto inherente entre la generalización semántica y la alineación a nivel de píxel.
4. Rendimiento de Vanguardia: Experimentos extensos que demuestran un rendimiento superior en múltiples puntos de referencia manteniendo una generalización robusta.

Resultados

GenEraser fue evaluado en los conjuntos de datos ROSE Benchmark, VOR-Eval y VOR-Wild.

• Mejoras Cuantitativas: La variante de 5B de GenEraser logró una mejora de 2.16 dB en PSNR sobre el estado anterior de la técnica (SVOR) en el ROSE Benchmark y una mejora de 1.44 dB sobre EffectErase en VOR-Eval.
• Generalización: En el punto de referencia VOR-Wild (escenarios de mundo abierto), GenEraser logró una Tasa de Preferencia de Borrado (EPR) de 0.5872 (modelo 5B), superando significativamente a líneas base como ROSE (0.3744) y SVOR (0.4769).
• Rendimiento Cualitativo: El modelo elimina con éxito una gama más amplia de efectos físicos, incluido humo, deformaciones, luz, espejos, sombras y reflejos, donde los métodos competidores a menudo dejan artefactos, discontinuidades de fondo o borrados incompletos.

Significado

El artículo afirma que GenEraser establece un nuevo estado de la técnica para la eliminación de objetos y efectos en video. Su importancia radica en ir más allá de las limitaciones de los métodos guiados puramente por máscaras al aprovechar explícitamente los priores de texto-a-visión para manejar efectos espacio-temporales complejos. Al desacoplar las tareas de borrado semántico y preservación de fondo, el marco resuelve con éxito el conflicto de optimización que históricamente ha obstaculizado la generalización en escenarios de mundo abierto. La introducción del módulo LD-CFG avanza aún más el campo al permitir un equilibrio adaptativo y específico de la escena entre modalidades de guía, eliminando la necesidad de ajuste manual y heurístico.