Résumé Technique : GenEraser

Énoncé du Problème

La suppression d'objets dans les vidéos éprouve fréquemment des difficultés à éliminer simultanément les objets cibles et leurs effets physiques associés (par exemple, la fumée, les reflets, la lumière, les ombres et les ondulations) dans des scénarios hors domaine. Les méthodes existantes reposent principalement sur des masques spatiaux, qui échouent souvent à capturer des effets faiblement corrélés en raison d'ambiguïtés spatio-temporelles complexes. Par exemple, tandis que les ombres sont fortement corrélées aux objets, des phénomènes comme la lumière ou la fumée présentent des corrélations plus faibles, rendant une suppression guidée uniquement par le masque insuffisante.

De plus, un conflit d'optimisation fondamental existe dans les modèles de suppression actuels entre la généralisation sémantique de haut niveau (suppression réussie d'objets et d'effets à travers des scènes diverses) et la préservation précise au niveau des pixels du fond (maintien de la fidélité dans les régions non modifiées). Les modèles experts uniques ont tendance à surajuster aux pixels locaux lors de l'entraînement, dégradant leur capacité à généraliser dans des scénarios de monde ouvert. En outre, le potentiel des guidages textuels explicites pour exploiter les priors pré-entraînés de texte-vers-vision reste sous-exploré, la plupart des méthodes s'appuyant sur des invites statiques ou négligeant les tokens sémantiques pour les effets physiques.

Méthodologie

GenEraser est un cadre novateur conçu pour relever ces défis grâce à une procédure d'entraînement en deux étapes et une architecture d'experts découplée.

1. Mélange d'Experts Multi-Conditionnel (MC-MoE) avec Texte Bipartite

Pour exploiter pleinement les priors multimodaux des Transformers de Diffusion (spécifiquement l'architecture MMDiT), les auteurs introduisent un mécanisme de Mélange d'Experts Multi-Conditionnel.

• Guidage par Texte Bipartite : Contrairement aux invites standard, le système utilise un « Texte Bipartite » qui décrit explicitement à la fois les objets cibles à effacer (en rouge) et les effets physiques associés à éliminer (en jaune), ainsi que l'état de fond désiré. Cela permet au mécanisme d'attention croisée d'établir des connexions sémantiques directes avec des effets complexes.
• Abandon Conditionnel : Pendant l'entraînement de l'Étape I, le modèle est optimisé sous trois branches distinctes via un abandon conditionnel aléatoire :
  1. Guidage uniquement texte : Force le modèle à reconstruire les cibles en utilisant uniquement des indices textuels.
  2. Guidage uniquement masque : S'appuie sur des contraintes spatiales.
  3. Guidage conjoint (complet) : Combine les deux modalités.
     Cette stratégie cultive des experts spécifiques à la modalité, améliorant la capacité du modèle à identifier des effets complexes que les masques seuls pourraient manquer.

2. Fusion « CFG » Profonde Apprenable (LD-CFG)

Pour répondre à la dominance variable des conditions texte par rapport aux conditions masque à travers différents scénarios (par exemple, le texte est dominant pour supprimer les ondulations, tandis que les masques sont dominants pour éviter la suppression d'individus non cibles), les auteurs proposent le module LD-CFG.

• Contrairement au Guidage Sans Classifieur (CFG) traditionnel qui repose sur un réglage manuel et heuristique des échelles de guidage, le LD-CFG équilibre de manière adaptative les indices textuels et masqués.
• Lors de l'entraînement de l'Étape II, le modèle traite en parallèle les entrées des branches uniquement texte, uniquement masque et conjointe. Des couches linéaires apprenables au sein de chaque bloc DiT fusionnent ces caractéristiques, permettant au modèle de déterminer dynamiquement la dominance relative de chaque modalité pour une scène spécifique sans intervention manuelle.

3. Architecture d'Experts Découplée (Localisateur et Conservateur)

Pour résoudre le compromis entre la généralisation sémantique et l'alignement des pixels, GenEraser emploie deux modèles experts distincts :

• Localisateur (Expert à Bruit Élevé) : Entraîné sur un mélange diversifié de données synthétiques et réelles (VOR et ROSE) pour un nombre réduit d'étapes d'optimisation. Son objectif principal est une généralisation sémantique robuste pour localiser et éliminer avec précision des effets physiques complexes à travers des scénarios de monde ouvert.
• Conservateur (Expert à Bruit Faible) : Entraîné exclusivement sur des données synthétiques « parfaites au pixel » (ROSE) pendant une durée plus longue. Son objectif est d'assurer une reconstruction haute fidélité des régions de fond non modifiées, évitant les artefacts de désalignement souvent trouvés dans les jeux de données réels.
• Synergie : Le Localisateur gère la suppression des objets et des effets, tandis que le Conservateur garantit que le fond reste fidèle à la vidéo originale.

Contributions Clés

1. Mélange d'Experts Multi-Conditionnel et Texte Bipartite : Un mécanisme qui exploite des priors multimodaux riches pour améliorer l'identification et l'élimination d'effets physiques complexes en modélisant explicitement à la fois les objets et leurs effets causaux via le texte.
2. Mécanisme de Fusion « CFG » Profonde Apprenable : Un module qui réalise un équilibre continu et adaptatif à la scène entre les conditions masque et textuelles, surmontant les limites du réglage manuel des hyperparamètres.
3. Architecture d'Experts Découplée : Une conception novatrice séparant les rôles de « Localisateur » et de « Conservateur » pour atténuer le conflit inhérent entre la généralisation sémantique et l'alignement au niveau des pixels.
4. Performances de l'État de l'Art : Des expériences extensives démontrant des performances supérieures sur plusieurs benchmarks tout en maintenant une généralisation robuste.

Résultats

GenEraser a été évalué sur les benchmarks ROSE, VOR-Eval et les jeux de données VOR-Wild.

• Améliorations Quantitatives : La variante 5B de GenEraser a obtenu une amélioration de 2,16 dB en PSNR par rapport à l'état de l'art précédent (SVOR) sur le benchmark ROSE et une amélioration de 1,44 dB par rapport à EffectErase sur VOR-Eval.
• Généralisation : Sur le benchmark VOR-Wild (scénarios de monde ouvert), GenEraser a atteint un Taux de Préférence d'Effacement (EPR) de 0,5872 (modèle 5B), surpassant significativement des bases de référence comme ROSE (0,3744) et SVOR (0,4769).
• Performances Qualitatives : Le modèle supprime avec succès une gamme plus large d'effets physiques — y compris la fumée, les déformations, la lumière, les miroirs, les ombres et les reflets — là où les méthodes concurrentes laissent souvent des artefacts, des discontinuités de fond ou des effacements incomplets.

Importance

L'article affirme que GenEraser établit un nouvel état de l'art pour la suppression d'objets et d'effets dans les vidéos. Son importance réside dans le dépassement des limites des méthodes purement guidées par des masques en exploitant explicitement les priors texte-vers-vision pour gérer des effets spatio-temporels complexes. En découplant les tâches d'effacement sémantique et de préservation du fond, le cadre résout avec succès le conflit d'optimisation qui a historiquement entravé la généralisation dans les scénarios de monde ouvert. L'introduction du module LD-CFG fait progresser davantage le domaine en permettant un équilibrage adaptatif et spécifique à la scène des modalités de guidage, éliminant le besoin d'un réglage manuel et heuristique.