From Ideal to Real: Stable Video Object Removal under Imperfect Conditions

Ce papier présente SVOR, un cadre robuste pour la suppression d'objets vidéo qui surmonte les défis du monde réel tels que les ombres et les masques défectueux grâce à trois innovations clés : MUSE, DA-Seg et un entraînement en deux étapes, atteignant ainsi des résultats state-of-the-art.

L'essentiel

Imaginez que vous regardez une vidéo de vacances magnifique, mais il y a un touriste qui fait de la photo devant vous, ou un oiseau qui traverse l'écran au mauvais moment. Vous aimeriez simplement effacer cette personne ou cet oiseau, comme si elle n'avait jamais été là, tout en gardant le fond (le ciel, la mer, les bâtiments) parfaitement intact et fluide.

C'est ce que l'on appelle la suppression d'objets vidéo. Mais jusqu'à présent, c'était comme essayer de réparer un vase cassé avec de la colle qui ne sèche jamais : ça fonctionnait bien en laboratoire, mais dès qu'il y avait un peu de vent (mouvement brusque), d'ombre ou de poussière (masque imparfait), le résultat était moche, tremblotant ou incomplet.

Les chercheurs de Xiaomi (l'équipe derrière ce papier) ont créé un nouveau système appelé SVOR (Stable Video Object Removal). Voici comment ils ont fait, expliqué simplement avec des analogies :

1. Le Problème : Pourquoi c'est difficile ?

Imaginez que vous essayez de rayer un dessin à la gomme.

• Le masque imparfait : Parfois, l'outil de sélection (le "masque") qui dit à l'ordinateur "efface ça" est mal fait. Il oublie un bout de l'ombre de la personne, ou il rate une image sur dix si la personne bouge vite.
• L'effet de saccade : Si la personne bouge vite, l'ordinateur peut se tromper de position et laisser un "fantôme" ou faire trembler l'image.
• Les ombres : Si vous enlevez une personne mais laissez son ombre au sol, ça fait bizarre. C'est comme enlever un arbre mais laisser son ombre sur le sol.

2. La Solution : Les trois super-pouvoirs de SVOR

L'équipe a conçu trois astuces intelligentes pour résoudre ces problèmes :

A. MUSE : Le "Filet de Sécurité" (Union de Masques)

• L'analogie : Imaginez que vous filmez un oiseau qui vole très vite. Si vous ne prenez qu'une seule photo toutes les 4 secondes pour dire à l'ordinateur "efface l'oiseau ici", vous risquez de rater l'oiseau s'il est entre deux photos.
• La solution : Au lieu de regarder une seule image par tranche de temps, MUSE regarde toutes les images de cette tranche et fait une "union" (une superposition). C'est comme si vous dessiniez un filet de sécurité qui couvre toutes les positions possibles de l'oiseau durant ces quelques secondes.
• Le résultat : Même si l'oiseau bouge très vite ou si l'outil de sélection rate une image, le filet de sécurité s'assure que l'oiseau est bien effacé partout. Plus de fantômes, plus de trous.

B. DA-Seg : Le "Sens Intérieur" (Segmentation Consciente)

• L'analogie : Imaginez que vous devez effacer un objet, mais que votre "doigt" (le masque fourni) tremble et est imprécis. Au lieu de suivre aveuglément ce doigt tremblant, vous utilisez votre propre sens de la vue pour deviner où l'objet devrait être.
• La solution : Le système a un petit "cerveau secondaire" (une branche latérale) qui regarde la vidéo et dit : "Même si le masque est mauvais, je sais que l'objet est ici, et je vais le repérer moi-même." Ce cerveau est entraîné à comprendre le bruit et les imperfections.
• Le résultat : Si le masque fourni est raté, le système corrige le tir tout seul et efface l'objet correctement sans créer de flou.

C. L'Entraînement en Deux Étapes : "Apprendre avant de faire"

• L'analogie : Avant d'apprendre à enlever un objet spécifique d'une photo, il faut d'abord apprendre à comprendre comment fonctionne un paysage.
  • Étape 1 (Le Fond) : Le système regarde des milliers de vidéos de paysages (forêts, rues) sans aucun objet à enlever. Il apprend à reconstruire un fond parfait, comme un peintre qui maîtrise ses couleurs de ciel et d'eau.
  • Étape 2 (La Pratique) : Ensuite, on lui donne des vidéos avec des objets à enlever, mais on lui donne des masques "abîmés" (imparfaits) pour le forcer à être robuste. On lui apprend aussi à effacer les ombres en même temps que l'objet.
• Le résultat : Le système ne panique pas quand le masque est mauvais, car il a déjà appris à reconstruire un monde réaliste. Il sait quoi mettre à la place de l'objet effacé.

3. Le Résultat Final

Grâce à ces techniques, SVOR est capable de :

• Effacer des objets même s'ils bougent très vite (sans trembler).
• Enlever les ombres et les reflets en même temps que l'objet (pas d'ombre fantôme au sol).
• Fonctionner même si le masque de sélection est imparfait ou incomplet.

En résumé, alors que les anciennes méthodes étaient comme des débutants qui paniquaient dès qu'il y avait un peu de mouvement ou d'erreur, SVOR est comme un expert chevronné qui a vu de tout, qui a un filet de sécurité pour les mouvements rapides, et qui sait reconstruire le monde derrière l'objet effacé de manière naturelle et stable. C'est un grand pas vers l'utilisation réelle de ces outils dans la vraie vie, pas seulement dans les laboratoires.

Résumé technique

1. Problématique

La suppression d'objets vidéo (Video Object Removal - VOR) vise à éliminer des objets spécifiques tout en reconstruisant un arrière-plan spatiotemporellement cohérent. Bien que les méthodes récentes basées sur la diffusion aient fait des progrès significatifs, elles échouent souvent dans des conditions réelles imparfaites en raison de trois défis majeurs :

1. Guidage de masque imparfait : Les méthodes supposent souvent des masques de segmentation parfaits et denses. En réalité, les masques générés par l'IA (ex: SAM) ou annotés manuellement peuvent être incomplets, manquer de précision aux bords, ou être absents sur certaines images (occlusions, mouvements rapides), entraînant des artefacts ou une suppression incomplète.
2. Alignement temporel imparfait : Les mouvements brusques (abrupt motion) combinés au sous-échantillonnage temporel des masques (nécessaire pour l'efficacité des modèles de diffusion) provoquent une perte d'information sur la position de l'objet, entraînant des échecs de suppression ou des effets de scintillement (flicker).
3. Gestion imparfaite des effets secondaires : La suppression d'un objet laisse souvent des traces indésirables comme des ombres ou des reflets. Les modèles existants peinent à éliminer ces effets sans introduire d'artefacts visuels.

L'article identifie que la cause racine réside dans des hypothèses de déploiement trop idéalisées et des défauts non explorés dans les pipelines d'inpainting actuels.

---

2. Méthodologie : SVOR (Stable Video Object Removal)

Les auteurs proposent SVOR, un cadre robuste conçu pour gérer ces imperfections grâce à trois innovations clés et une stratégie d'entraînement en deux étapes (Curriculum Learning).

A. Architecture Globale

Le modèle s'appuie sur une architecture DiT (Diffusion Transformer) avec une branche de contexte légère (inspirée de VACE) pour injecter les masques sans perturber le flux de débruitage principal.

B. Trois Conceptions Clés

1. MUSE (Mask Union for Stable Erasure) :

   • Problème résolu : La perte de localisation temporelle lors du sous-échantillonnage des masques, surtout lors de mouvements brusques.
   • Solution : Au lieu de sélectionner une seule image par fenêtre temporelle (méthode standard), MUSE calcule l'union logique (OU temporel) de tous les emplacements du masque observés dans une fenêtre de compression.
   • Avantage : Cela préserve les positions éphémères de l'objet, éliminant les échecs de suppression et les artefacts de "fantômes" sans ajouter de paramètres supplémentaires.

2. DA-Seg (Denoising-Aware Segmentation) :

   • Problème résolu : L'incapacité du modèle à localiser précisément l'objet lorsque le masque d'entrée est dégradé ou manquant.
   • Solution : Une tête de segmentation légère sur une branche latérale (découplée du générateur principal). Elle utilise un mécanisme DA-AdaLN (Adaptive Layer Normalization) conditionné par l'embedding du pas de temps de diffusion.
   • Avantage : Elle fournit une "priorité de localisation interne" adaptée aux niveaux de bruit de la diffusion. Contrairement aux méthodes précédentes, elle ne réinjecte pas le masque prédit dans le générateur, préservant ainsi la capacité de génération de contenu tout en stabilisant la suppression.

3. Entraînement en Deux Étapes (Curriculum Two-Stage Training) :

   • Étape I (Pré-entraînement auto-supervisé) : Entraînement sur des vidéos d'arrière-plan réels non appariés avec des masques aléatoires générés en ligne. Cela apprend au modèle une priorité de reconstruction d'arrière-plan réaliste et évite la ré-synthèse d'objets (le modèle apprend à "effacer" sans "recréer" de faux objets).
   • Étape II (Affinage supervisé) : Entraînement sur des données synthétiques appariées avec dégradation de masque (sparsité temporelle, bruit spatial) et une perte pondérée sur les zones d'effets secondaires (ombres/reflets). Cela renforce la robustesse aux masques imparfaits et l'élimination des effets secondaires.

---

3. Contributions Principales

1. Identification d'un mode de défaillance critique : Les auteurs ont démontré que le sous-échantillonnage temporel des masques dans les pipelines existants entraîne systématiquement une sous-suppression (under-erasure) lors de mouvements brusques.
2. Proposition de MUSE : Une stratégie simple mais efficace (union de masques) qui corrige l'alignement structurel et améliore la stabilité temporelle, applicable de manière "plug-and-play" même sur d'autres modèles.
3. Proposition de DA-Seg : Une tête de segmentation découplée et consciente du débruitage qui fournit des priors de localisation stables face à des masques défectueux, sans compromettre la qualité de génération.
4. Cadre d'entraînement robuste : Une stratégie en deux étapes qui sépare l'apprentissage de la reconstruction d'arrière-plan de la suppression d'objets et d'effets secondaires, améliorant la généralisation aux données réelles.
5. Nouveau Benchmark (RORD-50) : Introduction d'un ensemble de données testé réel apparié pour l'évaluation quantitative, comblant le fossé entre les données synthétiques et réelles.

---

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données : DAVIS (vidéos réelles non appariées), ROSE Bench (synthétique apparié), et le nouveau RORD-50 (réel apparié).

• Performances Quantitatives : SVOR obtient les meilleurs résultats (SOTA) sur les métriques de suppression (ReMOVE, GPT-4o perceptuel) et de cohérence temporelle (TF) sur tous les ensembles de données. Sur les données appariées (ROSE, RORD-50), il surpasse également les métriques de reconstruction (PSNR, SSIM).
• Robustesse aux Masques Dégradés : Dans des scénarios où jusqu'à 50% des masques sont supprimés, SVOR maintient des performances stables grâce à DA-Seg et à l'entraînement avec dégradation, tandis que les méthodes concurrentes (MiniMax-Remover, ROSE, gen-omni) voient leurs performances s'effondrer.
• Gestion des Mouvements Brusques : L'ajout de MUSE élimine presque totalement les échecs de suppression et les scintillements sur les images à mouvement rapide, un problème critique pour les méthodes existantes.
• Étude Utilisateur : Sur DAVIS, SVOR obtient le score le plus élevé pour la suppression complète de l'objet et un score très compétitif pour la complétion de l'arrière-plan, surpassant les méthodes de l'état de l'art.
• Qualité Visuelle : Les comparaisons qualitatives montrent une élimination plus propre des ombres et des reflets, avec moins d'artefacts et de flous que les concurrents.

---

5. Signification et Impact

Cet article marque une avancée significative en passant de la suppression d'objets dans des conditions idéales (masques parfaits, mouvements lents) à des applications réelles.

• Pragmatisme : En reconnaissant que les masques parfaits sont rares en production, SVOR propose des solutions architecturales et d'entraînement pour tolérer l'imperfection.
• Généralité : La composante MUSE est présentée comme une amélioration universelle qui peut être intégrée dans d'autres pipelines de diffusion vidéo existants pour améliorer leur robustesse aux mouvements brusques.
• Application : Ce travail ouvre la voie à des outils d'édition vidéo plus fiables pour le post-produit, la réalité augmentée et l'édition créative, où les conditions d'entrée sont souvent bruyantes et imprévisibles.

En résumé, SVOR établit un nouvel état de l'art en rendant la suppression d'objets vidéo stable, robuste et prête pour le monde réel, en traitant systématiquement les défaillances des masques, de l'alignement temporel et des effets secondaires.