💻 computer science

ClickRemoval: An Interactive Open-Source Tool for Object Removal in Diffusion Models

ClickRemoval est un outil interactif et open source qui permet la suppression précise d'objets et la restauration naturelle d'arrière-plans dans des scènes complexes en utilisant uniquement des clics utilisateur et des modèles Stable Diffusion préentraînés, éliminant ainsi le besoin de masques manuels, d'invites textuelles ou d'entraînement supplémentaire.

Auteurs originaux : Ledun Zhang, Yatu Ji, Xufei Zhuang, Xinying Yao

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ledun Zhang, Yatu Ji, Xufei Zhuang, Xinying Yao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez une photo avec un invité indésirable—peut-être un inconnu en arrière-plan, une poubelle dans un magnifique paysage, ou un objet en désordre sur votre table à manger. Habituellement, pour vous en débarrasser, vous devez utiliser un logiciel de retouche photo pour « peindre » soigneusement l'objet avec un pinceau, en traçant son contour pixel par pixel. C'est comme essayer de découper une forme spécifique dans une feuille de papier avec un couteau émoussé : cela prend beaucoup de temps, nécessite une main ferme, et si vous manquez un endroit, la découpe paraît irrégulière et laide.

ClickRemoval est un nouvel outil gratuit qui change la donne. Au lieu de peindre un masque, vous vous contentez de cliquer sur l'objet que vous souhaitez supprimer. C'est tout. Un seul clic, et l'ordinateur détermine exactement quoi supprimer et quoi conserver, puis remplit magiquement l'espace vide avec un arrière-plan réaliste.

Voici comment cela fonctionne, en utilisant quelques analogies simples :

1. Le traducteur « Clic vers Carte » (M2N2)

Lorsque vous cliquez sur un objet, l'outil ne voit pas seulement un point ; il comprend le concept de cet objet.

L'analogie : Imaginez que vous laissez tomber un caillou dans un étang. Les ondulations se propagent, montrant exactement jusqu'où l'eau s'étend. ClickRemoval fait quelque chose de similaire. Il utilise un « effet d'ondulation » (appelé carte de distance sémantique) pour déterminer exactement où l'objet se termine et où l'arrière-plan commence, même si l'objet a une forme étrange ou est partiellement caché. Il transforme votre unique clic en une carte détaillée de l'objet sans que vous ayez à tracer la moindre ligne.

2. Le « Commutateur d'Attention » (SGAR & SGAS)

Une fois que l'outil sait ce qu'est l'objet, il doit dire au modèle d'IA : « Ignore cette partie et concentre-toi sur l'arrière-plan. »

L'analogie : Imaginez le modèle d'IA comme un peintre très concentré sur l'ensemble du tableau. Habituellement, le peintre regarde tout avec la même intensité. ClickRemoval agit comme un opérateur de projecteur.
- SGAR (Le projecteur) : Il tamise la lumière sur l'objet sur lequel vous avez cliqué (disant au peintre : « Ne peignez pas ceci ») et éclaire l'arrière-plan (disant au peintre : « Remplissez ceci avec ce qui appartient ici »).
- SGAS (Le gradateur) : Si vous maintenez la lumière tamisée sur l'objet tout au long du processus, le tableau pourrait paraître étrange ou artificiel. Ainsi, cette partie agit comme un gradateur. Elle active fortement le signal « ignorer » au début, puis l'estompe progressivement à mesure que la peinture approche de la finition. Cela garantit que l'arrière-plan paraît naturel et non forcé.

3. Le « Chef Mélangeur » (ARG)

Enfin, l'outil doit décider combien de l'arrière-plan « nouveau » mélanger avec l'image originale « ancienne ».

L'analogie : Imaginez que vous préparez un smoothie. Vous avez le fruit original (l'arrière-plan) et une nouvelle saveur (la supposition de l'IA). ARG est le chef qui détermine le ratio parfait. Si vous voulez un résultat très proche de la photo originale, le chef ajoute un peu de nouvelle saveur. Si vous voulez une transformation complète, le chef en ajoute davantage. Cela vous donne le contrôle sur l'intensité de l'effet de suppression.

Pourquoi est-ce une grande nouvelle ?

La plupart des autres outils sont comme des chefs professionnels qui nécessitent une recette spécifique (des invites textuelles) et une liste d'ingrédients préparée à l'avance (des masques manuels) avant de pouvoir cuisiner. Ils ont aussi souvent besoin d'aller à l'école de cuisine (une formation supplémentaire) pour apprendre à manipuler des ingrédients spécifiques.

ClickRemoval est comme un assistant de cuisine intelligent qui fonctionne avec n'importe quelle recette que vous possédez déjà.

Aucune formation requise : Il fonctionne immédiatement avec les modèles d'IA existants. Vous n'avez pas besoin de lui apprendre quoi que ce soit de nouveau.
Pas de masques ni de texte : Vous n'avez pas besoin de dessiner des contours ou de taper « supprimer le chien ». Cliquez simplement.
Open Source : Les créateurs ont partagé l'ensemble du « livre de recettes » (code, instructions et outils) gratuitement, afin que n'importe qui puisse l'utiliser ou le développer.

Les Résultats

Les créateurs ont testé cet outil par rapport à d'autres éditeurs photo de premier plan.

Qualité : Lors des tests, les photos produites ressemblaient tout autant, voire davantage, aux méthodes complexes nécessitant des masques et du texte.
Préférence des utilisateurs : Lorsque des personnes ordinaires (non-experts) ont examiné les résultats, ils ont préféré ClickRemoval. Ils l'ont trouvé plus facile à utiliser et les résultats semblaient plus naturels.
Polyvalence : Il fonctionne sur différents types de photos, des images simples de 512x512 aux images haute définition de 1024x1024, et gère même des situations délicates comme la suppression d'un chien qui se cache derrière une clôture (en utilisant des « clics négatifs » pour dire à l'outil : « Ne supprimez pas la clôture, seulement le chien »).

En bref, ClickRemoval transforme le travail difficile de la retouche photo en une expérience simple de « pointer et cliquer », rendant la suppression d'objets de niveau professionnel accessible à quiconque possède un ordinateur.

Résumé Technique : ClickRemoval

Énoncé du Problème

Les outils existants de suppression d'objets pour la création de contenu multimédia et la protection de la vie privée présentent souvent des obstacles significatifs pour les utilisateurs non experts. Les méthodes actuelles de l'état de l'art, telles qu'AttentiveEraser, PowerPaint et la série SD-Inpaint, reposent généralement sur des masques manuels fins, des invites textuelles ou des pipelines d'entraînement spécialisés. Ces dépendances entraînent des coûts d'interaction élevés et limitent l'utilisabilité dans des scènes complexes, conduisant souvent à une suppression incomplète des objets ou à un remplissage d'arrière-plan non naturel. Il existe un besoin d'une solution permettant une suppression précise des objets sans nécessiter de masquage manuel, de descriptions textuelles ou d'entraînement supplémentaire du modèle.

Méthodologie

ClickRemoval est un outil de suppression d'objets interactif et open-source, construit sur la base de modèles Stable Diffusion préentraînés (SD1.5, SD2.1 et SDXL1.0). Il fonctionne exclusivement sur la base de clics utilisateur, éliminant ainsi le besoin de masques dessinés à la main ou d'invites textuelles. Le système fonctionne en convertissant les clics utilisateur en cartes sémantiques douces et en utilisant ces cartes pour rediriger les mécanismes d'auto-attention au sein du modèle de diffusion durant le processus de débruitage.

Le cadre se compose de trois composants principaux :

Extraction de la carte de distance sémantique M2N2 :
- Les clics utilisateur sont convertis en cartes de distance sémantique en utilisant l'approche M2N2. Cela implique un seul passage avant de débruitage sur un modèle Stable Diffusion figé pour agréger les cartes d'auto-attention multi-têtes en une matrice de transition.
- Une propagation de Markov est effectuée en partant de la position cliquée pour déterminer la distance sémantique de chaque pixel.
- Carte d'objet ( $M_{ob}$ ) : Générée en appliquant un remplissage (Flood Fill) à la carte sémantique pour supprimer les minima locaux et améliorer la conscience des instances, définissant ainsi la région à supprimer.
- Carte d'arrière-plan ( $M_{bg}$ ) : Une carte de Markov normalisée (sans remplissage) qui mesure la distance sémantique par rapport à l'objet cliqué, où des valeurs plus petites indiquent une plus grande similitude avec l'objet. Cette carte guide la restauration de l'arrière-plan.
Redirection et Planification de l'Auto-Attention Auto-Guidée (SGAR & SGAS) :
- SGAR (Redirection de l'Auto-Attention Auto-Guidée) : Module les logits d'auto-attention ( $S_{self}$ ) durant l'inférence. Il supprime les entrées de clés liées à l'objet en utilisant une pénalité négative élevée ( $P_{ob}$ ) et réajuste les entrées de clés d'arrière-plan en utilisant un facteur planifié ( $G_{bg}(t)$ ) dérivé de $M_{bg}$ .
- SGAS (Planification de l'Auto-Attention Auto-Guidée) : Contrôle le moment et l'intensité de SGAR pour assurer un remplissage d'arrière-plan naturel. Le processus de débruitage est divisé en étapes :
  - Phase précoce (environ 20 % premiers) : Aucune modification.
  - Phase précoce-intermédiaire : SGAR est activé, avec une guidance d'arrière-plan décroissant progressivement.
  - Phase intermédiaire : La guidance d'arrière-plan est désactivée, mais la suppression de l'objet reste active.
  - Phase tardive : Toute guidance est désactivée, permettant au modèle de compléter les détails restants de manière autonome.
Guidage de la Redirection de l'Attention (ARG) :
- Pour fournir un guidage contrôlable au niveau de la sortie, ARG combine linéairement la prédiction de bruit originale ( $\epsilon(x,t)$ ) et la prédiction de bruit modulée ( $\epsilon'(x,t)$ ).
- La prédiction finale est calculée comme $\epsilon_{ARG} = (1-r) \cdot \epsilon(x,t) + r \cdot \epsilon'(x,t)$ , où $r$ est un coefficient spécifié par l'utilisateur. Une valeur de $r$ plus faible conserve davantage le comportement du modèle original, tandis qu'une valeur plus élevée adhère plus strictement au guidage de suppression.

Le système prend en charge à la fois les clics positifs (pour indiquer les objets à supprimer) et les clics négatifs (pour indiquer les zones à préserver), permettant des interactions complexes telles que la suppression d'objets occlus tout en préservant les éléments au premier plan.

Contributions Clés

Outil de Suppression d'Objets Interactif : L'introduction de ClickRemoval, un outil ne nécessitant ni masques, ni descriptions textuelles, ni entraînement supplémentaire. Il prend en charge les interactions par clics positifs et négatifs, réduisant considérablement la barrière d'utilisation pour les utilisateurs non experts.
Mécanisme de Redirection de l'Attention Extensible : Un cadre piloté par les clics comprenant M2N2, SGAR, SGAS et ARG. Ce mécanisme n'est pas étroitement couplé à un backbone de diffusion spécifique et a été mis en œuvre avec succès sur SD1.5, SD2.1 et SDXL1.0.
Livraison Open-Source Complète : La publication d'un package logiciel complet sous licence Apache-2.0, incluant le code source, les fichiers de configuration, les environnements Docker, la documentation, les interfaces de démonstration et les scripts d'évaluation.

Résultats Expérimentaux

Les auteurs ont évalué ClickRemoval par rapport à des bases de référence solides, notamment SD-Inpaint, LaMa, PixelHacker, Inpaint Anything, PowerPaint-v2 et AttentiveEraser, en utilisant un ensemble de tests unifié dérivé de Pico-Banana-400K.

Métriques Quantitatives : ClickRemoval a obtenu des résultats compétitifs sans entraînement supplémentaire.
- À une résolution de 1024×1024 (SDXL1.0), il a atteint un FID de 8,05 et un Local-FID de 15,56, comparable à AttentiveEraser (7,98 / 15,74).
- À une résolution de 512×512 (SD1.5), il a obtenu les meilleures performances globales parmi les méthodes de même résolution avec un FID de 9,35, un KID de 0,899 et un Local-FID de 17,27.
Étude Utilisateur : Dans une étude impliquant 25 participants non experts, ClickRemoval s'est classé premier dans les deux configurations de résolution, obtenant 30,48 % des voix à la résolution 512 et 41,89 % à la résolution 1024.
Validation Assistée par LLM : En utilisant un évaluateur multimodal basé sur GPT, ClickRemoval s'est classé premier à la résolution 512 (28,85 %) et deuxième à la résolution 1024 (39,21 %), ne cédant qu'à AttentiveEraser de 1,97 points de pourcentage.
Efficacité : L'outil a démontré une surcharge d'inférence acceptable, avec un temps d'exécution à la résolution 1024 comparable aux bases de référence solides et une efficacité pratique pour les tâches à résolution 512 sur du matériel grand public (RTX 3090).

Importance

L'article présente ClickRemoval comme une étape significative vers la démocratisation de la suppression d'objets de haute qualité. En éliminant la dépendance aux masques manuels et aux invites textuelles, il offre un flux de travail « cliquer et supprimer » accessible aux non-experts tout en maintenant une qualité de restauration compétitive. Les auteurs soulignent que leur approche atteint ces résultats sans nécessiter d'entraînement supplémentaire, s'appuyant plutôt sur les capacités inhérentes des modèles de diffusion préentraînés, renforcées par leur cadre de redirection de l'attention. La publication du package open-source complet vise à soutenir la recherche reproductible et les applications pratiques d'édition de contenu.