💻 computer science

AdaEraser: Training-Free Object Removal via Adaptive Attention Suppression

AdaEraser est un cadre de suppression d'objets sans entraînement qui surpasse les méthodes existantes en employant une stratégie de suppression d'attention adaptative au niveau des tokens, qui module dynamiquement l'auto-attention en fonction de la présence estimée de l'objet pour équilibrer une suppression efficace avec une reconstruction de haute qualité de l'arrière-plan.

Auteurs originaux : Dingming Liu

Publié 2026-05-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dingming Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez une photo d'un magnifique parc, mais qu'un vilain bac à ordures se trouve juste au milieu du cadre. Vous souhaitez supprimer ce bac à ordures et faire en sorte que l'herbe et les arbres remplissent naturellement cet espace vide, comme si le bac n'avait jamais existé. Cela s'appelle la « suppression d'objet ».

Pendant longtemps, les ordinateurs ont eu du mal avec cela. S'ils se contentaient d'« effacer » le bac à ordures, l'arrière-plan apparaissait souvent flou, déformé ou semblable à une étrange tache de bruit statique.

Voici AdaEraser, un nouvel outil qui résout ce problème sans avoir besoin d'être « enseigné » avec des milliers de nouvelles photos. Voici comment il fonctionne, expliqué simplement :

Le Problème : L'Erreur de la « Force Brute »

Les méthodes précédentes tentaient de supprimer les objets en bloquant simplement les « yeux » de l'ordinateur pour l'empêcher de regarder la zone du bac à ordures. Imaginez que vous essayiez de repeindre une tache sur un mur. Si vous mettez un bandeau sur les yeux du peintre et lui dites : « Ne regarde pas cette tache, peins simplement ce que tu penses appartenir à cet endroit », il pourrait se tromper. Il pourrait peindre un morceau de ciel là où un arbre devrait se trouver, ou un mur solide là où une fenêtre devrait être.

En termes techniques, ces anciennes méthodes supprimaient agressivement l'« attention » interne de l'ordinateur (son focus) sur l'objet. Bien que cela ait réussi à faire disparaître l'objet, cela a également empêché l'ordinateur d'utiliser le contexte environnant (les arbres, l'herbe, la lumière) pour déterminer ce qui devrait se trouver dans l'espace vide. Le résultat était souvent un arrière-plan désordonné et de mauvaise qualité.

La Solution : Le « Variateur Intelligent »

AdaEraser est comme donner au peintre un variateur intelligent au lieu d'un bandeau.

Au lieu de bloquer complètement la vue de l'ordinateur sur la zone de l'objet, AdaEraser observe l'objet disparaître en temps réel et ajuste le « volume » de l'attention de l'ordinateur en conséquence.

Le « Score de Présence » (Le Détecteur de Fumée) :
Alors que l'ordinateur tente d'effacer l'objet, il vérifie constamment : « L'objet est-il toujours là ? »
Il le fait en comparant les « pensées » (cartes d'attention) de l'image avant le début de l'effacement avec les « pensées » pendant le processus d'effacement.
- Au début du processus : L'objet est encore clairement visible dans l'« esprit » de l'ordinateur. Le système dit : « D'accord, l'objet est toujours là. Nous devons le supprimer fortement. »
- Plus tard dans le processus : L'objet s'estompe et l'arrière-plan commence à se former. Le système dit : « Ah, l'objet est majoritairement parti. Nous pouvons arrêter de supprimer aussi fort et laisser l'arrière-plan se peindre naturellement. »
La Précision Token par Token (Le Chirurgien vs La Masse) :
Les anciennes méthodes traitaient toute la zone de l'objet comme un seul gros bloc. AdaEraser est beaucoup plus précis. Il considère l'image comme des millions de petits points (appelés « tokens »).
- Certains points pourraient être la poignée du bac à ordures ; d'autres pourraient être l'ombre qu'il projette.
- AdaEraser vérifie chaque point individuellement. Si un point spécifique a déjà « oublié » qu'il faisait partie du bac à ordures et pense maintenant à l'herbe, le système arrête immédiatement de supprimer ce point. Cela permet à l'herbe de repousser naturellement, pixel par pixel.

Le Résultat

En utilisant cette approche adaptative (modifiant la force de suppression dynamiquement), AdaEraser réalise deux choses à la fois :

Il supprime avec succès l'objet indésirable.
Il préserve la capacité de l'ordinateur à « imaginer » le bon arrière-plan, car il ne coupe pas trop tôt le cerveau créatif de l'ordinateur.

Pourquoi C'est Spécial

Aucun Entraînement Requis : La plupart des outils avancés doivent être entraînés sur d'énormes ensembles de données de photos « avant et après ». AdaEraser fonctionne « hors de la boîte » sur les modèles existants. C'est comme avoir un outil qui fonctionne sur n'importe quelle voiture sans qu'un mécanicien ait besoin de l'ajuster au préalable.
Meilleur Que Les Modèles Entraînés : Étonnamment, cette méthode « sans entraînement » produit en réalité de meilleurs résultats que de nombreuses méthodes qui nécessitaient un entraînement coûteux.

Quand Cela Peut Éprouver des Difficultés

L'article note que si l'arrière-plan est très confus (comme un mur avec un motif répétitif qui ressemble exactement à l'objet), ou si l'objet a des ombres complexes que l'utilisateur n'a pas incluses dans le masque « effacer », l'outil pourrait laisser une petite trace ou faire une légère erreur. Mais pour la plupart des photos standard, il crée une retouche transparente et de haute qualité.

En bref : AdaEraser est une gomme intelligente qui sait exactement quand arrêter d'effacer et commencer à peindre, garantissant que l'arrière-plan semble naturel et que l'objet a disparu.

Résumé Technique : AdaEraser

Énoncé du Problème
La suppression d'objets dans les images nécessite non seulement l'élimination précise d'une cible spécifiée par l'utilisateur, mais aussi la reconstruction plausible de l'arrière-plan dans les régions libérées. Bien que les méthodes récentes sans entraînement, utilisant des modèles de diffusion pré-entraînés, aient montré des résultats prometteurs, elles font souvent face à un conflit fondamental : l'efficacité de la suppression d'un objet versus la génération d'un contenu d'arrière-plan de haute qualité. Les approches existantes, telles qu'AttentiveEraser, emploient généralement une suppression indiscriminée de l'auto-attention au sein des régions d'objets masquées. Bien que cela supprime avec succès la cible, cela perturbe involontairement le processus de génération de l'arrière-plan. Comme la reconstruction de l'arrière-plan repose sur les capacités génératives du modèle pré-entraîné — qui suppose une auto-attention non modulée — bloquer entièrement l'attention dans ces régions entraîne des artefacts structurels, des distorsions visuelles et une synthèse d'arrière-plan de faible qualité.

Méthodologie : AdaEraser
Pour résoudre ce conflit, les auteurs proposent AdaEraser, un cadre sans entraînement qui module dynamiquement la suppression de l'attention en fonction de la présence estimée du concept de l'objet cible durant le processus de débruitage. L'idée centrale est que la suppression d'objet et la génération d'arrière-plan sont des objectifs concurrents qui nécessitent une approche équilibrée et adaptative plutôt qu'une suppression statique et binaire.

La méthode fonctionne en trois étapes principales :

Extraction de l'Attention de Référence et de Cible :
- Référence : Pour une image source $I_{src}$ , le modèle génère des cartes d'auto-attention de référence ($SAsrc$) en appliquant un schéma de « $t$ étapes de diffusion + 1 étape de débruitage ». Cela préserve les informations de caractéristiques de l'image originale dans des conditions bruyantes sans nécessiter un processus d'inversion complet.
- Cible : Simultanément, le modèle effectue le processus standard de débruitage de suppression d'objet sur un latent cible initialisé à partir de l'image source, générant des cartes d'auto-attention de cible ($SAtgt$).
Estimation du Score de Présence au Niveau des Tokens :
- Les auteurs observent que les cartes d'auto-attention encodent les relations contextuelles et les caractéristiques sémantiques. Ils émettent l'hypothèse que la similarité entre la carte de référence (contenant l'objet) et la carte de cible (où l'objet est en cours de suppression) corrèle avec la présence résiduelle de l'objet.
- Un score de présence au niveau des tokens $p(i)$ est calculé pour chaque token $i$ au sein du masque de l'objet en utilisant la similarité cosinus entre $SAtgt(i)$ et $SAsrc(i)$.
- À mesure que le processus de débruitage progresse et que l'objet est supprimé, le contenu sémantique de la région cible diverge de la référence, entraînant une diminution du score de similarité. Ce score sert d'indicateur heuristique du niveau de présence de l'objet.
Suppression Adaptative de l'Attention :
- Au lieu d'une suppression fixe, AdaEraser calcule un coefficient de suppression $\eta(i)$ pour chaque token basé sur son score de présence : $\eta(i) = 1 - p(i)$ pour les tokens dans le masque, et $1$ sinon.
- Ce coefficient module les scores d'auto-attention dans le UNet de débruitage. Lorsque l'objet est clairement présent (forte similarité), la suppression est forte. À mesure que l'objet est supprimé et que l'arrière-plan commence à se former (faible similarité), la suppression est assouplie, permettant au modèle d'utiliser toute sa capacité générative pour reconstruire l'arrière-plan naturellement.
- Enfin, le premier plan (cible débruitée) et l'arrière-plan (source originale) sont mélangés à l'aide du masque à chaque pas de temps pour assurer la cohérence dans les régions non supprimées.

Contributions Clés

Stratégie de Régulation Adaptative : L'article identifie que la suppression d'objets de haute qualité nécessite une régulation adaptative de la suppression de l'attention basée sur la présence résiduelle de l'objet, plutôt qu'une suppression statique.
Heuristique au Niveau des Tokens : Il propose d'utiliser la similarité des cartes d'auto-attention au niveau des tokens comme un indicateur efficace et sans entraînement pour estimer la présence d'objets dans l'espace latent, surmontant ainsi la difficulté de la détection directe d'objets dans des latents bruyants.
Cadre AdaEraser : Les auteurs introduisent un cadre complet sans entraînement qui intègre cette stratégie adaptative, atteignant un équilibre entre l'élimination d'objets et la restauration de l'arrière-plan.

Résultats Expérimentaux
Des expériences extensives ont été menées sur les ensembles de données Mulan et OABench en utilisant Stable Diffusion XL (SDXL) comme colonne vertébrale, avec une validation supplémentaire sur SD1.5, SD2.1 et FLUX.

Performance Quantitative : AdaEraser a surpassé à la fois les méthodes basées sur l'entraînement (par exemple, PowerPaint, RORem, SmartEraser) et les méthodes sans entraînement de l'état de l'art (par exemple, AttentiveEraser, OmniPaint) sur toutes les métriques, y compris FID, LPIPS, PSNR, ReMOVE et CFD. Notamment, il a obtenu le classement humain moyen (AHR) le plus élevé dans les études utilisateurs.
Performance Qualitative : Les comparaisons visuelles ont démontré qu'AdaEraser supprime efficacement les objets tout en préservant le contexte de la scène et en évitant les distorsions structurelles et les artefacts courants dans les méthodes utilisant une suppression complète de l'attention.
Études d'Ablation : Les auteurs ont validé que la suppression adaptative au niveau des tokens surpasse significativement les stratégies de suppression basées sur les pas de temps ou les régions. Ils ont également confirmé que l'utilisation d'une référence dynamique ( $x_{src}^t$ ) alignée avec le niveau de bruit actuel produit des résultats supérieurs par rapport aux références à bruit fixe.

Signification et Revendications
L'article revendique qu'AdaEraser offre une nouvelle perspective sur la suppression d'objets en démontrant que les méthodes sans entraînement peuvent surpasser les approches basées sur l'entraînement lorsque l'a priori génératif est exploité de manière plus intelligente. En ajustant dynamiquement la force de suppression, AdaEraser évite les inconvénients de la suppression indiscriminée de l'attention, préservant ainsi la capacité générative du modèle pré-entraîné pour la reconstruction de l'arrière-plan. Les auteurs positionnent ce travail comme une étape significative vers l'édition d'images de haute qualité et efficace en données, ne nécessitant pas l'acquisition coûteuse d'ensembles de données spécialisés ni le fine-tuning de modèles.

Limites et Directions Futures
L'article reconnaît que la performance dépend de la qualité du masque ; bien que robuste face à des masques légèrement lâches, elle peine avec des masques incomplets qui ne couvrent pas les effets secondaires induits par l'objet (par exemple, les ombres). De plus, la méthode peut rencontrer des difficultés dans des scènes présentant des textures très similaires ou un contenu sémantiquement ambigu où l'a priori génératif seul est insuffisant pour une reconstruction complexe. Les auteurs suggèrent que les travaux futurs pourraient impliquer l'intégration d'un guidage structurel plus fort ou l'identification automatique des effets secondaires pour améliorer la robustesse. Ils notent également que la méthode est moins compatible avec les modèles distillés fortement accélérés (par exemple, SDXL-Lightning) en raison de la réduction de l'informativité des dynamiques d'attention dans un nombre réduit d'étapes de débruitage.