💻 computer science

ClickRemoval: An Interactive Open-Source Tool for Object Removal in Diffusion Models

ClickRemoval is een open-source, interactieve tool die nauwkeurige objectverwijdering en natuurlijke achtergrondherstel in complexe scènes mogelijk maakt met uitsluitend gebruikersklikken en vooringestelde Stable Diffusion-modellen, waardoor de noodzaak voor handmatige maskers, tekstprompts of extra training wordt geëlimineerd.

Oorspronkelijke auteurs: Ledun Zhang, Yatu Ji, Xufei Zhuang, Xinying Yao

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ledun Zhang, Yatu Ji, Xufei Zhuang, Xinying Yao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een foto hebt met een ongewenste gast erin—misschien een vreemdeling op de achtergrond, een prullenbak in een prachtig landschap, of een rommelig object op je eettafel. Normaliter moet je om ze te verwijderen fotobewerkingssoftware gebruiken om het object zorgvuldig met een penseel "over te schilderen", waarbij je de omtrek pixel voor pixel volgt. Dit is als proberen een specifieke vorm uit een stuk papier te knippen met een stommes mes; het kost veel tijd, vereist een stabiele hand, en als je een plek mist, ziet de snede er onregelmatig en lelijk uit.

ClickRemoval is een nieuw, gratis hulpmiddel dat het spel verandert. In plaats van een masker te schilderen, hoef je alleen maar op het object te klikken dat je wilt verwijderen. Dat is alles. Eén klik, en de computer bepaalt precies wat er verwijderd moet worden en wat bewaard moet blijven, en vult de lege ruimte vervolgens op magische wijze in met een realistische achtergrond.

Hier is hoe het werkt, met behulp van enkele eenvoudige analogieën:

1. De "Klik-naar-kaart" Vertaler (M2N2)

Wanneer je op een object klikt, ziet het hulpmiddel niet alleen een stip; het begrijpt het concept van dat object.

De Analogie: Stel je voor dat je een kiezelsteen in een vijver laat vallen. De rimpelingen verspreiden zich en tonen je precies hoe ver het water reikt. ClickRemoval doet iets vergelijkbaars. Het gebruikt een "rimpelingseffect" (een semantische afstandskart) om precies te bepalen waar het object eindigt en de achtergrond begint, zelfs als het object een vreemde vorm heeft of gedeeltelijk verborgen is. Het zet je enkele klik om in een gedetailleerde kaart van het object zonder dat je ook maar één lijn hoeft te tekenen.

2. De "Aandachtswissel" (SGAR & SGAS)

Zodra het hulpmiddel weet wat het object is, moet het het AI-model vertellen: "Negeer dit deel en richt je op de achtergrond."

De Analogie: Denk aan het AI-model als een schilder die zeer gefocust is op het hele plaatje. Normaal kijkt de schilder naar alles evenveel. ClickRemoval fungeert als een spotlichtoperator.
- SGAR (Het Spotlicht): Het dimt het licht op het object waarop je hebt geklikt (waarmee je de schilder vertelt: "Schilder dit niet") en verlicht het licht op de achtergrond (waarmee je de schilder vertelt: "Vul dit in met wat hier thuishoort").
- SGAS (De Dimmer): Als je het licht op het object de hele tijd gedimd houdt, kan het schilderij er vreemd of onnatuurlijk uitzien. Dit onderdeel fungeert daarom als een dimmer. Het zet het "negeer"-signaal sterk aan het begin, en vervaagt het vervolgens langzaam naarmate het schilderij dichter bij voltooiing komt. Dit zorgt ervoor dat de achtergrond er natuurlijk uitziet en niet geforceerd.

3. De "Mengende Chef" (ARG)

Tot slot moet het hulpmiddel beslissen hoeveel van de "nieuwe" achtergrond er gemengd moet worden met de "oude" originele afbeelding.

De Analogie: Stel je voor dat je een smoothie maakt. Je hebt de originele vrucht (de achtergrond) en een nieuwe smaak (de gok van de AI). ARG is de chef die het perfecte ratio bepaalt. Als je een resultaat wilt dat zeer dicht bij de originele foto ligt, voegt de chef een beetje nieuwe smaak toe. Als je een volledige transformatie wilt, voegt de chef meer toe. Dit geeft je controle over hoe sterk het verwijderingseffect is.

Waarom is dit een grote zaak?

De meeste andere hulpmiddelen zijn als professionele chefs die een specifiek recept (tekstprompten) en een vooraf bereide ingrediëntenlijst (handmatige maskers) nodig hebben voordat ze kunnen koken. Ze moeten vaak ook naar de kookschool (extra training) om te leren hoe ze met specifieke ingrediënten om moeten gaan.

ClickRemoval is als een slimme keukenassistent die werkt met elk recept dat je al hebt.

Geen Training Nodig: Het werkt direct uit de doos met bestaande AI-modellen. Je hoeft niets nieuws te leren.
Geen Maskers of Tekst: Je hoeft geen omtrekken te tekenen of "verwijder de hond" te typen. Gewoon klikken.
Open Source: De makers hebben het volledige "receptenboek" (code, instructies en hulpmiddelen) gratis gedeeld, zodat iedereen het kan gebruiken of erop kan bouwen.

De Resultaten

De makers hebben dit hulpmiddel getest tegen andere topfotobewerkers.

Kwaliteit: In tests zagen de gegenereerde foto's er net zo goed uit, of beter dan, de complexe methoden die maskers en tekst vereisen.
Gebruikersvoorkeur: Wanneer gewone mensen (niet-experts) naar de resultaten keken, gaven ze ClickRemoval de voorkeur. Ze vonden het gemakkelijker te gebruiken en de resultaten zagen er natuurlijker uit.
Veelzijdigheid: Het werkt op verschillende soorten foto's, van eenvoudige 512x512-afbeeldingen tot high-definition 1024x1024-afbeeldingen, en zelfs lastige situaties zoals het verwijderen van een hond die zich achter een hek verstopt (met behulp van "negatieve klikken" om het hulpmiddel te vertellen: "Verwijder het hek niet, alleen de hond").

Kortom, ClickRemoval maakt het zware werk van fotobewerking om tot een eenvoudige "wijzen-en-klikken"-ervaring, waardoor objectverwijdering op professioneel niveau toegankelijk wordt voor iedereen met een computer.

Technische Samenvatting: ClickRemoval

Probleemstelling

Bestaande tools voor het verwijderen van objecten in multimediale contentcreatie en privacybescherming vormen vaak aanzienlijke drempels voor niet-experts. Huidige state-of-the-art methoden, zoals AttentiveEraser, PowerPaint en de SD-Inpaint-serie, vertrouwen doorgaans op fijnmazige handmatige maskers, tekstprompts of gespecialiseerde trainingspijplijnen. Deze afhankelijkheden resulteren in hoge interactiekosten en beperken de bruikbaarheid in complexe scènes, wat vaak leidt tot onvolledige objectverwijdering of onnatuurlijke achtergrondinvulling. Er is behoefte aan een oplossing die nauwkeurige objectverwijdering mogelijk maakt zonder handmatige maskering, tekstuele beschrijvingen of extra modeltraining.

Methodologie

ClickRemoval is een open-source, interactieve tool voor objectverwijdering die is gebouwd op vooraf getrainde Stable Diffusion-modellen (SD1.5, SD2.1 en SDXL1.0). Het werkt uitsluitend op basis van gebruikersklikken, waardoor er geen behoefte is aan handgetekende maskers of tekstprompts. Het systeem functioneert door gebruikersklikken om te zetten in zachte semantische kaarten en deze kaarten te gebruiken om zelf-attentie-mechanismen binnen het diffusiemodel tijdens het denoising-proces te heroriënteren.

Het raamwerk bestaat uit drie primaire componenten:

M2N2 Semantische Afstandskaart Extractie:
- Gebruikersklikken worden omgezet in semantische afstandskaarten met behulp van de M2N2-aanpak. Dit omvat een enkele denoising-forwardpass op een bevroren Stable Diffusion-model om multi-head zelf-attentie-kaarten te aggregeren tot een overgangsmatrix.
- Markov-propagatie wordt uitgevoerd, beginnend bij de geklikte positie, om de semantische afstand van elke pixel te bepalen.
- Objectkaart ( $M_{ob}$ ): Genereerd door Flood Fill toe te passen op de semantische kaart om lokale minima te onderdrukken en instantiebewustzijn te versterken, waarmee het gebied dat moet worden verwijderd wordt gedefinieerd.
- Achtergrondkaart ( $M_{bg}$ ): Een genormaliseerde Markov-kaart (zonder Flood Fill) die de semantische afstand tot het geklikte object meet, waarbij kleinere waarden een hogere gelijkenis met het object aangeven. Deze kaart leidt de restauratie van de achtergrond.
Zelfgeleide Attentieheroriëntatie en Planning (SGAR & SGAS):
- SGAR (Self-Guided Attention Redirection): Moduleert de zelf-attentie-logits ( $S_{self}$ ) tijdens inferentie. Het onderdrukt objectgerelateerde sleutelvermeldingen met een grote negatieve straf ( $P_{ob}$ ) en herschikt achtergrondsleutelvermeldingen met een geplande factor ( $G_{bg}(t)$ ) afgeleid van $M_{bg}$ .
- SGAS (Self-Guided Attention Scheduling): Regelt het tijdstip en de sterkte van SGAR om een natuurlijke achtergrondinvulling te garanderen. Het denoising-proces wordt verdeeld in fasen:
  - Vroege fase (eerste ~20%): Geen modificatie.
  - Vroeg-middelfase: SGAR is ingeschakeld, met geleidelijk afnemende achtergrondleiding.
  - Middelfase: Achtergrondleiding is uitgeschakeld, maar objectonderdrukking blijft actief.
  - Late fase: Alle leiding is uitgeschakeld, waardoor het model de resterende details autonoom kan invullen.
Attentieheroriëntatie Leiding (ARG):
- Om controleerbare output-niveau leiding te bieden, combineert ARG lineair de originele ruisvoorspelling ( $\epsilon(x,t)$ ) en de gemoduleerde ruisvoorspelling ( $\epsilon'(x,t)$ ).
- De uiteindelijke voorspelling wordt berekend als $\epsilon_{ARG} = (1-r) \cdot \epsilon(x,t) + r \cdot \epsilon'(x,t)$ , waarbij $r$ een door de gebruiker opgegeven coëfficiënt is. Een kleinere $r$ behoudt meer van het oorspronkelijke modelgedrag, terwijl een grotere $r$ strikter adhereert aan de verwijderingsleiding.

Het systeem ondersteunt zowel positieve klikken (om objecten voor verwijdering aan te geven) als negatieve klikken (om gebieden voor behoud aan te geven), waardoor complexe interacties mogelijk zijn, zoals het verwijderen van verduisterde objecten terwijl voorgrondelementen behouden blijven.

Belangrijkste Bijdragen

Interactieve Tool voor Objectverwijdering: De introductie van ClickRemoval, een tool die geen maskers, tekstbeschrijvingen of extra training vereist. Het ondersteunt positieve en negatieve klikinteracties, wat de gebruiksdrempel voor niet-experts aanzienlijk verlaagt.
Uitbreidbaar Mechanisme voor Attentieheroriëntatie: Een klikgedreven raamwerk bestaande uit M2N2, SGAR, SGAS en ARG. Dit mechanisme is niet strak gekoppeld aan een specifieke diffusie-ruggegraat en is succesvol geïmplementeerd voor SD1.5, SD2.1 en SDXL1.0.
Volledige Open-Source Levering: De release van een uitgebreid softwarepakket onder de Apache-2.0-licentie, inclusief broncode, configuratiebestanden, Docker-omgevingen, documentatie, demo-interfaces en evaluatiescripts.

Experimentele Resultaten

De auteurs hebben ClickRemoval geëvalueerd tegen sterke baselines, waaronder SD-Inpaint, LaMa, PixelHacker, Inpaint Anything, PowerPaint-v2 en AttentiveEraser, met behulp van een unificatie testset afgeleid van Pico-Banana-400K.

Kwantitatieve Metrieken: ClickRemoval behaalde concurrerende resultaten zonder extra training.
- Bij 1024×1024 resolutie (SDXL1.0) behaalde het een FID van 8,05 en een Local-FID van 15,56, vergelijkbaar met AttentiveEraser (7,98 / 15,74).
- Bij 512×512 resolutie (SD1.5) behaalde het de beste algehele prestatie onder methoden met dezelfde resolutie, met een FID van 9,35, een KID van 0,899 en een Local-FID van 17,27.
Gebruikersstudie: In een studie met 25 niet-expert-deelnemers behaalde ClickRemoval de eerste plaats in beide resolutie-instellingen, met 30,48% van de stemmen bij 512-resolutie en 41,89% bij 1024-resolutie.
LLM-ondersteunde Validatie: Met behulp van een GPT-gebaseerde multimodale evaluator behaalde ClickRemoval de eerste plaats bij 512-resolutie (28,85%) en de tweede plaats bij 1024-resolutie (39,21%), slechts 1,97 procentpunten achter AttentiveEraser.
Efficiëntie: De tool vertoonde acceptabele inferentie-overhead, met een runtime bij 1024-resolutie vergelijkbaar met sterke baselines en praktische efficiëntie voor 512-resolutietaken op consumentenhardware (RTX 3090).

Betekenis

Het artikel positioneert ClickRemoval als een belangrijke stap in het democratiseren van hoogwaardige objectverwijdering. Door de afhankelijkheid van handmatige maskers en tekstprompts te verwijderen, biedt het een "klik-en-verwijder"-workflow die toegankelijk is voor niet-experts, terwijl het concurrerende restauratiekwaliteit behoudt. De auteurs benadrukken dat hun aanpak deze resultaten bereikt zonder extra training, en in plaats daarvan vertrouwt op de inherente capaciteiten van vooraf getrainde diffusiemodellen, versterkt door hun attentieheroriëntatie-raamwerk. De release van het volledige open-sourcepakket heeft tot doel reproduceerbaar onderzoek en praktische toepassingen voor contentbewerking te ondersteunen.