💻 computer science

ClickRemoval: An Interactive Open-Source Tool for Object Removal in Diffusion Models

ClickRemoval ist ein Open-Source-Tool mit interaktiver Bedienung, das mithilfe von nur Benutzerklicks und vortrainierten Stable-Diffusion-Modellen eine präzise Objektentfernung und natürliche Hintergrundwiederherstellung in komplexen Szenen ermöglicht und dabei den Bedarf an manuellen Masken, Textprompts oder zusätzlichem Training überflüssig macht.

Ursprüngliche Autoren: Ledun Zhang, Yatu Ji, Xufei Zhuang, Xinying Yao

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ledun Zhang, Yatu Ji, Xufei Zhuang, Xinying Yao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Foto mit einem unerwünschten Gast darauf – vielleicht ein Fremder im Hintergrund, ein Mülleimer in einer schönen Landschaft oder ein unordentlicher Gegenstand auf Ihrem Esstisch. Normalerweise müssen Sie, um sie loszuwerden, eine Bildbearbeitungssoftware verwenden, um das Objekt sorgfältig mit einem Pinsel „zu übermalen" und seinen Umriss Pixel für Pixel nachzuzeichnen. Das ist so, als würde man versuchen, eine bestimmte Form aus einem Stück Papier mit einem stumpfen Messer auszuschneiden; es dauert lange, erfordert einen sicheren Hand und wenn man einen Punkt verfehlt, sieht der Schnitt gezackt und hässlich aus.

ClickRemoval ist ein neues, kostenloses Werkzeug, das das Spiel verändert. Anstatt eine Maske zu malen, klicken Sie einfach auf das Objekt, das Sie entfernen möchten. Das ist alles. Ein Klick, und der Computer ermittelt genau, was zu löschen und was zu behalten ist, und füllt dann magisch den leeren Raum mit einem realistischen Hintergrund.

So funktioniert es, anhand einiger einfacher Analogien:

1. Der „Klick-zu-Karte"-Übersetzer (M2N2)

Wenn Sie auf ein Objekt klicken, sieht das Werkzeug nicht nur einen Punkt; es versteht das Konzept dieses Objekts.

Die Analogie: Stellen Sie sich vor, Sie lassen einen Kieselstein in einen Teich fallen. Die Wellen breiten sich aus und zeigen Ihnen genau, wie weit das Wasser reicht. ClickRemoval macht etwas Ähnliches. Es nutzt einen „Welleneffekt" (eine semantische Distanzkarte genannt), um genau zu ermitteln, wo das Objekt endet und der Hintergrund beginnt, selbst wenn das Objekt eine seltsame Form hat oder teilweise verdeckt ist. Es verwandelt Ihren einzelnen Klick in eine detaillierte Karte des Objekts, ohne dass Sie eine einzige Linie zeichnen müssen.

2. Der „Aufmerksamkeits-Schalter" (SGAR & SGAS)

Sobald das Werkzeug weiß, was das Objekt ist, muss es dem KI-Modell mitteilen: „Ignoriere diesen Teil und konzentriere dich auf den Hintergrund."

Die Analogie: Denken Sie an das KI-Modell als einen Maler, der sehr auf das gesamte Bild fokussiert ist. Normalerweise betrachtet der Maler alles gleichermaßen. ClickRemoval wirkt wie ein Lichtregisseur.
- SGAR (Das Scheinwerferlicht): Es dimmt das Licht auf dem Objekt, auf das Sie geklickt haben (und sagt dem Maler: „Malt das nicht"), und hellt das Licht auf dem Hintergrund auf (und sagt dem Maler: „Füllt das mit dem aus, was hierher gehört").
- SGAS (Der Dimmer): Wenn Sie das Licht auf dem Objekt die ganze Zeit gedimmt lassen, könnte das Gemälde seltsam oder unnatürlich aussehen. Dieser Teil wirkt also wie ein Dimmer. Er schaltet das „Ignorieren"-Signal zu Beginn stark ein und blendet es dann langsam aus, während das Gemälde näher am Fertigstellen ist. Dies stellt sicher, dass der Hintergrund natürlich und nicht erzwungen aussieht.

3. Der „Misch-Koch" (ARG)

Schließlich muss das Werkzeug entscheiden, wie viel vom „neuen" Hintergrund mit dem „alten" Originalbild gemischt werden soll.

Die Analogie: Stellen Sie sich vor, Sie machen einen Smoothie. Sie haben die ursprüngliche Frucht (den Hintergrund) und einen neuen Geschmack (die Vermutung der KI). ARG ist der Koch, der das perfekte Verhältnis entscheidet. Wenn Sie ein Ergebnis wollen, das dem Originalfoto sehr ähnlich sieht, fügt der Koch einen kleinen neuen Geschmack hinzu. Wenn Sie eine vollständige Transformation wollen, fügt der Koch mehr hinzu. Dies gibt Ihnen die Kontrolle darüber, wie stark der Entfernungseffekt ist.

Warum ist das eine große Sache?

Die meisten anderen Werkzeuge sind wie professionelle Köche, die ein spezifisches Rezept (Texteingaben) und eine vorbereitete Zutatenliste (manuelle Masken) benötigen, bevor sie kochen können. Sie müssen oft auch eine Kochschule besuchen (zusätzliches Training), um zu lernen, wie man mit bestimmten Zutaten umgeht.

ClickRemoval ist wie ein intelligenter Küchenassistent, der mit jedem Rezept funktioniert, das Sie bereits haben.

Kein Training erforderlich: Es funktioniert sofort aus der Box mit bestehenden KI-Modellen. Sie müssen ihm nichts Neues beibringen.
Keine Masken oder Texte: Sie müssen keine Umrisse zeichnen oder „Hund entfernen" tippen. Einfach klicken.
Open Source: Die Schöpfer haben das gesamte „Rezeptbuch" (Code, Anweisungen und Werkzeuge) kostenlos geteilt, damit jeder es verwenden oder darauf aufbauen kann.

Die Ergebnisse

Die Schöpfer haben dieses Werkzeug gegen andere hochrangige Bildbearbeitungsprogramme getestet.

Qualität: In Tests sahen die produzierten Fotos genauso gut oder besser aus als die komplexen Methoden, die Masken und Texte erfordern.
Benutzerpräferenz: Wenn normale Menschen (Nicht-Experten) die Ergebnisse betrachteten, bevorzugten sie ClickRemoval am meisten. Sie fanden es einfacher zu bedienen, und die Ergebnisse sahen natürlicher aus.
Vielseitigkeit: Es funktioniert bei verschiedenen Fototypen, von einfachen 512x512-Bildern bis hin zu hochauflösenden 1024x1024-Bildern, und bewältigt sogar schwierige Situationen wie das Entfernen eines Hundes, der sich hinter einem Zaun versteckt (unter Verwendung von „negativen Klicks", um dem Werkzeug mitzuteilen: „Entferne nicht den Zaun, nur den Hund").

Kurz gesagt: ClickRemoval verwandelt die harte Arbeit der Bildbearbeitung in ein einfaches „Zeigen-und-Klicken"-Erlebnis und macht die professionelle Objektentfernung für jeden mit einem Computer zugänglich.

Technische Zusammenfassung: ClickRemoval

Problemstellung

Bestehende Werkzeuge zur Objektentfernung für die Erstellung multimedialer Inhalte und den Datenschutz stellen oft erhebliche Hürden für Nicht-Experten dar. Aktuelle State-of-the-Art-Methoden wie AttentiveEraser, PowerPaint und die SD-Inpaint-Serie verlassen sich typischerweise auf fein abgestimmte manuelle Masken, Text-Prompts oder spezialisierte Trainingspipelines. Diese Abhängigkeiten führen zu hohen Interaktionskosten und schränken die Benutzerfreundlichkeit in komplexen Szenen ein, was häufig zu unvollständiger Objektentfernung oder unnatürlicher Hintergrundergänzung führt. Es besteht ein Bedarf an einer Lösung, die eine präzise Objektentfernung ermöglicht, ohne manuelle Maskierung, textliche Beschreibungen oder zusätzliches Modelltraining zu erfordern.

Methodik

ClickRemoval ist ein quelloffenes, interaktives Werkzeug zur Objektentfernung, das auf vortrainierten Stable-Diffusion-Modellen (SD1.5, SD2.1 und SDXL1.0) aufbaut. Es arbeitet ausschließlich auf Basis von Benutzerklicks und eliminiert damit die Notwendigkeit von handgezeichneten Masken oder Text-Prompts. Das System funktioniert, indem es Benutzerklicks in weiche semantische Karten umwandelt und diese Karten nutzt, um die Selbst-Aufmerksamkeitsmechanismen innerhalb des Diffusionsmodells während des Denoising-Prozesses umzuleiten.

Das Framework besteht aus drei Hauptkomponenten:

M2N2-Extraktion semantischer Distanzkarten:
- Benutzerklicks werden mittels des M2N2-Ansatzes in semantische Distanzkarten umgewandelt. Dies beinhaltet einen einzelnen Denoising-Vorwärtspass auf einem eingefrorenen Stable-Diffusion-Modell, um Multi-Head-Selbst-Aufmerksamkeitskarten in eine Übergangsmatrix zu aggregieren.
- Eine Markov-Propagation wird ausgehend von der geklickten Position durchgeführt, um die semantische Distanz jedes Pixels zu bestimmen.
- Objektkarte ( $M_{ob}$ ): Erzeugt durch Anwendung von Flood Fill auf die semantische Karte, um lokale Minima zu unterdrücken und das Instanzbewusstsein zu verbessern; definiert den zu entfernenden Bereich.
- Hintergrundkarte ( $M_{bg}$ ): Eine normalisierte Markov-Karte (ohne Flood Fill), die die semantische Distanz zum geklickten Objekt misst, wobei kleinere Werte eine höhere Ähnlichkeit zum Objekt anzeigen. Diese Karte steuert die Wiederherstellung des Hintergrunds.
Selbstgeführte Umleitung und Planung der Aufmerksamkeit (SGAR & SGAS):
- SGAR (Self-Guided Attention Redirection): Moduliert die Selbst-Aufmerksamkeits-Logits ( $S_{self}$ ) während der Inferenz. Es unterdrückt objektrelevante Schlüsseleinträge mittels einer großen negativen Strafe ( $P_{ob}$ ) und gewichtet hintergrundrelevante Schlüsseleinträge neu mittels eines geplanten Faktors ( $G_{bg}(t)$ ), der aus $M_{bg}$ abgeleitet wird.
- SGAS (Self-Guided Attention Scheduling): Steuert den Zeitpunkt und die Stärke von SGAR, um eine natürliche Hintergrundergänzung sicherzustellen. Der Denoising-Prozess wird in Phasen unterteilt:
  - Frühe Phase (erste ~20%): Keine Modifikation.
  - Früh-mittlere Phase: SGAR wird aktiviert, wobei die Hintergrundführung allmählich abklingt.
  - Mittlere Phase: Die Hintergrundführung wird deaktiviert, die Objektsuppression bleibt jedoch aktiv.
  - Späte Phase: Alle Führungen werden deaktiviert, sodass das Modell verbleibende Details autonom vervollständigt.
Aufmerksamkeitsumleitungs-Führung (ARG):
- Um eine kontrollierbare Ausgabe auf Ebene der Ergebnisse zu bieten, kombiniert ARG linear die ursprüngliche Rauschvorhersage ( $\epsilon(x,t)$ ) und die modulierte Rauschvorhersage ( $\epsilon'(x,t)$ ).
- Die endgültige Vorhersage wird berechnet als $\epsilon_{ARG} = (1-r) \cdot \epsilon(x,t) + r \cdot \epsilon'(x,t)$ , wobei $r$ ein vom Benutzer spezifizierter Koeffizient ist. Ein kleineres $r$ behält mehr vom Verhalten des ursprünglichen Modells bei, während ein größeres $r$ strikter an die Entfernungsanleitung gebunden ist.

Das System unterstützt sowohl positive Klicks (zur Angabe von zu entfernenden Objekten) als auch negative Klicks (zur Angabe von zu erhaltenden Bereichen), was komplexe Interaktionen ermöglicht, wie etwa das Entfernen verdeckter Objekte unter Beibehaltung von Vordergrundelementen.

Hauptbeiträge

Interaktives Werkzeug zur Objektentfernung: Die Einführung von ClickRemoval, einem Werkzeug, das keine Masken, Textbeschreibungen oder zusätzliches Training erfordert. Es unterstützt positive und negative Klick-Interaktionen und senkt die Nutzungshürde für Nicht-Experten erheblich.
Erweiterbarer Mechanismus zur Umleitung der Aufmerksamkeit: Ein klickgesteuertes Framework, bestehend aus M2N2, SGAR, SGAS und ARG. Dieser Mechanismus ist nicht eng an eine spezifische Diffusions-Backbone gebunden und wurde erfolgreich auf SD1.5, SD2.1 und SDXL1.0 implementiert.
Komplette Open-Source-Auslieferung: Die Veröffentlichung eines umfassenden Softwarepakets unter der Apache-2.0-Lizenz, einschließlich Quellcode, Konfigurationsdateien, Docker-Umgebungen, Dokumentation, Demo-Oberflächen und Evaluierungsskripte.

Experimentelle Ergebnisse

Die Autoren bewerteten ClickRemoval gegen starke Baselines, darunter SD-Inpaint, LaMa, PixelHacker, Inpaint Anything, PowerPaint-v2 und AttentiveEraser, unter Verwendung eines vereinheitlichten Testsets, das von Pico-Banana-400K abgeleitet wurde.

Quantitative Metriken: ClickRemoval erzielte ohne zusätzliches Training wettbewerbsfähige Ergebnisse.
- Bei 1024×1024 Auflösung (SDXL1.0) erreichte es einen FID von 8,05 und einen Local-FID von 15,56, vergleichbar mit AttentiveEraser (7,98 / 15,74).
- Bei 512×512 Auflösung (SD1.5) erzielte es die beste Gesamtleistung unter Methoden gleicher Auflösung mit einem FID von 9,35, einem KID von 0,899 und einem Local-FID von 17,27.
Benutzerstudie: In einer Studie mit 25 Nicht-Experten-Teilnehmern belegte ClickRemoval in beiden Auflösungseinstellungen den ersten Platz und erhielt 30,48 % der Stimmen bei 512er Auflösung sowie 41,89 % bei 1024er Auflösung.
LLM-gestützte Validierung: Unter Verwendung eines GPT-basierten multimodalen Evaluators belegte ClickRemoval bei 512er Auflösung den ersten Platz (28,85 %) und bei 1024er Auflösung den zweiten Platz (39,21 %), wobei es AttentiveEraser nur um 1,97 Prozentpunkte hinter sich ließ.
Effizienz: Das Werkzeug zeigte einen akzeptablen Inferenz-Overhead, wobei die Laufzeit bei 1024er Auflösung mit starken Baselines vergleichbar war und bei 512er Auflösung auf Consumer-Hardware (RTX 3090) eine praktische Effizienz aufwies.

Bedeutung

Die Arbeit positioniert ClickRemoval als einen bedeutenden Schritt zur Demokratisierung hochwertiger Objektentfernung. Durch die Beseitigung der Abhängigkeit von manuellen Masken und Text-Prompts bietet es einen „Point-and-Remove"-Workflow, der für Nicht-Experten zugänglich ist und gleichzeitig eine wettbewerbsfähige Wiederherstellungsqualität gewährleistet. Die Autoren betonen, dass ihr Ansatz diese Ergebnisse ohne zusätzliches Training erzielt, sondern stattdessen auf den inhärenten Fähigkeiten vortrainierter Diffusionsmodelle beruht, die durch ihr Framework zur Umleitung der Aufmerksamkeit erweitert werden. Die Veröffentlichung des kompletten Open-Source-Pakets zielt darauf ab, reproduzierbare Forschung und praktische Anwendungen zur Inhaltsbearbeitung zu unterstützen.