💻 computer science

PANDORA: Pixel-wise Attention Dissolution and Latent Guidance for Zero-Shot Object Removal

Het artikel introduceert PANDORA, een zero-shot framework dat vooraf getrainde diffusion-modellen gebruikt zonder finetuning of prompts, en dat via pixel-wise attention dissolution en geleide latent-guidance objecten naadloos uit afbeeldingen verwijdert.

Oorspronkelijke auteurs: Dinh-Khoi Vo, Van-Loc Nguyen, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

Gepubliceerd 2026-03-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dinh-Khoi Vo, Van-Loc Nguyen, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

PANDORA: De Magische Verdwijnstift voor Foto's

Stel je voor dat je een prachtige foto hebt van een park, maar er staat een lelijke prullenbak of een storende toerist precies in het midden. Je wilt ze weg hebben, zodat je alleen het mooie park ziet. Vroeger was dit als proberen een vlek uit een tapijt te halen met een schaar: je knipte stukjes uit en plakte er andere stukjes bij, wat vaak lelijk en onnatuurlijk leek.

Nieuwe technologie (zoals 'diffusiemodellen') kan dit beter, maar vaak is het alsof je een zware machine moet leren gebruiken, of je moet een heel specifiek gedicht (prompt) schrijven om de computer te vertellen wat je wilt. En soms blijft er nog steeds een vaag spookbeeld van het object over.

De auteurs van dit paper hebben PANDORA bedacht. Dit is een slimme, nieuwe manier om objecten uit foto's te laten verdwijnen, zonder dat je de computer hoeft te trainen of speciale instructies hoeft te geven. Het werkt in één keer, direct op bestaande, slimme foto-machines.

Hier is hoe het werkt, vertaald naar alledaagse metaforen:

1. Het Probleem: De "Kleefkracht" van de Foto

Stel je voor dat een foto een groot web van draden is. Als je naar een boom kijkt, zijn er duizenden draden die de boom verbinden met de lucht, de grond en de bomen eromheen. Als je de boom wilt verwijderen, moet je die draden doorknippen. Maar als je dat niet goed doet, blijft de boom als een spookbeeld hangen, of wordt de lucht erachter lelijk en vervaagd.

2. De Oplossing: PANDORA

PANDORA is als een magische stift die niet alleen de boom wegveegt, maar ook de draden die hem vasthouden, op een heel slimme manier losmaakt. Het doet dit met twee speciale trucs:

Truc A: De "Loslatende Magneet" (Pixel-wise Attention Dissolution)

In de computerwereld heet dit Pixel-wise Attention Dissolution (PAD).

De analogie: Stel je voor dat de boom in de foto een zware magneet is die alle andere onderdelen van de foto naar zich toe trekt. De computer denkt: "Oh, deze pixels horen bij de boom, dus ik moet ze samen met de boom houden."
Wat PANDORA doet: PANDORA kijkt precies naar die magneetkracht. Het zegt: "Nee, deze pixels horen niet meer bij de boom." Het snijdt de sterkste verbindingen door die de boom heeft met de rest van de foto.
Het resultaat: De boom "ontkoppelt" zich van de rest van de foto. Omdat de computer nu denkt dat de boom er niet meer is, vult hij die plek automatisch in met wat er logischerwijs zou moeten zijn: de lucht of het gras erachter. Het is alsof je de magneet uitschakelt; de boom valt weg en de achtergrond stroomt er soepel in.

Truc B: De "Stuurman" (Localized Attentional Disentanglement Guidance)

Dit heet Localized Attentional Disentanglement Guidance (LADG).

De analogie: Stel je voor dat de computer een schip is dat een route vaart om de foto te maken. Soms wil het schip per ongeluk weer terug naar de plek waar de boom was, omdat het daar "gewend" is.
Wat PANDORA doet: LADG is als een stuurman die het schip stevig vasthoudt en zegt: "Vaar niet naar die boom toe! Houd je koers op de achtergrond." Het zorgt ervoor dat de computer tijdens het tekenen van de nieuwe plek niet terugvalt in oude patronen.
Het resultaat: De nieuwe plek (waar de boom was) wordt niet alleen ingevuld, maar ook schoon gehouden. Er ontstaan geen rare vlekken of restjes van de boom.

3. Waarom is dit speciaal?

Geen training nodig: Je hoeft de computer niet maandenlang te leren hoe het moet. Het werkt direct met de slimme machine die al bestaat.
Geen gedichten nodig: Je hoeft niet te typen: "Verwijder de boom en maak de lucht blauw." Je plakt gewoon een masker over de boom, en PANDORA doet de rest.
Meerdere objecten: Of het nu één persoon is, of een hele groep vogels die dicht op elkaar zitten; PANDORA kan ze allemaal tegelijk laten verdwijnen zonder dat de foto eruitziet alsof er een gatenkaas in zit.

4. De Test

De makers hebben PANDORA getest op een heleboel moeilijke foto's. Ze hebben gekeken of de achtergrond er natuurlijk uitzag en of de objecten echt weg waren.

Resultaat: Mensen vonden de foto's van PANDORA het mooist. Andere methoden lieten vaak nog restjes van de objecten zien of maakten de achtergrond vaag. PANDORA maakte het alsof de objecten er nooit hadden gestaan.

Kortom: PANDORA is als een digitale tovenaar die objecten uit foto's laat verdwijnen door de "verborgen draden" die ze vasthouden, slim door te snijden en de achtergrond soepel in te vullen. Het is snel, werkt zonder ingewikkelde instructies, en maakt foto's die er perfect natuurlijk uitzien.

Probleemstelling

Het verwijderen van objecten uit natuurlijke afbeeldingen is een complexe taak die twee tegenstrijdige eisen stelt: het volledig elimineren van het ongewenste object en het synthetiseren van een semantisch coherent achtergrond dat naadloos in het tafereel past. Bestaande methoden kampen met verschillende beperkingen:

Traditionele methoden (op basis van patches of GANs) leiden vaak tot inconsistenties, onnatuurlijke overgangen en artefacten.
Diffusiemodellen (zoals Stable Diffusion Inpainting) vereisen vaak fijnafstemming (fine-tuning), complexe prompt-engineering of optimalisatie tijdens de inferentie. Zelfs dan produceren ze soms onvolledige verwijderingen of artefacten.
Bestaande zero-shot methoden (zoals CPAM en Attentive Eraser) worstelen vaak met het verwijderen van meerdere objecten, laten residu's achter door onvoldoende disentanglement van voorgrond en achtergrond, of vereisen gevoelige handmatige tuning.

Er is een behoefte aan een methode die geen training vereist, geen prompts nodig heeft, en in staat is om zowel enkelvoudige als complexe, dicht op elkaar gepakte objecten in één doorloop te verwijderen.

Methodologie: PANDORA

PANDORA is een zero-shot framework dat direct werkt op voorgeprogrammeerde text-naar-beeld diffusiemodellen (zoals Stable Diffusion v1.5 en v2.1). Het proces omvat geen fine-tuning, prompts of inferentie-tijd optimalisatie. De pijplijn bestaat uit drie kerncomponenten:

Background Preservation Adaptation (BPA):
- Om te garanderen dat de niet-gemaskerde gebieden (de achtergrond) onveranderd blijven, wordt de invoerafbeelding via DDIM-inversie omgezet in de latente ruisspace.
- Tijdens het denoising-proces worden de intermediate latent states opgeslagen. De query-features ( $Q$ ) van de huidige stap worden gecombineerd met de key- ( $K_i$ ) en value-features ( $V_i$ ) van de opgeslagen achtergrond.
- Dit zorgt ervoor dat de semantische informatie van de originele achtergrond behouden blijft buiten het masker.
Pixel-wise Attention Dissolution (PAD):
- Dit is de kernmodule voor het verwijderen van het object. In plaats van alleen de achtergrond te behouden, activeert PAD het "oplossen" van objectinformatie op het niveau van self-attention.
- Voor de gemaskerde query-pixels worden de $k$ meest correlerende keys (die het sterkst verbonden zijn met het object) geïdentificeerd.
- Door middel van percentiel-based thresholding worden deze top- $k$ verbindingen op nul gezet (of naar $-\infty$ verplaatst in de attention logits).
- Hierdoor worden de gemaskerde pixels losgekoppeld van de dominante voorgrondregio's, waardoor het object "verdwijnt" en de reconstructie puur wordt gedreven door de context van de omliggende achtergrond.
Localized Attentional Disentanglement Guidance (LADG):
- Deze module stuurt het denoising-traject in de latente ruimte om residu's te onderdrukken en een schonere verwijdering te garanderen.
- LADG werkt als een ruimtelijk gemaakte mechanisme dat de latente noise binnen het masker wegdrukt van de onvoorwaardelijke (object-gerelateerde) trajectorie, terwijl het buiten het masker de voorwaardelijke trajectorie behoudt.
- Dit versnelt de verwijdering van het object en zorgt voor een soepelere, coherenter reconstructie zonder artefacten.

Het algoritme voert deze stappen uit in één enkele forward pass door het diffusiemodel.

Kernbijdragen

PANDORA Framework: Een nieuw zero-shot framework voor objectverwijdering dat direct pre-trained diffusion-modellen benut zonder enige vorm van training of prompts.
Pixel-wise Attention Dissolution (PAD): Een innovatieve techniek die objectinformatie oplost door de sterkste attention-verbindingen van gemaskerde pixels te verbreken, wat zorgt voor fijne controle en een natuurlijke reconstructie.
Localized Attentional Disentanglement Guidance (LADG): Een methode om het denoising-traject lokaal te sturen, waardoor residu's worden onderdrukt en de achtergrondkwaliteit wordt verbeterd.
Nieuwe Benchmark: De auteurs hebben een uitdagende dataset samengesteld met 75 enkelvoudige objecten, 17 multi-object scenario's en 94 voorbeelden van massaal gelijke objecten (bijv. groepen vogels of fruit) om de prestaties te evalueren.

Resultaten

De experimenten tonen aan dat PANDORA superieure prestaties levert ten opzichte van de state-of-the-art methoden (zowel fine-tuned als zero-shot):

Kwalitatieve resultaten: PANDORA produceert schone, contextueel coherente reconstructies zonder artefacten, zelfs in complexe scenario's met meerdere of dicht op elkaar gepakte objecten. Het behoudt de structuur en textuur van de achtergrond beter dan concurrenten.
Kwantitatieve resultaten: Op de nieuwe benchmark behaalt PANDORA de beste CLIP-scores (wat aangeeft dat het object effectief is verwijderd en de achtergrond semantisch klopt) en competitieve FID-, LPIPS- en MSE-waarden.
- Het presteert consistent goed op zowel Stable Diffusion v1.5 als v2.1.
- Ablatie-studies tonen aan dat het verwijderen van PAD leidt tot een significante daling in prestaties (onvolledige verwijdering), terwijl het verwijderen van LADG de kwaliteit iets vermindert.
User Study: In een studie met 20 deelnemers werd PANDORA in 47,5% van de gevallen verkozen als de beste methode, aanzienlijk hoger dan concurrenten zoals Attentive Eraser (22%) en PowerPaint (4,5%).

Betekenis

PANDORA stelt een nieuwe standaard voor zero-shot objectverwijdering. De belangrijkste doorbraak is het vermogen om complexe verwijderingstaken uit te voeren zonder de noodzaak van:

Fijnafstemming (Fine-tuning): Het werkt direct met bestaande, grote modellen.
Prompt-engineering: Er zijn geen tekstuele prompts nodig om het resultaat te sturen.
Inferentie-optimalisatie: Het is snel en efficiënt omdat het in één doorloop werkt.

De methode lost het probleem op van "residuele aandacht" (waarbij objecten niet volledig verdwijnen) en biedt een schaalbare oplossing voor zowel enkelvoudige als massale objectverwijdering. Dit maakt het een krachtige tool voor semantische beeldbewerking in toepassingen waar training of complexe prompt-afstemming niet haalbaar is. De auteurs erkennen wel dat de methode afhankelijk is van nauwkeurige binary masks en dat toekomstig werk gericht zal zijn op het aanpassen van de drempels automatisch.