Reproducing DragDiffusion: Interactive Point-Based Editing with Diffusion Models

Probleemstelling

Diffusiemodellen zijn uitgegroeid tot de standaard voor hoogwaardige image generation en editing (zoals inpainting en tekst-gestuurde manipulatie). Hoewel deze modellen uitstekend zijn in het vastleggen van rijke visuele distributies, missen ze vaak mechanismen voor het specificeren van precieze geometrische intenties. Tekstuele prompts bieden flexibele semantische controle, maar zijn vaak ontoereikend om exacte ruimtelijke transformaties af te dwingen. Interactieve interfaces die gebruikers toestaan om de structuur van een afbeelding direct te manipuleren (bijvoorbeeld door punten te slepen) vormen een belangrijke aanvullende richting.

De oorspronkelijke DragDiffusion-methode (Shi et al., 2024) stelt een raamwerk voor waarbij gebruikers handle-punten naar doellocaties slepen om beweging te specificeren. De methode claimt dat nauwkeurige ruimtelijke controle kan worden bereikt door het optimaliseren van een enkele diffusie-latent op een specifiek tijdstip, gecombineerd met identiteitsbehoudende fine-tuning en ruimtelijke regularisatie. Het doel van dit paper is echter niet om de methode te verbeteren, maar om de reproduceerbaarheid van deze claims en de gevoeligheid voor hyperparameters systematisch te onderzoeken.

Methodologie

De auteurs hebben een reproduceerbaarheidsstudie uitgevoerd met de officiële implementatie van de auteurs en de DragBench-benchmark. De studie volgt de volgende pijlers:

1. Pipeline Overzicht:

   • DDIM Inversie: Het invoerbeeld wordt omgezet naar een latent representatie op een gekozen tijdstip ($t$) via deterministische DDIM-inversie.
   • Latent Optimalisatie: In plaats van de volledige diffusietraject te optimaliseren, wordt geoptimaliseerd op een enkel tijdstip ($t$). Dit gebeurt door een "motion supervision loss" te minimaliseren, waarbij de features van het UNet-model op de handle-punten moeten overeenkomen met die op de doel-punten.
   • Regularisatie: Een ruimtelijk masker beperkt de updates tot het bewerkbare gebied om globale vervormingen te voorkomen.
   • Identiteitsbehoud: Low-Rank Adaptation (LoRA) wordt gebruikt om de UNet-attention-lagen te fine-tunen, zodat de objectidentiteit behouden blijft tijdens het slepen.

2. Experimenteel Opzet:

   • Basis: Stable Diffusion v1.5.
   • Hardware: NVIDIA A100 GPU.
   • Ablatiestudies: De auteurs hebben de volgende kerncomponenten gevarieerd om de claims te testen:
     • Keuze van het diffusietijdstip ($t$).
     • Aantal LoRA-finetuning-stappen.
     • Sterkte van de masker-regularisatie ($\lambda$).
     • Het niveau van de UNet-feature maps dat wordt gebruikt voor motion supervision.
   • Nieuwe Extensie: Een variant met multi-tijdstip latent optimalisatie (gezamenlijk optimaliseren van latents op $t=\{30, 35, 40\}$) om te testen of de single-tijdstip strategie essentieel is.

3. Evaluatiemetrics:

   • Mean Distance (MD): De gemiddelde Euclidische afstand tussen doel-punten en de uiteindelijke semantische locaties (lagere waarde = beter).
   • Image Fidelity (IF): $1 - \text{LPIPS}$, een maat voor hoe goed de originele afbeelding behouden blijft (hogere waarde = beter).

Belangrijkste Bijdragen en Resultaten

De studie bevestigt de centrale claims van DragDiffusion, maar schetst ook de randvoorwaarden voor betrouwbare reproduceerbaarheid:

1. Optimalisatie op een Intermediair Tijdstip (Claim 1):

   • Resultaat: Het optimaliseren op een intermediair tijdstip ($t=35$) levert de beste balans op tussen ruimtelijke nauwkeurigheid en beeldkwaliteit.
   • Observatie: Vroege tijdstippen ($t=20$) behouden de originele uitstraling beter maar zijn ruimtelijk onnauwkeurig. Late tijdstippen ($t=50$) leiden tot instabiele optimalisatie door ruis.
   • Conclusie: De keuze van $t$ is kritiek; afwijkingen leiden tot significante prestatieverlies.

2. Noodzaak van LoRA Fine-tuning (Claim 2 & 3):

   • Resultaat: Zonder LoRA verslechtert de ruimtelijke nauwkeurigheid drastisch (MD stijgt van ~35 naar ~55) en degradeert de objectidentiteit.
   • Stappen: Prestaties verbeteren snel tot ongeveer 80-100 LoRA-stappen. Daarna zijn er afnemende meeropbrengsten; te veel stappen (120) kunnen zelfs de prestaties licht verslechteren.

3. Ruimtelijke Regularisatie (Claim 4):

   • Resultaat: Een gematigde regularisatiesterkte ($\lambda = 0.1$) is essentieel. Zonder regularisatie ($\lambda=0$) ontstaan ongecontroleerde vervormingen van de achtergrond. Te sterke regularisatie ($\lambda \geq 0.5$) verbetert de beeldkwaliteit ten koste van de bewegingsnauwkeurigheid.

4. UNet Feature Supervisie (Claim 5):

   • Resultaat: Supervisie op mid-level decoder features (blok 3) geeft de beste ruimtelijke precisie.
   • Observatie: Ondiepe lagen (blok 1) zijn te semantisch en onnauwkeurig voor punten. Diepe lagen (blok 4) behouden de textuur goed maar verliezen de globale structurele beweging.

5. Multi-Tijdstip Optimalisatie (Extensie):

   • Resultaat: Het gezamenlijk optimaliseren van meerdere tijdstippen ($t=\{30, 35, 40\}$) verbetert niet de ruimtelijke nauwkeurigheid of beeldkwaliteit ten opzichte van de single-tijdstip baseline.
   • Kosten: Het verhoogt de rekentijd met een factor 2,7.
   • Conclusie: De single-tijdstip strategie is voldoende; bijkomende tijdstippen voegen redundante constraints toe zonder extra waarde.

Betekenis en Conclusie

De reproduceerbaarheidsstudie valideert dat DragDiffusion een robuuste en effectieve methode is voor interactieve image editing, mits de configuratie strikt wordt gevolgd.

• Kritieke Hyperparameters: De prestaties zijn zeer gevoelig voor een klein aantal instellingen: de keuze van het diffusietijdstip en het feature-niveau voor supervisie. Kleine afwijkingen hierin leiden tot merkbare degradatie.
• Robuustere Parameters: De duur van de LoRA-finetuning en de regularisatiesterkte hebben een bredere operationele range, zolang ze binnen redelijke grenzen blijven.
• Praktische Uitdagingen: Hoewel de code beschikbaar is, zijn er nuances in de implementatie (zoals seed-controle, precisie-instellingen en library-versies) die zorgvuldige configuratie vereisen om exacte resultaten te behalen.

Het paper concludeert dat de oorspronkelijke ontwerpkeuzes van DragDiffusion (single-tijdstip optimalisatie, LoRA, mid-level features) empirisch onderbouwd zijn en dat uitbreidingen zoals multi-tijdstip optimalisatie geen meetbaar voordeel bieden ten opzichte van de kosten. Dit biedt toekomstige onderzoekers een duidelijk kader voor het betrouwbaar reproduceren en bouwen op deze technologie.