InverFill: One-Step Inversion for Enhanced Few-Step Diffusion Inpainting

Probleemstelling

Recente diffusion-modellen hebben indrukwekkende resultaten geboekt op het gebied van fotorealistische beeldinpainting (het invullen van gemaskerde gebieden in een afbeelding). Deze modellen vereisen echter vaak honderden iteraties (stappen) om een hoogwaardig resultaat te genereren, wat leidt tot hoge latentie en beperkt praktisch gebruik in real-time scenario's.

Hoewel er "few-step" (weinig-staps) text-naar-beeld modellen zijn ontwikkeld die generatie versnellen, faalt de naïeve toepassing van deze modellen op inpainting. De standaard aanpak, bekend als "blended sampling" (waarbij de voorspellingen worden gemengd met de niet-gemaskerde gebieden), werkt goed bij multi-step modellen omdat deze geleidelijk kunnen denoisen. Bij few-step modellen echter, veroorzaakt de initiële willekeurige Gaussische ruis een semantische misalignering. Omdat er maar weinig stappen zijn om de ruis te corrigeren, kan het gegenereerde inhoud niet harmonieus samensmelten met de achtergrond, wat leidt tot artefacten, wazige randen en een gebrek aan coherentie. Bestaande gespecialiseerde few-step inpainting-modellen (zoals TurboFill) zijn vaak complex, vereisen zware training met echte afbeeldingen en zijn computatief zwaar.

Methodologie: InverFill

InverFill introduceert een efficiënte één-staps inversie-methode die specifiek is ontworpen voor inpainting. In plaats van te starten met willekeurige ruis, gebruikt InverFill een trainbaar netwerk om de gemaskerde invoer-afbeelding direct af te beelden naar een "geïnverteerde ruis-latent" (inverted noise latent). Deze latent bevat semantische informatie die consistent is met de ongemaskerde gebieden en de tekst-prompt.

De kerncomponenten van de methode zijn:

1. Masked Image Inversion Network:

   • Het netwerk ($F_\theta$) is gebaseerd op de architectuur van een bestaande één-staps text-naar-beeld generator (zoals SANA-Sprint of SDXL-Turbo).
   • Het neemt een gemaskerde afbeelding ($I_m$) en een tekst-prompt als input en voorspelt een ruis-latent ($\hat{z}_T$).
   • Het doel is dat deze latent, wanneer door de generator wordt verwerkt, de originele afbeelding reconstrueert waarbij de achtergrond behouden blijft en het gemaskerde gebied correct wordt ingevuld.

2. Re-Blending Operatie:

   • Een direct probleem bij het trainen op gemaskerde afbeeldingen is dat informatie uit de zichtbare gebieden "lekt" naar de ruis-latent voor de gemaskerde gebieden, wat leidt tot een verkeerde verdeling.
   • Om dit op te lossen, wordt tijdens training en inferentie de voorspelde ruis-latent in de gemaskerde gebieden vervangen door nieuwe willekeurige Gaussische ruis ($\epsilon'$). Dit creëert een "geblendeerde latent" ($\hat{z}^{blend}_T$) die de semantiek van de achtergrond behoudt maar de gemaskerde gebieden vrijlaat voor generatie.

3. Gaussische Regularisatie Verlies ($L_{reg}$):

   • De Re-Blending operatie lost het lekken op, maar zorgt ervoor dat de gemengde latent niet meer perfect overeenkomt met de standaard Gaussische verdeling die diffusion-modellen verwachten.
   • InverFill introduceert een extra verliesfunctie die de statistische momenten (gemiddelde en variantie) van de geblendeerde latent forceert om te overeenkomen met die van een standaard Gaussische verdeling. Dit stabiliseert het proces en verbetert de kwaliteit van de reconstructie.

4. Adversariaal Verlies:

   • Om de visuele kwaliteit te verbeteren, wordt een adversariaal verlies gebruikt (gebaseerd op LADD), waarbij een "fake" latent (voorspeld door het inversienetwerk) en een "real" latent (de grondwaarheid) worden onderscheiden door een discriminator.

5. Training Pipeline (Image-Free):

   • Een belangrijk kenmerk is dat InverFill geen echte afbeelding-masker-tekst tripletten nodig heeft voor training. Het synthetiseert deze triplets dynamisch tijdens het trainen door willekeurige maskers toe te passen op gegenereerde afbeeldingen van de generator zelf. Dit elimineert de noodzaak voor zware datasets en complexe multi-stage training.

Belangrijkste Bijdragen

• InverFill Netwerk: Een efficiënt één-staps inversienetwerk dat semantisch geïnformeerde initiële ruis genereert voor few-step inpainting, met minimaal overhead (0,06 seconden op een A100 GPU).
• Re-Blending: Een innovatieve operatie die informatielekken tijdens training voorkomt en de structuur van de latent behoudt.
• Gaussische Regularisatie: Een verliesfunctie die de verdeling van de ruis aligneert met de verwachte Gaussische prior, wat essentieel is voor de stabiliteit van few-step diffusion.
• Eenvoudige Training: Een "image-free" training pipeline die geen gespecialiseerde datasets vereist en geen fine-tuning van de onderliggende few-step modellen nodig heeft.
• Prestatie: Het stelt bestaande few-step text-naar-beeld modellen in staat om inpainting uit te voeren met een kwaliteit die vergelijkbaar is met gespecialiseerde multi-step inpainting-modellen.

Resultaten

De auteurs hebben InverFill getest op state-of-the-art few-step modellen (SANA-Sprint 0.6B en SDXL-Turbo) en vergeleken met zowel andere few-step methoden als gespecialiseerde multi-step inpainting-modellen (zoals BrushNet en SDXL-Inpainting) op benchmarks zoals BrushBench en MagicBrush.

• Kwaliteitsverbetering: InverFill verbetert consistent alle metrieken (ImageReward, HPS, Aesthetic Score, CLIP) ten opzichte van de baselines zonder inversie.
• Vergelijking met Multi-step: Met slechts 2 of 4 stappen (NFEs) presteert InverFill op niveau met of zelfs beter dan multi-step modellen die 20-30 stappen nodig hebben.
• Efficiëntie: De methode voegt slechts een zeer kleine overhead toe (0,04s - 0,06s per afbeelding).
• Kwalitatieve Resultaten: De gegenereerde afbeeldingen tonen een veel betere harmonisatie tussen de ingevulde gebieden en de achtergrond, zonder de artefacten die typisch zijn voor naïeve blended sampling in few-step regimes.

Betekenis en Impact

InverFill is een doorbraak in het gebied van snelle beeldmanipulatie. Het lost het fundamentele probleem op van semantische misalignering bij few-step inpainting zonder de noodzaak om zware, gespecialiseerde modellen te trainen of te fine-tunen. Door een "plug-and-play" inversie-laag toe te voegen aan bestaande snelle generatieve modellen, maakt het real-time, hoogwaardige inpainting mogelijk. Dit opent de deur voor praktische toepassingen in fotoherstel, objectverwijdering en creatieve workflows waar snelheid en kwaliteit even belangrijk zijn. De methode demonstreert dat de beperkingen van few-step diffusion niet inherent zijn aan de architectuur, maar kunnen worden overwonnen door slimme initialisatie van de ruis.