💻 computer science

CatalogStitch: Dimension-Aware and Occlusion-Preserving Object Compositing for Catalog Image Generation

CatalogStitch introduceert dimensiebewuste en occlusiebehoudende technieken die generatieve objectcompositie automatiseren voor catalogusafbeeldingen, waardoor handmatige ingrepen voor maskeraanpassing en het herstellen van verduisterde elementen overbodig worden.

Oorspronkelijke auteurs: Sanyam Jain, Pragya Kandari, Manit Singhal, He Zhang, Soo Ye Kim

Gepubliceerd 2026-04-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sanyam Jain, Pragya Kandari, Manit Singhal, He Zhang, Soo Ye Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een online winkel hebt en je wilt een nieuwe stoel op je website zetten. In het verleden moest je een fotograaf inhuren, een set bouwen en dagenlang wachten. Vandaag de dag kun je dat doen met AI: je plakt een foto van een stoel op een foto van een kamer, en de AI zorgt ervoor dat het eruitziet alsof de stoel daar echt staat.

Maar hier zit een addertje onder het gras. De huidige AI-tools zijn als een onhandige verhuizer: ze doen hun best, maar als de stoel die je wilt toevoegen net iets anders is dan de oude (bijvoorbeeld langer of breder), dan wordt de nieuwe stoel uitgerekt of ingedrukt alsof je hem in een te kleine koffer probeert te duwen. En als er in de originele foto een plantje voor de stoel stond, verdwijnt dat plantje vaak of wordt het een vreemde, wazige vlek.

De auteurs van dit paper, CatalogStitch, hebben een slimme oplossing bedacht om deze "verhuizer" te trainen. Ze noemen hun systeem CatalogStitch. Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De "Maatwerk-Regelaar" (Dimension-Aware Mask Computation)

Stel je voor dat je een T-shirt wilt kopen dat precies in een vakje op een website past. Als je een T-shirt koopt dat breder is dan het vakje, proberen oude systemen het T-shirt gewoon in dat kleine vakje te persen. Het resultaat? Een uitgerekt, raar ogend T-shirt.

CatalogStitch doet iets anders:

De slimme aanpassing: In plaats van het vakje te forceren, past het systeem het vakje (de "mask") automatisch aan aan de vorm van het nieuwe product.
De analogie: Het is alsof je een pak op maat laat maken. Als je nieuwe schoenen iets langer zijn dan de oude, maakt de AI niet je voet groter, maar past hij de schoenendoos aan zodat de schoen er perfect in past, zonder dat hij vervormd wordt.
Het resultaat: Je nieuwe product behoudt zijn echte verhoudingen (hij wordt niet platgedrukt of uitgerekt) en past toch perfect in de scène.

2. De "Tijdmachine voor Voorwerpen" (Occlusion-Aware Hybrid Restoration)

Nu het tweede probleem: in de originele foto staat er misschien een vaas of een lamp voor de stoel. Als je de AI vraagt om de stoel te vervangen, "vergeten" de oude systemen vaak dat die vaas er was. De vaas verdwijnt of wordt vervangen door een rare, wazige vlek.

CatalogStitch lost dit op met een hybride aanpak (een mix van slimme AI en simpele, veilige techniek):

Stap 1: De "Foto-herinnering": Voordat de AI aan de slag gaat, neemt het systeem een foto van de vaas of het plantje dat voor de stoel staat en slaat die op in een "veiligheidskistje".
Stap 2: De "Schoonmaak": De AI verwijdert die vaas tijdelijk uit de foto, zodat hij een schone achtergrond heeft om de nieuwe stoel perfect in te passen.
Stap 3: De "Terugplak": Zodra de nieuwe stoel er perfect staat, plakt het systeem de vaas uit het "veiligheidskistje" exact terug op zijn oude plek.
De analogie: Het is alsof je een schilderij wilt vervangen op een muur waar een bloemenvaas voor staat. Je neemt eerst een foto van de vaas, haalt de vaas even weg, hangt het nieuwe schilderij op, en plakt de vaas daarna weer precies op zijn oude plek terug. Zo blijft de vaas eruitzien alsof hij er altijd was, zonder dat de AI hem hoeft te "dromen".

Waarom is dit zo belangrijk?

Vroeger moest een mens (een ontwerper) handmatig ingrijpen: "Oh, deze schoen is te lang, ik moet de maskers aanpassen," of "Die plant is verdwenen, ik moet hem handmatig terugtekenen." Dit kostte tijd en was lastig voor niet-technische mensen.

CatalogStitch automatiseert dit volledig:

Je uploadt gewoon een foto van je product en een foto van de kamer.
Het systeem doet al het "zware werk": het past de maten aan en zorgt dat voorwerpen die er voor staan, niet verdwijnen.
Het werkt met verschillende AI-systemen (zoals ObjectStitch of OmniPaint) en maakt ze allemaal beter.

De Kernboodschap

De grote les van dit paper is dat AI en vaste regels samenwerken het beste werkt.

Gebruik AI voor de moeilijke dingen: schaduwen maken, kleuren laten samengaan, en het natuurlijk laten lijken.
Gebruik vaste regels voor de dingen die perfect moeten zijn: maten behouden en voorwerpen die al bestaan niet laten verdwijnen.

Door deze twee te combineren, krijgen we een systeem dat niet alleen "creatief" is, maar ook betrouwbaar genoeg voor echte winkels. Het maakt het mogelijk dat elke marketeer of ontwerper, zonder technische kennis, professionele catalogusfoto's kan maken die eruitzien alsof ze door een dure fotograaf zijn gemaakt.

Titel

CatalogStitch: Dimensie-bewuste en Occlusie-bewarende Object-compositie voor Catalogusbeeldgeneratie

1. Het Probleem

Generatieve methoden voor object-compositie (zoals ObjectStitch, OmniPaint en InsertAnything) tonen indrukwekkende resultaten bij het naadloos invoegen van objecten in scènes. Echter, bij toepassing op reële e-commerce catalogusworkflow ontstaan er kritieke hiaten die een praktische implementatie belemmeren:

Dimensie-mismatch (Proportieprobleem): Bestaande methoden gaan ervan uit dat het vervangende object dezelfde verhoudingen heeft als het originele masker. Als een product met een andere aspectratio (bijv. een lange lamp in plaats van een brede tafel) wordt ingevoegd, wordt het object vervormd (uitgerekt of samengedrukt) om in het oorspronkelijke masker te passen.
Occlusie-vernietiging: In professionele catalogusbeelden worden producten vaak deels bedekt door voorgrondobjecten (zoals planten, vazen of tafels). Wanneer generatieve modellen het doelgebied herscheppen, worden deze overlappende voorgrondobjecten vaak vernietigd, vervormd of onrealistisch "gehallucineerd", wat post-productie handmatige correcties vereist.

De huidige workflows vereisen daarom veel handmatige tussenkomst (maskers aanpassen, schaling experimenteren, occlusies herstellen), wat de adoptie door niet-experts belemmert en productiepijplijnen vertraagt.

2. Methodologie

CatalogStitch introduceert een reeks model-agnostische technieken die fungeren als voor- en nabewerkingsstappen rondom bestaande generatieve compositiemodellen. De aanpak combineert generatieve AI voor harmonisatie met deterministische operaties voor precisie.

A. Dimensie-bewuste Maskerberekening (Preprocessing)

Dit algoritme lost het probleem van verkeerde aspectratio's op zonder dat de gebruiker handmatig maskers hoeft aan te passen.

Invoer: Achtergrondafbeelding, doelmasker ( $M_t$ ), productafbeelding en productmasker ( $M_p$ ).
Logica: Het algoritme berekent de aspectratio's van het doelgebied ( $AR_t$ ) en het product ( $AR_p$ ).
Berekening: Als het verschil groter is dan een drempelwaarde ( $\tau = 0.06$ $τ = 0.06$ ), wordt een nieuw, geoptimaliseerd masker ( $M^*_t$ $M_{t}^{*}$ ) berekend.
- Het behoudt het zwaartepunt (centroïde) van het originele masker om de locatie in de scène te behouden.
- De afmetingen worden aangepast zodat het nieuwe masker de aspectratio van het product precies weergeeft, terwijl het binnen de beeldgrenzen blijft.
Resultaat: Het product wordt ingevoegd met zijn natuurlijke verhoudingen, zonder vervorming.

B. Occlusie-bewuste Hybride Herstel (Postprocessing)

Deze methode garandeert dat voorgrondobjecten die het doelproduct bedekken, pixel-perfect behouden blijven.

Stap 1: Segmentatie: Identificatie van voorgrondobjecten die overlappen met het doelgebied (gebruikmakend van EntitySeg).
Stap 2: Caching: De exacte RGB-pixels van deze overlappende objecten worden uit de originele afbeelding gehaald en opgeslagen. Er wordt geen synthese of filtering toegepast; het zijn de originele pixels.
Stap 3: Generatieve Inpainting: De achtergrond wordt "schoongemaakt" door de geselecteerde occluders te verwijderen via generatieve inpainting. Dit creëert een schone achtergrond zonder obstakels.
Stap 4: Compositie: Het generatieve compositiemodel voegt het nieuwe product toe aan deze schone achtergrond (gebruikmakend van het dimensie-bewuste masker).
Stap 5: Deterministisch Herstel: De eerder gecachte pixels van de occluders worden teruggeplaatst (alpha-compositing) over het gegenereerde resultaat.
Voordeel: Omdat de occluders uit de originele afbeelding komen, behouden ze hun exacte geometrie, textuur, verlichting en schaduwen, wat generatieve modellen vaak niet kunnen reproduceren.

3. Belangrijkste Bijdragen

CatalogStitch Framework: Een set van model-agnostische tools die bestaande compositiemodellen uitbreiden voor productiewerkstromen.
CatalogStitch-Eval Benchmark: Een nieuw evaluatiedataset met 58 voorbeelden, onderverdeeld in:
- 35 scènes met dimensie-mismatch.
- 23 scènes met zware occlusie.
- Inclusief metadata, maskers en HTML-viewers voor inspectie.
Cross-Model Validatie: Empirisch bewijs dat de technieken consistent verbeteringen opleveren bij drie state-of-the-art modellen: ObjectStitch, OmniPaint en InsertAnything.
Verschuiving in Interactie: Het verlegt de focus van de gebruiker van pixel-niveau manipulatie (maskers maken) naar creatieve beslissingen (welk product op welke achtergrond), waardoor AI toegankelijker wordt voor marketeers en designers.

4. Resultaten

De evaluatie toont consistente verbeteringen op alle gebruikte modellen:

Kwantitatieve Resultaten (Tabel 1):
- AR Error (Aspect Ratio Error): Daalt van ~30% (bij baselines) naar ~4-5% met CatalogStitch. Dit betekent dat producten hun natuurlijke vorm behouden.
- FID (Fréchet Inception Distance): Duidelijke daling, wat aangeeft dat de gegenereerde composities realistischer zijn en beter overeenkomen met de input-distributie.
- CLIP-score & DINO-score: Stijging in semantische uitlijning en structurele gelijkenis.
- Occluder PSNR: Voor de occlusie-scènes behalen de methoden met hybride herstel zeer hoge scores (bijv. 27.54 bij InsertAnything), wat aantoont dat de originele pixels perfect zijn hersteld.
Kwalitatieve Resultaten:
- Producten worden niet meer vervormd.
- Voorgrondobjecten (zoals een vaas voor een bank) worden niet meer "weggepoetst" of vervormd, maar zien er na de compositie exact hetzelfde uit als in de originele foto.

5. Betekenis en Conclusie

CatalogStitch overbrugt de kloof tussen academische generatieve AI en de eisen van professionele productiewerkstromen.

Hybride Aanpak: De kerninzicht is dat een combinatie van generatieve AI (voor harmonisatie en schaduwen) en deterministische methoden (voor maskerberekening en pixelherstel) de beste resultaten geeft. Dit biedt de flexibiliteit van AI met de betrouwbaarheid die nodig is voor commerciële catalogi.
Efficiëntie: Het elimineert tijdrovende handmatige correcties, waardoor het mogelijk wordt om duizenden SKUs snel en kwalitatief hoogwaardig te genereren.
Toekomstbestendig: Omdat de aanpak model-agnostisch is, kunnen deze verbeteringen worden toegepast op toekomstige generatieve modellen zonder de onderliggende architectuur aan te passen.

Kortom, CatalogStitch transformeert generatieve compositie van een experimentele techniek die veel handmatige ingrepen vereist, naar een praktische, gebruiksvriendelijke tool voor de e-commerce industrie.