Pinterest Canvas: Large-Scale Image Generation at Pinterest

Dit paper introduceert Pinterest Canvas, een groot-schaalig beeldgeneratiesysteem dat een basisdiffusiemodel combineert met snelle, taakspecifieke fine-tuning om strikte productvereisten te vervullen en aanzienlijke verbeteringen in gebruikersbetrokkenheid te realiseren.

De kern

Pinterest Canvas: De Magische Tekentafel van Pinterest

Stel je voor dat je een enorme, super slimme kunstenaar in dienst hebt die elke foto die je hem geeft, kan verbeteren. Maar hier is de catch: deze kunstenaar is niet zomaar één persoon. Het is meer als een meesterkok die eerst een enorme basis van kooktechnieken leert, en daarna snel gespecialiseerde recepten bedenkt voor specifieke gerechten.

Dit is precies wat Pinterest Canvas is. Het is het nieuwe systeem van Pinterest om foto's te maken en te verbeteren, maar dan op een manier die echt werkt voor hun gebruikers.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Alles-kunnen" Kunstenaar is lastig te sturen

Stel je voor dat je een kunstenaar vraagt: "Maak een foto van een koffiebekertje."

• Soms wil je dat de kunstenaar de achtergrond verandert in een gezellige winterse kamer.
• Soms wil je dat hij alleen de achtergrond wegmaakt zodat je het bekertje op een witte achtergrond ziet.
• Soms wil je dat hij het bekertje iets draait of de kleur van het kopje aanpast.

Als je één grote, generieke kunstenaar (zoals de huidige AI-modellen) alles laat doen, wordt het vaak een rommeltje. Hij verandert misschien per ongeluk het kopje zelf terwijl je alleen de achtergrond wilde aanpassen, of hij maakt de foto zo vaag dat je niet meer weet wat het object is. Voor Pinterest, waar mensen zoeken naar echte ideeën voor hun huis of kleding, is dat gevaarlijk. Je wilt geen nep-producten zien.

2. De Oplossing: De "Meesterkok" met Speciale Recepten

In plaats van één kunstenaar alles te laten doen, heeft Pinterest een slimme strategie bedacht:

1. De Basis (De Meesterkok): Eerst trainen ze één enorm groot model op miljarden foto's en teksten. Dit model leert de basisregels van fotografie, licht, schaduwen en hoe objecten eruitzien. Het is de "meesterkok" die alles over koken weet.
2. De Specialisten (De Gespecialiseerde Recepten): Vervolgens nemen ze die meesterkok en laten ze hem heel snel een paar keer oefenen op één specifieke taak.
   • Voor het veranderen van achtergronden? Dan krijgt hij een speciaal recept voor "achtergrond-verandering".
   • Voor het groter maken van foto's? Dan krijgt hij een recept voor "randjes toevoegen".
   • Voor het maken van een winterse sfeer? Dan krijgt hij een recept voor "seizoen-verandering".

Zo hebben ze een hele familie van modellen (Canvas-varianten). Elk model is een expert in zijn eigen ding, maar ze delen allemaal dezelfde slimme basis.

3. Wat kan Canvas eigenlijk? (De Magische Trucs)

Het systeem kan veel dingen doen die je misschien al eens hebt gezien, maar dan veel beter:

• De Achtergrond-Magie: Je hebt een foto van een schoen op een saaie witte achtergrond. Canvas kan die schoen eruit halen en hem neerzetten in een prachtige, zonnige tuin of een gezellige slaapkamer, zonder dat de schoen er anders uitziet.
• De Foto-Verlenger: Veel foto's op Pinterest zijn vierkant, maar Pinterest houdt van lange, verticale foto's. Canvas kan de boven- en onderkant van een foto "uitbreiden" alsof je een schilderij uitrekt, en vult de lege plekken in met mooie details die er natuurlijk bij horen.
• De Veranderende Scène: Je kunt zeggen: "Verander de achtergrond in een donkere stenen muur met koffiebonen" of "Zet dit kopje in een winterse scène met een sjaal". Canvas doet precies wat je vraagt.
• De Beweegende Foto: Zelfs nog coolder: ze kunnen een stilstaande foto omtoveren in een korte video-clipje waar de camera zachtjes beweegt, alsof je door de kamer loopt.

4. Waarom is dit zo goed? (De Test)

Pinterest heeft dit systeem getest tegen andere bekende AI-modellen.

• De Test: Ze gaven dezelfde opdracht aan verschillende AI's. De andere AI's veranderden vaak per ongeluk het product (bijvoorbeeld: de kleur van de schoen veranderde, of er ontbrak een stukje).
• De Winnaar: Canvas hield het product perfect intact. Het was alsof Canvas een onzichtbare hand had die het product vasthield terwijl hij de rest van de foto veranderde.
• Het Resultaat: Toen ze dit in de echte app gebruikten, klikten mensen 18% vaker op de advertenties met de nieuwe foto's. Mensen vonden de foto's gewoon leuker en meer "echt".

5. De Belangrijkste Regel: Privacy en Betrouwbaarheid

Omdat Pinterest heel serieus is over privacy, bouwen ze dit systeem zelf. Ze zorgen ervoor dat het systeem nooit foto's gebruikt van mensen die dat niet willen. Het is alsof ze een eigen keuken hebben waar ze alleen met verse, goedgekeurde ingrediënten werken.

Samenvattend

Pinterest Canvas is als het hebben van een superkrachtige, maar zeer gehoorzame assistent. Hij is niet zomaar een willekeurige kunstenaar die doet wat hij wil. Hij is een team van gespecialisten die precies weten wat ze moeten doen: het product intact houden, maar de omgeving prachtig maken. Hierdoor krijgen we op Pinterest foto's die er niet alleen mooi uitzien, maar ook echt bruikbaar zijn voor onze inspiratie.

Technische samenvatting

Probleemstelling

Hoewel recente generatieve beeldmodellen (zoals diffusion-modellen) indrukwekkende flexibiliteit tonen bij het uitvoeren van diverse taken, blijken ze vaak moeilijk te controleren via prompts alleen. Voor Pinterest, waar gebruikers concrete intenties hebben (zoals het zoeken naar mode-ideeën of wooninspiratie), is het cruciaal dat gegenereerde inhoud realistisch en actiegericht is.
De kernproblemen zijn:

1. Gebrek aan controle: Generieke modellen kunnen producten onbedoeld veranderen (kleur, vorm, textuur), wat onaanvaardbaar is voor advertentiedoeleinden.
2. Contrasterende eisen: Verschillende taken vereisen tegenstrijdige gedragingen. Bijvoorbeeld: bij het genereren van een achtergrond moet het product exact behouden blijven, terwijl bij het plaatsen van een product in een scène de perspectief en houding van het product vaak aangepast moeten worden.
3. Onvoldoende specificiteit: Een enkel generiek model is niet geoptimaliseerd voor de strikte producteisen van specifieke use-cases zoals advertentieverbetering.

Methodologie: Pinterest Canvas

Pinterest introduceert Canvas, een systeem dat een compromis vindt tussen het trainen van een volledig nieuw model per taak (inefficiënt) en het gebruik van één generiek model (onvoldoende controle). De aanpak bestaat uit drie hoofdfasen:

1. Het Basismodel (Foundational Model)

In plaats van een model per taak te bouwen, trainen ze eerst één groot, generiek diffusion-model op een zeer divers, multimodaal dataset.

• Architectuur: Het model is gebaseerd op de FLUX.1 Kontext backbone (een Multi-Modal Diffusion Transformer of MM-DiT). Het gebruikt een dubbele-stroom architectuur en flow matching.
• Training: Het model wordt getraind op een breed scala aan taken, waaronder tekst-naar-beeld, beeldbewerking, super-resolutie, en verschillende vormen van "outpainting" (het uitbreiden van afbeeldingen).
• Dataset: Ze gebruiken een dataset van meer dan 2,6 miljard hoogwaardige tekst-beeldparen en multimodale paren (bijv. (tekst + beeld) -> beeld). De dataset omvat specifieke taken zoals multi-view productweergave, achtergrond-outpainting, en scène-synthese.
• Technische innovaties:
  • Timestep Shifting: Om training op hogere resoluties (512x512 en 1024x1024) te stabiliseren, passen ze een tijdstap-transformatie toe die de onzekerheidsgraad tussen verschillende resoluties gelijk houdt.
  • Multimodale Classifier-Free Guidance (CFG): Ze ontwikkelen een efficiënte variant van CFG voor meerdere condities (tekst en beeld). In plaats van exponentieel meer forward passes, gebruiken ze een vereenvoudigde versie die slechts twee forward passes vereist per iteratie, wat de inferentie-tijd met 33% verkort zonder kwaliteitsverlies.
  • Stabiliteit: Ze gebruiken een lagere $\beta_2$ (0.95) in de AdamW-optimizer en Exponential Moving Average (EMA) om loss-spike en divergentie te voorkomen.

2. Snelle Fine-tuning voor Specifieke Taken

Het basismodel dient als een sterke startpunten voor het snel fine-tunen van gespecialiseerde varianten voor specifieke use-cases.

• Voorbeeld: Advertentieverbetering (Ads Enhancement):
  • Achtergrond-uitbreiding: Voor producten met een witte achtergrond wordt een variant getraind om realistische achtergronden te genereren. Cruciaal: het model wordt getraind met segmentatiemaskers (via InSPyReNet) om te garanderen dat het product zelf niet wordt aangepast. Tijdens inferentie wordt het originele productcutout teruggeplaatst om elke verandering te voorkomen.
  • Aspect Ratio Outpainting: Voor het verticaal uitbreiden van afbeeldingen (voor Pinterest's kolomlay-out) wordt de boven- en onderkant van de afbeelding gemaskeerd en gereconstrueerd.
• Inferentie-pijplijn:
  • Metaprompting: VLM's (Vision Language Models) genereren diverse prompts voor achtergronden.
  • Reward Models: Interne reward-modellen, getraind op menselijke beoordelingen, selecteren de beste van meerdere gegenereerde kandidaten.
  • Human Review: Een gestructureerd proces waarbij menselijke beoordelaars de output controleren op defecten voordat deze live gaan.

3. Toepassingen

Naast advertentieverbetering worden andere varianten getoond:

• Multi-image Scene Synthesis: Het combineren van meerdere productafbeeldingen in één coherente scène.
• Image-to-Motion: Het genereren van korte video's (2 seconden) uit statische afbeeldingen voor dynamische verrijking.

Belangrijkste Resultaten

De resultaten worden gevalideerd via offline menselijke evaluaties en online A/B-tests.

1. Offline Evaluatie (Achtergrond-uitbreiding):

   • Canvas presteert significant beter dan concurrenten zoals GPT-Image, FLUX.1 Kontext en Google's Nano Banana.
   • No-defect rate: Canvas bereikt een 47,2% totale defectvrije rate, vergeleken met 26,2% voor GPT-Image en 42,5% voor Nano Banana.
   • Productbehoud: Canvas behoudt de productidentiteit (kleur, vorm, textuur) veel beter, wat resulteert in een lagere product-defect rate (84,0% defectvrij vs. 74,6% voor de beste concurrent).

2. Online A/B-tests (Engagement):

   • Achtergrond-uitbreiding: Resulteert in een 18,0% stijging in Click-Through Rate (CTR) en een 18,6% stijging in klikvolume.
   • Aspect Ratio-uitbreiding: Resulteert in een 12,5% stijging in CTR en een 12,9% stijging in klikvolume.
   • Deze verbeteringen tonen aan dat de gegenereerde afbeeldingen beter aansluiten bij de gebruikersintentie en esthetische voorkeuren.

Bijdragen en Significantie

De belangrijkste bijdragen van dit paper zijn:

1. Architecturale Strategie: Het bewijs dat een "Base Model + Rapid Fine-tuning" strategie superieur is aan het gebruik van één generiek model voor complexe, strikt gecontroleerde producttoepassingen. Het biedt de schaalbaarheid van een groot model met de precisie van gespecialiseerde modellen.
2. Technische Innovaties: De implementatie van efficiënte multimodale CFG en timestep shifting voor stabiele training op hoge resoluties.
3. Product-Integratie: Een volledig werkend systeem dat privacy (opt-out compliance), kwaliteitscontrole (menselijke review + reward models) en technische prestaties combineert in een productieomgeving.
4. Schaalbaarheid: Het systeem bewijst dat het kan generaliseren naar diverse taken, van statische beeldbewerking tot multi-object scène-synthese en video-generatie.

Conclusie:
Pinterest Canvas demonstreert hoe grote technologiebedrijven generatieve AI kunnen inzetten voor strikt gecontroleerde, productgerichte toepassingen. Door te focussen op het behoud van productidentiteit en het snel fine-tunen van basismodellen, slagen ze erin om de kwaliteit van gegenereerde inhoud te verhogen en de gebruikersbetrokkenheid aanzienlijk te stimuleren, terwijl ze tegelijkertijd de risico's van hallucinaties en ongewenste veranderingen minimaliseren.