Pinterest Canvas: Large-Scale Image Generation at Pinterest

Ce papier présente Pinterest Canvas, un système d' génération d'images à grande échelle qui, après un entraînement initial sur un modèle de diffusion fondamental, utilise un fine-tuning rapide sur des variantes spécialisées pour répondre à des exigences produit strictes, démontrant ainsi des améliorations significatives de l'engagement et des performances supérieures aux modèles tiers.

L'essentiel

Imaginez que Pinterest est une immense bibliothèque visuelle où des milliards de gens viennent chercher de l'inspiration pour leur maison, leur style ou leurs projets. Le défi ? Parfois, une belle photo d'un produit (comme une tasse de café ou un sac à main) est prise sur un fond blanc ennuyeux, ou elle est trop petite pour s'afficher correctement sur l'écran d'un téléphone.

C'est là qu'intervient Pinterest Canvas, présenté dans cet article. Voici comment cela fonctionne, expliqué simplement avec des images mentales.

1. Le Problème : Un Couteau Suisse vs. Des Outils de Précision

Imaginez que vous avez un couteau suisse géant (un modèle d'intelligence artificielle générique). Il peut faire beaucoup de choses : couper, visser, scier. Mais si vous voulez faire un travail de chirurgie très précis ou sculpter du bois finement, ce couteau est trop gros et manque de précision. Il risque de gâcher le produit que vous essayez de mettre en valeur.

Pinterest a réalisé que pour ses besoins (ne pas changer la forme d'un produit, juste changer le décor), un seul "couteau suisse" ne suffisait pas.

2. La Solution : L'Atelier de l'Artisan (Pinterest Canvas)

Au lieu d'utiliser un seul robot pour tout faire, Pinterest a construit un atelier central (le modèle de base) puis a formé des spécialistes pour chaque tâche.

• L'Atelier Central (Le Modèle de Base) : C'est un apprenti très doué qui a vu des milliards de photos et de descriptions. Il comprend le monde, les objets, la lumière et les textures. C'est sa "culture générale".
• Les Spécialistes (Les Variants) : Une fois l'apprenti formé, Pinterest le transforme rapidement en expert spécifique :
  • L'un devient un décorateur d'intérieur : il sait changer le fond d'une photo sans toucher au produit.
  • L'autre devient un architecte : il sait agrandir une photo (ajouter du haut et du bas) sans déformer l'objet.
  • Un troisième devient un réalisateur de cinéma : il transforme une photo fixe en une petite vidéo avec du mouvement.

3. Comment ça marche concrètement ?

A. L'Extension de Paysage (Outpainting)

Imaginez que vous avez une photo d'un sac à main sur un fond blanc.

• Ce que fait Canvas : Il ne se contente pas de coller une image de fond. Il "imagine" une pièce entière autour du sac. Il peut dire : "Mettons ce sac sur une table en marbre près d'une fenêtre avec de la lumière douce".
• La règle d'or : Le sac lui-même ne doit jamais changer. Si le sac est rouge, il reste rouge. Si c'est un sac en cuir, il reste en cuir. C'est comme si on changeait la pièce dans laquelle le sac est posé, mais on ne touche jamais au sac.

B. Le Changement de Format (Aspect Ratio)

Sur Pinterest, les photos verticales (tall) fonctionnent souvent mieux que les carrés.

• Le problème : Si on étire une photo carrée, elle devient floue ou déformée.
• La solution Canvas : Au lieu d'étirer, il "peint" de nouvelles parties de l'image au-dessus et en dessous. C'est comme si vous aviez une toile de peinture et que vous ajoutiez du tissu au-dessus et en dessous pour agrandir le tableau, en peignant un décor qui s'intègre parfaitement à l'original.

4. La Sécurité : Le Double Contrôle

Pinterest sait que l'IA peut parfois faire des erreurs bizarres (changer la couleur d'un produit ou ajouter une main fantôme). Pour éviter cela, ils ont mis en place un système de sécurité en deux étapes :

1. Le Filtre Numérique : Avant même de montrer la photo, une autre IA vérifie si le produit a été modifié par erreur.
2. L'Œil Humain : Des humains vérifient les résultats les plus prometteurs. C'est comme un chef qui goûte le plat avant de le servir au client. Si quelque chose ne va pas, la photo est rejetée.

5. Les Résultats : Pourquoi c'est génial ?

Grâce à cette méthode, Pinterest a constaté deux choses importantes :

• Moins d'erreurs : Leurs modèles spécialisés font beaucoup moins d'erreurs sur les produits que les modèles génériques du marché (comme ceux de Google ou OpenAI).
• Plus d'engagement : Les utilisateurs cliquent beaucoup plus sur les photos améliorées.
  • Pour les fonds nouveaux : +18% de clics.
  • Pour les photos agrandies : +12,5% de clics.

En Résumé

Pinterest Canvas, c'est comme avoir un magicien de la photo qui ne se contente pas de jeter des sorts au hasard. C'est un magicien qui a d'abord appris toutes les règles de la magie, puis qui s'est spécialisé dans des tours précis : "Je peux changer le décor, mais je ne toucherai jamais à l'objet principal".

Grâce à cette approche, Pinterest peut offrir à ses utilisateurs des images magnifiques et réalistes qui les inspirent vraiment, sans risquer de leur montrer des produits qui n'existent pas ou qui sont déformés. C'est de l'intelligence artificielle au service de l'inspiration humaine, avec une précision chirurgicale.

Résumé technique

1. Problématique et Contexte

Bien que les modèles de génération d'images récents (basés sur les modèles de diffusion) démontrent une flexibilité impressionnante pour diverses tâches, leur application directe aux besoins produits stricts de Pinterest s'avère problématique.

• Manque de contrôle : La flexibilité des modèles génériques les rend difficiles à contrôler uniquement par des invites (prompts), ce qui pose un risque pour les cas d'usage nécessitant une fidélité stricte (ex: publicité e-commerce).
• Conflit d'objectifs : Les exigences des différentes tâches de révisualisation sont souvent contradictoires. Par exemple, la génération de nouveaux arrière-plans exige une préservation stricte du produit original, tandis que l'insertion de produits dans des scènes peut nécessiter de modifier leur pose pour s'adapter à la perspective.
• Risque d'illusion : Une application naïve pourrait générer des résultats qui ne correspondent à rien d'existant ou d'agissable, frustrant l'intention de l'utilisateur qui cherche de l'inspiration concrète.

Pinterest a donc identifié le besoin d'un système capable de révisualiser et d'améliorer le contenu existant tout en garantissant l'intégrité des produits, plutôt que de générer de nouvelles images de zéro.

2. Méthodologie : L'Approche "Pinterest Canvas"

Au lieu d'entraîner un modèle unique monolithique pour toutes les tâches, Pinterest propose une architecture hiérarchique composée d'un modèle de base fondamental suivi de variantes spécialisées par tâche.

A. Architecture et Entraînement du Modèle de Base

• Fondation : Le système repose sur un modèle de diffusion pré-entraîné à grande échelle, utilisant l'architecture FLUX.1 Kontext (combinaison de blocs DiT double flux et simple flux avec rectified flow).
• Données Multimodales : Le modèle est entraîné sur un corpus massif de données appariées (texte-image et image+instruction-image), incluant :
  • Des paires texte-image (plus de 2,6 milliards après filtrage).
  • Des données d'édition multimodales : révisualisation multi-vues, extraction de produits, synthèse de scènes, super-résolution, et outpainting (extension d'image).
  • Des paires de trames vidéo pour la génération de mouvement.
• Apprentissage Multi-tâches : Le modèle de base est entraîné conjointement sur toutes ces tâches. Des préfixes spécifiques à la tâche sont ajoutés aux légendes (ex: "Générer un arrière-plan pour ce produit") pour aider le modèle à distinguer les objectifs.
• Stabilité et Optimisation :
  • Utilisation d'une stratégie d'entraînement en plusieurs étapes (résolutions croissantes : 256² → 512² → 1024²).
  • Application d'un décalage de temps (Timestep Shifting) pour harmoniser le bruit entre les différentes résolutions.
  • Stabilisation de l'entraînement via l'ajustement du taux de décroissance exponentielle ($\beta_2$) dans l'optimiseur AdamW et l'utilisation de moyennes mobiles exponentielles (EMA).

B. Inférence et Guidance

• Guidance Sans Classificateur (CFG) Multimodale : Pour gérer plusieurs conditions (texte + image), le papier propose des variantes simplifiées de CFG ne nécessitant que deux passes avant (forward passes) par itération, optimisant l'efficacité tout en maintenant la qualité.
• Adaptation par Tâche : Le modèle de base est ensuite fine-tuné (ajusté finement) sur des datasets dédiés pour chaque cas d'usage spécifique (ex: amélioration de publicités, outpainting). Cela permet d'obtenir des modèles descendants rapides à converger et hautement contrôlables.

C. Pipeline de Production (Cas d'usage : Amélioration de Publicités)

Pour les tâches critiques comme la génération d'arrière-plans pour les publicités, le pipeline inclut des étapes de sécurité rigoureuses :

1. Masquage : Utilisation de modèles de segmentation (InSPyReNet) pour isoler le produit.
2. Génération : Le modèle génère l'arrière-plan autour du masque.
3. Compositing : Le produit original (découpé) est réinséré sur l'image générée pour garantir qu'aucune modification n'est apportée au produit lui-même.
4. Filtrage et Récompense : Utilisation de modèles de récompense (Reward Models) entraînés sur des annotations humaines pour sélectionner les meilleures générations avant une revue humaine finale.

3. Contributions Clés

1. Architecture Hybride Base-Variante : Une approche pragmatique combinant la puissance d'un modèle fondamental large avec la précision de modèles spécialisés fine-tunés, évitant le compromis entre flexibilité et contrôle.
2. Dataset Multimodal à Grande Échelle : La création et l'annotation de milliards de paires de données couvrant des tâches d'édition complexes (outpainting, synthèse de scènes multi-images, mouvement).
3. Techniques d'Inférence Avancées : Développement de stratégies de CFG multimodale efficaces et de techniques de "Metaprompting" (utilisation de VLM pour générer des prompts diversifiés) pour augmenter la diversité des sorties.
4. Conformité et Vie Privée : Une méthodologie de réentraînement régulier des modèles à partir de zéro pour respecter les demandes de désactivation (opt-out) des utilisateurs, garantissant une utilisation responsable des données.

4. Résultats

Les évaluations démontrent la supériorité de l'approche Canvas par rapport aux modèles tiers (GPT-Image, FLUX.1 Kontext, Nano Banana).

• Évaluations Humaines (Offline) :
  • Pour la tâche d'outpainting d'arrière-plan, Canvas atteint un taux de 47,2% d'images sans défaut (contre 42,5% pour le meilleur concurrent, Nano Banana).
  • La préservation de l'identité du produit est nettement supérieure (84,0% sans défaut produit contre 74,6% pour Nano Banana), réduisant les erreurs comme les changements de couleur ou de forme du produit.
• Tests A/B (Online) :
  • Déployé dans la suite Pinterest Performance+, Canvas a généré des gains significatifs d'engagement :
    • +18,0% de taux de clic (CTR) pour l'outpainting d'arrière-plan.
    • +12,5% de CTR pour l'extension d'aspect ratio.
    • Augmentation correspondante du volume de clics et de la rétention (gCTR30).
• Généralisation : Le système a également démontré sa capacité à gérer d'autres tâches complexes comme la synthèse de scènes multi-images (jusqu'à 8 produits) et la génération de mouvement (image-to-motion) à partir d'un seul modèle de base.

5. Signification et Impact

Ce papier présente une feuille de route technique pour l'intégration de l'IA générative dans des environnements de production à grande échelle où la fiabilité et le contrôle priment sur la créativité pure.

• Validation Industrielle : Il prouve que l'approche "Fine-tuning de variantes spécialisées" est plus efficace et économiquement viable que l'utilisation de modèles génériques pour des applications e-commerce strictes.
• Qualité Produit : En garantissant la préservation stricte des objets (produits), Pinterest résout le problème majeur de la "hallucination" des modèles de diffusion, rendant l'IA utilisable pour la publicité directe.
• Évolutivité : La modularité de l'architecture Canvas permet d'ajouter rapidement de nouveaux cas d'usage (comme la vidéo ou la synthèse 3D) sans réinventer l'ensemble du système, assurant la pérennité de l'investissement technologique.

En résumé, Pinterest Canvas n'est pas seulement un modèle de génération d'images, mais un écosystème complet de données, d'entraînement et d'inférence conçu pour transformer l'IA générative en un outil opérationnel fiable pour l'expérience utilisateur et le commerce.