Pinterest Canvas: Large-Scale Image Generation at Pinterest

Pinterest presenta "Canvas", un sistema de generación de imágenes a gran escala que, en lugar de depender de un modelo genérico, utiliza un modelo base de difusión multimodal que se ajusta rápidamente a conjuntos de datos específicos para crear modelos especializados que logran mejoras significativas en la participación de los usuarios y superan a modelos externos en tareas como la mejora de fondos y la ampliación de imágenes.

Lo esencial

¡Hola! Imagina que Pinterest es como un gigantesco álbum de recortes digital lleno de ideas para decorar tu casa, vestirte o cocinar. Ahora, imagina que quieres cambiar algo en una foto que te gusta: "¿Y si le pongo un fondo de bosque a este zapato?" o "¿Y si esta taza de café aparece en una mesa de mármol?".

Hace poco, las IAs podían hacer esto, pero a veces eran como artistas muy creativos pero un poco desordenados: cambiaban el zapato por una zapatilla, o la taza por una jarra, o simplemente hacían un dibujo que no se parecía a tu producto real. Eso no sirve para una tienda, porque si vendes zapatos, el cliente necesita ver esos zapatos exactos.

Aquí es donde entra Pinterest Canvas.

¿Qué es Pinterest Canvas? (La analogía del "Chef Maestro")

En lugar de tener un solo robot que intenta hacer todo (cocinar, limpiar, pintar y conducir) y a veces falla en todo, Pinterest decidió entrenar a un Chef Maestro y luego crear a sus aprendices especializados.

1. El Chef Maestro (El Modelo Base): Primero, entrenaron a una IA gigante con miles de millones de fotos y descripciones. Este "Chef" aprendió a entender el mundo visual: qué es una taza, qué es un fondo, cómo cae la luz, etc. Es su base de conocimientos.
2. Los Aprendices Especializados (Los Modelos Específicos): Luego, en lugar de pedirle al Chef Maestro que haga todo a la vez, crearon versiones pequeñas y rápidas de él para tareas específicas:
   • Un aprendiz que solo sabe cambiar el fondo de una foto sin tocar el producto.
   • Otro que solo sabe estirar la foto para que quepa mejor en el celular (como cambiar el formato de una foto cuadrada a una vertical).
   • Otro que sabe crear escenas con varios objetos a la vez.

¿Por qué es tan especial este enfoque?

Imagina que quieres cambiar el fondo de una foto de un macaroon de fresa (un pastelito).

• Con una IA normal: Podría decir: "¡Genial! Voy a ponerle un fondo de bosque", pero por error, podría cambiar el color del macaroon o añadirle una hoja que no existía. ¡El producto ya no es el mismo!
• Con Pinterest Canvas: El "aprendiz especializado" en fondos sabe una regla de oro: "El producto es sagrado, no lo toques".
  • Si le dices: "Ponle un fondo de piedra oscura", el modelo borra el fondo original y pone la piedra, pero el macaroon sigue siendo exactamente el mismo, con el mismo color y forma.
  • Si le dices: "Haz que la foto sea más alta", el modelo inventa el espacio extra arriba y abajo, pero deja el macaroon intacto en el centro.

¿Cómo lo hacen? (La receta secreta)

El equipo de Pinterest hizo tres cosas clave para lograr esto:

1. Entrenamiento con "Máscaras": Enseñaron a la IA usando fotos donde el producto estaba "tapado" con una máscara blanca. La IA tenía que adivinar cómo era el fondo original basándose en el producto. Así aprendió que el producto es el protagonista y el fondo es el escenario que se puede cambiar.
2. Pruebas y Errores (El "Sabor"): Antes de lanzarlo al público, probaron miles de veces. Si la IA cambiaba un poco el color de la taza, la descartaban. Solo dejaban pasar las fotos perfectas.
3. Ojos Humanos: Aunque la IA es inteligente, a veces se equivoca en detalles finos. Por eso, antes de mostrar las fotos a los usuarios, personas reales revisan las imágenes para asegurarse de que el producto se vea bien y no tenga errores raros.

¿Funciona de verdad? (Los resultados)

¡Sí! Cuando Pinterest probó esto con anuncios reales:

• La gente hizo clic un 18% más en los anuncios con fondos nuevos y bonitos.
• La gente hizo clic un 12% más en las fotos que se estiraron para verse mejor en el celular.

En resumen

Pinterest Canvas es como tener un taller de magia donde puedes pedirle a un mago experto: "Quiero que esta taza de café aparezca en una mesa de mármol con un fondo de bosque, pero ¡la taza tiene que ser exactamente la misma que tengo en mi mano!".

No es una IA que inventa cosas de la nada; es una herramienta diseñada para mejorar lo que ya tienes, manteniendo la fidelidad de los productos reales, lo que hace que las compras sean más seguras y atractivas para todos.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Pinterest Canvas: Large-Scale Image Generation at Pinterest", traducido y adaptado al español:

Resumen Técnico: Pinterest Canvas

1. El Problema

Aunque los modelos de generación de imágenes recientes (como los basados en difusión) han demostrado una flexibilidad notable, su aplicación directa en entornos de productos comerciales presenta desafíos significativos:

• Falta de Control: La flexibilidad general de estos modelos los hace difíciles de controlar mediante simples indicaciones (prompts), lo que resulta en resultados que no cumplen con requisitos de producto estrictos.
• Conflictos de Requisitos: Diferentes tareas de revisualización tienen requisitos contradictorios. Por ejemplo, generar nuevos fondos requiere una preservación estricta del producto original, mientras que insertar productos en escenas a menudo exige alterar la pose del objeto para coincidir con la perspectiva.
• Riesgo de Intención del Usuario: En plataformas como Pinterest, los usuarios buscan inspiración para acciones reales (compras, decoración). La generación de contenido "desde cero" que no corresponda a objetos existentes o accionables puede frustrar la intención del usuario.

Por lo tanto, el enfoque de "un modelo único para todas las tareas" es insuficiente para satisfacer las necesidades específicas de edición y mejora de contenido en Pinterest.

2. Metodología

Pinterest propone Pinterest Canvas, un sistema de generación de imágenes a gran escala basado en una arquitectura de "modelo base + variantes especializadas".

• Enfoque de Arquitectura:

  • Entrenamiento de un Modelo Base: Se entrena un modelo de difusión fundacional (basado en la arquitectura FLUX.1 Kontext con bloques DiT de doble flujo) utilizando un conjunto de datos multimodal masivo y diverso. Este modelo base aprende capacidades generales de edición de imágenes.
  • Fine-tuning Rápido (Ajuste Fino): En lugar de usar el modelo base para todo, se crean variantes especializadas mediante un ajuste fino rápido sobre conjuntos de datos específicos para cada caso de uso (ej. mejora de anuncios, síntesis de escenas). Esto permite controlar el comportamiento del modelo limitando los datos de entrenamiento a las propiedades deseadas.

• Construcción del Conjunto de Datos:

  • Se recopilaron y filtraron miles de millones de pares de texto-imagen y datos multimodales (imagen + instrucción → imagen).
  • Tareas incluidas: Extracción de productos, síntesis de escenas, outpainting (expansión de fondo y relación de aspecto), super-resolución y generación de video a partir de imágenes.
  • Cumplimiento de Privacidad: El sistema se entrena desde cero periódicamente para respetar las opciones de exclusión (opt-out) de los usuarios, garantizando que el modelo nunca haya visto datos de usuarios que han solicitado no ser incluidos.

• Técnicas de Entrenamiento e Inferencia:

  • Estrategia Multi-etapa: Entrenamiento inicial a baja resolución (256²) para convergencia rápida, seguido de escalado a resoluciones más altas (512², 1024²).
  • Desplazamiento de Timestep (Timestep Shifting): Se aplica una transformación matemática para alinear los niveles de ruido entre diferentes resoluciones, mejorando la estabilidad y calidad.
  • Guía Libre de Clasificador Multimodal (CFG): Se propone una simplificación de la CFG para múltiples condiciones (texto e imagen) que reduce los pasos de inferencia de tres a dos, manteniendo la fidelidad y la adherencia a la imagen de referencia.
  • Pipeline de Inferencia para Anuncios: Incluye la creación de máscaras de segmentación (usando InSPyReNet) para aislar el producto, generar el fondo, y luego recomponer el producto original sobre la imagen generada para garantizar que el producto no se altere.

3. Contribuciones Clave

1. Marco de Modelos Especializados: Demostración de que entrenar un modelo base robusto y luego afinarlo rápidamente para tareas específicas supera al uso de un modelo genérico único para todos los casos de uso.
2. Pipeline de Producción Robusto: Implementación de un sistema completo que incluye filtrado de elegibilidad, generación múltiple, modelos de recompensa (RLHF simulado) y revisión humana estructurada para asegurar la calidad comercial.
3. Nuevas Capacidades de Canvas:
   • Síntesis de Escenas Multi-Imagen: Capacidad de integrar hasta 8 imágenes de productos en una escena coherente.
   • Generación de Imagen a Movimiento: Transformación de imágenes estáticas en clips de video cortos (2s) con movimiento de cámara o mejora de fondo.
4. Validación de Privacidad: Un enfoque de reentrenamiento desde cero para garantizar el cumplimiento estricto de las políticas de privacidad de los usuarios.

4. Resultados

El sistema fue evaluado tanto en pruebas offline (humanas) como en experimentos online (A/B testing):

• Evaluación Humana (Outpainting de Fondos):
  • Canvas superó a modelos de terceros (GPT-Image, FLUX.1 Kontext, Nano Banana) en la preservación de la identidad del producto.
  • Tasa de "Sin Defectos" (Overall): Canvas alcanzó un 47.2%, frente al 42.5% de Nano Banana (el siguiente mejor) y mucho menos de los otros modelos. Los fallos comunes en modelos externos incluían cambios de color, forma o extensión del producto.
• Resultados Online (A/B Testing en Pinterest Performance+):
  • Outpainting de Fondo: Generó un aumento del 18.0% en la tasa de clics (CTR) y un aumento del 18.6% en el volumen de clics.
  • Outpainting de Relación de Aspecto: Generó un aumento del 12.5% en el CTR y un aumento del 12.9% en el volumen de clics.
  • Estos resultados demuestran que las imágenes mejoradas por Canvas son más atractivas para los usuarios y generan más interacción.

5. Significancia

El trabajo de Pinterest Canvas es significativo porque:

• Resuelve la tensión entre flexibilidad y control: Proporciona un marco práctico para aplicar la IA generativa en entornos comerciales donde la precisión y la preservación de la identidad del producto son críticas.
• Demuestra la viabilidad de la especialización: Valida que la estrategia de "modelo base + fine-tuning" es más eficiente y efectiva que intentar ajustar un modelo masivo para todo.
• Impacto Comercial Real: Los resultados de A/B testing confirman que las mejoras generadas por IA no son solo estéticas, sino que impulsan métricas de negocio clave (clics y compromiso del usuario).
• Escalabilidad y Generalización: El sistema ha demostrado ser capaz de generalizarse rápidamente a nuevas tareas complejas, como la síntesis de escenas con múltiples objetos y la generación de video, sin necesidad de reentrenar desde cero.

En conclusión, Pinterest Canvas representa un avance en la ingeniería de sistemas de IA generativa para aplicaciones industriales, priorizando la fiabilidad, el control y la alineación con los objetivos del producto sobre la mera capacidad de generación creativa.