Each language version is independently generated for its own context, not a direct translation.

Imagine que o Pinterest é como um enorme museu de ideias visuais, onde as pessoas vão para encontrar inspiração para decorar a casa, escolher roupas ou planejar viagens. O problema é que, às vezes, as fotos que os anunciantes enviam são um pouco "chatas": talvez o produto esteja em um fundo branco e sem graça, ou a foto seja quadrada e não caiba bem na tela do celular.

O Pinterest Canvas é a solução mágica que eles criaram para consertar essas fotos sem estragar o produto principal. Pense nele não como um único robô superinteligente que tenta fazer tudo de uma vez, mas como uma oficina de artesãos especializada.

Aqui está como funciona, explicado de forma simples:

1. O Mestre Generalista vs. Os Artesãos Especializados

A maioria das IAs de imagem hoje tenta ser um "faz-tudo". Elas podem pintar um gato, escrever um poema ou criar um pôster, mas quando você pede algo muito específico (como "mude o fundo desta foto de sapato, mas não toque no sapato"), elas podem errar e mudar a cor do sapato ou deformá-lo.

O Pinterest decidiu fazer diferente:

O Mestre Generalista (O Modelo Base): Primeiro, eles treinaram um modelo gigante com bilhões de fotos e textos. Pense nele como um chef de cozinha que sabe cozinhar de tudo: massas, sobremesas, carnes. Ele tem uma base sólida de conhecimento.
Os Artesãos Especializados (Os Variantes): Em vez de usar esse chef para tudo, eles pegam esse chef e o enviam para cursos rápidos de especialização.
- Um curso ensina a fazer apenas fundo de bolo (gerar cenários para produtos).
- Outro curso ensina a alargar a mesa (estender a foto para caber na tela).
- Outro ensina a fazer o bolo dançar (transformar foto em vídeo curto).

Cada "artesão" é um modelo ajustado para uma tarefa específica. Isso garante que, quando você pedir para mudar o fundo de uma foto de um sofá, o robô saiba exatamente: "Ah, eu só mudo o fundo, o sofá fica intocado!".

2. A "Fita Mágica" de Proteção

Um dos maiores medos é que a IA "alucine" e mude o produto que está sendo vendido. Imagine que você vende um tênis vermelho e a IA resolve pintar ele de azul porque achou que ficaria bonito. No Pinterest, isso não pode acontecer.

Para evitar isso, eles usam uma técnica de máscara.

Pense na máscara como um adesivo de proteção que você coloca sobre o produto na foto.
Quando a IA gera o novo fundo ou estica a imagem, ela olha para o adesivo e diz: "Ok, aqui tem um produto protegido. Eu só vou pintar o que está fora do adesivo".
Depois, eles colam o produto original (o mais nítido possível) de volta na imagem gerada. É como se a IA fizesse o cenário e um humano (ou um robô muito preciso) colocasse o produto perfeito por cima.

3. O Processo de "Prova e Erro" (Antes de Mostrar ao Cliente)

Ninguém quer ver uma foto de anúncio com um fundo estranho ou um produto deformado. Então, o sistema funciona como um diretor de cinema exigente:

Gera várias opções: O sistema cria, digamos, 2 ou 3 versões da mesma foto com fundos diferentes.
O Crítico Virtual: Antes de mostrar para humanos, uma "IA avaliadora" (um treinado para julgar qualidade) olha essas opções e escolhe a melhor.
O Chefe Humano: Se a IA achar que está tudo bem, um humano revisa rapidamente para garantir que não há erros sutis (como uma sombra estranha). Só depois disso a foto vai para o site.

4. O Resultado: Mais Cliques e Felicidade

Quando eles testaram isso no site real (como um teste A/B, onde metade das pessoas viu as fotos antigas e a outra metade viu as fotos melhoradas pelo Canvas), os resultados foram impressionantes:

As fotos com fundos novos e bonitos fizeram as pessoas clicarem 18% mais.
As fotos que foram esticadas para caber melhor na tela fizeram as pessoas clicarem 12,5% mais.

Resumo da Ópera

O Pinterest Canvas é como ter uma equipe de editores de fotos super-rápidos e especializados. Em vez de ter um único robô tentando adivinhar o que você quer, eles têm robôs treinados especificamente para:

Trocar o fundo sem estragar o produto.
Esticar a foto para caber no celular.
Criar cenas novas com vários produtos juntos.
Fazer fotos ganharem vida (vídeo).

Eles conseguiram isso treinando um "mestre" e depois especializando "aprendizes" para cada tarefa, garantindo que o produto do anunciante sempre fique perfeito, enquanto o resto da foto ganha um toque de mágica.

Each language version is independently generated for its own context, not a direct translation.

Resumo Técnico: Pinterest Canvas – Geração de Imagem em Grande Escala no Pinterest

1. Problema e Motivação

O artigo aborda o desafio de aplicar modelos de geração de imagem (especificamente modelos de difusão) em cenários de produção com requisitos de produto rigorosos. Embora modelos genéricos recentes demonstrem flexibilidade impressionante, eles apresentam limitações críticas para o ecossistema do Pinterest:

Falta de Controle Preciso: A flexibilidade excessiva torna difícil controlar o modelo apenas via prompting, resultando em alterações indesejadas em objetos reais ou produtos.
Conflito de Requisitos: Tarefas diferentes exigem comportamentos contraditórios. Por exemplo, a geração de fundos para produtos exige a preservação estrita do objeto original, enquanto a inserção de produtos em cenas pode exigir alterar a pose do objeto para corresponder à perspectiva.
Risco de Alucinação: Modelos genéricos podem gerar resultados que não correspondem à realidade ou que não podem ser acionados comercialmente, o que é inaceitável para anúncios e conteúdo de usuários.

O objetivo do Pinterest é focar na revisualização e aprimoramento de conteúdo existente (edição e melhoria) em vez da geração wholesale de novas imagens do zero.

2. Metodologia: A Arquitetura Pinterest Canvas

A solução proposta, Pinterest Canvas, adota uma estratégia híbrida que equilibra a eficiência de um modelo base com a especialização de variantes de tarefa.

2.1. Abordagem de "Base + Fine-tuning"

Em vez de treinar um modelo do zero para cada tarefa ou usar um único modelo genérico para tudo, o Canvas segue este fluxo:

Treinamento de um Modelo Base Fundacional: Um modelo de difusão de grande escala é treinado em um conjunto de dados multimodal diversificado para adquirir capacidades gerais de edição e geração.
Fine-tuning Rápido para Variantes de Tarefa: O modelo base é rapidamente fine-tuned (ajustado) em conjuntos de dados específicos para cada caso de uso (ex: aprimoramento de anúncios, síntese de cena, vídeo). Isso permite que as variantes se especializem em requisitos específicos sem otimizar para objetivos não relacionados.

2.2. Conjunto de Dados (Dataset)

O treinamento base utiliza dados em escala de bilhões de pares, filtrados rigorosamente para qualidade e relevância:

Texto-Imagem: Mais de 2,6 bilhões de pares de alta qualidade para geração geral.
Dados Multimodais (Texto + Imagem) → Imagem: Inclui tarefas como:
- Revisualização Multi-visão: Preservação de identidade em mudanças de ângulo.
- OmniSage Neighbors: Edição semântica baseada em pares de imagens vizinhas.
- Outpainting de Fundo e Proporção: Expansão de imagens com máscaras de objetos.
- Extração de Produto e Síntese de Cena: Troca entre fundo e produto.
- Super-resolução e Geração de Vídeo: Pares de quadros-chave de vídeo.
Conformidade com Opt-out: O sistema é retreinado periodicamente do zero para garantir que dados de usuários que optaram por não participar não sejam utilizados, garantindo privacidade.

2.3. Treinamento e Arquitetura

Base: Utiliza a arquitetura FLUX.1 Kontext (DiT - Diffusion Transformer com fluxo retificado e condicionamento multimodal).
Estratégia de Treinamento Multi-estágio:
1. Geração Texto-para-Imagem (256²).
2. Edição Multimodal (256²).
3. Escalonamento para resoluções mais altas (512² e 1024²).
Técnicas de Estabilidade: Uso de Timestep Shifting para alinhar a incerteza entre resoluções, redução da taxa de decaimento exponencial ( $\beta_2$ ) no AdamW para 0.95 e uso de Exponential Moving Average (EMA) para evitar colapsos no treinamento.
Guia Livre de Classificador Multimodal (CFG): Otimização do Classifier-Free Guidance para múltiplas condições (texto e imagem). O sistema utiliza variantes simplificadas que requerem apenas duas passagens forward (em vez de múltiplas), mantendo a eficiência de inferência enquanto equilibra a adesão ao prompt e a preservação da imagem de referência.

3. Caso de Estudo: Aprimoramento de Anúncios (Ads Enhancement)

O artigo detalha a implementação do Canvas para dois casos de uso principais no Performance+ do Pinterest:

Geração de Fundo Automática: Transforma fotos de produtos com fundo branco em cenários de estilo de vida.
Expansão de Proporção (Outpainting): Estende imagens quadradas ou horizontais para proporções verticais (2:3), que performam melhor no layout de colunas do Pinterest.

Pipeline de Inferência e Garantia de Qualidade:

Máscaras de Segmentação: Uso de máscaras (via InSPyReNet) para isolar o produto durante o treinamento e inferência, garantindo que o modelo não altere o produto.
Composição Pós-Geração: O corte original do produto é recomposto sobre a imagem gerada para garantir integridade absoluta.
Metaprompting: Uso de VLMs para gerar prompts de fundo diversos.
Filtros de Elegibilidade: Filtragem automática de imagens com fundos não brancos (para geração de fundo) ou com humanos presentes.
Revisão Humana e Modelo de Recompensa: Um modelo de recompensa interno (treinado em anotações humanas) seleciona os melhores candidatos entre múltiplas gerações antes de uma revisão humana final para garantir segurança e qualidade visual.

4. Resultados

4.1. Avaliação Offline (Humana)

Comparado a modelos de terceiros (GPT-Image, FLUX.1 Kontext, Google Nano Banana) em tarefas de outpainting de fundo:

Taxa de "Sem Defeitos" (Overall No-defect Rate): O Canvas alcançou 47,2%, superando significativamente o Nano Banana (42,5%), FLUX.1 (28,2%) e GPT-Image (26,2%).
Preservação de Produto: O Canvas teve uma taxa de preservação de produto de 84,0%, muito superior aos concorrentes (que variaram entre 1,5% e 74,6%), demonstrando sua capacidade de evitar alterações indesejadas no objeto principal.

4.2. Resultados Online (A/B Testing)

Em testes A/B no Home Feed, Related Pins e Search:

Geração de Fundo: Aumento de 18,0% no CTR (Taxa de Clique) e 18,6% no volume de cliques.
Expansão de Proporção: Aumento de 12,5% no CTR e 12,9% no volume de cliques.
gCTR30: Aumento de 7,6% e 6,8% respectivamente, indicando maior engajamento sustentado.

4.3. Outras Variantes

O framework demonstrou generalização para outras tarefas:

Síntese de Cena Multi-Imagem: Geração de cenas coesas a partir de até 8 imagens de produtos diferentes, preservando a identidade de cada objeto.
Geração de Imagem para Movimento (Image-to-Motion): Criação de clipes de vídeo curtos (2s) a partir de imagens estáticas, adicionando movimento de câmera ou efeitos de iluminação.

5. Significado e Contribuições

O Pinterest Canvas representa uma mudança de paradigma na aplicação de IA generativa em escala industrial:

Especialização vs. Generalização: Demonstra que, para requisitos de produto estritos, é mais eficaz treinar um modelo base robusto e derivar variantes especializadas do que depender de um único modelo "tudo-em-um".
Controle e Segurança: A abordagem de fine-tuning focado, combinada com pipelines de pós-processamento (máscaras, composição), resolve o problema de alucinação e alteração de produtos, tornando a tecnologia segura para uso comercial.
Impacto de Negócio: Os resultados comprovam que a melhoria técnica se traduz diretamente em métricas de negócio (engajamento e receita), validando a estratégia de investimento em infraestrutura de IA proprietária.
Privacidade: O sistema oferece garantias robustas de privacidade ao permitir o retreinamento completo do zero para respeitar as preferências de opt-out dos usuários.

Em suma, o Canvas estabelece um novo padrão para sistemas de geração de imagem em plataformas de e-commerce e descoberta visual, priorizando a fidelidade ao conteúdo original e a adaptabilidade a requisitos específicos de produto.

Pinterest Canvas: Large-Scale Image Generation at Pinterest