PinEqualizer: Full Funnel Content Exploration and Debiasing System at Pinterest
Este artigo apresenta o PinEqualizer, um sistema de exploração e mitigação de viés de conteúdo de funil completo implementado no Pinterest que aborda o problema de cold-start ao equilibrar a descoberta de conteúdo novo com o engajamento do usuário em superfícies de busca e recomendação, enquanto utiliza uma estrutura escalável para validar impactos de curto e longo prazo.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você entra em uma biblioteca imensa e infinita, onde as prateleiras estão sendo constantemente reabastecidas com novos livros. Nesta biblioteca, os bibliotecários (que são, na verdade, programas de computador superinteligentes) têm apenas um trabalho: entregar a você o livro perfeito para ler agora. Mas há um detalhe: os bibliotecários têm um mau hábito. Eles amam os livros que já viram um milhão de vezes. Eles sabem exatamente o quão populares são esses velhos favoritos, então continuam empurrando-os para as suas mãos. Enquanto isso, os livros novinhos em folha, que ninguém leu ainda, ficam presos lá no fundo, acumulando poeira. Isso é um problema chamado questão do "cold-start" (início a frio). Se um novo livro nunca tiver a chance de ser lido, os bibliotecários não podem aprender se ele é realmente bom, então nunca o recomendam. A biblioteca acaba se tornando um ciclo entediante onde apenas as mesmas velhas histórias são contadas, e as novas e empolgantes vozes nunca têm a chance de brilhar.
Este artigo trata de uma equipe de engenheiros do Pinterest que decidiu resolver exatamente este problema. Eles construíram um novo sistema chamado "PinEqualizer" para ajudar seus bibliotecários de computador a pararem de ser tão tendenciosos em relação ao conteúdo "famoso" antigo e começarem a dar uma chance justa ao conteúdo novo e fresco. Eles não apenas ajustaram uma parte do processo; eles reformularam todo o pipeline, desde como escolhem quais novos livros olhar, até como os encontram e como decidem quais mostrar a você. O objetivo deles era garantir que o novo conteúdo tivesse uma chance justa de provar seu valor, o que descobriram que leva a leitores mais felizes e a uma biblioteca muito mais saudável e diversa no geral.
O Problema: A Biblioteca onde o "Rico Fica Mais Rico"
O Pinterest é como um gigantesco motor de descoberta visual com centenas de bilhões de itens únicos, chamados Pins. Todos os dias, milhões de novos Pins são enviados. O trabalho do sistema é combinar esses Pins com usuários que irão adorá-los. Mas há uma armadilha sorrateira: o sistema aprende com o histórico. Se um Pin foi clicado muitas vezes no passado, o sistema pensa: "Isso é ótimo!" e o mostra para mais pessoas. Se um novo Pin não tem histórico, o sistema tem medo de mostrá-lo porque não sabe se ele é bom.
Isso cria um efeito de "o rico fica mais rico". O conteúdo antigo e popular torna-se ainda mais popular, enquanto o conteúdo novo e fresco fica enterrado. Com o tempo, isso prejudica todo o ecossistema. Novos criadores não conseguem crescer e os usuários param de ver coisas novas e empolgantes. Os engenheiros perceberam que apenas tentar "explorar" (mostrar coisas novas aleatoriamente) não era suficiente. Eles precisavam corrigir o viés profundamente dentro do sistema para que o computador pudesse prever o quão bom seria o novo conteúdo sem precisar de um longo histórico primeiro.
A Solução: PinEqualizer
A equipe construiu um novo sistema chamado PinEqualizer que funciona em todo o "funil" de como o conteúdo chega a um usuário. Pense no funil como um escorregador de água para os Pins. Um Pin tem que passar por várias etapas para chegar à tela de um usuário:
- Seleção de Corpus: Decidir quais novos Pins valem a pena manter no grupo.
- Recuperação (Retrieval): Encontrar os Pins certos para um usuário específico.
- Classificação (Ranking): Decidir a ordem exata em que mostrá-los.
O PinEqualizer adiciona ferramentas especiais em cada etapa desse escorregador para garantir que o novo conteúdo não fique preso no fundo.
1. Escolhendo os Melhores Recém-Chegados (Seleção de Corpus)
Como existem novos Pins demais para verificar cada um deles, o sistema usa um jogo de adivinhação inteligente chamado "Thompson Sampling". Imagine que você tem uma bolsa de caixas misteriosas. Algumas caixas têm uma alta chance de ter um brinquedo dentro, e outras têm uma chance baixa. Em vez de abrir todas as caixas, o sistema escolhe as que podem ser as melhores, baseando-se em uma mistura do que sabe sobre o criador e um pouco de sorte. Eles também construíram uma "biblioteca de exploração" especial apenas para conteúdo novo, para que o sistema não precise competir com os Pins antigos e famosos imediatamente.
2. Encontrando a Combinação Certa (Recuperação)
Uma vez que o sistema tem um grupo de bons novos Pins, ele precisa encontrar os certos para você. Geralmente, o sistema observa como os Pins estão conectados entre si (como uma rede de amigos). Mas os novos Pins ainda não têm muitos amigos! Por isso, os engenheiros ensinaram o sistema a usar pistas "baseadas em conteúdo" em vez disso. Eles usaram IA avançada para entender o que a imagem realmente parece (usando coisas como modelos de linguagem visual) em vez de apenas olhar para quem a salvou antes. Eles também criaram um "canal dedicado" para garantir que um fluxo constante de novos Pins seja enviado pelo escorregador, mesmo que ainda não tenham sido populares.
3. A Decisão Final (Classificação)
Esta é a parte mais importante. Quando o sistema tem que escolher a lista final de Pins para mostrar a você, ele geralmente depende fortemente de dados passados. Se um Pin não tem dados passados, o sistema frequentemente lhe dá uma pontuação baixa. O PinEqualizer corrige isso ao:
- Ensinar a IA a ignorar o passado: Eles usaram um truque chamado "dropout", onde escondem aleatoriamente os números de "popularidade" durante o treinamento. Isso força a IA a aprender a julgar um Pin com base em seu conteúdo real (a imagem e a descrição) em vez de apenas sua fama.
- Dar um impulso de confiança: Eles adicionaram uma pontuação de "bônus" para itens novos. É como dizer: "Não sabemos se isso é bom ainda, mas vamos dar uma chance justa de ser visto". Isso é feito usando um método chamado UCB (Upper Confidence Bound), que adiciona um pouco de excitação extra a itens que não foram muito vistos.
- Calibrar as pontuações: Eles garantiram que o sistema não penalize injustamente o conteúdo novo apenas por ser novo. Eles ajustaram a matemática para que um novo Pin com grande potencial tenha a mesma chance que um Pin antigo e famoso.
Como Eles Mediram o Sucesso
Você pode se perguntar: "Como você sabe que isso realmente funciona?". Se você apenas mostrar coisas novas às pessoas, elas podem clicar menos no início porque ainda não conhecem as novidades. Este é o problema da "dor de curto prazo para ganho de longo prazo".
Para resolver isso, a equipe construiu uma estrutura de medição especial:
- O Teste de Controle (Holdout): Eles realizaram um experimento de longo prazo onde um grupo de usuários viu apenas conteúdo antigo (sem coisas novas), enquanto outro grupo viu o conteúdo novo e explorado. Eles descobriram que o grupo que via as coisas novas tinha um engajamento de longo prazo muito melhor. Isso provou que o novo conteúdo era realmente valioso, mesmo que levasse um tempo para ser descoberto.
- A Métrica de "Graduação": Eles definiram um ponto de "graduação". Uma vez que um novo Pin recebe interações positivas suficientes (curtidas, salvamentos) dentro de um certo número de dias, ele "se gradua" de um mistério para uma quantidade conhecida. Eles rastrearam quantos Pins estavam se graduando com sucesso.
- A Métrica de "Pouco Explorado": Eles mediram quanto engajamento o sistema estava obtendo de conteúdo que ainda não tinha sido muito visto. Isso os ajudou a ver se as mudanças estavam realmente ajudando o conteúdo novo a ser notado.
Os Resultados
Os resultados foram impressionantes. Após implementar o PinEqualizer, o Pinterest viu um aumento de 350% nas impressões de conteúdo novo. Isso significa que os usuários estavam vendo muito mais novos Pins do que antes.
- Engajamento do Usuário: O sistema levou a um aumento de 24% nas sessões bem-sucedidas na América do Norte e um aumento de 49% internacionalmente.
- Compras: O impacto foi enorme para as compras. As sessões de compras aumentaram em 63% na América do Norte, sugerindo que novos produtos finalmente estavam recebendo a atenção que mereciam.
- Saúde dos Criadores: O sistema ajudou mais criadores a terem sucesso. O número de "provedores de conteúdo bem-sucedidos" (criadores cujo conteúdo recebeu uma boa quantidade de atenção) saltou 99% ano após ano.
Por Que Isso Importa
O artigo mostra que você não precisa escolher entre mostrar aos usuários o que eles amam agora e mostrar o que eles podem amar no futuro. Ao corrigir o viés no cérebro do sistema, você pode fazer ambos. Os engenheiros descobriram que, ao fazer mudanças pequenas e inteligentes em cada etapa do processo — escolhendo melhores candidatos, encontrando-os melhor e classificando-os de forma justa — eles podiam quebrar o ciclo de "o rico ficar mais rico".
Eles também aprenderam que você não pode simplesmente consertar uma parte do sistema. Se você conserta a classificação, mas a etapa de recuperação ainda é tendenciosa, o novo conteúdo nem sequer chega à etapa de classificação. É como ter um ótimo livro novo, mas trancá-lo em uma sala onde ninguém consegue encontrá-lo. O PinEqualizer destrancou toda a biblioteca.
No fim, o sistema não apenas ajudou o Pinterest a mostrar mais novos Pins; ajudou a criar um ecossistema mais saudável, onde novos criadores podem crescer e usuários podem descobrir um mundo de conteúdo mais amplo e emocionante. O artigo sugere que essa abordagem de "funil completo" é uma maneira poderosa de resolver problemas de cold-start em qualquer sistema de recomendação de larga escala, provando que a justiça e a precisão podem andar de mãos dadas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.