Stel je voor dat je een enorme, eindeloze bibliotheek binnenloopt waar de planken constant worden bijgevuld met nieuwe boeken. In deze bibliotheek hebben de bibliothecarissen (die eigenlijk superintelligente computerprogramma's zijn) één taak: jou op dit moment het perfecte boek aanreiken om te lezen. Maar hier komt de adder onder het gras: de bibliothecarissen hebben een slechte gewoonte. Ze houden van de boeken die ze al een miljoen keer hebben gezien. Ze weten precies hoe populair die oude favorieten zijn, dus blijven ze die in je handen duwen. Ondertussen liggen de gloednieuwe boeken, die nog door niemand zijn gelezen, achterin de planken te verstoffen. Dit is een probleem dat bekend staat als het "cold-start"-probleem. Als een nieuw boek nooit een kans krijgt om gelezen te worden, kunnen de bibliothecarissen er nooit van leren of het eigenlijk goed is, waardoor ze het nooit aanbevelen. De bibliotheek eindigt zo in een saaie lus waarbij alleen dezelfde oude verhalen worden verteld en de opwindende nieuwe stemmen nooit een kans krijgen om te schitteren.

Dit artikel gaat over een team van ingenieurs bij Pinterest die besloten dit exacte probleem op te lossen. Ze bouwden een nieuw systeem genaamd "PinEqualizer" om deze computerbibliothecarissen te helpen stoppen met hun vooroordeel naar de "beroemde" oude content en te beginnen met het geven van een eerlijke kans aan de verse, nieuwe zaken. Ze hebben niet alleen één onderdeel van het proces aangepast; ze hebben de hele pijplijn een complete overhaul gegeven, van hoe ze kiezen welke nieuwe boeken ze bekijken, tot hoe ze ze vinden, tot hoe ze beslissen welke ze aan jou laten zien. Hun doel was om ervoor te zorgen dat nieuwe content een eerlijke kans krijgt om zichzelf te bewijzen, wat volgens hen leidde tot gelukkigere lezers en een veel gezondere, meer diverse bibliotheek.

Het Probleem: De "De Rijke Worden Rijker" Bibliotheek

Pinterest is als een gigantische visuele ontdekkingsmachine met honderden miljarden unieke items, genaamd "Pins". Elke dag worden er miljoenen nieuwe Pins geüpload. Het systeem heeft als taak om deze Pins te matchen met gebruikers die er dol op zullen zijn. Maar er zit een verraderlijke valstrik in: het systeem leert van de geschiedenis. Als een Pin in het verleden veel is aangeklikt, denkt het systeem: "Dit is geweldig!" en laat het aan meer mensen zien. Als een nieuwe Pin geen geschiedenis heeft, durft het systeem deze niet te tonen omdat het niet weet of het wel goed is.

Dit creëert een "rich-get-richer"-effect. De populaire, oude content wordt nog populairder, terwijl de nieuwe, verse content wordt begraven. Na verloop van tijd schaadt dit het hele ecosysteem. Nieuwe makers kunnen niet groeien en gebruikers stoppen met het zien van spannende nieuwe dingen. De ingenieurs realiseerden zich dat alleen maar "exploreren" (het willekeurig tonen van nieuwe zaken) niet genoeg was. Ze moesten de bias diep in het systeem aanpakken, zodat de computer kon voorspellen hoe goed nieuwe content zou zijn zonder eerst een lange geschiedenis nodig te hebben.

De Oplossing: PinEqualizer

Het team bouwde een nieuw systeem genaamd PinEqualizer dat werkt over de gehele "trechter" van hoe content een gebruiker bereikt. Denk aan de trechter als een waterglijbaan voor Pins. Een Pin moet verschillende stadia doorlopen om het scherm van een gebruiker te bereiken:

1. Corpus Selectie: Beslissen welke nieuwe Pins het waard zijn om in de pool te houden.
2. Retrieval (Ophalen): De juiste Pins vinden voor een specifieke gebruiker.
3. Ranking (Rangschikking): Beslissen in de exacte volgorde waarin ze getoond moeten worden.

PinEqualizer voegt speciale instrumenten toe aan elk stadium van deze glijbaan om ervoor te zorgen dat nieuwe content niet onderaan blijft steken.

1. De Beste Nieuwkomers Kiezen (Corpus Selectie)
Omdat er te veel nieuwe Pins zijn om elke enkele te controleren, gebruikt het systeem een slim spelletje genaamd "Thompson Sampling". Stel je voor dat je een zak met mysterieuze dozen hebt. Sommige dozen hebben een hoge kans om een speeltje erin te hebben, en sommige een lage kans. In plaats van elke doos te openen, kiest het systeem de dozen die misschien de beste zijn, gebaseerd op een mix van wat het weet over de maker en een beetje geluk. Ze bouwden ook een speciale "exploratie-bibliotheek" die alleen voor verse content is, zodat het systeem niet direct hoeft te concurreren met de oude, beroemde Pins.

2. De Juiste Match Vinden (Retrieval)
Zodra het systeem een pool van goede nieuwe Pins heeft, moet het de juiste voor jou vinden. Meestal kijkt het systeem naar hoe Pins met elkaar verbonden zijn (zoals een web van vrienden). Maar nieuwe Pins hebben nog niet veel vrienden! Daarom hebben de ingenieurs het systeem geleerd om in plaats daarvan "content-gebaseerde" aanwijzingen te gebruiken. Ze gebruikten geavanceerde AI om te begrijpen wat de afbeelding daadwerkelijk voorstelt (met behulp van zaken als visuele taalmodellen), in plaats van alleen te kijken naar wie de Pin eerder heeft opgeslagen. Ze creëerden ook een speciale "toegewezen kanaal" om ervoor te zorgen dat er een constante stroom van nieuwe Pins de glijbaan af komt, zelfs als ze nog niet populair zijn geweest.

3. De Definitieve Beslissing (Ranking)
Dit is het belangrijkste deel. Wanneer het systeem de definitieve lijst met Pins moet kiezen die aan jou getoond worden, vertrouwt het meestal zwaar op historische data. Als een Pin geen historische data heeft, geeft het systeem deze vaak een lage score. PinEqualizer lost dit op door:

• De AI te leren het verleden te negeren: Ze gebruikten een truc genaamd "dropout", waarbij ze tijdens de training willekeurig de "populariteitscijfers" verbergen. Dit dwingt de AI om te leren een Pin te beoordelen op basis van de werkelijke inhoud (de afbeelding en beschrijving) in plaats van alleen op basis van de roem.
• Een zelfvertrouvensboost te geven: Ze voegden een "bonusscore" toe aan nieuwe items. Het is alsof je zegt: "We weten nog niet of dit goed is, maar laten we het een eerlijke kans geven om gezien te worden." Dit gebeurt met een methode genaamd UCB (Upper Confidence Bound), die een beetje extra enthousiasme toevoegt aan items die nog niet vaak zijn gezien.
• De scores te kalibreren: Ze zorgden ervoor dat het systeem nieuwe content niet onterecht straft omdat het nieuw is. Ze pasten de wiskunde aan zodat een nieuwe Pin met veel potentieel dezelfde kans krijgt als een oude, beroemde Pin.

Hoe Ze Succes Maten

Je vraagt je misschien af: "Hoe weet je of dit echt werkt?" Als je mensen alleen nieuwe dingen laat zien, klikken ze misschien in het begin minder, omdat ze de nieuwe dingen nog niet kennen. Dit is het "kortetermijnpijn voor langetermijnwinst"-probleem.

Om dit op te lossen, bouwde het team een speciaal meetkader:

• De "Holdout"-test: Ze voerden een langetermijnexperiment uit waarbij één groep gebruikers alleen oude content zag (geen nieuwe zaken), terwijl een andere groep de nieuwe, verkende content zag. Ze ontdekten dat de groep die de nieuwe zaken zag, een veel betere langetermijnbetrokkenheid had. Dit bewees dat de nieuwe content daadwerkelijk waardevol was, ook al duurde het even voordat het ontdekt werd.
• De "Graduation"-metriek: Ze definieerden een "graduation" (afstudeer) punt. Zodra een nieuwe Pin binnen een bepaiment aantal dagen genoeg positieve interacties (likes, opslagen) krijgt, "gradueert" deze van een mysterie naar een bekende factor. Ze hielden bij hoeveel Pins succesvol "gradueerden".
• De "Under-Explored"-metriek: Ze maten hoeveel betrokkenheid ze kregen van content die nog niet veel gezien was. Dit hielp hen te zien of hun wijzigingen er daadwerkelijk in slaagden om de nieuwe zaken opgemerkt te laten worden.

De Resultaten

De resultaten waren indrukwekkend. Na de implementatie van PinEqualizer zag Pinterest een toename van 350% in impressies van verse content. Dit betekent dat gebruikers veel meer nieuwe Pins zagen dan voorheen.

• Gebruikersbetrokkenheid: Het systeem leidde tot een toename van 24% in succesvolle sessies in Noord-Amerika en een toename van 49% internationaal.
• Winkelen: De impact was enorm voor het winkelen. Winkelsessies namen toe met 63% in Noord-Amerika, wat suggereert dat nieuwe producten eindelijk de aandacht kregen die ze verdienen.
• Gezondheid van Makers: Het systeem hielp meer makers succesvol te worden. Het aantal "succesvolle contentproviders" (makers wiens content veel aandacht kreeg) steeg met 99% op jaarbasis.

Waarom het Er Toe Doet

Het artikel laat zien dat je niet hoeft te kiezen tussen het tonen van wat gebruikers nú leuk vinden en het tonen van wat ze in de toekomst misschien leuk zullen vinden. Door de bias in het brein van het systeem te repareren, kun je beide doen. De ingenieurs ontdekten dat door kleine, slimme aanpassingen te doen in elke stap van het proces — betere kandidaten kiezen, ze beter vinden en ze eerlijk rangschikken — ze de cyclus van "de rijken worden rijker" konden doorbreken.

Ze leerden ook dat je niet slechts één deel van het systeem kunt repareren. Als je de rangschikking fixt, maar de retrieval-fase is nog steeds bevooroordeeld, dan bereikt de nieuwe content de rangschikkingsfase nooit. Het is als het hebben van een geweldig nieuw boek, maar het in een kamer vergrendelen waar niemand het kan vinden. PinEqualizer ontsloot de hele bibliotheek.

Uiteindelijk hielp het systeem Pinterest niet alleen om meer nieuwe Pins te tonen; het hielp bij het creëren van een gezonder ecosysteem waarin nieuwe makers konden groeien en gebruikers een bredere, meer opwindende wereld van content konden ontdekken. Het artikel suggereert dat deze "full-funnel" aanpak een krachtige manier is om cold-start problemen in elk grootschalig aanbevelingssysteem op te lossen, waarmee wordt bewezen dat eerlijkheid en nauwkeurigheid hand in hand kunnen gaan.