Stellen Sie sich vor, Sie betreten eine riesige, endlose Bibliothek, in der die Regale ständig mit neuen Büchern aufgefüllt werden. In dieser Bibliothek haben die Bibliothekare (die eigentlich hochintelligente Computerprogramme sind) eine einzige Aufgabe: Ihnen genau jetzt das perfekte Buch zum Lesen zu reichen. Aber es gibt einen Haken: Die Bibliothekare haben eine schlechte Angewohnheit. Sie lieben die Bücher, die sie schon millionenfach gesehen haben. Sie wissen genau, wie beliebt diese alten Favoriten sind, und deshalb schieben sie sie Ihnen immer wieder in die Hände. Währenddessen bleiben die brandneuen Bücher, die noch niemand gelesen hat, hinten liegen und verstauben. Dies ist ein Problem, das als „Cold-Start“-Problem bezeichnet wird. Wenn ein neues Buch nie die Chance bekommt, gelesen zu werden, können die Bibliothekare nicht lernen, ob es eigentlich gut ist, und werden es daher nie empfehlen. Die Bibliothek endet in einer langweiligen Endlosschleife, in der nur die immer gleichen alten Geschichten erzählt werden und die aufregenden neuen Stimmen nie die Chance bekommen, glänzen zu dürfen.

In diesem Papier geht es um ein Team von Ingenieuren bei Pinterest, das beschlossen hat, genau dieses Problem zu lösen. Sie haben ein neues System namens „PinEqualizer“ entwickelt, um ihren Computer-Bibliekaren zu helfen, aufzuhören, so voreingenommen gegenüber dem „berühmten“ alten Inhalt zu sein, und statfangen, den frischen, neuen Dingen eine faire Chance zu geben. Sie haben nicht nur einen Teil des Prozesses angepasst; sie haben die gesamte Pipeline überarbeitet – von der Art und Weise, wie sie auswählen, welche neuen Bücher überhaupt betrachtet werden sollen, bis hin zu der Frage, wie sie diese finden und wie sie entscheiden, welche davon Ihnen gezeigt werden. Ihr Ziel war es, sicherzustellen, dass neuer Inhalt eine faire Chance bekommt, sich zu beweisen, was sie wiederum dazu führte, dass die Leser zufriedener und die Bibliothek insgesamt vielfältiger und gesünder wurde.

Das Problem: Die „Reiche werden reicher“-Bibliothek

Pinterest ist wie eine riesige visuelle Entdeckungsmaschine mit Hunderten von Milliarden einzigartiger Artikel, den sogenannten „Pins“. Jeden Tag werden Millionen neuer Pins hochgeladen. Die Aufgabe des Systems besteht darin, diese Pins mit Nutzern zusammenzuführen, die sie lieben werden. Aber es gibt eine tückische Falle: Das System lernt aus der Geschichte. Wenn ein Pin in der Vergangenheit oft angeklickt wurde, denkt das System: „Das ist großartig!“ und zeigt ihn mehr Menschen. Wenn ein neuer Pin keine Historie hat, traut sich das System nicht, ihn zu zeigen, weil es nicht weiß, ob er gut ist.

Dies erzeugt einen „Reiche-werden-reicher“-Eff Effekt. Der populäre, alte Inhalt wird immer populärer, während der neue, frische Inhalt begraben wird. Mit der Zeit schadet dies dem gesamten Ökosystem. Neue Ersteller können nicht wachsen, und Nutzer hören auf, aufregende neue Dinge zu sehen. Die Ingenieure erkannten, dass es nicht ausreichte, einfach nur zu „explorieren“ (also zufällig neue Dinge zu zeigen). Sie mussten den Bias tief im Inneren des Systems korrigieren, damit der Computer vorhersagen kann, wie gut neuer Inhalt sein wird, oh,ne zuerst eine lange Historie zu benötigen.

Die Lösung: PinEqualizer

Das Team entwickelte ein neues System namens PinEqualizer, das über den gesamten „Trichter“ (Funnel) arbeitet, durch den der Inhalt zu einem Nutzer gelangt. Stellen Sie sich diesen Trichter wie eine Wasserrutsche für Pins vor. Ein Pin muss mehrere Stufen durchlaufen, um auf dem Bildschirm eines Nutzers zu landen:

1. Korpus-Selektion (Corpus Selection): Entscheiden, welche neuen Pins es wert sind, im Pool zu bleiben.
2. Retrieval (Abruf): Die richtigen Pins für einen bestimmten Nutzer finden.
3. Ranking (Sortierung): Entscheiden, in welcher exakten Reihenfolge sie gezeigt werden sollen.

PinEqualizer fügt an jeder einzelnen Stelle dieser Rutsche spezielle Werkzeuge hinzu, um sicherzustellen, dass neuer Inhalt nicht am Boden stecken bleibt.

1. Die besten Neulinge auswählen (Korpus-Selektion)
Da es zu viele neue Pins gibt, um jeden einzelnen zu prüfen, nutzt das System ein kluges Ratespiel namens „Thompson Sampling“. Stellen Sie sich vor, Sie haben eine Tasche voller Geheimboxen. Einige Boxen haben eine hohe Wahrscheinlichkeit, ein Spielzeug zu enthalten, andere eine niedrige. Anstatt jede Box zu öffnen, wählt das System die aus, die vielleicht die besten sind, basierend auf einer Mischung aus dem, was es über den Ersteller weiß, und ein wenig Glück. Sie haben auch eine spezielle „Explorations-Bibliothek“ nur für frische Inhalte gebaut, damit das System nicht sofort mit den alten, berühmten Pins konkurrieren muss.

2. Den richtigen Match finden (Retrieval)
Sobald das System einen Pool mit guten neuen Pins hat, muss es die richtigen für Sie finden. Normalerweise schaut das System darauf, wie Pins miteinander verbunden sind (wie ein Netz aus Freunden). Aber neue Pins haben noch nicht viele Freunde! Deshalb haben die Ingenieure das System angewiesen, stattdessen „inhaltsbasierte“ Hinweise zu nutzen. Sie verwendeten fortschrittliche KI, um zu verstehen, was das Bild tatsächlich zeigt (unter Verwendung von visuellen Sprachmodellen), anstatt nur zu schauen, wer es zuvor gespeichert hat. Sie schufen auch einen speziellen „dedizierten Kanal“, um sicherzustellen, dass ein stetiger Strom an neuen Pins die Rutsche hinuntergeschickt wird, selbst wenn sie noch nicht populär sind.

3. Die endgültige Entscheidung (Ranking)
Dies ist der wichtigste Teil. Wenn das System die endgültige Liste der Pins auswählen muss, die Ihnen gezeigt werden sollen, verlässt es sich meist stark auf vergangene Daten. Wenn ein Pin keine vergangenen Daten hat, gibt das System ihm oft eine niedrige Punktzahl. PinEqualizer behebt dies durch:

• Die KI lehren, die Vergangenheit zu ignorieren: Sie verwendeten einen Trick namens „Dropout“, bei dem sie die „Popularitäts“-Zahlen während des Trainings zufällig ausblenden. Dies zwingt die KI dazu, zu lernen, einen Pin basierend auf seinem tatsächlichen Inhalt (Bild und Beschreibung) zu beurteilen, statt nur nach seinem Ruhm zu gehen.
• Einen Vertrauens-Boost geben: Sie fügten eine „Bonus“-Punktzahl für neue Artikel hinzu. Es ist wie zu sagen: „Wir wissen noch nicht, ob das gut ist, aber geben wir ihm eine faire Chance, gesehen zu werden.“ Dies geschieht mithilfe einer Methode namens UCB (Upper Confidence Bound), die Artikeln, die noch nicht oft gesehen wurden, ein wenig zusätzliche Begeisterung verleiht.
• Die Scores kalibrieren: Sie stellten sicher, dass das System neue Inhalte nicht ungerechtfertigt bestraft, nur weil sie neu sind. Sie passten die Mathematik so an, dass ein neuer Pin mit großem Potenzial die gleiche Chance erhält wie ein alter, berühmter Pin.

Wie sie den Erfolg gemessen haben

Sie fragen sich vielleicht: „Woher wissen Sie, dass das wirklich funktioniert?“ Wenn man den Leuten einfach nur neue Sachen zeigt, klicken sie vielleicht anfangs weniger, weil sie das Neue noch nicht kennen. Das ist das Problem „Kurzer Schmerz für langfristigen Gewinn“.

Um dies zu lösen, baute das Team ein spezielles Messframework:

• Der „Holdout“-Test: Sie führten ein Langzeitexperiment durch, bei dem eine Gruppe von Nutzern nur alten Content sah (keine neuen Sachen), während eine andere Gruppe den neuen, explorierten Content sah. Sie fanden heraus, dass die Gruppe, die den neuen Content sah, ein viel besseres langfristiges Engagement zeigte. Dies bewies, dass der neue Inhalt tatsächlich wertvoll war, auch wenn es ein wenig Zeit dauerte, ihn zu entdecken.
• Die „Graduation“-Metrik: Sie definierten einen „Abschluss“-Punkt (Graduation). Sobald ein neuer Pin innerhalb einer bestimmten Anzahl von Tagen genügend positive Interaktionen (Likes, Speichern) erhält, „promoviert“ er vom Geheimnis zu einer bekannten Größe. Sie verfolgten, wie viele Pins erfolgreich „promoviert“ sind.
• Die „Unter-explorierte“-Metrik: Sie maßen, wie viel Engagement sie mit Inhalten erhielten, die noch nicht oft gesehen worden waren. Dies half ihnen zu sehen, ob ihre Änderungen tatsächlich dabei halfen, dass die neuen Sachen bemerkt wurden.

Die Ergebnisse

Die Ergebnisse waren beeindruckend. Nach der Implementierung von PinEqualizer verzeichnete Pinterest einen Anstieg der Impressionen für frische Inhalte um 350 %. Das bedeutet, dass Nutzer viel mehr neue Pins sahen als zuvor.

• Nutzer-Engagement: Das System führte zu einer Steigerung der erfolgreichen Sitzungen um 24 % in Nordamerika und um 49 % international.
• Shopping: Der Einfluss auf das Shopping war gewaltig. Die Shopping-Sitzungen stiegen in Nordamerika um 63 %, was darauf hindeutet, dass neue Produkte endlich die Aufmerksamkeit bekamen, die sie verdienen.
• Gesundheit der Ersteller: Das System half mehr Erstellern, erfolgreich zu sein. Die Zahl der „erfolgreichen Content-Anbieter“ (Ersteller, deren Inhalte viel Aufmerksamkeit erhielten) sprang im Jahresvergleich um 99 % nach oben.

Warum es wichtig ist

Das Papier zeigt, dass man sich nicht zwischen dem Zeigen dessen, was Nutzer jetzt lieben, und dem Zeigen dessen, was sie in der Zukunft vielleicht lieben werden, entscheiden muss. Indem man den Bias im Gehirn des Systems korrigiert, kann man beides tun. Die Ingenieure fanden heraus, dass man, indem man kleine, kluge Änderungen an jedem Schritt des Prozesses vornimmt – bessere Kandidaten auswählen, sie besser finden und sie fair sortieren –, den Kreislauf des „Reiche-werden-reicher“ durchbrechen kann.

Sie lernten auch, dass man nicht nur einen Teil des Systems reparieren kann. Wenn man zwar das Ranking verbessert, aber die Retrieval-Phase immer noch voreingenommen ist, kommt der neue Inhalt gar nicht erst zur Ranking-Phase. Es ist, als hätte man ein großartiges neues Buch, aber es in einem Raum weggeschlossen, in dem niemand es finden kann. PinEqualizer hat die gesamte Bibliothek entriegelt.

Letztendlich half das System Pinterest nicht nur dabei, mehr neue Pins zu zeigen; es half dabei, ein gesünderes Ökosystem zu schaffen, in dem neue Ersteller wachsen können und Nutzer eine breitere, aufregendere Welt von Inhalten entdecken können. Das Papier legt nahe, dass dieser „Full-Funnel“-Ansatz eine leistungsstarke Methode ist, um Cold-Start-Probleme in jedem großen Empfehlungssystem zu lösen, und beweist, dass Fairness und Genauigkeit Hand in Hand gehen können.