UniPinRec: Unifying Generative Retrieval and Ranking at Pinterest Scale
UniPinRec ist das erste Produktionssystem, das Retrieval und Ranking vollständig in einer einzigen Transformer-basierten Pipeline mit gemeinsam genutzter Input-, Trainings- und Serving-Infrastruktur vereinigt und dabei signifikante Steigerungen des Engagements sowie Effizienzverbesserungen auf der Skala von Pinterest erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich Pinterest als eine riesige, belebte Bibliothek mit Milliarden von Büchern (Pins) vor. Wenn Sie eintreten, muss die Bibliothek zwei Dinge sehr schnell erledigen:
- Abruf (Retrieval): Die gesamte Bibliothek scannen, um ein paar tausend Bücher zu finden, die Sie interessieren könnten.
- Ranking: Diese paar tausend Bücher sorgfältig lesen und sie in der perfekten Reihenfolge für Sie anordnen.
Der alte Weg: Zwei verschiedene Bibliothekare
Lange Zeit nutzte Pinterest zwei verschiedene „Bibliothekare“ (KI-Modelle), um diese Aufgaben zu erledigen.
- Bibliothekar A (Abruf/Retrieval) war ein Geschwindigkeitsjunkie. Er scannte die ganze Bibliothek extrem schnell, las die Bücher aber nicht tiefgründig. Er griff einfach einen großen Haufen potenzieller Treffer heraus.
- Bibliothekar B (Ranking) war ein sorgfältiger Leser. Er nahm diesen Haufen, las jedes Buch im Detail und sortierte sie perfekt.
Das Problem: Beide Bibliothekare lasen exakt dieselben Notizen über Ihr vergangenes Verhalten (was Sie angeklickt, gespeichert oder ausgeblendet haben). Beide leisteten die schwere Arbeit des „Erinnerns“ an Ihre Historie separat. Das war so, als würde man zwei Personen anstellen, um dasselbe Telefonbuch auswendig zu lernen, nur um zwei verschiedene Listen zu erstellen. Das verschwendete Geld, Rechenleistung und Zeit.
Die neue Lösung: UniPinRec (Der Super-Bibliothekar)
Das Paper stellt UniPinRec vor, einen einzelnen „Super-Bibliothekar“, der beide Aufgaben gleichzeitig erledigt – mit einem Gehirn, einem Satz Notizen und einem Workflow.
So haben sie es mit drei cleveren Tricks umgesetzt:
1. Der „Masked Action“-Trick (MAM)
Normalerweise schaut der „Abruf“-Bibliothekar nur auf eine Liste von Dingen, die Sie mögen. Der „Ranking“-Bibliothekar muss jedoch wissen, was Sie mit diesen Dingen gemacht haben (haben Sie geklickt? gespeichert? ausgeblendet?).
- Das alte Problem: Wenn man das „Was Sie getan haben“ in die Liste mischt, bringt das den Geschwindigkeitsvorteil des Abruf-Bibliothekars durcheinander.
- Die UniPinRec-Lösung: Sie verwenden eine „Maskierungstechnik“. Stellen Sie sich vor, der Bibliothekar hat eine Liste Ihrer Historie. Er deckt den Teil, der besagt „was Sie getan haben“, mit einem Klebezettel ab.
- Der Bibliothekar lernt, basierend auf dem Artikel zu erraten, was Sie getan haben.
- Dies ermöglicht es dem Bibliothekar, sowohl zu lernen, wie man Artikel findet (Abruf), als auch, wie man sie bewertet (Ranking), ohne dass die Liste zu lang oder verwirrend wird. Es ist, als würde man gleichzeitig Autofahren und Parken lernen, indem man mit angezogener Handbremse übt.
2. Der „Shared Memory“-Trick (KV Cache Reuse)
Dies ist der größte Geschwindigkeitsbeschleuniger.
- Das alte Problem: Wenn der Ranking-Bibliothekar seine Arbeit aufnahm, musste er Ihre gesamte Historie von Grund auf neu lesen, um zu verstehen, wer Sie sind.
- Die UniPinRec-Lösung: Der Abruf-Bibliothekar erledigt zuerst die harte Arbeit, Ihre Historie zu lesen. Anstatt diese Notizen wegzuwerfen, übergibt er sie an den Ranking-Bibliothekar.
- Der Ranking-Bibliothekar liest die Historie nicht noch einmal neu; er schaut einfach auf die Notizen, die der erste Bibliothekar bereits aufgeschrieben hat.
- Analogie: Es ist wie ein Koch, der das gesamte Gemüse schneidet (Abruf) und dann die Schüssel an einen Sous-Chef übergibt, der nur noch die Gewürze hinzufügt (Ranking). Der Sous-Chef muss das Gemüse nicht noch einmal schneiden. Das spart eine enorme Menge an Zeit.
3. Der „Blended Training“-Trick
Anstatt das Modell erst als „Finder“ und dann später als „Sorter“ zu trainieren, haben sie es so trainiert, dass es beides simultan tut.
- Sie fütterten das Modell mit Beispielen, die sowohl die „Historie dessen, was Sie mochten“ ALS AUCH die „Liste dessen, was Sie gesehen, aber nicht angeklickt haben“ enthielten.
- Dies lehrte das Modell, ein besserer Finder zu sein, weil es wusste, wie man Artikel bewertet, und ein besserer Bewwerter, weil es wusste, wie man die richtigen Artikel findet.
Die Ergebnisse: Schneller, Schlauer, Günstiger
Als sie den Super-Bibliothekar im echten Pinterest verwendet haben, waren die Ergebnisse beeindruckend:
- Bessere Empfehlungen: Nutzer speicherten mehr Pins und öffneten mehr Benachrichtigungen. Das System fand bessere Artikel, weil der „Finder“ und der „Sorter“ miteinander kommunizierten.
- Höhere Geschwindigkeit: Da sie aufgehört haben, die Historie des Nutzers ständig neu zu lesen, wurde das System insgesamt 11 % schneller.
- Mehr Kapazität: Das System konnte 63 % mehr Nutzer gleichzeitig bedienen, ohne langsamer zu werden.
Zusammenfassung
UniPinRec ist wie die Zusammenlegung zweier separater Abteilungen in ein effizientes Team. Indem sie dasselbe „Gehirn“ (Modell), dieselben „Notizen“ (Nutzerhistorie) und denselben „Workflow“ teilen, spart Pinterest Geld bei der Computerleistung, macht die App schneller für die Nutzer und zeigt Menschen Inhalte, die sie tatsächlich wollen. Sie haben nicht das gesamte Bibliothekssystem ersetzt; sie haben nur die vorhandenen Bibliothekare perfekt zusammenarbeiten lassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.