Heterogeneous Ranking in Industrial-Scale Recommender Systems: A Case Study
Dieses Paper präsentiert eine End-to-End-Industrie-Fallstudie zur Rangfolge heterogener Content-Feeds in Google Discover, welche die HA-MoE-Architektur für adaptives Multi-Task-Learning sowie das LENS-Observability-Framework einführt, um die Inhaltsdiversität effektiv zu steuern und gleichzeitig sowohl die Offline-Metriken als auch das Online-Nutzerengagement zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreten eine riesige, chaotische Bibliothek, in der sich die Regale ständig neu anordnen. Ein Regal enthält ernste Geschichtsbücher, ein anderes zeigt lustige Katzenvideos, ein drittes enthält Rezepte und ein viertes enthält aktuelle Nachrichten. In einer perfekten Welt wüsste ein Bibliothekar genau, was Sie als Nächstes lesen möchten, egal ob Sie gerade Lust auf einen schnellen Witz oder einen tiefen Einblick in die Geschichte haben. Aber in der realen Welt des Internets ist diese „Bibliothek“ der Google Discover Feed, und der „Bibliothekar“ ist ein Computerprogramm namens Empfehlungssystem.
Die Herausforderung für diese Computer-Bibliothekare besteht darin, dass sie früher in sehr organisierten, ein thematischen Bibliotheken arbeiteten, wie etwa einem Ort, der nur Musik oder nur kurze Videos hatte. An solchen Orten sahen alle Inhalte gleich aus und verhielten sich auch gleich. Aber Google Discover ist anders; es zieht Inhalte aus dem gesamten offenen Web. Das bedeutet, der Computer muss gleichzeitig entscheiden zwischen einem langen Artikel, einem 10-sekündigen Video, einem persönlichen Post eines Nutzers und einer KI-generierten Zusammenfassung. Es ist, als würde man von einem einzelnen Koch verlangen, ein perfektes Steak, ein delikates Soufflé und einen scharfen Taco für denselben Kunden zuzubereiten, und das alles mit demselben Satz an Zutaten und Werkzeugen. Wenn der Koch sich zu sehr auf das Steak konzentriert, könnte der Taco ruiniert werden. Diese Arbeit befasst sich mit dem kniffligen Problem, einem einzigen Computergehirn beizubringen, all diese verschiedenen „Geschmacksrichtungen“ von Inhalten zu handhaben, ohne verwirrt zu werden oder die lautesten, populärsten Inhalte zu bevorzugen.
Die Autoren dieser Arbeit, ein Team von Google, standen vor einem spezifischen Problem: Ihr aktuelles System war wie ein „Einheitskoch“. Es versuchte, eine einzige Regel für alles zu verwenden, was zu Fehlern führte. Manchmal pushte es minderwertige Clickbait-Artikel, nur weil sie viele Klicks bekamen, während es hochwertige Videos, die Menschen tatsächlich sehen wollten, unterdrückte. Um dies zu beheben, entwickelten sie ein neues System namens HA-MoE (Heterogeneity-Adaptive Mixture-of-Experts).
Stellen Sie sich HA-MoE nicht als einen einzelnen Koch vor, sondern als eine geschäftige Küche mit einem klugen Manager und einem Team von spezialisierten Köchen. Im alten System versuchte ein einziger Koch, alles zu machen. Im neuen System schaut der „Manager“ (das Gating-Netzwerk) auf die Bestellung und die Art der Speise (den Inhalt) und entscheidet, welcher Spezialist die Bestellung übernehmen soll. Wenn die Bestellung ein Video ist, schickt der Manager es an den „Video-Spezialisten“. Wenn es ein Textartikel ist, geht er an den „Schreiber“. Entscheidend ist, dass der Manager nicht einfach nur rät; er verwendet ein spezielles „Heterogenitäts-Signal“ – eine kleine Notiz, die besagt: „Hey, das ist ein Video, behandle es anders!“ Dies stellt sicher, dass der Video-Spezialist glänzen kann, ohne vom Artikel-Spezialisten übertönt zu werden.
Aber woher weiß man, ob die Küche tatsächlich gut arbeitet? Das Team stellte fest, dass es nicht ausreichte, nur auf die Gesamtzahl der zufriedenen Kunden zu schauen. Man kann einen insgesamt großartigen Tag haben, aber wenn der Video-Spezialist versagt, verpasst man etwas. Deshalb haben sie eine neue Methode zur Erfolgsmessung entwickelt, die DL-AUC (Dual-Level AUC) genannt wird. Stellen Sie sich vor, Sie bewerten die Küche nicht nur nach der Gesamtzahl der servierten Mahlzeiten, sondern auch danach, wie gut der Video-Spezialist im Vergleich zum Artikel-Spezialisten abgeschnitten hat. Dieser neue Score hilft ihnen, Probleme zu erkennen, bei denen eine bestimmte Art von Inhalt ungerechtfertigterweise ignoriert wird.
Um sicherzustellen, dass das System über die Zeit hinweg gesund bleibt, haben sie auch ein Werkzeug namens LENS gebaut. Dies ist wie eine Röntgenbrille für die Küche. Sie ermöglicht es den Ingenieuren, in das Gehirn des Computers zu blicken, um zu sehen, welcher „Spezialist“ gerade was tut. Wenn das System anfängt, faul zu werden und alle Spezialisten anfangen, das Gleiche zu tun, erkennt LENS dies sofort. Dies hilft dem Team, Probleme zu beheben, bevor sie das Nutzererlebnis ruinieren.
Die Ergebnisse waren vielversprechend. Als sie dieses neue System mit einem massiven Datensatz echter Nutzerinteraktionen testeten, bewertete es sowohl positive Aktionen (wie Klicks und Likes) als auch negative Aktionen (wie das Ablehnen eines Beitrags) besser als das alte System. Es konnte erfolgreich den „Mehrheits-Bias“ stoppen, bei dem populäre Content-Typen früher die weniger häufigen Typen verdrängten. In Online-Tests mit echten Nutzern führte das neue System dazu, dass mehr Menschen die App öffneten, tiefer scrollten und eine größere Vielfalt an Inhalten entdeckten. Die Arbeit legt nahe, dass wir, indem wir den Computer explizit lehren, die Unterschiede zwischen Content-Typen zu respektieren, anstatt sie zu zwingen, gleich zu sein, smartere, fairere und angenehmere Feeds für alle aufbauen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.