WHALE: A Scalable Unified Model for Recommendation with Wukong-HSTU Architecture
Das Papier stellt WHALE vor, eine skalierbare, vereinheitlichte Empfehlungsarchitektur, die Wukong- und HSTU-Backbones durch einen neuartigen Fusionsmechanismus integriert, um nicht-sequenzielle und sequenzielle Merkmale gemeinsam zu modellieren, wodurch signifikante Offline- und Online-Leistungssteigerungen in industriellen Produktionssystemen erzielt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie spazieren durch eine riesige, belebte digitale Stadt, in der Millionen von Menschen ständig scrollen, klicken und zuschauen. Dies ist die Welt der Online-Empfehlungssysteme, der unsichtbaren Motoren hinter Ihren Social-Media-Feeds, Video-Vorschlägen und Einkaufslisten. Ihre Aufgabe ist es, zu erraten, was Sie als Nächstes sehen wollen. Um dies zu tun, nutzen sie normalerweise zwei sehr unterschiedliche Arten von Hinweisen. Erstens gibt es Ihre „statischen“ Details: wer Sie sind, was Sie mögen, die Tageszeit und das spezifische Objekt, das gerade gezeigt wird. Es ist wie ein Detektiv, der eine Verdächtigenakte und den Tatort untersucht. Zweitens gibt es Ihre „dynamischen“ Handlungen: die lange, chaotische Spur von allem, was Sie in der Vergangenheit angeklickt, angesehen oder gekauft haben. Dies ist wie ein Detektiv, der der gesamten Lebensgeschichte eines Verdächtigen in Echtzeit folgt.
Lange Zeit behandelten Empfehlungssysteme diese beiden Hinweise getrennt voneinander. Einige hochintelligente Modelle waren großartig darin, die statischen Details zu mischen (wie „dieser Nutzer mag Science-Fiction“ + „es ist Freitagabend“), während andere Modelle Experten darin waren, die lange Geschichte Ihres vergangenen Verhaltens zu lesen (wie „Sie haben drei Weltraumfilme hintereinander gesehen, also wollen Sie wahrscheinlich einen vierten“). Die große Frage war: Könnten wir ein Super-Modell bauen, das in beiden Bereichen gleichermaßen brillant ist, ohne dabei zu langsam oder zu teuer im Betrieb zu werden? Wenn uns das gelänge, könnte dies bedeuten, Inhalte zu sehen, die sich perfekt auf das zugeschnitten anfühlen, was Sie sind und was Sie in letzter Zeit getan haben – und das alles gleichzeitig.
Hier kommt WHALE ins Spiel, eine neue Architektur, die von Forschern bei Meta entwickelt wurde und versucht, dieses Rätsel zu lösen. Stellen Sie sich WHALE als ein riesiges, vielschichtiges Team von Detektiven vor, die zusammenarbeiten. Anstatt dass ein Detektiv die Akte liest und ein anderer das Video beobachtet, bringt WHALE sie Schicht für Schicht in denselben Raum. In jeder einzelnen Schicht des Modells gibt es ein „Wukong“-Team (der Experte für das Mischen statischer Details) und ein „HSTU“-Team (der Experte für das Lesen der langen Geschichte Ihrer Handlungen). Aber hier liegt der magische Trick: Sie arbeiten nicht nur nebeneinander; sie unterhalten sich ständig. Das Wukong-Team fragt das HSTU-Team: „Hey, basierend auf diesem speziellen Objekt, das ich gerade anschaue, welcher Teil der langen Geschichte des Nutzers ist im Moment am wichtigsten?“ Das HSTU-Team zoomt dann auf diesen spezifischen Teil der Erinnerung und reicht ihn zurück. Dies geschieht immer wieder, während die Daten durch das Modell fließen, was dem System ermöglicht, sein Verständnis ständig zu verfeinern.
Die Arbeit legt nahe, dass dieser „progressive Austausch“ ein Wendepunkt ist. Als die Forscher WHALE mit massiven Mengen realer Daten von einer Social-Media-Plattform testeten, fanden sie heraus, dass es konsistent besser darin wurde, vorherzusagen, worauf Nutzer klicken würden, wenn sie das Modell größer machten und ihm eine längere Historie zum Lesen gaben. Insbesondere wenn sie die Länge der Nutzerhistorie erhöhten, die das Modell sehen konnte, verbesserte sich die Qualität der Empfehlungen. Sie fanden auch heraus, dass das Modell tiefer (mehr Schichten) und breiter (mehr Rechenleistung) zu machen, kontinuierlich bessere Ergebnisse lieferte, was darauf hindeutet, dass das System gut skaliert.
Dennoch testeten die Forscher auch einen einfacheren Weg, zwei Arten von Modellen zu kombinieren, den sie einen „Shallow-Hybrid“-Ansatz nennen. Bei dieser älteren Methode wird die Historie vor der Mischung mit den statischen Details in eine winzige Zusammenfassung komprimiert. Die Arbeit argumentiert, dass dies ein Fehler ist, da dabei die feinen Details verloren gehen. Ihre Experimente zeigten, dass WHALEs tiefes, schichtweises „Chatten“ signifikant besser war als dieser flache Ansatz, was beweist, dass die ständige Kommunikation zwischen den beiden Teams entscheidend ist.
Natürlich ist der Bau eines solch komplexen Systems teuer. Das Team musste speziellen, maßgeschneiderten Computercode (unter Verwendung von sogenannten „Triton-Kerneln“) erfinden, um sicherzustellen, dass WHALE schnell genug laufen kann, um gleichzeitig von Millionen von Menschen genutzt zu werden. In realen Tests verbesserte WHALE die wichtigsten Kennzahlen für das Nutzerengagement, aber es gab eine kleine Kostenstelle: Das System konnte etwa 5 % weniger Anfragen pro Sekunde bearbeiten als das alte System. Trotz dieser leichten Verlangsamung wurde die Verbesserung der Empfehlungsqualität als Sieg gewertet, und das System wurde bereits in die Produktion überführt. Die Arbeit kommt zu dem Schluss, dass wir Modelle zwar nicht unendlich groß machen können, um alles zu lösen, aber die Vereinigung dieser zwei unterschiedlichen Arten des Denkens über Daten – statische Details und dynamische Historie – in eine einzige, interagierende Architektur ein kraftvoller und praktischer Weg für die Zukunft der Empfehlungen ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.