WHALE: A Scalable Unified Model for Recommendation with Wukong-HSTU Architecture
Het artikel introduceert WHALE, een schaalbare unificerende aanbevelingsarchitectuur die de Wukong- en HSTU-backbones integreert via een nieuw fusiemechanisme om zowel non-sequentiële als sequentiële kenmerken gezamenlijk te modelleren, waarmee significante offline en online prestatiewinsten wordt behaald in industriële productiesystemen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je door een enorme, bruisende digitale stad loopt waar miljoenen mensen constant aan het scrollen, klikken en kijken zijn. Dit is de wereld van online aanbevelingssystemen, de onzichtbare motoren achter je sociale media-feeds, videosuggesties en boodschappenlijstjes. Hun taak is om te raden wat je als volgende wilt zien. Om dit te doen, kijken ze meestal naar twee zeer verschillende soorten aanwijzingen. Ten eerste zijn er je "statische" details: wie je bent, wat je leuk vindt, de tijd van de dag en het specifieke item dat wordt getoond. Het is alsof een detective kijkt naar het dossier van een verdachte en de plaats delict. Ten tweede zijn er je "dynamische" acties: het lange, rommelige spoor van alles wat je in het verleden hebt geklikt, bekeken of gekocht. Dit is alsof een detective het hele levensverhaal van een verdachte in realtime volgt.
Lange tijd behandelden aanbevelingssystemen deze twee aanwijzingen apart. Sommige super slimme modellen waren geweldig in het mengen van de statische details (zoals "deze gebruiker houdt van sciencefiction" + "het is vrijdagavond"), terwijl andere modellen experts waren in het lezen van het lange verhaal van je eerdere gedrag (zoals "je hebt drie ruimtefilms achter elkaar bekeken, dus je wilt waarschijnlijk een vierde"). De grote vraag was: konden we één supermodel bouwen dat in beide even briljant was, zonder dat het te traag of te duur werd om uit te voeren? Als dat zou lukken, zou dat kunnen betekenen dat je content ziet die perfect is afgestemd op precies wie je bent en wat je onlangs hebt gedaan, tegelijkertijd.
Maak kennis met WHALE, een nieuwe architectuur ontwikkeld door onderzoekers van Meta die probeert dit puzzelstukje op te lossen. Zie WHALE als een gigantisch, meerlagig team van detectives die samenwerken. In plaats van dat één detective het dossier leest en een andere de video bekijkt, plaatst WHALE hen in dezelfde kamer, laag voor laag. In elke enkele laag van het model is er een "Wukong"-team (de expert in het mengen van statische details) en een "HSTU"-team (de expert in het lezen van de lange geschiedenis van je acties). Maar hier is de magische truc: ze werken niet alleen naast elkaar; ze praten voortdurend met elkaar. Het Wukong-team vraagt aan het HSTU-team: "Hé, gebaseerd op dit specifieke item waar ik naar kijk, welk deel van de lange geschiedenis van de gebruiker is op dit moment het belangrijkst?" Het HSTU-team zoomt vervolgens in op dat specifieke geheugen en geeft het terug. Dit gebeurt herhaaldelijk terwijl de data door het model beweegt, waardoor het systeem zijn begrip voortdurend kan verfijnen.
Het artikel suggereert dat deze "progressieve uitwisseling" een gamechanger is. Wanneer de onderzoekers WHALE testten op enorme hoeveelheden echte wereldgegevens van een sociaal mediaplatform, ontdekten ze dat het consistent beter werd in het voorspellen van waar gebruikers op zouden klikken naarmate ze het model groter maakten en het een langere geschiedenis lieten lezen. Specifiek, wanneer ze de lengte van de gebruikersgeschiedenis vergrootten die het model kon zien, verbeterde de kwaliteit van de aanbevelingen. Ze ontdekten ook dat het dieper maken van het model (meer lagen) en breder maken (meer rekenkracht) bleef resulteren in betere resultaten, wat suggereert dat het systeem goed schaalt.
De onderzoekers hebben echter ook een eenvoudigere manier getest om deze twee soorten modellen te combineren, die ze een "shallow-hybrid" aanpak noemen. In deze oudere methode wordt de geschiedenis samengeperst tot een kleine samenvatting voordat deze wordt gemengd met de statische details. Het artikel stelt dat dit een fout is, omdat het de fijnmazige details weggooit. Hun experimenten toonden aan dat de diepe, laag-voor-laag communicatie van WHALE aanzienlijk beter was dan deze oppervlakkige aanpak, wat bewees dat het in constante communicatie houden van de twee teams cruciaal is.
Natuurlijk is het bouwen van een zo complex systeem duur. Het team moest speciale, aangepaste computercode uitvinden (met behulp van iets dat "Triton kernels" wordt genoemd) om ervoor te zorgen dat WHALE snel genoeg kon draaien om tegelijkertijd door miljoenen mensen gebruikt te kunnen worden. In tests in de echte wereld verbeterde WHALE de belangrijkste statistieken voor gebruikersbetrokkenheid, maar het kwam met een kleine prijs: het systeem kon ongeveer 5% minder verzoeken per seconde aan than het oude systeem. Ondanks deze lichte vertraging werd de verbetering in de kwaliteit van de aanbevelingen beschouwd als een overwinning, en het systeem is al in productie ingezet. Het artikel concludeert dat hoewel we modellen niet oneindig groot kunnen maken om alles op te lossen, het verenigen van deze twee verschillende manieren van denken over data — statische details en dynamische geschiedenis — in één enkele, interagerende architectuur een krachtig en praktisch pad vooruit is voor de toekomst van aanbevelingen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.