UniDot: A Unified Network for Sequence Modeling and Feature Interaction in Large-scale Recommendation

In de uitgestrekte digitale landschappen van moderne content en reclame fungeren aanbevelingsmotoren als de onzichtbare curatoren van ons dagelijks leven. Ze bepalen welke video er als volgende wordt getoond, welk product wordt gesuggereerd of welk artikel wordt uitgelicht, waarbij ze vaak miljoenen mogelijkheden verwerken in een oogwenk. Decennialang hebben deze systemen vertrouwd op twee verschillende manieren van denken om die beslissingen te nemen. De eerste benadering kijkt naar de statische details van een gebruiker en een item, zoals leeftijd, locatie of productcategorie, en probeert patronen te vinden in hoe deze specifieke kenmerken overlappen. De tweede benadering observeert de stroom van de tijd door de geschiedenis van klikken en weergaven van een gebruiker te analyseren om hun evoluerende interesses te begrijpen. Hoewel beide methoden krachtig zijn, hebben industriële systemen ze traditioneel gescheiden gehouden, waarbij ze naast elkaar draaien in de hoop dat hun gecombineerde wijsheid voldoende is. Deze scheiding creëert een kloof: het systeem worstelt ermee om te zien hoe het verleden van een gebruiker de reactie op een specifiek nieuw item in realtime direct vormgeeft.

Een team van onderzoekers bij Meta, onder leiding van Rongcheng Lin, zette zich af tegen deze kloof met een nieuwe architectuur genaamd UniDot. Hun doel was om een enkel, verenigd systeem te bouwen dat zowel de statische details als de stromende geschiedenis van gebruikersgedrag gelijktijdig kon verwerken, in plaats van ze als aparte problemen te behandelen. Ze benaderden dit door beide soorten informatie te bekijken door de lens van "tokens", wat simpelweg digitale representaties van datapunten zijn. In dit nieuwe kader worden het gebruikersprofiel, de details van een item en zelfs een sequentie van eerdere gedragingen allemaal omgezet in deze tokens. Het kerninzicht dat de basis vormt voor het ontwerp, is dat de wiskundige operatie die gebruikt wordt om een gebruiker met een item te matchen, fundamenteel hetzelfde is als de operatie die gebruikt wordt om een vorig gedrag af te wegen tegen een huidige keuze. Door dit gedeelde mechanisme te herkennen, hebben de onderzoekers een model geconstrueerd waarin deze twee stromen informatie direct en continu met elkaar kunnen interageren.

Het resulterende systeem, UniDot, werkt als een tweesporenweg waar twee verschillende processen samen reizen en voortdurend informatie uitwisselen. De ene baan, de "token-mixing bus", richt zich op het mengen van de statische profieldata van de gebruiker en het item. De andere baan, de "sequence-retrieval bus", richt zich op het scannen van de geschiedenis van de gebruiker om relevante gebeurtenissen uit het verleden te vinden. In plaats van deze banen geïsoleerd te laten lopen of ze pas aan het einde samen te voegen, laat UniDot hen co-evolueren. Bij elke stap van de verwerking delen de twee banen hun staat, waardoor het statische profiel de manier waarop de geschiedenis wordt gelezen kan beïnvloeden, en de geschiedenis de manier waarop het profiel wordt begrepen kan verfijnen. Deze continue uitwisseling zorgt ervoor dat het systeem niet alleen naar het verleden en de huidige situatie van een gebruiker kijkt als afzonderlijke zaken, maar ziet hoe ze elkaar op dat moment vormen.

Om ervoor te zorgen dat het systeem efficiënt en precies blijft, introduceerden de onderzoekers een toegewezen pad genaamd de "FM Highway". Dit pad fungeert als een directe snelweg voor de meest cruciale interacties. In veel deep learning-modellen kunnen de meest basale en belangrijke signalen — specifiek de directe overeenkomsten tussen gebruikers- en itemkenmerken — verdund of verloren gaan terwijl ze door lagen complexe verwerking gaan. De FM Highway omzeilt deze complexiteit en voert deze directe matches rechtstreeks naar de uiteindelijke besluitvormingsfase. Deze ontwerpkeuze behoudt de helderheid van de meest fundamentele verbindingen, waardoor wordt gewaarborgd dat het systeem nooit het zicht verliest op de eenvoudige, directe relaties die vaak de beslissing van een gebruiker om te klikken of te kopen drijven.

De onderzoekers testten deze architectuur in een grote industriële competitie genaamd de TAAC × KDD Cup 2026, die deelnemers uitdaagde om het beste aanbevelingssysteem te bouwen onder strikte tijdslimieten. UniDot eindigde als tweede met een hoge score van 0,83217. Dit resultaat was significant omdat het primair werd gedreven door de architectuur zelf, in plaats van door de handmatige creatie van complexe, handmatig ontworpen regels of kenmerken. Het team demonstreerde dat door de twee traditionele benaderingen te verenigen in één coherente structuur, zij meer nuance in gebruikersgedrag konden vangen. Ze verbeterden de prestaties verder door twee versies van het model simultaan te trainen zodat ze van elkaar kunnen leren, een techniek die hielp het systeem een robuustere oplossing te laten vinden zonder de omvang van het geheugen voor het opslaan van gebruikersdata te hoeven verdubbelen.

Het succes van UniDot suggereert dat de toekomst van aanbevelingssystemen niet ligt in het toevoegen van meer afzonderlijke componenten, maar in het nauwer met elkaar verweven van deze componenten. Door de statische details van een gebruiker en de dynamische stroom van hun geschiedenis te behandelen als onderdelen van een enkel, verenigd proces, kan het systeem nauwkeuriger voorspellingen doen. De onderzoekers ontdekten dat de sleutel tot deze verbetering niet alleen het groter maken van het model was, maar het slimmer maken van de manier waarop het verschillende soorten informatie met elkaar verbindt. Het systeem bewees dat wanneer je het verleden en het heden rechtstreeks met elkaar laat communiceren, het resultaat een helderder begrip is van wat een gebruiker werkelijk wil. Deze aanpak biedt een veelbelovend pad voor het bouwen van aanbevelingsmotoren die niet alleen sneller en efficiënter zijn, maar ook beter afgestemd op de complexe realiteit van menselijk gedrag.