Field-Aware RankMixer with Dual-Stream Bilinear Fusion for the Tencent UNI-REC Challenge

Stel je voor dat je door een enorme, bruisende digitale marktplaats loopt. Elke seconde klikken en kopen miljoenen mensen dingen terwijl ze rondkijken. Om deze marktplaats soepel te laten draaien, moeten de computers achter de schermen ongelooflijk slimme detectives zijn. Ze moeten raden wat je de volgende keer wilt kopen, niet alleen op basis van waar je op dit moment naar kijkt, maar door te onthouden wat je ooit hebt aangeklikt, hoe lang geleden dat was en wat voor persoon je bent. Dit is de wereld van recommender systems (aanbevelingssystemen).

Beschouw deze systemen als wezens met twee hoofdtaken. Eerst kijken ze naar je geschiedenis, zoals een dagboek van elk item dat je ooit hebt aangeraakt, om je veranderende interesses te begrijpen. Daarna kijken ze naar statische feiten, zoals je leeftijd, de tijd van de dag of de specifieke details van het item dat je bekijkt, die niet van moment tot moment veranderen. Het lastige deel is dat deze twee soorten informatie meestal in verschillende buurten van het computerbrein wonen. Het efficiënt met elkaar laten praten is als proberen een snelstromende rivier (jouw geschiedenis) perfect te mengen met een stilstaand, diep meer (jouw statische feiten) zonder een modderige bende te creëren. Het goed krijgen van deze mix is cruciaal, omdat dit bepaalt of je een advertentie ziet die je echt leuk vindt of een waar je je advertentie negeert, wat invloed heeft op hoeveel geld het platform verdient en hoe gelukkig jij bent.

In het artikel "Field-Aware RankMixer with Dual-Stream Bilinear Fusion for the Tencent UNI-REC Challenge" heeft een team onderzoekers precies dit mengprobleem aangepakt. Ze namen deel aan een prestigieuze wedstrijd genaamd de KDD Cup 2026, waarbij het doel was om te voorspellen hoe groot de kans is dat een gebruiker een advertentie koopt waar hij op klikt. Hun oplossing, een model dat ze FA-RankMixer noemen, werkt als een meesterkok die niet alleen ingrediënten in een pot gooit, maar ze zorgvuldig scheidt, ze individueel kruidt en ze dan op een zeer specifieke manier mengt.

Hier is hoe hun recept werkt. Eerst kijkt het model naar je gedragshistorie. In plaats van al je eerdere klikken als één grote, wazige vlek te behandelen, gebruikt het een "target-aware" lens. Stel je voor dat je naar een specifieke paar schoenen kijkt; het model vraagt: "Gezien deze schoenen, welke van je eerdere klikken zijn eigenlijk relevant?" Het scheidt je recente interesses van je oudere interesses, waarbij het beseft dat wat je vorige week leuk vond misschien belangrijker is dan wat je zes maanden geleden leuk vond. Dit is als een detective die zich concentreert op de meest recente aanwijzingen, terwijl hij de oudere aanwijzingen in de achtergrond houdt.

Vervolgens organiseert het model alle informatie in "tokens". Denk aan deze als kleine kaartjes, elk een specifiek stukje informatie representerend, zoals "Leeftijd Gebruiker", "Tijdstip van de Dag" of "Geklikt op een Sneaker". De onderzoekers merkten op dat als je al deze kaartjes gewoon bij elkaar smijt, je de identiteit van wat elk kaartje is verliest. Daarom hebben ze een Field-Aware systeem gecreëerd. Het is als een sorteermachine die de "Leeftijd"-kaartjes in één stapel houdt en de "Tijd"-kaartjes in een andere, zodat ze niet door elkaar worden gehaald. Deze stapels worden vervolgens gevoerd aan een speciale motor genaamd RankMixer. Deze motor is als een hogesnelheidsmixer die de kaartjes met elkaar laat praten zonder dat er een enorme hoeveelheid extra geheugen nodig is, waardoor het systeem complexe relaties tussen jouw geschiedenis en de huidige advertentie kan begrijpen.

Maar het model stopt daar niet. Het gebruikt een Dual-Stream benadering, wat lijkt op het hebben van twee koks die tegelijkertijd in de keuken werken. De ene kok (de "Deep" stream) is zeer complex en probeert subtiele, verborgen patronen te vinden door de kaartjes in diepe lagen te mengen. De andere kok (de "Shallow" stream) is eenvoudiger en kijkt directer naar de ingrediënten. Ten slotte gebruiken ze een Bilinear Fusion techniek om de resultaten van beide koks te combineren. Stel je dit voor als een speciale saus die de complexe smaak van de diepe kok en de frisse smaak van de ondiepe kok neemt en ze perfect mengt. Dit zorgt ervoor dat de uiteindelijke voorspelling niet alleen slim is, maar ook stabiel en accuraat.

De onderzoekers testten hun model op een enorme dataset met meer dan 34 miljoen clicks. Ze ontdekten dat hun methode de nauwkeurigheid van voorspellingen aanzienlijk verbeterde vergeleken met het starten met een basismodel. Specifiek, door technieken zoals Weighted Pair Pooling (dat aandacht besteedt aan hoe sterk een signaal is, in plaats van alleen alles te middelen) en SWA (een methode die de gewichten van het model aan het einde middelt om het robuuster te maken), hebben ze hun prestatiescore (AUC) met een totaal van ongeveer 14,7 punten verhoogd.

Interessant genoeg ontdekte het team dat het simpelweg "breder" maken van het model (meer neuronen toevoegen) niet altijd beter was. Op een gegeven moment maakte het breder maken van het model de prestaties zelfs slechter. In plaats daarvan was de sleutel om de informatie intelligenter te organiseren door meer specifieke "tokens" voor verschillende velden te gebruiken. Dit suggereert dat in de wereld van AI, een slimmere manier om informatie te organiseren vaak krachtiger is dan alleen een groter brein hebben.

Uiteindelijk eindigde hun FA-RankMixer model op negende plaats in de wedstrijd, wat bewees dat deze specifieke manier van het mengen van gebruikersgeschiedenis met statische feiten zeer goed werkt voor grootschalige reclame. Hoewel het model behoorlijk groot is en aanzienlijke rekenkracht vereist, suggereren de onderzoekers dat toekomstig werk zich kan richten op het efficiënter maken ervan, bijvoorbeeld door het te leren alleen aandacht te besteden aan de belangrijkste velden, waardoor energie wordt bespaard terwijl de voorspellingen scherp blijven. Hun werk laat zien dat wanneer je verschillende soorten data de specifieke zorg geeft die ze verdienen, het resultaat een veel slimmer en nuttiger aanbevelingssysteem is.