Tlow: Flow-based Item Tokenizer for Recommendation

In de uitgestrekte digitale landschappen van het moderne leven, van sociale mediafeeds tot online winkels, fungeren aanbevelingssystemen als de onzichtbare gidsen die suggereren wat we het volgende zouden kunnen willen zien of kopen. Decennialang hebben deze systemen vertrouwd op een eenvoudige maar onhandige methode: het toekennen van een willekeurig, betekenisloos getal aan elk afzonderlijk item, of het nu gaat om een nummer, een boek of een paar schoenen. De computer leert deze getallen te herkennen op basis van hoe mensen ermee interageren, maar deze aanpak heeft twee grote gebreken. Ten eerste, naarmate het aantal items groeit naar miljoenen of miljarden, wordt het systeem opgeblazen en traag, waarbij enorme hoeveelheden geheugen nodig zijn om alleen al deze willekeurige getallen op te slaan. Ten tweede heeft het moeite met nieuwe items; als een product net is uitgebracht en geen geschiedenis van klikken of aankopen heeft, behandelt het systeem het als een vreemde, niet in staat om het aan iemand aan te bevelen. Om dit op te lossen, zijn onderzoekers gaan kijken naar hoe grote taalmodellen werken, die woorden begrijpen niet door willekeurige getallen, maar door hun betekenis. Door items te vertalen naar sequenties van betekenisvolle "tokens"—zoals woorden in een zin—kunnen systemen kennis delen over alle items, waardoor ze slimmer en sneller worden, vooral voor nieuwkomers.

Een team onderzoekers van de Tsinghua Universiteit en Tencent heeft dit idee verder uitgebreid met een nieuwe tool genaamd Tlow. Terwijl eerdere pogingen om items in betekenisvolle tokens te veranderen hun eigen hindernissen ondervonden, wat vaak resulteerde in trage verwerking of verwarrende groeperingen, introduceert Tlow een frisse aanpak gebaseerd op een wiskundig concept dat bekend staat als een 'flow'. Stel je voor dat je probeert een chaotische menigte mensen te organiseren die allemaal in een rommelige, ongelijkmatige cluster staan. Als je probeerde hen in nette rijen en kolommen te sorteren, zou de taak moeilijk zijn omdat hun posities verstrengeld en onregelmatig zijn. Tlow werkt als een zachte, intelligente kracht die de hele menigte hervormt tot een perfecte, ordelijke cirkel waar iedereen gelijkmatig verdeeld is en onafhankelijk van zijn buren. In de wereld van data betekent dit het nemen van de complexe, rommelige wiskundige beschrijvingen van items en het transformeren ervan naar een schoon, standaard formaat waar elk stuk informatie op zichzelf staat, vrij van verwarrende verbindingen met andere stukken.

Zodra de data in deze schone, georganiseerde staat is, kunnen de onderzoekers het gemakkelijk opdelen in kleine, duidelijke delen, vergelijkbaar met het sorteren van een kaartspel in nette pakken. Elk deel krijgt een specifieke code, wat een unieke sequentie van tokens voor elk item creëert. Omdat de data eerst werd gladgestreken in deze perfecte vorm, leggen deze codes de ware essentie van het item met opmerkelijke helderheid vast. Bijvoorbeeld, bij het testen op een collectie muziekalbums, haalden oudere methoden vaak genres door elkaar, waarbij ze een heavy metal-album met een jazzplaat groepeerden simpelweg omdat hun ruwe data op een rommelige manier op elkaar leken. Tlow hield de genres echter strikt gescheiden, waardoor een popalbum als pop werd herkend, en een jazzalbum als jazz. Deze helderheid stelt het aanbevelingssysteem in staat om de atomaire bouwstenen van de betekenis van een item te begrijpen, in plaats van alleen maar het willekeurige ID te onthouden.

De onderzoekers testten deze methode over vier verschillende categorieën producten op Amazon, variërend van sportartikelen tot schoonheidsproducten en muziek. In elk geval presteerde het systeem dat Tlow gebruikte beter dan de beste bestaande methoden, inclusclusief die welke meer complexe, stapsgewijze decodeerprocessen gebruikten. De verbetering was significant, waarbij het nieuwe systeem een betere nauwkeurigheid liet zien in het voorspellen van wat een gebruiker vervolgens zou willen. Cruciaal was dat het systeem ook zijn waarde bewees in moeilijkere situaties, zoals het aanbevelen van items over verschillende categorieën heen of bij het samenwerken met afbeeldingen en tekst. In deze complexe scenario's, waar data afkomstig is van veel verschillende bronnen en vormen, stelde het vermogen van Tlow om de data in een uniforme standaard te hervormen het systeem in staat om verbindingen te vinden die andere systemen misten.

De echte test van deze technologie kwam toen deze werd ingezet op WeChat, een van de grootste sociale mediaplatformen ter wereld, om gebruikers te helpen nieuwe foto's en artikelen te ontdekken. In een live experiment met miljoenen dagelijkse interacties, presteerde het systeem dat gebruik maakte van Tlow's getokeniseerde codes aanzienlijk beter dan het traditionele systeem dat vertrouwde op willekeurige ID's. De resultaten waren opmerkelijk: het nieuwe systeem verhoogde de klikratio van gebruikers op aanbevolen content met meer dan tien procent voor nieuwe items. Dit is een vitale prestatie omdat nieuwe content, die geen geschiedenis van gebruikersinteractie heeft, meestal het moeilijkst is voor computers om aan te bevelen. Door te vertrouwen op de inherente betekenis van de content in plaats op het verleden, stelde Tlow het platform in staat om verse, relevante foto's aan gebruikers te tonen bijna direct nadat ze waren geplaatst. De onderzoekers ontdekten dat deze aanpak niet alleen hielp om nieuwe items opgemerkt te worden, maar ook de algehele ervaring voor gebruikers verbeterde, wat bewees dat het transformeren van rommelige data naar een schone, standaard vorm een krachtige manier is om machines de wereld meer te laten begrijpen zoals mensen dat doen.