MILCR: Mutual information and local consistency regularized flow matching for sequential recommendation

In het digitale tijdperk laten onze online levens een spoor van keuzes achter: de boeken die we kopen, de video's die we bekijken, de restaurants die we bezoeken. Voor computers is het begrijpen van deze sporen de taak van een vakgebied dat sequentiële aanbeveling wordt genoemd. Het doel is eenvoudig maar moeilijk: kijken naar wat een persoon in het verleden heeft gedaan en raden wat hij of zij als volgende zal willen doen. Jarenlang waren de beste instrumenten voor deze taak als zorgvuldige bibliothecarissen, die de geschiedenis van een gebruiker scanden om patronen te vinden en de volgende logische stap voor te stellen. Echter, een nieuwere generatie instrumenten is opgekomen die probeert iets creatievers te doen. In plaats van alleen patronen te vinden, proberen deze generatieve modellen een beeld te vormen van de toekomstige verlangens van een gebruiker vanuit het niets, beginnend met pure willekeur en het langzaam vormgeven tot een specifieke aanbeveling.

Stel je voor dat je probeert een perfect portret van een vriend te tekenen, maar je bent gedwongen om te beginnen met een leeg, statisch scherm vol ruis. Je moet de ruis stap voor stap verwijderen, totdat het gezicht verschijnt. Dit is hoe moderne generatieve systemen werken. Ze beginnen met willekeurige ruis en transformeren die chaos door een reeks wiskundige stappen naar een heldere voorspelling. Hoewel deze aanpak veelbelovend is gebleken, staat het voor een specifieke uitdaging wanneer het wordt toegepast op de rommelige realiteit van menselijk gedrag. Omdat de interactiegeschiedenissen van mensen vaak kort en verspreid zijn, kunnen deze modellen in de war raken. Ze kunnen te veel gaan vertrouwen op de willekeurige ruis waarmee ze begonnen, in plaats van op de werkelijke geschiedenis van de gebruiker, of ze kunnen alle verschillende gebruikers samenvoegen tot één enkel, wazig gemiddelde, waardoor de unieke details die een aanbeveling nuttig maken, verloren gaan.

Een team onderzoekers aan de Beijing University of Technology heeft een nieuwe methode ontwikkeld om deze gebreken te herstellen, genaamd hun systeem MILCR. Hun werk richt zich op het verfijnen van de manier waarop deze generatieve modellen leren van schaarse gegevens. De onderzoekers identificeerden dat het hoofdzakelijke probleem tweeledig was: de modellen hadden moeite om de voorkeuren van verschillende gebruikers onderscheidend te houden, en ze lieten de initiële willekeurige ruis de uiteindelijke uitkomst te veel beïnvloeden. Om dit op te lossen, introduceerden ze een trainingsproces dat fungeert als een dubbelcontrolesysteem. Eerst bereiden ze het systeem voor met een gestructureerde basis, waarbij ze ervoor zorgen dat de bouwstenen van het model al georganiseerd zijn voordat het complexe leerproces begint. Vervolgens gebruiken ze tijdens de hoofdtrainingsfase een slimme strategie die afwisselt tussen twee taken. De ene taak leert het model de willekeurige ruis te negeren, waardoor het strikt op de werkelijke geschiedenis van de gebruiker moet vertrouwen. De andere taak zorgt ervoor dat het pad dat het model aflegt om tot zijn voorspelling te komen, vloeiend en stabiel is, wat voorkomt dat het systeem wankelt of erratisch springt terwijl het zijn gok doet.

De onderzoekers testten deze nieuwe aanpak op vijf verschillende realtime datasets, variërend van online boekrecensies tot filmbeoordelingen. Ze vergeleken hun systeem met verschillende andere krachtige modellen, inclusief modellen gebaseerd op oudere, bewezen technologieën en nieuwere generatieve methoden. De resultaten toonden aan dat hun nieuwe methode consequent de concurrentie versloeg. Op een dataset van speelgoedaankopen verbeterde het nieuwe systeem bijvoorbeeld zijn vermogen om het volgende item correct te voorspellen met meer dan 17 procent vergeleken met het vorige beste model. Het bleek ook veel betrouwbaarder te zijn bij gebruikers met zeer weinig interacties, een scenario waarin andere modellen vaak falen. Door de interne werking van het systeem te analyseren, bevestigde het team dat hun methode erin geslaagd was de afhankelijkheid van het model van willekeurige ruis te verminderen en de representaties van verschillende gebruikers duidelijk en onderscheidend te houden, in plaats van ze in elkaar te laten overvloeien.

Het succes van dit werk ligt in het vermogen om creativiteit met discipline te balanceren. De generatieve aanpak stelt het systeem in staat om nieuwe mogelijkheden te verbeelden, maar de nieuwe regularisaties fungeren als vangrails, die ervoor zorgen dat de verbeelding geworteld blijft in de werkelijke geschiedenis van de gebruiker. De onderzoekers ontdekten dat door de verbinding tussen de beginruis en het eindresultaat te minimaliseren, het model leerde om de werkelijke acties van de gebruiker meer te vertrouwen dan de willekeurige start. Evenzo, door consistentie af te dwingen tussen de stappen van het voorspellingsproces, zorgden ze ervoor dat het systeem niet verdwaalde in het midden van zijn eigen berekeningen. Deze combinatie van technieken stelde het model in staat om de schaarse en rommelige aard van realtime gegevens veel beter te verwerken dan voorheen.

Uiteindelijk biedt dit onderzoek een duidelijkere weg vooruit voor hoe computers menselijke voorkeuren begrijpen. Het demonstreert dat hoewel vertrekken vanuit willekeur een krachtige manier kan zijn om ideeën te genereren, het zorgvuldige beperkingen vereist om bruikbaar te zijn in de echte wereld. Het nieuwe systeem raadt niet alleen; het leert te onderscheiden tussen het signaal van de ware interesses van een gebruiker en de ruis van het wiskundige proces dat wordt gebruikt om die te vinden. Naarmate online interacties complexer en gevarieerder worden, zullen instrumenten zoals deze essentieel zijn om ervoor te zorgen dat aanbevelingen persoonlijk, accuraat en werkelijk nuttig blijven, zelfs wanneer de beschikbare gegevens beperkt zijn. Het werk suggereert dat de toekomst van aanbevelingssystemen niet alleen ligt in het genereren van meer gegevens, maar in het intelligenter genereren ervan, met een diep respect voor de unieke en vaak onvolledige verhalen van de mensen die zij dienen.