Adaptive Hybrid Collaborative Filtering via Incremental Retraining

Stel je voor dat je een enorme bibliotheek binnenloopt waar de planken zich in alle richtingen eindeloos uitstrekken en miljoenen boeken bevatten die je nog nooit hebt gezien. Je wilt een verhaal vinden waar je van zult houden, maar je weet niet waar je moet beginnen. In de digitale wereld is deze bibliotheek het internet, en de boeken zijn films, liedjes en producten. Om ons te helpen navigeren door deze overweldigende overvloed, vertrouwen we op aanbevelingssystemen. Dit zijn de digitale gidsen die suggereren wat je als volgende kunt bekijken of kopen. Jarenlang hebben deze gidsen goed gewerkt, maar ze werken vaak als een bibliothecaris die zijn kennis slechts één keer per maand bijwerkt. Als je plotseling besluit om over te schakelen van het kijken van actiefilms naar historische documentaires, merkt de bibliothecaris dit misschien pas weken later op, waardoor je suggesties krijgt die niet langer passen bij je smaak. Deze vertraging ontstaat omdat veel systemen vertrouwen op zware, trage berekeningen die vereisen dat hun volledige begrip van jou vanaf nul wordt opgebouwd telkens wanneer ze iets nieuws willen leren.

Een onderzoeker genaamd Robert Agboyi van de Ho Technical University heeft een andere manier voorgesteld om deze gidsen te bouwen. Zijn werk richt zich op een methode genaamd Adaptive Hybrid Collaborative Filtering, een systeem dat is ontworpen om in realtime van je te leren zonder de zware last van constante, totale reconstructie. Om te begrijpen hoe dit werkt, helpt het om naar de drie hoofdinstrumenten te kijken die het systeem gebruikt. Ten eerste kijkt het naar wat jij en anderen hebben beoordeeld, waarbij het verborgen patronen in die keuzes vindt om te raden wat je als volgende leuk zou kunnen vinden. Ten tweede leest het de tekstuele beschrijvingen van de items, zoals filmgenres of tags, om de thema's en verhalen erachter te begrijpen. Ten derde, en het belangrijkste, groepeert het vergelijkbare items en gebruikers samen in clusters, zoals het sorteren van boeken in stapels op basis van gedeelde kenmerken. De innovatie hier is niet alleen het gebruik van deze instrumenten, maar ook de manier waarop ze worden gecombineerd. In plaats van te wachten tot de hele bibliotheek opnieuw wordt gesorteerd wanneer er een nieuw boek arriveert, heeft dit systeem een mechanisme dat de stapels voorzichtig kan verschuiven naarmate er nieuwe informatie binnenkomt, waardoor de aanbevelingen direct worden bijgewerkt.

De studie test deze aanpak met enorme collecties filmgegevens, inclusief sets met 100.000, één miljoen en twintig miljoen beoordelingen. De onderzoekers bouwden een model dat eerst de basisstructuur van gebruikersvoorkeuren en item-overeenkomsten leert gebruiken met behulp van een grote batch historische gegevens. Dit is de offline fase, waarin het systeem een solide fundament legt. De echte test komt echter wanneer een gebruiker begint te interageren met het systeem. Terwijl een persoon enkele films beoordeelt, stopt het systeem niet om alles opnieuw te trainen. In plaats daarvan gebruikt het een streamingproces om de bestaande groepen aan te passen. Als een gebruiker die meestal van komedies houdt plotseling een drama hoog beoordeelt, kan het systeem de grenzen van de groepen een zetje geven om deze verandering onmiddellijk te weerspiegelen. Dit stelt het systeem in staat om zich aan te passen aan veranderende interesses, zoals een kijker die van gedachten verandert tijdens een vakantieperiode of een belangrijke gebeurtenis, zonder het dure en trage proces van het volledig herbouwen van het model.

De resultaten van dit experiment laten zien dat de nieuwe methode zeer effectief is in het balanceren van snelheid en nauwkeurigheid. Wanneer het werd getest tegen standaardmethoden, bereikte het adaptieve systeem een voorspellingsnauwkeurigheid die in veel gevallen net zo goed, zo niet beter, was. Belangrijker nog is dat het de tijd die nodig is om het model bij te werken met ongeveer de helft verminderde. In een wereld waar de interesses van gebruikers in een oogwenk kunnen veranderen, is deze tijdsreductie aanzienlijk. Het systeem bewees in staat te zijn grote hoeveelheden gegevens te verwerken, waarbij het opschaalde van kleinere datasets naar de enorme set van twintig miljoen beoordelingen zonder zijn vermogen om snelle aanpassingen te maken te verliezen. Het loste ook succesvol het "cold start"-probleem op, wat de moeilijkheid is om aanbevelingen te doen voor nieuwe gebruikers of nieuwe items die zeer weinig geschiedenis hebben. Door de tekstgebaseerde verstand van de items te combineren met de groepering van vergelijkbare gebruikers, kon het systeem zelfs wanneer het slechts over zeer weinig beoordelingen beschikte, zinvolle suggesties doen.

Hoewel de bevindingen veelbelovend zijn, merken de onderzoekers er voorzichtig bij op dat dit een simulatie is gebaseerd op bestaande gegevens, en geen live implementatie in een echte app. Het systeem is nog niet getest in een live omgeving waar gebruikersgedrag rommeliger of minder voorspelbaar kan zijn dan in een gecontroleerde dataset. Bovendien vertrouwt het model op gevestigde machine learning-technieken in plaats van de nieuwste, meest complexe AI-methoden. Deze keuze was bewust, met als doel een systeem te creëren dat efficiënt en gemakkelijk te begrijpen is, in plaats van een 'black box'. De studie suggereert dat door te focussen op hoe je bestaande kennis incrementeel kunt bijwerken, in plaats van constant opnieuw te beginnen, we aanbevelingsmotoren kunnen bouwen die zowel slimmer als sneller zijn. Deze aanpak biedt een praktisch pad vooruit voor digitale platforms die relevant willen blijven voor hun gebruikers zonder excessief veel rekenkracht te verbruiken.