Combating data scarcity in recommendation services: Integrating cognitive types of VARK and neural network technologies (LLM)

Dit onderzoek presenteert een hybride raamwerk dat Large Language Models en VARK-cognitieve profielen integreert om het koude-startprobleem in aanbevelingssystemen op te lossen door semantische verrijking en gepersonaliseerde, cognitief afgestemde interfaces te bieden.

De kern

Stel je voor dat je net in een enorme, onbekende bibliotheek bent gekomen. Je hebt geen idee wat je leuk vindt, je hebt nog nooit een boek gelezen in deze bibliotheek, en de bibliothecaris (het systeem) kent je ook niet. Wat doet de bibliothecaris dan?

In de meeste gevallen zegt hij: "Ah, iedereen leest deze drie boeken, dus die moet je ook proberen." Dat is wat we populaire aanbevelingen noemen. Het werkt vaak, maar het is saai en niet persoonlijk.

Dit onderzoek van Nikita Zmanovskii probeert een slimme oplossing te vinden voor dit probleem, dat we de "koude start" noemen (wanneer een systeem geen gegevens over jou heeft). Hij combineert drie krachtige tools tot één slimme aanpak:

1. De Superleesmachine (LLM)

Stel je voor dat de bibliothecaris niet alleen de titel van een boek leest, maar het hele verhaal, de sfeer en de moeilijke woorden begrijpt.

• Hoe het werkt: De computer gebruikt een Grote Taalmodel (LLM) (zoals een zeer slimme AI) om saaie, korte beschrijvingen van films of producten om te zetten in rijke, gedetailleerde verhalen.
• De analogie: In plaats van alleen te weten dat een film "actie" is, begrijpt de AI dat het een film is met "visuele explosies, complexe thema's en een verhaal dat je laat nadenken." Zo heeft het systeem veel meer informatie om op te baseren, zelfs als er nog geen mensen zijn die de film hebben beoordeeld.

2. De Leerstijl-Test (VARK)

Niet iedereen leert of consumeert informatie op dezelfde manier. Sommigen zijn visueel (ze willen plaatjes zien), anderen horen graag (audioboeken), anderen lezen graag (tekst) en sommigen willen het zelf doen (interactief). Dit noemen we VARK.

• Hoe het werkt: Het systeem vraagt je direct bij het begin een korte test: "Hoe leer je het beste?"
• De analogie: Stel je voor dat je een cadeau krijgt. Als je iemand bent die graag luistert, krijg je geen boek, maar een audioboek. Als je iemand bent die graag doet, krijg je een bouwpakket. Dit systeem past de manier waarop het je iets aanbeveelt aan op jouw persoonlijkheid. Wil je een visuele film? Dan krijg je een aanbeveling met veel plaatjes en video's. Wil je tekst? Dan krijg je een uitgebreide uitleg.

3. De Sfeer-Check (Cognitieve Staat)

Soms ben je moe, soms ben je energiek. Soms heb je 5 minuten tijd, soms een uur.

• Hoe het werkt: Het systeem kijkt naar de context: "Is het laat in de avond? Is de gebruiker op een mobiel (vaak kortere aandacht)? Is de gebruiker moe?"
• De analogie: Als je moe bent na een lange werkdag, wil je geen zware, complexe filosofische film. Je wilt iets lichts en grappigs. Het systeem past de "zwaarte" van de aanbeveling aan aan je huidige energielevel.

Hoe werkt het samen? (De Magische Bibliotheek)

Het systeem bouwt een levendige kaart (een Kennisgraf) van alle films en boeken.

1. De Superleesmachine vult de kaart met details.
2. De Leerstijl-Test zorgt dat je een persoonlijke route krijgt op die kaart.
3. De Sfeer-Check zorgt dat de route niet te steil is als je moe bent.

Zelfs als je nog nooit iets hebt bekeken, kan het systeem zeggen: "Omdat je graag visuele dingen ziet, omdat je nu moe bent, en omdat deze film visueel prachtig is maar niet te zwaar, is dit een perfecte keuze voor jou."

Wat zegt het onderzoek?

De auteur heeft dit systeem getest op een grote database van films.

• Het verrassende resultaat: Een simpele lijst met "de populairste films" deed het op papier nog steeds iets beter in termen van "hit rate" (hoe vaak werd de film bekeken?). Waarom? Omdat nieuwe mensen vaak gewoon naar de bekende, populaire films kijken.
• De echte winst: Hoewel de cijfers niet perfect waren, was het systeem wel veel persoonlijker. Het gaf unieke suggesties voor elke gebruiker (niet iedereen kreeg dezelfde lijst) en gaf prachtige, begrijpelijke uitleg waarom iets een goede keuze was.

Conclusie

Dit onderzoek is als het bouwen van een slimme gids die niet alleen weet wat er in de winkel ligt, maar ook weet wie jij bent, hoe je leert, en hoe je je voelt. Het is een stap in de richting van een systeem dat je niet alleen iets verkoopt, maar een ervaring creëert die echt bij jou past, zelfs op het moment dat je nog niets over je hebt verteld.

Het is de droom van een aanbevelingssysteem dat niet alleen "slim" is, maar ook "menselijk".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Combating data scarcity in recommendation services: Integrating cognitive types of VARK and neural network technologies (LLM)" in het Nederlands.

Probleemstelling: De Cold Start Uitdaging

Het paper adresseert het fundamentele probleem van de "cold start" in aanbevelingssystemen. Dit treedt op wanneer systemen geconfronteerd worden met:

1. Nieuwe gebruikers zonder interactiegeschiedenis.
2. Nieuwe items met weinig of geen metadata/ratingen.
3. Nieuwe platformen zonder verzamelde data.

Traditionele methoden zoals collaboratieve filtering falen hier omdat ze afhankelijk zijn van historische patronen. Bestaande alternatieven (content-based filtering, demografische methoden, kennisgebaseerde systemen) hebben beperkingen: ze vereisen vaak rijke metadata, genereren homogene aanbevelingen, of missen de nuance van individuele voorkeuren. Cruciaal wordt erop gewezen dat huidige systemen cognitieve verschillen (hoe gebruikers informatie verwerken) en temporele cognitieve toestanden (moeheid, tijdsdruk) negeren, wat leidt tot een gebrek aan persoonlijke relevantie bij de eerste interactie.

Methodologie: Een Hybride Architectuur

De auteurs stellen een innovatief hybride raamwerk voor dat drie technologieën combineert: Large Language Models (LLM), Kennisgrafieken (Knowledge Graphs) en Cognitieve Modellering (VARK). Het systeem bestaat uit zes geïntegreerde modules die in een continue cyclus werken:

1. Semantische Verrijking via LLM:

   • LLM's (zoals GPT-3.5) transformeren onvolledige, gestructureerde metadata in rijke semantische profielen.
   • Het systeem extraheert entiteiten, relaties, complexiteitsniveaus, prerequisieten en doelgroepen.
   • Er wordt een VARK-uitlijning gegenereerd (Visual, Auditory, Reading/Writing, Kinesthetic) om te bepalen welke presentatievorm het beste past bij het item.

2. Dynamische Kennisgrafiek Constructie:

   • De verrijkte profielen worden omgezet in een multi-relational kennisgrafiek ($G = (V, E)$).
   • De grafiek bevat knopen voor items, entiteiten en gebruikers, met gelabelde randen voor relaties.
   • Dit maakt complexe semantische redenering mogelijk, zelfs bij schaarse data, en wordt dynamisch bijgewerkt op basis van interacties.

3. VARK-gebaseerde Gebruikersprofilering:

   • Nieuwe gebruikers vullen een korte VARK-vragenlijst in om hun dominante leerstijl te bepalen.
   • Het gebruikersprofiel ($P_u$) bevat demografische data, gebruikdoelen, het VARK-scorevector en een leerbare embedding.

4. Cognitieve Toestandsmodellering:

   • Het systeem schat de huidige mentale staat van de gebruiker in op basis van context (tijdstip, apparaat, sessieduur).
   • Er worden parameters geschat zoals Cognitieve Lastcapaciteit, Aandachtsspanne, Voorkeur voor Complexiteit en de Optimale Presentatiemodus.

5. Retrieval en Ranking:

   • Retrieval: Een hybride strategie combineert semantische gelijkenis, entiteit-gebaseerde zoekopdrachten, VARK-filtering en cognitieve status-filtering om een kandidaatpool te genereren.
   • Ranking: Een LLM rangschikt de kandidaten op basis van relevantie, VARK-uitlijning en diversiteit. Als fallback wordt een cross-encoder model gebruikt voor efficiëntie.

6. Adaptieve Presentatie en Leren:

   • Aanbevelingen worden gepresenteerd in een formaat dat aansluit bij de VARK-preferentie en cognitieve staat (bijv. visuele learners krijgen meer afbeeldingen; lage capaciteit vereist minder informatie).
   • Het systeem genereert natuurlijke taalverklaringen voor elke aanbeveling.
   • Feedback (impliciet en expliciet) wordt gebruikt om de grafiek, embeddings en cognitieve modellen continu te verfijnen.

Belangrijkste Bijdragen

• Integratie van Psychologie en AI: De eerste systematische integratie van het VARK-leerstijlmodel en dynamische cognitieve toestandsmodellering in een cold-start aanbevelingsframework.
• Semantische Verrijking: Het gebruik van LLM's om ruwe metadata om te zetten in diepgaande, gestructureerde kennis die de "koudstart" van items overbrugt.
• Adaptieve Interface: Een systeem dat niet alleen wat te aanbevelen bepaalt, maar ook hoe het moet worden gepresenteerd op basis van de cognitieve staat van de gebruiker.
• Uitlegbaarheid: Het genereren van natuurlijke taalverklaringen die de redenering achter een aanbeveling transparant maken, wat vertrouwen bouwt bij nieuwe gebruikers.

Resultaten en Analyse

De methode werd gevalideerd op het MovieLens-1M dataset, waarbij gebruikers en items werden gesimuleerd als "cold start" (geen interactiegeschiedenis).

• Prestaties: De voorgestelde methode presteerde minder goed op traditionele nauwkeurigheidsmetrieken (HR@10, nDCG@10) dan een simpele populariteits-baseline. De populariteitsmethode leverde de hoogste scores (HR@10 ≈ 0.268) omdat nieuwe gebruikers in de dataset vaak populaire films zochten.
• Kandidaatgeneratie: De lage recall-waarden wijzen erop dat het genereren van een relevante kandidaatpool vanuit zeer beperkte metadata (zonder interactiegeschiedenis) nog een grote uitdaging is. De rangschikking (ranking) kon niet optimaal presteren omdat de juiste items vaak niet in de kandidatenpool zaten.
• Kwalitatieve Succes: Ondanks de lagere numerieke scores, toonde het systeem aanzienlijke diversiteit en personalisatie in de top-1 aanbevelingen (3-4 unieke items vs. 1 voor populariteit).
• Kwaliteit van Uitleg: Kwalitatieve analyse toonde aan dat 87% van de gegenereerde uitleg de gebruikersprofielen correct refereerde en 92% de leerstijl-uitlijning expliciet noemde. De systemen waren in staat om overtuigende, gepersonaliseerde redenen te geven.

Betekenis en Conclusie

Het paper concludeert dat hoewel pure nauwkeurigheid op traditionele benchmarks in extreme cold-start scenario's nog moeilijk te bereiken is (waar populariteit vaak de beste "veilige" gok blijft), de voorgestelde architectuur een cruciale stap voorwaarts is voor kennisbewuste aanbevelingssystemen.

De belangrijkste waarde ligt in:

1. Het vermogen om semantisch rijke aanbevelingen te doen zonder data.
2. Het bieden van psychologisch onderbouwde ervaringen die rekening houden met hoe mensen informatie verwerken.
3. Het creëren van vertrouwen door transparante, aanpasbare uitleg.

De auteurs benadrukken dat toekomstig werk moet focussen op het verbeteren van de kandidaatgeneratie (om de recall te verhogen), het verminderen van de computatiekosten van LLM's, en het valideren van het systeem in domeinen waar cognitieve aanpassing kritiek is, zoals onderwijs en gezondheidszorg, in plaats van alleen entertainment.