Social Knowledge for Cross-Domain User Preference Modeling

Dit artikel toont aan dat gebruikersvoorkeuren over verschillende domeinen heen effectief kunnen worden gemodelleerd en voorspeld door gebruikers en populaire entiteiten te projecteren in een gezamenlijke sociale inbeddingsruimte, wat leidt tot aanzienlijke verbeteringen in zero-shot personalisatie ten opzichte van populariteitsbaselines.

De kern

Stel je voor dat je net verhuisd bent naar een nieuwe stad en je wilt er snel vrienden vinden, maar je kent nog niemand. Hoe weet je wie je leuk zou vinden? Je kijkt misschien naar wie ze volgen op sociale media, welke muziek ze luisteren, of welke sportteams ze steunen.

Dit onderzoek, getiteld "Sociale Kennis voor het Modelleren van Gebruikersvoorkeuren over Verschillende Gebieden", gaat precies over dat idee, maar dan voor computers en aanbevelingssystemen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Koude Start"

Stel je voor dat je een nieuwe muziek-app downloadt. De app vraagt: "Welke artiesten vind je leuk?" Maar je hebt nog niets aangevinkt. De app is als een blinde die probeert je een cadeau te geven zonder te weten wat je leuk vindt. Dit noemen ze de "koude start".

Meestal moeten apps wachten tot je veel hebt geklikt, gekeken of gekocht voordat ze je echt begrijpen. En als je wel eens van films houdt, betekent dat niet automatisch dat de app weet wat voor auto's je leuk vindt. De kennis zit vaak vast in één vakje.

2. De Oplossing: Een Sociaal "DNA"

De onderzoekers van deze paper (van de Universiteit van Haifa en Ben-Gurion) hebben een slimme truc bedacht. Ze zeggen: "Laten we niet kijken naar wat je koopt, maar naar wie je volgt op Twitter (nu X)."

Stel je voor dat elke populaire persoon of groep op Twitter (een zanger, een politicus, een sportteam) een kleurrijk blokje is.

• Als je Justin Bieber volgt, krijg je een blauw blokje.
• Als je CNN volgt, krijg je een rood blokje.
• Als je Ferrari volgt, krijg je een rood-oranje blokje.

De onderzoekers hebben een enorme database gemaakt van miljoenen mensen op Twitter. Ze hebben ontdekt dat mensen die dezelfde blokken verzamelen, vaak ook op andere gebieden op elkaar lijken.

• Mensen die van blauwe blokken (popmuziek) houden, vinden vaak ook paarse blokken (bepaalde TV-shows) leuk.
• Mensen die van rode blokken (nieuws) houden, hebben vaak een voorkeur voor groene blokken (politieke partijen).

Ze hebben deze blokken in een virtuele ruimte geplaatst. In deze ruimte liggen blokken die vaak samen worden gevolgd, dicht bij elkaar. Dit is hun "sociale ruimte".

3. Hoe het Werkt: De "Voorkeurs-Compass"

Wanneer een nieuwe gebruiker komt, hoeven ze niet alles te vertellen. Ze hoeven maar een paar blokken (bijvoorbeeld 10 artiesten of teams) te noemen die ze leuk vinden.

De computer neemt die blokken, zet ze in de virtuele ruimte en kijkt: "Waar ligt dit gemiddelde punt?"
Vervolgens kijkt de computer naar andere blokken in de buurt.

• "Ah, deze gebruiker ligt dicht bij de 'sportfans'-hoek. Laten we hen een aanbeveling voor een nieuw sportteam geven, zelfs als ze nog nooit naar sport hebben gezocht."

Het is alsof je een kompas hebt dat niet op het noorden wijst, maar op "wat jij leuk vindt". Zelfs als je nog nooit een auto hebt gekocht, kan het kompas zeggen: "Omdat je van deze specifieke zanger houdt, vind je waarschijnlijk ook dit merk auto leuk."

4. De Resultaten: Weinig is vaak genoeg

Het mooie nieuws is dat je niet heel veel informatie nodig hebt.

• De onderzoekers ontdekten dat slechts 10 tot 12 voorbeelden (zoals 12 artiesten die je leuk vindt) al genoeg zijn om de computer slim te maken.
• De aanbevelingen werden tot 22% beter dan als de computer gewoon de "populairste" dingen aanbeveelt (zoals "de meest gekochte auto").
• Zelfs als de computer niets over je weet in een bepaald gebied (bijvoorbeeld auto's), kan hij het toch goed raden op basis van wat je van muziek of nieuws vindt.

5. De Toekomst: Gesprekken met AI

De onderzoekers hebben dit ook getest met een slimme AI (zoals GPT-4o). Ze gaven de AI een lijstje met artiesten en vroegen: "Wat zou deze persoon leuk vinden?"
De AI gaf bijna hetzelfde goede antwoord als de speciale computer van de onderzoekers. Dit betekent dat we in de toekomst misschien gewoon een gesprek kunnen voeren met een AI-assistent: "Ik vind deze 5 films en 3 sportteams leuk." En dan zegt de AI: "Oké, dan raad ik je deze nieuwe serie en dit restaurant aan."

Samenvatting in één zin

In plaats van te wachten tot je alles over je hebt verteld, gebruiken deze onderzoekers je kleine lijstje met favorieten op sociale media als een sleutel om je gehele persoonlijkheid te openen, zodat de computer je precies kan vertellen wat je leuk vindt, zelfs op gebieden waar je nog nooit over hebt nagedacht.

Let op: De onderzoekers waarschuwen wel dat dit systeem ook vooroordelen kan kopiëren. Als mensen in een bepaalde groep vaak dezelfde vooroordelen hebben, kan de computer die ook gaan aanbevelen. Het is dus belangrijk om dit slim en eerlijk te gebruiken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Social Knowledge for Cross-Domain User Preference Modeling" in het Nederlands.

Probleemstelling

Traditionele aanbevelingssystemen (recommender systems) staan voor twee fundamentele uitdagingen:

1. Cold-start probleem: Systemen hebben vaak een aanzienlijke hoeveelheid expliciete of impliciete feedback nodig om de voorkeuren van een gebruiker nauwkeurig te modelleren. Bij nieuwe gebruikers is deze data vaak afwezig.
2. Domeinspecificiteit: Gebruikersfeedback is doorgaans beperkt tot één domein (bijv. films) en generaliseert niet goed naar andere domeinen (bijv. auto's of muziek).

Hoewel gebruikersvoorkeuren vaak correleren met sociaal-demografische factoren (leeftijd, geslacht, opleiding, politieke voorkeur), missen bestaande methoden vaak de capaciteit om deze sociale signalen te benutten voor cross-domein personalisatie zonder uitgebreide interactiegeschiedenis.

Methodologie

De auteurs stellen een inductieve sociale gebruiksmodelleringsaanpak voor die gebruikmaakt van grote schaal sociale netwerkinformatie (Twitter/X).

1. Sociale Embeddings:

   • Er wordt gebruikgemaakt van vooraf getrainde, laag-dimensionale embeddings van populaire Twitter-accounts (entiteiten), geleerd van een grote steekproef van het Twitter-netwerk (ongeveer 200.000 accounts).
   • Deze embeddings zijn gebaseerd op het principe dat entiteiten die door dezelfde gebruikers worden gevolgd, sociaal semantisch dicht bij elkaar liggen in de vectorruimte (analoog aan Word2Vec voor tekst).
   • Deze ruimte vangt zowel thematische als sociaal-demografische informatie in (bijv. politieke bias of interesses).

2. Gebruikersprojectie:

   • In plaats van transductieve methoden (die specifieke gebruikers in een klein graf moeten modelleren), wordt een gebruiker $u_i$ inductief geprojecteerd in deze sociale ruimte.
   • De gebruiker wordt gerepresenteerd als het gemiddelde (bag-of-embeddings) van de vooraf getrainde embeddings van de entiteiten die de gebruiker volgt.
   • Dit resulteert in een unieke gebruiksvector die de voorkeuren en sociaal-demografische kenmerken van de gebruiker encodeert.

3. Cross-Domein Voorspelling:

   • Om voorkeuren in een doel-domein (waar de gebruiker nog geen feedback heeft gegeven) te voorspellen, wordt de cosine-afstand berekend tussen de gebruiksvector en de kandidaat-entiteiten in dat domein.
   • De entiteiten met de hoogste gelijkenis worden als meest relevant gerangschikt.

4. Experimenteel Opzet:

   • Dataset: Een aangepaste dataset van ongeveer 12.000 Twitter-gebruikers die volgen in 14 verschillende thematische domeinen (bijv. muzikanten, nieuws, sportteams, politici).
   • Taken: Link-predicatie (het voorspellen welke entiteiten een gebruiker zou volgen) en evaluatie via Mean Average Precision (MAP).
   • LLM-Integratie: Een experiment met GPT-4o waarbij de gebruiker wordt geprompt met een lijst van favoriete entiteiten om te zien of het LLM deze sociale kennis kan benutten voor personalisatie.

Belangrijkste Bijdragen

1. Effectieve Sociale Modelleringsmethode: Het aantonen dat informatie over populaire entiteiten een krachtige vorm van sociale gebruiksmodellerings is die cross-domein voorkeuren mogelijk maakt.
2. Nieuwe Dataset: De creatie en publicatie van een dataset van 12K gebruikers over 14 domeinen, specifiek ontworpen voor onderzoek naar cross-domein personalisatie.
3. LLM-toepasbaarheid: Het bewijs dat deze sociale representaties kunnen worden gebruikt om Large Language Models (LLMs) te personaliseren met minimale input (slechts een lijst van favoriete entiteiten).
4. Analyse van Sociaal-Demografische Correlaties: Het inzichtelijk maken dat de latent dimensies in sociale embeddings sterk correleren met socio-demografische factoren, wat de basis vormt voor de generalisatie van voorkeuren.

Resultaten

• Prestatieverbetering: De sociale similariteitsmethode presteert significant beter dan een sterke populariteits-baseline (rangschikking op basis van aantal volgers).
  • Er werd een verbetering van 22% in MAP (Mean Average Precision) behaald over alle categorieën gemiddeld.
  • In specifieke categorieën zoals nieuws (46,9%), TV-shows (74%) en films (81%) waren de winsten extreem hoog.
• Robuustheid bij Schaarste (Cold Start):
  • Effectieve personalisatie is mogelijk met zeer weinig input. Met slechts 10 tot 20 bekende entiteiten per gebruiker wordt al 93-96% van de maximale prestatie bereikt.
  • Zelfs in een "closed-world" scenario (waarbij alleen entiteiten uit andere domeinen worden gebruikt voor de gebruiksvector, zonder data uit het doel-domein), werd nog steeds een verbetering van 12% behaald.
• LLM Experimenten:
  • GPT-4o kon, wanneer geprompt met een lijst van 12 favoriete entiteiten, gepersonaliseerde ranglijsten genereren die 13% beter presteerden dan een niet-gepersonaliseerde baseline.
  • Bij 50 entiteiten steeg dit naar 23%.
  • Dit suggereert dat LLMs de sociale kennis die in deze entiteiten is gecodeerd, effectief kunnen benutten zonder dat ze zelf het sociale netwerk hoeven te analyseren.

Significantie en Implicaties

• Oplossing voor Cold Start: De methode biedt een praktische oplossing voor het cold-start probleem. Nieuwe gebruikers hoeven slechts een klein aantal bekende interesses (entiteiten) op te geven om een nauwkeurig profiel te krijgen dat werkt over verschillende domeinen heen.
• Sociale Bias: De auteurs wijzen erop dat hoewel deze methoden effectief zijn, ze ook sociale biases en stereotypen kunnen versterken, aangezien de embeddings socio-demografische patronen (zoals geslacht, ras en politieke voorkeur) coderen. Dit vereist ethische aandacht bij implementatie.
• Toekomst voor LLMs: Het onderzoek opent nieuwe wegen voor het personaliseren van conversatie-agenten en LLM-toepassingen. In plaats van complexe dialogen of lange geschiedenis, kan een simpele lijst van "dingen die ik leuk vind" dienen als een krachtige context voor personalisatie.

Kortom, het artikel bewijst dat sociale netwerkinformatie een rijke bron is voor het modelleren van gebruikersvoorkeuren, en dat deze kennis kan worden overgedragen naar nieuwe domeinen en zelfs naar generatieve AI-modellen met minimale input.