HPG-Rec: Hybrid Popularity-Guided Recommendation with Large Language Models

Technische Samenvatting: HPG-Rec

Probleemstelling

Recommendersystemen worden geconfronteerd met hardnekkige uitdagingen, waaronder extreme datasparsiteit, het cold-start probleem (waarbij gebruikers of items een gebrek hebben aan interactiegeschiedenis) en de semantische kloof tussen geobserveerde interactiesignalen en de werkelijke gebruikersintentie. Traditionele collaborative filtering (bijv. matrix factorisatie, NeuMF) leunt zwaar op co-occurrence statistieken, wat faalt wanneer interacties zeldzaam zijn. Sequentiële modellen (bijv. SASRec, BERT4Rec) vereisen lange interactiegeschiedenissen om temporele dynamiek te vangen, wat hun nut beperkt voor gebruikers met sparse data. Content-gebaseerde methoden bieden semantische generalisatie, maar missen de collaboratieve signalen die nodig zijn voor fijnmazige personalisatie.

Hoewel Large Language Models (LLMs) over sterke semantische redeneervaardigheden beschikken, lijden huidige LLM-gebaseerde recommenders onder significante beperkingen:

1. Computationele kosten: Ze vereisen vaak dure fine-tuning van miljarden parameters tellende modellen.
2. Verlies van ranginformatie: Veel benaderingen reduceren door de LLM gegenereerde kandidaatlijsten tot binaire indicatoren of embedding vectoren, waardoor de inherente rangorde die waardevolle relevantiesignalen bevat, verloren gaat.
3. Schaalbaarheid: Inference-only pipelines negeren vaak collaboratieve signalen, terwijl gefinetunede modellen worstelen met real-time inference latentie en kosten.
4. Integratiekloven: Bestaande hybride systemen combineren doorgaans maxima tal van twee signaaltypen of gebruiken lineaire aggregatie, waardoor ze niet in staat zijn om de niet-lineaire interacties tussen collaboratieve, sequentiële, semantische en populariteitsgebaseerde signalen te vangen.

Methodologie: HPG-Rec Framework

De auteurs stellen HPG-Rec voor (Hybrid Popularity-Guided Recommendation with Large Language Models), een training-vrij, hybride framework ontworpen om vier verschillende signaalbronnen te integreren in één enkele architectuur zonder de onderliggende LLM te finetunen.

1. Kerncomponenten

• Gecontroleerde LLM Kandidaatgeneratie: Het framework maakt gebruik van een pre-trained LLM (bijv. LLaMA2) in een zero-shot setting om een gerangschikte lijst van kandidaat-items te genereren op basis van de gebruikersgeschiedenis. Om schaalbaarheid en consistentie te waarborgen, worden expliciete beperkingen opgelegd:
  • De grootte van de kandidaatset is begrensd (bijv. $|Cand_u| \le 50$).
  • De prompt dwingt een strikte formattering af (alleen itemnamen, geen duplicaten, geen eerder geïnteracteerde items).
  • Een fallback-mechanisme (fuzzy matching, popularity filling) zorgt ervoor dat de kandidaatlijst compleet is.
• Rangbewuste Semantische Scoring: In plaats van de LLM-outputs om te zetten in binaire relevantieflags, behoudt HPG-Rec de ordeningsinformatie. Een logaritmische vervalfunctie wijst scores toe op basis van de rangpositie $r$ van een item in de LLM-output:
  $$s_{llm}(u, i) = \frac{1}{\log_2(rank_u(i) + 1)}$$
  Dit zorgt ervoor dat hoger gerangschikte items aanzienlijk hogere scores krijgen, waardoor de marginale nut van topposities wordt gevangen.
• Duale Populariteitsmodellering: Om zowel de sparsity als de cold-start scenario's aan te pakken, incorporeert het model twee populariteitssignalen:
  • Lokale Populariteit: Berekend als de ratio van gebruikers die met een item interageren binnen de specifieke dataset.
  • Globale Populariteit: Een prior gebaseerd op itemratings (of een standaardwaarde van 0,5 als deze niet beschikbaar is), wat een baseline biedt voor items met geen lokale geschiedenis.
• Niet-Lineaire MLP Fusie: Een Multilayer Perceptron (MLP) fungeert als de fusie-engine. Deze neemt een feature vector die bestaat uit lokale populariteit, globale populariteit, content-gebaseerde semantische gelijkenis (via Sentence-BERT) en de rangbewuste LLM-score. De MLP leert niet-lineaire gewichten om deze heterogene signalen contextueel te combineren, in plaats van te vertrouwen op lineaire aggregatie.

2. Gebruikers- en Itemrepresentatie

• Gebruikers: Worden gerepresenteerd door een combinatie van statische voorkeuren (mean pooling van historische item embeddings) en sequentiële dynamiek (GRU-gebaseerde encoding van de interactiesequentie).
• Items: Worden gerepresenteerd door collaboratieve embeddings en semantische embeddings (Sentence-BERT).

3. Trainingsstrategie

Het framework wordt geoptimaliseerd met behulp van Bayesian Personalized Ranking (BPR) loss op impliciete feedback data.

• Negative Sampling: Een hybride strategie wordt toegepast waarbij 50% van de negatieve samples wordt getrokken uit globaal populaire items (om populariteitsbias te voorkomen) en 50% willekeurig wordt gesampled.
• Efficiëntie: De LLM wordt niet gefinetuned. Alleen de lichtgewicht embedding lagen en de fusie MLP worden getraind, wat de computationele overhead aanzienlijk vermindert vergeleken met end-to-end LLM training.

Belangrijkste Bijdragen

1. Training-vrije LLM Integratie: HPG-Rec demonstreert dat LLMs effectief kunnen worden geïntegreerd in recommendersystemen zonder fine-tuning, door ze uitsluitend te gebruiken voor semantische kandidaatgeneratie en ranking.
2. Rangbehoud: Het paper introduceert een nieuw rangbewust scoringsmechanisme dat expliciet de ordeningsinformatie gegenereerd door LLMs gebruikt, waarmee een kritiek gat wordt gedicht waar vorige methoden dit signaal lieten vallen.
3. Hybride Niet-Lineaire Fusie: In tegenstelling tot lineaire aggregatiemethoden gebruikt HPG-Rec een MLP om complexe, niet-lineaire interacties tussen collaboratieve, semantische en populariteitssignalen te leren.
4. Duale Populariteitsmodellering: Het framework handelt zowel sparse data regimes als cold-start scenario's effectief af door onderscheid te maken tussen lokale datasettrends en globale priors.

Experimentele Resultaten

Experimenten werden uitgevoerd op de MovieLens-1M dataset (matig dicht, ~95,5% sparsity) en andere regimes (sparse/cold-start).

• Prestaties: HPG-Rec presteerde beter dan state-of-the-art baselines, inclusief collaborative filtering modellen (BPR-MF, NeuMF), sequentiële modellen (SASRec, BERT4Rec) en LLM-gebaseerde methoden (LLM2Rec, GPT-4 zero-shot).
  • Op MovieLens-1M behaalde HPG-Rec een verbetering van 7,0% in Hit Rate@10 en een verbetering van 7,7% in NDCG@10 ten opzichte van de beste baseline (LLM2Rec).
• Ablatie-studies: Het verwijderen van individuele componenten bevestigde hun noodzaak:
  • Het verwijderen van de LLM-module veroorzaakte een ~9,6% daling in HR@10.
  • Het vervangen van rank-aware scoring door binaire indicatoren resulteerde in een ~4,0% daling.
  • Het vervangen van de niet-lineaire MLP door een lineair model veroorzaakte een ~6,6% daling.
  • Het verwijderen van populariteitssignalen of geschiedenis-gebaseerde gelijkenis leidde eveneens tot significante prestatiedegradatie.
• Robuustheid: Het framework toonde consistente winsten over sparse, cold-start en dense regimes, wat het vermogen bewijst om te generaliseren zonder dataset-specifieke tuning.

Betekenis en Claims

Het paper claimt dat HPG-Rec een nieuw paradigma vertegenwoordigt voor LLM-gestuurde aanbevelingssystemen. De betekenis ligt in het bereiken van een balans tussen nauwkeurigheid, efficiëntie en robuustheid:

• Het lost het multi-source integratie probleem op door collaboratieve, semantische en populariteitssignalen te verenigen in één enkele niet-lineaire architectuur.
• Het adresseert het rangbehoud probleem, en demonstreert dat de ordening van LLMs een waardevol signaal is dat niet genegeerd mag worden.
• Het biedt computationele efficiëntie door het vermijden van de fine-tuning van massieve modellen, wat praktische implementatie mogelijk maakt.
• Het biedt cross-regime robuustheid, door goed te presteren in zowel data-arme als data-rijke omgevingen zonder afhankelijk te zijn van cross-domein kennisbanken.

De auteurs concluderen dat hoewel er beperkingen bestaan (zoals de afhankelijkheid van item metadata voor semantische embeddings en het gebrek aan graph-gebaseerde modellering), HPG-Rec een levensvatbare, effectieve en schaalbare oplossing biedt voor moderne aanbevelingsuitdagingen.