HORIZON: A Benchmark for In-the-wild User Behaviour Modeling

Probleemstelling

Bestaande benchmarks voor gebruikersmodellering en sequentiële aanbeveling zijn te beperkt en realiseren zich niet de complexiteit van gebruikersgedrag in de echte wereld. De huidige stand van zaken heeft de volgende tekortkomingen:

• Enkele domeinen: De meeste benchmarks (zoals MovieLens of gesegmenteerde Amazon-datasets) focussen op één specifiek domein (bijv. alleen films of alleen boeken). In de praktijk interageren gebruikers echter over meerdere domeinen heen.
• Korte tijdsperiodes: Evaluaties zijn vaak beperkt tot korte sessies of voorspellen het "volgende item" binnen een smalle tijdsvenster. Dit negeert lange-termijn afhankelijkheden en de evolutie van gebruikersvoorkeuren over jaren.
• Onrealistische evaluatieprotocollen: Traditionele methoden zoals "Leave-One-Out" of ratio-gebaseerde splitsingen leiden vaak tot data-lekkage (toekomstige data in de trainingsset) en evalueren modellen voornamelijk binnen dezelfde verdeling als de training (in-distribution). Ze testen niet hoe goed modellen generaliseren naar onbekende gebruikers (out-of-distribution) of naar toekomstige tijdsperiodes.
• Gebrek aan open source: Veel grote, diverse datasets (zoals die van Pinterest of Snapchat) zijn proprietair, wat reproduceerbaarheid en open onderzoek beperkt.

Methodologie: Het HORIZON Benchmark

Om deze lacunes op te vullen, stellen de auteurs HORIZON voor, een nieuw, volledig open-source benchmark dat is opgebouwd door de Amazon Reviews 2023-dataset te herformuleren.

1. Dataset Constructie:

• Unificatie: In plaats van categorieën te scheiden, worden alle interacties over 33 verschillende productcategorieën samengevoegd tot één uniforme gebruikersgeschiedenis.
• Schaal: De dataset omvat ongeveer 54,5 miljoen gebruikers en 34,5 miljoen unieke items, met bijna 486 miljoen interacties.
• Tijdsdimensie: De data beslaat een lange periode (1996–2023), met een specifieke focus op lange-termijn patronen.

2. Evaluatie Framework (De drie assen):
HORIZON introduceert een gestructureerde evaluatie die generalisatie ontvlecht langs drie dimensies:

• Gebruiker: Seen (in de trainingsdata) vs. Unseen (Out-of-Distribution / OOD).
• Tijd: Temporaal uitgelijnd (binnen de trainingsperiode) vs. Temporaal extrapolatie (na een vaste tijdsdrempel $\tau = 2020$).
• Domein: Cross-domain interacties in plaats van gescheiden domeinen.

Dit resulteert in vier specifieke evaluatiescenario's voor Taak 1:

1. In-Distribution, Temporally Aligned: Standaard "Leave-One-Out" binnen de trainingsperiode.
2. In-Distribution, Temporal Extrapolation: Voorspellen van items na 2020 voor bekende gebruikers.
3. OOD-User, Temporally Aligned: Voorspellen voor volledig nieuwe gebruikers binnen de trainingsperiode.
4. OOD-User, Temporal Extrapolation: De meest uitdagende setting: voorspellen voor nieuwe gebruikers in de toekomst (na 2020).

3. Opdrachten (Tasks):

• Taak 1: Traditionele Next-Item Aanbeveling (gebaseerd op ID's).
• Taak 2: LLM-gebaseerde Query Reformulering. Een LLM genereert 10 zoekopdrachten op basis van de gebruikersgeschiedenis, die worden gebruikt om items op te halen via een vector-index (BLAIR encoder + FAISS).
• Taak 3: LLM-gebaseerde Lange-Termijn Modelleren. De LLM genereert natuurlijke taalbeschrijvingen van de volgende 10 items die een gebruiker waarschijnlijk zal kopen, om langetermijntrends te modelleren.

Belangrijkste Bijdragen

1. Eerste Open-Source Benchmark: HORIZON is de eerste volledig open-source benchmark die sequentiële aanbevelingsmodellen evalueert onder realistische cross-domain en lange-horizon omstandigheden.
2. Gestructureerd Evaluatiekader: Het introduceert een protocol dat generalisatie naar onbekende gebruikers en toekomstige tijdsperiodes expliciet meet, in plaats van alleen in-distribution nauwkeurigheid.
3. Empirisch Onderzoek: Een uitgebreide studie van populaire modellen (GRU4Rec, SASRec, BERT4Rec, CORE) en Large Language Models (LLMs), waarbij nieuwe inzichten worden gewonnen over de beperkingen van huidige methoden.

Resultaten

De experimentele resultaten tonen significante verschillen tussen traditionele benchmarks en de realiteit van HORIZON:

• Prestatiedaling bij Generalisatie: Modellen die uitstekend presteren in traditionele "in-distribution" settings (zoals BERT4Rec en SASRec), vertonen een drastische prestatiedaling bij Out-of-Distribution (OOD) gebruikers en temporale extrapolatie.
  • Bijvoorbeeld: BERT4Rec behaalt hoge scores in Taak 1a, maar de prestaties dalen sterk bij Taak 1d (OOD + Extrapolatie).
• Tijdsdrift is kritiek: Modellen struggle om zich aan te passen aan items die na de trainingsperiode verschijnen (nieuwe merken, trends), wat wijst op een gebrek aan semantisch begrip in ID-gebaseerde modellen.
• LLM-prestaties:
  • LLMs (zoals LLaMA-3.1, Qwen3, Gemma2) presteren niet consistent beter dan gespecialiseerde architecturen voor sequentiële aanbeveling.
  • Bij Taak 2 (Query Reformulering) en Taak 3 (Lange-termijn voorspelling) zijn de Recall-metrics laag, wat aangeeft dat het genereren van de juiste items via natuurlijke taal nog een uitdaging is.
  • Fine-tuning vs. Zero-shot: Het fine-tunen van LLMs leverde geen significante verbetering op ten opzichte van zero-shot benaderingen, wat suggereert dat de huidige trainingsparadigma's voor generatieve modellen niet optimaal zijn voor lange-tail aanbevelingsproblemen.
• Architectuurverschillen: Attention-gebaseerde modellen (SASRec, BERT4Rec) presteren over het algemeen beter dan RNN-gebaseerde modellen (GRU4Rec), vooral bij het modelleren van lange afhankelijkheden, maar zelfs deze modellen bereiken geen robuuste generalisatie in de meest uitdagende settings.

Betekenis en Impact

Het paper "HORIZON" is van groot belang voor het onderzoeksveld omdat het:

• De kloof tussen theorie en praktijk blootlegt: Het toont aan dat hoge scores op bestaande benchmarks niet garanderen dat een model robuust is in de echte wereld, waar gebruikersgedrag dynamisch, cross-domain en langdurig is.
• Standaardiseert realistische evaluatie: Het dwingt onderzoekers om generalisatie naar onbekende gebruikers en toekomstige tijdsperiodes te meten, wat essentieel is voor proactieve aanbevelingssystemen en voorraadplanning.
• Richt de toekomst: Het benadrukt de noodzaak van modellen die semantisch begrip combineren met sequentiële patronen, en suggereert dat pure ID-gebaseerde modellen onvoldoende zijn voor de volgende generatie personalisatie.

Kortom, HORIZON biedt een fundamentele basis voor het ontwikkelen van temporaal robuuste, cross-domain en algemene gebruikersmodellen, en zet de standaard voor toekomstig onderzoek in personalisatie.