HORIZON: A Benchmark for In-the-wild User Behaviour Modeling

1. Il Problema

L'articolo identifica una serie di limitazioni critiche negli attuali benchmark per la modellazione del comportamento degli utenti e i sistemi di raccomandazione sequenziale:

• Dominio Singolo e Sessioni Brevi: La maggior parte dei benchmark esistenti (es. MovieLens, Amazon Reviews segmentato per categoria) si concentra su domini unici e finestre temporali brevi, fallendo nel catturare la natura cross-domain e a lungo termine del comportamento reale degli utenti.
• Valutazione Non Realistica: Le protocolli di valutazione tradizionali (come Leave-One-Out o split basati su rapporti temporali) spesso causano "fughe di dati" (data leakage) temporali e non testano la capacità del modello di generalizzare su utenti mai visti (out-of-distribution o OOD) o su periodi temporali futuri distanti.
• Mancanza di Generalizzazione: I modelli attuali sono spesso ottimizzati per la previsione del "prossimo item" all'interno dello stesso dominio e distribuzione di addestramento, risultando fragili quando affrontano cambiamenti temporali, nuovi utenti o transizioni tra categorie di prodotti diverse.

2. Metodologia: Il Benchmark HORIZON

Gli autori introducono HORIZON, un nuovo benchmark open-source su larga scala progettato per colmare il divario tra ricerca e scenari reali.

• Costruzione del Dataset:

  • HORIZON è derivato dalla riformulazione del dataset Amazon Reviews 2023.
  • A differenza delle versioni precedenti che isolano le interazioni per categoria, HORIZON unifica tutte le 33 categorie in un'unica cronologia di interazione per utente.
  • Scala: Copre 54,5 milioni di utenti e 34,5 milioni di item, con circa 486 milioni di interazioni.
  • Diversità: Gli utenti interagiscono con una media di 6 domini diversi, creando storie utente eterogenee e cross-domain.

• Nuovo Protocollo di Valutazione:
  Il benchmark introduce una valutazione multiasse che disgiunge la generalizzazione temporale da quella relativa all'identità dell'utente. Utilizzando un taglio temporale fisso ($\tau = 2020$), definisce quattro scenari di valutazione:

  1. In-Distribution (ID), Temporally Aligned: Previsione del prossimo item per utenti noti, prima del taglio temporale (simile al Leave-One-Out classico ma temporale).
  2. In-Distribution, Temporal Extrapolation: Previsione per utenti noti dopo il taglio temporale (test di adattamento temporale).
  3. Out-of-Distribution (OOD) User, Temporally Aligned: Previsione per nuovi utenti (mai visti in training) prima del taglio temporale.
  4. OOD User, Temporal Extrapolation: Il caso più difficile: previsione per nuovi utenti dopo il taglio temporale (test di generalizzazione su identità e tempo simultaneamente).

• Task Proposti:

  1. Next Item Recommendation (Task 1): Valutazione di architetture sequenziali classiche (ID-based) e LLM su tutti e quattro gli scenari sopra descritti.
  2. LLM-Based Query Reformulation (Task 2): Utilizzo di LLM per generare 10 query di ricerca semantiche basate sulla storia dell'utente, che vengono poi usate per recuperare item da un indice vettoriale (ANN).
  3. LLM-Based Long-Horizon Modeling (Task 3): Utilizzo di LLM per generare descrizioni testuali dei prossimi 10 item probabili in un orizzonte temporale esteso, valutando la capacità di modellare l'evoluzione delle preferenze.

3. Contributi Chiave

1. Primo Benchmark Open-Source Cross-Domain e Long-Horizon: HORIZON è la prima risorsa pubblicamente disponibile che permette di valutare modelli di raccomandazione su storie utente lunghe, cross-domain e realistiche.
2. Framework di Valutazione Unificato: Propone un protocollo che separa esplicitamente la generalizzazione temporale da quella degli utenti, rivelando debolezze nascoste dai benchmark tradizionali.
3. Studio Empirico Completo: Fornisce una valutazione estesa di modelli basati su ID (SASRec, BERT4Rec, GRU4Rec, CORE) e modelli basati su LLM (LLaMA-3.1, Qwen, Gemma), evidenziando trade-off inediti.

4. Risultati Sperimentali

• Performance dei Modelli Tradizionali:

  • I modelli basati su attenzione (SASRec, BERT4Rec) superano di gran lunga quelli ricorrenti (GRU4Rec) in tutti gli scenari.
  • Crollo delle Performance OOD: Mentre i modelli ottengono risultati solidi nella previsione in-distribution, le performance crollano drasticamente quando si testano utenti mai visti (OOD) o su finestre temporali future. Questo dimostra che le metriche standard sovrastimano la robustezza reale.
  • Generalizzazione Temporale: I modelli faticano a generalizzare nel tempo anche per utenti noti, suggerendo che le rappresentazioni basate su ID non catturano sufficientemente la semantica o l'evoluzione delle preferenze.

• Performance degli LLM:

  • Gli LLM (LLaMA, Qwen, Gemma) non superano costantemente le architetture specializzate nella previsione del prossimo item, specialmente in modalità zero-shot.
  • Nel Task 2 (Query Reformulation), gli LLM mostrano una capacità parziale di comprendere l'intento dell'utente, ma la precisione di recupero rimane bassa (Recall@10 < 3%).
  • Nel Task 3 (Long-Horizon), gli LLM riescono a generare descrizioni semantiche, ma la precisione di recupero degli item specifici è limitata.
  • Fine-tuning: Il fine-tuning (sia LoRA che full) non ha portato a miglioramenti significativi rispetto allo zero-shot, suggerendo che la formulazione generativa pura è difficile da addestrare su spazi di item a coda lunga senza segnali discriminatori espliciti.

5. Significato e Implicazioni

Il lavoro di HORIZON ha un impatto fondamentale sulla ricerca futura in due direzioni:

1. Ridefinizione della Valutazione: Dimostra che la semplice accuratezza nella previsione del prossimo item su dati in-distribution è una metrica ingannevole. Per costruire sistemi di raccomandazione robusti, è necessario valutare esplicitamente la generalizzazione su utenti nuovi e su orizzonti temporali estesi.
2. Sfide per gli LLM: Evidenzia che, sebbene gli LLM abbiano un forte potenziale semantico, non sono ancora una soluzione "pronta all'uso" per la modellazione del comportamento utente su larga scala senza un'adeguata integrazione con segnali di ranking e tecniche di recupero ibride.
3. Base per la Ricerca: Fornisce una piattaforma solida per sviluppare modelli che siano temporaneamente robusti, cross-domain e capaci di comprendere la struttura semantica profonda del comportamento umano, spingendo la comunità oltre i limiti degli attuali dataset artificiali.

In sintesi, HORIZON non è solo un nuovo dataset, ma un cambio di paradigma che obbliga la comunità a confrontarsi con la complessità reale della modellazione degli utenti, evidenziando il divario tra le performance di laboratorio e le esigenze del mondo reale.