HORIZON: A Benchmark for In-the-wild User Behaviour Modeling

1. 문제 정의 (Problem Statement)

기존의 사용자 행동 모델링 및 시퀀스 추천 벤치마크는 다음과 같은 근본적인 한계를 가지고 있어 현실 세계의 배포 환경 (in-the-wild) 을 제대로 반영하지 못합니다.

• 단일 도메인 및 짧은 시간 범위: 기존 벤치마크 (MovieLens, Amazon Reviews 카테고리별 분할 등) 는 주로 단일 도메인 내에서 짧은 세션 (short sessions) 과 '다음 아이템 예측 (next-item prediction)'에 집중합니다.
• 실제 사용자 행동의 복잡성 무시: 현실 세계의 사용자는 다양한 도메인 (전자제품, 도서, 패션 등) 을 넘나들며, 수년에 걸친 긴 시간 범위 (long time horizons) 에 걸쳐 상호작용합니다. 또한 사용자의 관심사는 정적이지 않고 진화합니다.
• 평가 프로토콜의 부재: 기존 평가 방식 (Leave-One-Out, 비율 기반 분할) 은 훈련 데이터와 테스트 데이터 간의 분포가 유사하여, 모델이 실제 환경에서 발생할 수 있는 도메인 간 일반화 (cross-domain generalization), 장기 시간적 일반화 (long-range temporal generalization), 그리고 미확인 사용자 (unseen users) 에 대한 적응 능력을 제대로 평가하지 못합니다.

이러한 한계로 인해 현재 모델들이 실제 복잡하고 동적인 환경에서 얼마나 견고한지 (robustness) 를 판단하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 HORIZON이라는 새로운 벤치마크와 평가 프레임워크를 제안했습니다.

A. HORIZON 벤치마크 구축

• 데이터 소스: Amazon Reviews 2023 데이터를 재구성하여 모든 카테고리 (35 개 이상) 를 통합했습니다.
• 규모: 약 5450 만 명의 사용자와 3450 만 개의 아이템, 총 4.86 억 개의 상호작용을 포함하는 대규모 데이터셋입니다.
• 특징:
  • 크로스 도메인 (Cross-domain): 사용자의 이력을 카테고리별로 분리하지 않고 통합하여, 실제와 같은 다중 도메인 상호작용을 모델링합니다.
  • 긴 시간 범위 (Long-horizon): 수년에 걸친 사용자 이력을 포함하며, 특히 2020 년을 기준으로 훈련/테스트 구간을 명확히 분리하여 시간적 드리프트 (temporal drift) 를 평가합니다.
  • 오픈 소스: PinnerFormer 등 기존 대규모 데이터셋이 비공개였던 것과 달리, 완전히 오픈 소스로 제공됩니다.

B. 새로운 평가 프레임워크 (Evaluation Protocol)

기존의 단순한 다음 아이템 예측을 넘어, **시간 (Time)**과 사용자 (User) 두 가지 축을 분리하여 4 가지 시나리오로 평가합니다.

1. In-Distribution, Temporally Aligned (1a): 훈련된 사용자의 훈련 기간 내 마지막 상호작용 예측 (기존 방식과 유사).
2. In-Distribution, Temporal Extrapolation (1b): 훈련된 사용자의 훈련 기간 이후 (2020 년 이후) 상호작용 예측. (시간적 일반화 평가)
3. OOD-User, Temporally Aligned (1c): 훈련 기간에 볼 수 없었던 새로운 사용자에 대한 예측. (사용자 일반화 평가)
4. OOD-User, Temporal Extrapolation (1d): 훈련 기간에 볼 수 없었던 새로운 사용자의 훈련 기간 이후 상호작용 예측. (가장 어려운 시나리오: 시간 + 사용자 일반화)

C. 제안된 태스크 (Tasks)

1. Task 1: 전통적 다음 아이템 추천 (Next Item Recommendation): ID 기반 모델 (GRU4Rec, SASRec, BERT4Rec, CORE) 을 위 4 가지 시나리오에서 평가.
2. Task 2: LLM 기반 쿼리 재구성 (Query Reformulation): LLM 이 사용자 이력을 분석하여 10 개의 검색 쿼리를 생성하고, 이를 통해 아이템을 검색하는 방식. (사용자 의도 이해 능력 평가)
3. Task 3: LLM 기반 장기 사용자 모델링 (Long-Horizon Modeling): LLM 이 미래 10 개의 아이템에 대한 자연어 설명을 생성하고, 이를 통해 아이템을 매칭하는 방식. (장기적 의도 예측 능력 평가)

3. 주요 기여 (Key Contributions)

1. HORIZON 벤치마크 출시: 크로스 도메인 및 장기 시간 범위를 가진 시퀀스 추천 모델 평가를 위한 최초의 완전 오픈 소스 대규모 벤치마크.
2. 정교한 평가 프레임워크: 훈련된/훈련되지 않은 사용자 (Seen/Unseen Users) 와 훈련 기간 내/외 (In/Out of Time) 를 분리하여, 모델의 일반화 능력을 세밀하게 측정할 수 있는 체계 제시.
3. 실증적 연구 및 통찰:
   • 기존 벤치마크에서는 보이지 않았던 모델 성능의 한계 (특히 OOD 및 시간적 외삽 시) 를 발견.
   • LLM 기반 모델이 전통적인 ID 기반 모델보다 사용자 행동 모델링에서 항상 우월하지 않음을 입증.
   • 현재 추천 시스템 연구가 실제 배포 환경의 요구사항 (강건성, 일반화) 과 얼마나 괴리가 있는지 보여줌.

4. 실험 결과 (Results)

A. 전통적 ID 기반 모델 (Task 1)

• 성능 저하: In-Distribution 설정 (Table 2) 에서는 BERT4Rec, SASRec 등이 높은 성능을 보였으나, **OOD 사용자 (Table 3)**나 시간적 외삽 (Table 4, 5) 설정으로 넘어가면 모든 모델의 성능이 급격히 하락했습니다.
• 시사점: 기존 벤치마크의 높은 점수는 실제 배포 환경에서의 강건성을 보장하지 못함. 특히 ID 기반 표현은 새로운 아이템이나 사용자에게 적용하기 어려움.
• 모델 비교: Attention 기반 모델 (SASRec, BERT4Rec) 이 RNN 기반 (GRU4Rec) 보다 OOD 설정에서 상대적으로 나은 성능을 보였으나, 여전히 절대적인 성능은 낮음.

B. LLM 기반 모델 (Task 2 & 3)

• 쿼리 재구성 (Task 2): LLM (LLaMA-3.1, Qwen3, Gemma2) 이 사용자 이력을 기반으로 검색 쿼리를 생성할 때, Recall@100 기준 약 2~3% 의 낮은 성능을 보임. Qwen3-8B 가 가장 우수했으나, 여전히 관련 아이템을 정확히 찾아내지 못함.
• 장기 모델링 (Task 3): 미래 아이템에 대한 설명을 생성하는 태스크에서도 Recall 은 높지만 Precision 이 낮아, 관련 없는 아이템을 많이 추천하는 경향이 있음.
• 파인튜닝의 한계: LLM 을 파인튜닝 (LoRA, Full Fine-tuning) 하더라도 Zero-shot 설정과 큰 성능 차이가 없었으며, 오히려 OOD 설정에서는 성능이 더 떨어지는 경우가 많음. 이는 생성형 LLM 이 대규모 아이템 공간에서 순위 기반 추천을 수행하는 데 한계가 있음을 시사.

5. 의의 및 결론 (Significance)

• 연구 방향의 전환: 기존 벤치마크가 '단일 도메인 내의 다음 아이템 정확도'에 집중했다면, HORIZON 은 **'크로스 도메인 일반화', '장기 시간적 추론', '미확인 사용자 적응'**이라는 현실적인 과제를 제시합니다.
• 모델 개발의 필요성: 현재 시퀀스 추천 모델들은 분포 변화 (Distribution Shift) 에 매우 취약하며, 이를 해결하기 위해 의미론적 (Semantic) 정보 통합, 더 강력한 일반화 능력을 갖춘 아키텍처 개발이 시급함을 보여줍니다.
• LLM 의 역할 재고: LLM 이 사용자 행동 모델링의 만능 해결책이 아니며, 특히 대규모 아이템 카탈로그에서의 추천 태스크에서는 전통적인 접근법과 결합하거나 새로운 학습 패러다임이 필요함을 강조합니다.

결론적으로, HORIZON 은 단순한 성능 비교를 넘어, 실제 산업 환경에서 요구되는 강건하고 일반화 가능한 사용자 모델을 개발하기 위한 필수적인 기초 (Foundation) 를 제공합니다.