기술 요약: MEMOIR – 선호도 변화 스펙트럼 전반에 걸친 시간적 행동 기억을 위한 모델

1. 문제 정의

기존의 순차적 추천 모델(예: SASRec, BERT4Rec)과 최근의 LLM 강화 방법들은 사용자 선호를 정적인 요약본 또는 다음 아이템 예측의 부산물로 취급하는 경-향이 있습니다. 이들은 행동 패턴을 암시적으로 학습하지만, **선호도 진화(preference evolution)**를 명시적으로 모델링하는 데는 실패합니다. 저자들은 동일한 현재 구매 이력을 가진 두 사용자가 그 궤적(예: 장기적인 피트니스 애호가 vs. 초보자)이 다르다면 매우 다른 니즈를 가질 수 있다고 주장합니다.

Amazon Reviews 2023 데이터셋에 대한 실증적 분석 결과, 선호도 변화(preference drift)가 만연해 있음이 드러났습니다:

• 인접한 월별 카테고리 분포 간의 평균 Jensen-Shannon 발산은 0.795(1.0 만점 기준)입니다.
• 특정 윈도우 내에서 상호작용한 아이템의 92.2%가 사용자에게 새로운 아이템입니다.
• 변화 점수가 하위 사분위에 속하는 사용자들조차 상당한 변화를 보입니다.

현재의 LLM 강화 접근 방식은 주로 LLM을 오프라인 전처리 단계로 사용하여 요약본을 생성하거나 ID 기반 백본을 위한 증강된 뷰(view)를 만드는 데 사용합니다. 이러한 시맨틱 신호들은 추론 시점에 보통 버려지며, 핵심 아키텍처는 여전히 ID 기반으로 남아 있어 선호도 진화의 구조를 최종 추천 점수로 전달하지 못합니다.

2. 방법론: MEMOIR 프레임워크

MEMOIR(Memory-based Evolution MOdel for Inference in Recommendation)는 표준적인 관계를 역전시킵니다: LLM은 제1순위의 시간적 메모리 인코더 역할을 수행하며, 대조 학습(contrastive learning)은 진화의 구조를 표현 공간에 직접 인코딩합니다.

2.1 아키텍처 구성 요소

1. 시간적 분할 및 메모리 인코딩 (Temporal Segmentation & Memory Encoding):

   • 사용자 상호작용 이력을 달력 월(month) 기준으로 시간적 윈도우로 분할합니다.
   • 각 윈도우는 자연어 설명(예: "사용자가 '러닝화'를 높게 평가함...")으로 직렬화됩니다.
   • LLM 인코더(LoRA 파인튜닝된 TinyLlama-1.1B-Chat)는 이러한 설명을 시맨틱 메모리 임베딩($m_t$)으로 매핑합니다.
   • 이를 통해 일련의 행동 메모리 시퀀스 $M_u = [m_1, \dots, m_W]$가 생성됩니다.

2. 진화 보존 대조 손실 ($L_{evo}$):

   • 시간적 매끄러움 ($L_{smooth}$): 동일한 사용자의 인접한 윈도우를 양의 쌍(positive pairs)으로 취급하여 인접 윈도우 간의 연속성을 강제합니다(InfoNCE 스타일의 손실 함수 사용).
   • 방향성 일관성 ($L_{dir}$): 진화의 방향이 일관되게 유지되도록 합니다. 이는 방향 벡터($d_t = \hat{m}_{t+1} - \hat{m}_t$)를 계산하고 연속적인 방향 벡터 간의 불일치를 처벌합니다. 이는 선호도 변화(예: 캐주얼 의류에서 스포츠웨어로)가 일관된 궤적을 따라야 한다는 귀납적 편향(inductive bias)을 인코딩합니다.

3. 궤적 예측 (Trajectory Prediction):

   • GRU가 메모리 시퀀스를 처리하여 최종 은닉 상태를 생성합니다.
   • MLP는 이 상태를 투영하여 다음 단계의 메모리($\hat{m}_{W+1}$)를 예측합니다.
   • 궤적 외삽 손실($L_{extrap}$)은 홀드아웃(hold-out)된 마지막 윈도우를 사용하여 이 예측을 감독합니다.

4. 진화 인지형 집계 (Evolution-Aware Aggregation):

   • 단순 평균 대신, 최종 사용자 표현($u^*$)은 세 가지 신호의 MLP 퓨전입니다:
     • 현재 상태 (Current State): 메모리의 최근성 가중 합계($\bar{m}$).
     • 방향 (Direction): 진화 방향 벡터($d$).
     • 예측된 미래 (Predicted Future): 외삽된 다음 단계 메모리($\hat{m}_{W+1}$).
   • 이를 통해 동일한 현재 상태를 가졌더라도 서로 다른 궤적을 가진 사용자들이 구별된 표현을 갖도록 보장합니다.

5. 행동 일관성 손실 ($L_{con}$):

   • 정규화된 합계 메모리와 정규화된 타겟 아이템 임베딩 사이의 거리를 처벌하는 정규화 항입니다. 이는 시맨틱 궤적을 실제 아이템 임베딩 공간에 고정시켜, 시맨틱적으로 동떨어진 영역으로 표류하는 것을 방지합니다.

2.1 훈련 목적 함수

전체 손실은 추천, 진화, 일관성, 외삽을 결합합니다:
$$L = L_{rec} + \lambda_1 L_{evo} + \lambda_2 L_{con} + \lambda_3 L_{extrap}$$
여기서 $L_{rec}$는 사용자-아이템 도트 곱에 대한 InfoNCE 추천 손실입니다.

3. 주요 기여

• 아키텍처의 전환: LLM을 시간적 윈도우를 위한 주요 사용자 인코더로 사용하고, 대조 학습을 보조적인 오프라인 단계가 아닌 진화 구조를 학습하기 위한 메커니즘으로 사용하는 프레임워크를 제안합니다.
• 진화 인지형 표현: 현재 상태, 진화 방향, 그리고 예측된 미래를 하나의 사용자 임베딩으로 융합하는 방법을 도입합니다.
• 변화 층화 분석 (Drift-Stratified Analysis): 집계된 지표를 넘어 선호도 변화 스펙트럼에 따른 성능을 분석하여, 이득이 특정 사용자 세그먼트에 집중되어 있음을 밝혀냅니다.

4. 실험 결과

실험은 Amazon Reviews 2023의 Electronics 및 Clothing_Shoes_and_Jewelry 카테고리(사용자 99,355명)에서 수행되었습니다.

4.1 집계 성능

• MEMOIR는 NDCG@10 0.0643을 달성하여, 가장 강력한 베이스라인인 **UniSRec (0.0641)**과 통계적으로 대등한 수준을 보였습니다.
• 모델은 보고된 4가지 지표에서 2:2의 결과를 보였습니다:
  • MEMOIR 우세: NDCG@10 및 MRR.
  • UniSRec 우세: HR@10 및 HR@20.
• 두 모델 모두 6개의 다른 베이스라인(SASRec, CL4SRec, SRA-CL 포함)을 유의미하게 능가했습니다.
• SASRec-Text (ID 임베딩을 프리징된 시맨틱 임베딩으로 대체한 SASRec)는 바닐라 SASRec보다 성능이 낮았는데, 이는 특정 아키텍처 정렬 메커니즘 없이는 시맨틱 특징만으로 추천 성능이 향적으로 개선되지 않음을 나타냅니다.

4.2 절제 연구 (Ablation Study)

놀랍게도, 단일 아키텍처 구성 요소(진화 보존 대조 손실, 방향 일관성 항, 또는 시간적 윈도우 분할) 중 그 어떤 것도 ID 기반 베이스라인 대비 MEMOIR의 이득을 대부분 설명하지 못했습니다.

• 단일 구성 요소를 제거하더라도 전체 NDCG@10 성능은 풀 모델 대비 2% 이내의 차이를 보였습니다.
• 심지어 사전 학습된 아이템 인코더를 무작위 ID 임베딩으로 교체했을 때("w/ Random-Init Items")가 절제 변수 중 가장 높은 NDCG@10(0.0650)을 기록했는데, 이는 집계된 이득이 하나의 고립된 모듈에 의해 주도되는 것이 아님을 시사합니다.

4.3 변화 층화 분석 (핵심 발견)

성능을 선호도 변화 점수(높음, 중간, 낮음)에 따라 층화했을 때:

• 높음 및 낮음 변화 극단: MEMOIR가 UniSRec보다 랭킹 품질 지표(NDC_G@10, MRR)에서 앞섰습니다.
• 중간 변화 (사용자의 50%): UniSRec이 4가지 지표 모두에서 앞섰습니다.
• 결론: 집계된 "대등함"은 특정 패턴을 은폐하고 있습니다: MEMOIR의 이점은 변화 분포의 양 극단에 집중되어 있는 반면, UniSRec은 중간 대역과 볼륨 중심의 지표(HR)에서 우위를 점합니다.

5. 의의 및 주장

본 논문은 가장 실질적이고 재현 가능한 발견이 UniSRec과의 집계된 근소한 차이나 단일 절제 구성 요소의 기여가 아니라, 바로 변화 층화 성능 패턴이라고 주장합니다:

• MEMOIR는 궤적(방향 및 미래)을 모델링하는 것이 랭킹 품질의 이점을 제공하는 고-변화 및 저-변화 극단의 사용자들에게 특히 효과적입니다.
• MEMOIR의 방향 일관성 가정(단조적 변화를 가정함)은 더 변동성이 크거나 계절적 선호를 보이는 "중간-변화" 사용자들에게는 덜 효과적일 수 있으며, 이것이 왜 UniSRec이 해당 세그먼트에서 우세한지를 설명합니다.

저자들은 MEMOIR가 더 풍부한 진화 인지형 표현을 제공하지만, LLM 유래 윈도우 임베딩의 계산 비용을 위해 ID 기반 접근 방식(SASRec 등)의 추론 단순성과 밀리초 미만의 지연 시간을 희생한다는 점을 결론짓습니다. 또한, 왜 이득이 변화의 극단에 집중되는지에 대한 기계적 설명을 남겨두며, 이를 향후 연구 과제로 제시합니다.