기술 요약: SISA-Rec

1. 문제 정의

SASRec 및 BERT4Rec과 같은 기존의 트랜스포머 기반 순차적 추천 시스템은 주로 상호작용 로그로부터 학습된 아이템 식별자(ID) 임베딩에 의존합니다. 이러한 모델들은 데이터가 밀집된 환경에서는 효과적이지만, 상호작용 이력이 제한적인 희소(sparse) 및 콜드 스타트(cold-start) 시나리오에서는 어려움을 겪습니다. 이러한 설정에서는 행동 신호(공출현 패턴)만으로는 사용자의 선호도를 포착하기에 불충분합니다.

시맨틱 정보(예: 텍나 설명, 지식 그래프)를 통합하려는 기존의 시도들은 대개 시맨틱을 부차적인 신호로 취급합니다. 이러한 접근 방식은 일반적으로 시맨틱 데이터를 별도의 경로를 통해 처리하거나, 순차적 인코딩이 완료된 후에만 이를 융합합니다. 결과적으로, 시맨틱 관계가 핵심적인 순차 모델링(어텐션 메커니즘) 자체에는 영향을 미치지 못하며, 이는 행동 모델링과 시맨틱 근거 사이의 지속적인 간극을 만듭니다. 이러한 분리는 데이터가 부족할 때 모델의 일반화 능력을 제한합니다.

2. 방법론

제안된 프레임워크인 **SISA-Rec (Semantically Integrated Sequential Recommendation)**는 시맨틱 컨텍스트를 특징 수준(feature level)에서 순차적 모델링 프로세스에 직접 통합함으로써 이 간극을 해결합니다. 아키텍처는 다음과 같은 주요 구성 요소로 이루어져 있습니다.

데이터 처리 및 임베딩

• 입력: 모델은 Amazon 데이터셋의 사용자 상호작용 시퀀스와 아이템 메타데이터(제목 및 카테고리)를 활용합니다.
• 이중 임베딩 (Dual Embeddings): 각 아이템에 대해 두 가지 표현이 생성됩니다:
  1. 식별자 기반 임베딩 (Identifier-based Embedding): 아이템 ID로부터 유도된 학습 가능한 밀집 벡터.
  2. 시맨틱 임베딩 (Semantic Embedding): 아이템 제목과 카테고리를 결합하여 생성된, 동결된(frozen) BERT 기반 벡터. 이는 ID 임베딩의 차원과 일치하도록 투영됩니다.

핵심 아키텍처 혁신

1. 게이트 융합 모듈 (Gated Fusion Module):

   • 임베딩을 사후에 결합하거나 더하는 대신, SISA-Rec은 입력 레이어에서 게이트 융합 메커니즘을 사용합니다.
   • 학습 가능한 게이트 벡터 $g$ (시그모이드 함수를 통해 계산됨)는 각 차원에 대해 ID 임베딩과 시맨틱 임베딩의 기여도를 적응적으로 제어합니다: $v_i = g \odot e_{id} + (1-g) \odot e_{sem}$.
   • 이를 통해 시맨틱 정보가 순차적 모델링이 일어나기 전에 아이템 표현을 형성하도록 보장합니다.

2. 시맨틱 인식 셀프 어텐션 (Semantic-Aware Self-Attention):

   • 표준 셀프 어텐션 메커니즘을 수정하여 시퀀스 내 아이템들의 투영된 BERT 임베딩 간의 코사인 유사도를 사용하여 시맨틱 유사성을 어텐션 점수 계산에 직접 주입합니다.
   • 시맨틱 유사도 행렬 ($S$)은 시퀀스 내 아이템들의 투영된 BERT 임베딩 간의 코사인 유사도를 사용하여 사전 계산됩니다.
   • 어텐션 점수는 다음과 같이 계산됩니다: $A = \text{softmax}\left(\frac{QK^T}{\sqrt{d}} + \alpha \cdot S\right) \cdot V$, 여기서 $\alpha$는 학습 가능한 스칼라입니다.
   • 이를 통해 시맨틱으로 연관된 아이템들이 사용자의 이력에서 한 번도 함께 나타난 적이 없더라도 어텐션 메커니즘에 영향을 미칠 수 있게 합니다.

3. 어텐션 기반 선호도 집계 (Attention-Based Preference Aggregation):

   • 마지막 은닉 상태(hidden state)에만 의존하는 대신(이는 짧은 시퀀스에서 취약할 수 있음), 모델은 학습된 어텐션 벡터를 사용하여 모든 위치의 가중 합을 계산합니다.
   • 이를 통해 과거 상호작용의 다양한 중요성을 고려한 종합적인 사용자 선호도 벡터를 생성합니다.

학습 목적 함수 (Training Objective)

모델은 다음 세 가지 항으로 구성된 결합 손실 함수를 사용하여 학습됩니다:

1. BPR (Bayesian Personalized Ranking) 손실: 관찰된 아이템이 관찰되지 않은 아이템보다 우선순위를 갖도록 최적화합니다.
2. 대조 정렬 손실 (Contrastive Alignment Loss): InfoNCE 목적 함수를 기반으로 하며, 행동 기반 사용자 표현(어텐션 집계로부터 도출됨)을 시맨틱 사용자 표현(BERT 임베딩의 평균 풀링으로부터 도출됨)과 정렬합니다. 이는 사용자가 무엇을 했는지와 아이템이 무엇을 의미하는지 사이의 일관성을 보장합니다.
3. $\ell_2$ 규제 (Regularization): 과적합을 방지합니다.

3. 주요 기여

본 논문은 다섯 가지 주요 기여를 설명합니다:

• 게이트 융합 (Gated Fusion): 입력 레이어에서 ID 임베딩과 시맨틱 임베딩 사이의 차원별 균형을 학습하는 메커니즘.
• 수정된 셀프 어텐션 (Modified Self-Attention): 시맨틱 유사도 행렬을 점수 계산에 직접 포함시켜 시맨틱 관계가 순차 모델링을 주도할 수 있도록 하는 새로운 어텐션 메커니즘.
• 어텐션 기반 집계 (Attention-Based Aggregation): 마지막 상태만을 사용하는 대신 학습된 가중치를 통해 모든 시퀀스 위치를 집계하는 사용자 표현 모듈.
• 결합 학습 목적 함수 (Joint Training Objective): 행동 공간과 시맨틱 공간을 명시적으로 정렬하기 위해 BPR과 대조 정렬을 결합한 복합 손실 함수.
• 경험적 검증 (Empirical Validation): 매우 희소한 데이터셋(99.93% 희소도)에서 데이터가 부족한 상황에서의 개선된 일반화 성능 입증.

4. 실험 결과

두 개의 매우 희소한 Amazon 데이터셋인 Amazon Beauty와 Amazon Toys & Games(둘 다 약 99.93%의 희소도)에서 실험이 수행되었습니다.

• 전반적인 성능: SISA-Rec은 모든 지표(HR@K 및 NDCG@K)에서 최첨단 베이스라인(BERT4Rec, SASRec, DuoRec, PopRec 포함)을 능가했습니다.
  • Amazon Beauty에서, SISA-Rec은 BERT4Rec 대비 HR@10에서 16.6%, NDCG@10에서 10.3% 향상된 성능을 보였습니다.
  • Amazon Toys & Games에서는 향상 폭이 더욱 두드러졌습니다: BERT4Rec 대비 HR@10은 23.1%, NDCG@10은 17.9% 증가했습니다.
• 콜드 스타트 분석: 모델은 상호작용 이력이 제한된 사용자(Cold group: 5~7회 상호작용)에게서 가장 큰 이득을 보였습니다.
  • Amazon Toys & Games의 콜드 스타트 그룹에서, SISA-Rec은 0.3200의 NDCG@10을 달성하여 BERT4Rec(0.2642)과 SASRec(0.1676)을 크게 앞질렀습니다.
  • "Warm" 사용자(15회 이상 상호작용)의 경우 성능 격차가 좁혀졌으며, 이는 시맨틱 통합이 행동 신호가 약할 때 가장 결정적임을 나타냅니다.

5. 의의 및 주장

본 논문은 기존 프레임워크에서 행동 모델링과 시맨틱 근거 사이의 지속적인 분리가, 특히 희소한 환경에서 성능의 한계를 초래한다고 주장합니다. SISA-Rec은 시맨틱 정보를 어텐션 메커니즘에 직접 통합하는 것이 (사후 처리 단계로 취급하는 것보다) 더 정확하고 신뢰할 수 있는 추천으로 이어진다는 것을 입증합니다.

저자들은 시맨틱 정보의 가치가 사용자 행동 데이터가 부족할 때 가장 분명하게 드러난다고 강조합니다. 시맨틱 관계가 순차적 모델링 과정 자체에 영향을 미치도록 함으로써, 이 프레임워크는 전통적인 공출현 패턴이 실패하는 콜드 스타트 시나리오에 대한 강력한 솔루션을 제공합니다. 결과는 향후 순차적 추천 시스템이 시맨틱을 보조적인 신호로 취급하는 것을 넘어, 이를 핵심 아키텍처 내에 깊이 내재화해야 함을 시사합니다.