Cross-Representation Knowledge Transfer for Improved Sequential Recommendations

Each language version is independently generated for its own context, not a direct translation.

🎬 비유로 이해하는 추천 시스템의 두 가지 성격

사용자의 취향을 파악하는 데에는 크게 두 가지 방식이 있습니다.

순차적 추천 (Sequential): "지난번에 A 를 보고, 그다음 B 를 봤으니, 아마도 C 를 좋아할 거야!"라고 시간 순서를 따라가며 예측하는 방식입니다.
- 비유: 친구와의 대화를 상상해 보세요. 친구가 "어제 영화 봤는데 재미없더라"라고 말하면, 당신은 그 친구가 "오늘은 조용한 음악을 추천해 줘야겠다"라고 생각합니다. 이는 **직전 대화 (시간 순서)**에 기반합니다.
그래프 기반 추천 (Graph): "A 를 좋아한 사람들은 대부분 B 도 좋아해"라고 전체적인 연결 관계를 파악하는 방식입니다.
- 비유: 거대한 파티를 상상해 보세요. "이 친구가 좋아하는 사람들과 내가 좋아하는 사람들이 겹치는 부분이 많아"라고 생각하며, 전체 파티의 분위기 (전체 연결망) 를 파악하는 방식입니다.

❌ 기존 시스템의 문제점

순차적 방식 (대화): 대화 흐름은 잘 따라가지만, 파티 전체의 분위기 (다른 사람들과의 연결) 는 모릅니다.
그래프 방식 (파티): 전체 연결은 잘 파악하지만, "방금 전에 무슨 말을 했는지" 같은 시간의 흐름을 놓칩니다.

기존 연구들은 이 두 가지를 단순히 섞어놓았을 뿐, 서로가 서로의 말을 잘 듣지 못하게 하는 문제가 있었습니다.

✨ CREATE: 두 세계를 연결하는 '통역사'

이 논문이 제안한 CREATE는 두 가지 방식을 단순히 섞는 게 아니라, 서로의 말을 정확히 이해하고 조율하게 만듭니다.

1. 두 명의 전문가 (인코더)

순차 전문가 (Transformer): 사용자의 최근 행동 흐름을 분석합니다. (대화 흐름 파악)
그래프 전문가 (GNN): 전체적인 아이템 간의 연결 관계를 분석합니다. (파티 분위기 파악)

2. 통역사 (Representation Alignment)

두 전문가가 서로 다른 언어 (데이터 표현 방식) 로 말하고 있어서 오해가 생길 수 있습니다.

문제: 순차 전문가는 "최근에 운동화를 봤으니 운동복을 추천해야지"라고 하고, 그래프 전문가는 "운동화를 산 사람들은 캠핑용품도 좋아해"라고 해서 서로 다른 결론을 낼 수 있습니다.
해결 (Barlow Twins): 이 논문은 두 전문가가 서로 다른 정보를 반복해서 말하지 않고 (중복 제거), 동일한 사용자에 대해서는 같은 결론을 내리도록 (일관성 유지) 훈련시킵니다. 마치 두 사람이 서로의 말을 듣고 "아, 우리 둘 다 운동화를 좋아하네? 그럼 캠핑용품이 좋겠구나!"라고 합의를 보는 과정입니다.

3. 따뜻한 준비 운동 (Warm-up Stage)

처음부터 두 전문가를 동시에 가르치면 혼란이 생길 수 있습니다.

전략: 먼저 그래프 전문가를 혼자서 충분히 훈련시켜서 (예비 훈련), 전체 연결 관계를 잘 파악하게 만든 뒤, 순차 전문가와 함께 본격적으로 훈련시킵니다. 이렇게 하면 시스템이 더 안정적으로 작동합니다.

🏆 왜 이 방법이 좋은가요? (결과)

이 방법을 적용한 결과, 기존 방식들보다 더 정확한 추천을 할 수 있었습니다.

더 넓은 시야: 단순히 "최근에 본 것"만 보는 게 아니라, "전체적인 연결 관계"까지 고려해서 더 다양한 아이템을 추천해 줍니다.
더 정확한 예측: 두 가지 정보를 조율했기 때문에, 사용자가 진짜로 원할 만한 것을 더 잘 찾아냅니다.
실제 환경에 적합: 기존 연구들은 실험실 환경 (데이터를 잘게 쪼개서 테스트) 에서만 좋았지만, 이 방법은 실제 산업 현장 (시간이 흐르는 대로 데이터를 쌓아가는 환경) 에서도 뛰어난 성능을 보여줍니다.

📝 한 줄 요약

**"사용자의 최근 행동 (대화) 과 전체적인 연결 관계 (파티) 를 두 명의 전문가가 맡게 하고, 서로의 말을 잘 조율하게 (통역사) 만들어서, 사용자가 다음에 무엇을 원할지 더 정확하게 맞춰주는 똑똑한 추천 시스템"**입니다.

Each language version is independently generated for its own context, not a direct translation.

논문 개요: CREATE 프레임워크

이 논문은 차기 항목 예측 (Next-Item Prediction) 태스크의 성능을 향상시키기 위해 변환기 (Transformer) 기반 시퀀스 모델과 그래프 신경망 (GNN) 을 결합한 새로운 프레임워크인 CREATE (Cross-REpresentation Aligned Transfer Encoders) 를 제안합니다. 기존 접근법의 한계를 극복하고, 사용자의 국소적 상호작용 동역학과 전역적 구조적 관계를 모두 포착하여 추천 품질을 극대화하는 것을 목표로 합니다.

1. 문제 정의 (Problem Statement)

시퀀스 기반 모델의 한계: SASRec, BERT4Rec 등 최신 Transformer 기반 모델은 사용자의 상호작용 시퀀스 순서를 잘 포착하지만, 항목 간의 전역적 (Global) 관계나 고차원적 상호작용을 명시적으로 모델링하지 못합니다. 각 시퀀스를 독립적으로 처리하여 전체적인 컨텍스트를 놓칠 수 있습니다.
그래프 기반 모델의 한계: LightGCN, UltraGCN 등 GNN 기반 모델은 사용자 - 항목 상호작용 그래프를 통해 전역적 구조와 복잡한 관계를 명시적으로 모델링하지만, 상호작용의 시간적 순서 (Temporal Order) 를 고려하지 못합니다. 이로 인해 차기 항목 예측 (Next-Item Prediction) 과 같은 동적 태스크에서는 성능이 떨어집니다.
기존 융합 모델의 문제점: 최근 Transformer 와 GNN 을 결합한 연구들이 존재하지만, 표현 (Representation) 을 융합하는 방식 (Late Fusion 등) 이 비효율적이거나, 새로운 상호작용이 발생했을 때 사용자 임베딩을 업데이트하는 'Folding-in' 절차가 필요하여 실시간 추론에 비효율적이라는 문제가 있었습니다.

2. 제안 방법론 (Methodology: CREATE)

CREATE 는 두 가지 다른 관점 (국소적 시퀀스 vs 전역적 그래프) 에서 얻은 표현을 정렬 (Alignment) 하고 지식 전이를 수행하는 2 단계 학습 프로세스를 따릅니다.

A. 아키텍처 구성

공유 임베딩 레이어 (Shared Embedding Layer): 사용자 및 항목 ID 를 $d$ 차원 공간으로 매핑합니다.
시퀀스 인코더 (Sequential Encoder):
- 사용자의 최근 상호작용 시퀀스를 입력받아 국소적 의도 (Local Intent) 를 추출합니다.
- SASRec 또는 BERT4Rec 를 백본으로 사용합니다.
- 특징: 추론 (Inference) 시에는 오직 시퀀스 인코더의 출력만 사용하며, 사용자 임베딩을 직접 업데이트할 필요가 없어 Folding-in 절차가 불필요합니다.
그래프 인코더 (Graph Encoder):
- 사용자 - 항목 상호작용 그래프를 기반으로 전역적 구조적 의존성을 학습합니다.
- LightGCN 또는 UltraGCN 을 사용합니다.
- 특징: 학습 단계에서만 사용자 임베딩을 활용하며, 추론 시에는 학습된 항목 임베딩 (Item Embeddings) 만을 시퀀스 인코더에 주입하여 정보를 풍부하게 만듭니다.

B. 표현 정렬 (Representation Alignment)

두 인코더가 서로 다른 관점에서 학습되므로, 그 표현을 정렬하여 일관성을 유지하고 중복성을 줄이는 것이 핵심입니다.

Barlow Twins Loss 사용: 기존 대비 학습 (Contrastive Learning) 대신 Barlow Twins 방식을 도입했습니다.
- 동작 원리: 시퀀스 인코더의 로컬 표현 ( $h_u$ ) 과 그래프 인코더의 글로벌 표현 ( $e_u$ ) 간의 교차 상관 행렬 (Cross-correlation matrix) 을 계산합니다.
- 목적: 대각선 요소는 1 에 가깝게 (불변성 유지), 비대각선 요소는 0 에 가깝게 (중복성 제거) 만들어 두 표현이 서로 다른 정보를 보완하도록 유도합니다. 이는 음의 샘플링 (Negative Sampling) 이 필요 없어 데이터 분포를 더 잘 반영합니다.

C. 학습 프로세스 (Training Strategy)

Warm-up Stage: 초기에 그래프 인코더만 단독으로 학습하여 안정적인 전역적 항목 임베딩을 생성합니다.
Joint Optimization: Warm-up 후 시퀀스 인코더와 그래프 인코더를 함께 학습하며, Barlow Twins Loss 를 통해 표현 정렬을 수행합니다.
손실 함수: $L = L_{local} + w_{global}L_{global} + w_{BT}L_{BT}$ (각각 시퀀스 손실, 그래프 손실, 정렬 손실의 가중 합).

3. 주요 기여 (Key Contributions)

새로운 융합 프레임워크 제안: Transformer 와 GNN 아키텍처를 결합하여 시퀀스 모델에 전역적 지식을 주입하고, 표현을 정렬하는 CREATE 프레임워크를 개발했습니다.
비대칭적 추론 및 Folding-in 제거: 추론 시 그래프 인코더의 사용자 임베딩 업데이트가 필요 없으므로, 산업 환경에서 발생하는 새로운 사용자의 상호작용에 대해 실시간으로 대응 가능한 비대칭적 (Asymmetric) 구조를 제공합니다.
Barlow Twins 기반 정렬: 기존 대비 학습 (Contrastive Loss) 대신 Barlow Twins 를 사용하여 표현 간 중복성을 줄이고, 더 나은 정렬 효과를 얻었습니다.
실제 환경에 부합하는 평가: Leave-last-out 방식 대신 글로벌 시간 분할 (Global Temporal Split) 방식을 사용하여 산업 현장의 실제 배포 시나리오를 더 잘 반영한 실험을 수행했습니다.

4. 실험 결과 (Results)

데이터셋: MovieLens-1M, Amazon (Clothing, Sports, Beauty), Yambda-50M 등 5 개 공개 데이터셋에서 평가.
성능 비교:
- CREATE 는 순수 시퀀스 모델 (SASRec, BERT4Rec), 순수 그래프 모델 (LightGCN, UltraGCN), 그리고 기존 융합 모델 (LOOM, MRGSRec, GSAU) 을 모두 능가했습니다.
- 특히 Yambda-50M 데이터셋에서 NDCG@10 기준 38%, NDCG@100 기준 26% 의 획기적인 성능 향상을 보였습니다.
- Amazon Beauty 데이터셋에서도 SASRec 대비 NDCG@10 에서 15% 향상.
Ablation Study (성분 분석):
- Warm-up: 그래프 인코더의 사전 학습 (Warm-up) 이 전체 성능 향상에 필수적임을 확인 (최적의 Epoch 수는 데이터에 따라 다름).
- 정렬 방식: Barlow Twins 가 Contrastive Loss 보다 더 높은 추천 품질을 제공함을 입증했습니다.
- 그래프 크기: 사용자 상호작용의 일정 비율 (예: 40%) 만을 그래프에 포함할 때 최적의 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 시퀀스 추천 시스템의 성능 한계를 극복하기 위해 국소적 동역학 (시퀀스) 과 전역적 구조 (그래프) 를 효과적으로 통합하는 새로운 패러다임을 제시합니다.

기술적 혁신: Folding-in 절차 없이도 그래프의 전역적 지식을 활용하여 추론 속도와 정확도를 동시에 개선했습니다.
실용성: 글로벌 시간 분할을 통한 평가는 실제 산업 환경에서의 적용 가능성을 입증했으며, Barlow Twins 를 활용한 표현 정렬은 중복성을 줄이고 모델의 일반화 능력을 높이는 효과적인 방법임을 보여주었습니다.
향후 영향: CREATE 프레임워크는 다양한 백본 모델 (SASRec, BERT4Rec, LightGCN, UltraGCN 등) 에 유연하게 적용 가능하여, 향후 차세대 추천 시스템 아키텍처 설계의 기준이 될 수 있습니다.