CoRCi: Cross-Reconstruction of Coherent Interests Modeling in Cross-Domain Sequential Recommendation

기술 요약: CoRCi

문제 정의
교차 도메인 순차 추천(Cross-Domain Sequential Recommendation, CDSR)은 관련 있는 도메인 간에 동적인 사용자 관심사를 전이함으로써 데이터 희소성 문제를 완화하는 것을 목표로 한다. 핵심 전제는 특정 사용자 관심사는 도메인 불변적(domain-invariant)이며 여러 도메인에 걸쳐 일관되게 진화한다는 것이다. 그러나 기존의 CDSR 방법들은 두 가지 주요 과제에 직면해 있다:

1. 관심사 일관성 상실: 기존 방식들은 도메인별 시퀀스를 혼합 도메인 시퀀스로 병합하지만, 개별 도메인 손실 집계(Dual-Target 전략)를 통해 훈련된 별도의 인코더를 사용한다. 이러한 워크플로우는 사용자 관심사를 파편화하며, 특히 Seq2Seq 모델의 쿼리-타겟 쌍이 서로 다른 도메인에서 유래할 때 도메인 불변적 패턴의 본질적인 일관성을 보존하는 데 실패한다.
2. 도메인 불일치: 대부분의 모델은 별도의 인코더를 사용하여 혼합 도메인 표현을 처음부터 학습한다. 이는 쿼리와 정답 타겟이 서로 다른 도메인에 속하는 경우가 많아 도메인 간 격차를 유발하고 성능을 저하시킨다. 또한, 혼합 도메인 설정에서의 표준 대조 학습(contrastive loss)은 쿼리와 동일한 도메인의 네거티브 샘플이 너무 유사하게 되어 표현 공간을 왜곡하는 도메인 내 편향(intra-domain bias)을 초래할 수 있다.

방법론: CoRCi
저자들은 도메인을 연결하면서 동시에 관심사 일관성을 보존하도록 설계된 듀얼 타겟 CDSR 프레임워크인 CoRCi(Cross-Reconstruction for Coherent Interests)를 제안한다. 이 아키텍처는 세 가지 구성 요소로 이루어진다:

1. 특정 도메인 자기 주의(Self-Attention) 인코더 (SAE): 혼합 데이터로 단일 인코더를 처음부터 학습하는 대신, CoRCi는 먼저 전용 자기 주의 인코더를 사용하여 특정 도메인 시퀀스($T_A$ 및 $T_B$)를 독립적으로 인코딩한다. 이는 초기 도메인 특유의 패턴을 보존한다.
2. 교차 재구성 (Cross-Reconstruction, CR) 모듈: 분산된 도메인 불변적 관심사를 다시 연결하기 위해, CoRCi는 교차 주의 메커니즘을 사용하여 사전 인코딩된 특정 도메인 표현($H_A, H_B$)으로부터 혼합 도메인 표현($H_M$)을 직접 생성하는 교차 재구성 방식을 채택한다.
   • 쿼리($Q$)는 혼합 도메인 임베딩($E_M$)이며, 이를 통해 혼합 도메인 위치 정보가 도입된다.
   • 키($K$)와 값($V$)은 사전 인코딩된 특정 도메인 표현의 합($H_A + H_B$)이다.
   • 이를 통해 모델은 처음부터 학습하지 않고도 일관된 혼합 도메인 뷰를 재구성할 수 있다.
3. 교차 주의 전이기 (Cross-Attention Transferors, CAT): 재구성된 혼합 도메인 지식은 교차 주의 전이기를 통해 특정 도메인 표현으로 전달된다. 이 전달 과정에서 혼합 도메인 표현($\hat{H}_M$)에 스톱 그래디언트(stop-gradient) 연산이 적용된다. 이는 혼합 도메인 모델링이 태스크 불가지론적(task-agnostic) 백본 역할을 하도록 하여, 특정 도메인 감독(supervision)이 도메인 불변적 관심사의 일관성을 왜곡하는 것을 방지한다.
4. FocalNCE 손실: 혼합 도메인 목적 함수에서의 도메인 내 편향을 완화하기 위해, 저자들은 FocalNCE를 도입한다. 이는 표준 InfoNCE 목적 함수에 Focal Loss를 통합한 것이다.
   • 혼합 도메인 설정에서 네거티브 샘플은 두 특정 도메인 모두에서 추출된다.
   • FocalNCE는 쿼리(양의 아이템)와 동일한 도메인에서 추출된 네거티브 샘플에 더 높은 패널티를 부여한다.
   • 이를 통해 모델이 더 어려운 교차 도메인 네거티브 샘플에 집중하도록 강제하여, 도메인 불변적 정렬을 강화하고 도메인 특유의 노이즈를 억제한다.

최종 목적 함수는 하이퍼파라미터 $\beta$에 의해 가중치가 부여된 특정 도메인 손실($L_A, L_B$)과 혼합 도메인 손실($L_M$)의 선형 결합이다.

주요 기여

1. 교차 재구성 접근 방식: 교차 주의를 통해 사전 인코딩된 특정 도메인 시퀀스로부터 혼합 도메인 표현을 생성하는 새로운 방법으로, 그렇지 않으면 분산될 수 있는 일관된 도메인 불변적 관심사를 효과적으로 재연결한다.
2. FocalNCE: 도메인 내 편향을 완화하고 일관된 관심사의 파편화를 방지하기 위해 InfoNCE 목적 함수에 Focal Loss를 결합한 새로운 손실 함수를 제안한다.
3. 포괄적 평가: 네 개의 실제 데이터셋(Amazon Food-Kitchen, Beauty-Electronics, Movie-Book, 그리고 3개 도메인 Douban 데이터셋)에 대한 광범위한 실험을 통해 최신(SOTA) CDSR 모델들을 지속적으로 능가함을 입증하였다.

실험 결과

• 성능: CoRCi는 모든 데이터셋에서 모든 지표(HR@5, HR@10, NDCG@10, MRR)에 대해 모든 베이스라인(ST-SR, DT-SR, MT-SR 및 ABXI, DREAM, C2DSR와 같은 DT-CDSR 모델 포함)을 일관되게 앞선다.
• 통계적 유의성: 모든 데이터셋의 두 도메인 모두에서 개선 사항이 통계적으로 유의미하다($p < 0.01$).
• 절제 연구 (Ablation Studies):
  • SAE-CR 하이브리드를 단일 공유 인코더 또는 완전히 분리된 인코더로 대체할 경우 성능 저하가 발생하여, 제안된 아키텍처의 유효성을 입증했다.
  • 교차 주의 전이기(CAT) 또는 스톱 그래디언트 연산을 제거하면 성능이 크게 낮아져, 시퀀스 수준의 융합과 일관성 유지를 위한 이들의 필요성을 확인했다.
  • 표준 InfoNCE를 FocalNCE 대신 사용할 경우 특히 어려운 도메인에서 성능이 저하되어, 도메인 내 편향을 억제하는 것의 중요성을 강조했다.
• 일반화 가능성: CoRCi는 사용자 중첩이 없는 3개 도메인 설정(Douban Movie-Book-Music)에서도 우수한 성능을 유지하여, 복잡한 실제 시나리오에서의 견고함을 입증했다.

의의 및 주장
본 논문은 CoRCi가 도메인별 손실 집계와 별도의 인코더가 사용자 관심사의 자연스러운 일관성을 방해한다는 기존 CDSR 방법론의 근본적인 결함을 해결한다고 주장한다. 특정 도메인 인코딩으로부터 혼합 도메인 표현을 재구성하고, 패널티가 부여된 도메인 불가지론적 손실을 활용함으로써, CoRCi는 도메인 불변적 관심사를 효과적으로 포착하고 보존한다. 저자들은 이 접근 방식이 특히 사용자의 관심사가 서로 다른 제품 카테고리에 걸쳐 일관되게 진화하는 시나리오에서 더 정확한 사용자 프로파일링과 추천 성능을 이끌어낸다고 단언한다. 이 연구는 단순히 데이터를 집계하는 것보다 관심사의 "일관성"을 보존하는 것이 교차 도메인 환경에서 동적인 사용자 선호도를 모델링하는 데 더 중요하다는 점을 시사하며, 새로운 방향을 제시한다.