기술 요약: 추천을 위한 노이즈 제거 및 증강이 포함된 적응형 장기 임베딩 (ALDA4Rec)

문제 제기

그래프 기반 순차 추천 시스템, 특히 그래프 신경망 (GNN) 을 활용하는 시스템은 복잡한 사용자 - 항목 상호작용을 포착하는 데 성공을 거두었습니다. 그러나 해당 논문은 실제 응용 분야에서 그 효과성을 저해하는 세 가지 치명적인 한계를 지적합니다:

1. 노이즈 민감성: 실제 세계의 상호작용 데이터에는 상당한 노이즈 (예: 무작위 클릭, 일시적 관심사) 가 포함되어 있습니다. 기존 노이즈 제거 기술은 종종 훈련 중 보조 자기지도 학습 손실에 의존하여, 상호작용 그래프를 능동적으로 풍부하게 하지 않은 채 모델 복잡성과 훈련 시간을 증가시킵니다.
2. 정적 표현: 기존 모델들은 종종 정적 데이터 표현에 의존하여 사용자의 선호도가 갖는 역동적이고 진화하는 특성에 적응하는 데 어려움을 겪습니다.
3. 장기 모델링 편향: 모델들이 순환 신경망 (RNN/GRU) 과 어텐션 메커니즘을 사용하여 장기적 선호도를 포착하려 시도하지만, 특정 구조적 결함으로 인해 고통받습니다:
   • 기울기 소실: GRU 가 장기 의존성을 포착하는 능력을 제한합니다.
   • U 자형 어텐션 편향: 어텐션 메커니즘은 시퀀스의 시작과 끝 토큰을 불균형하게 강조하여 중간 시간 단계를 소홀히 하는 경향이 있습니다.
   • 적응성 부재: 기존 방법들은 종종 사용자별로 다양한 유형의 장기 표현 (예: 순차적 역동성 대 균일 집계) 을 동적으로 균형 있게 조정하는 데 실패합니다.

논문에 따르면, 경량화된 전처리 기반 그래프 노이즈 제거, 유사 항목을 통한 그래프 증강, 그리고 이러한 편향을 완화하는 적응형 장기 임베딩 메커니즘을 효과적으로 통합하는 기존 접근법은 존재하지 않습니다.

방법론: ALDA4Rec

제안된 ALDA4Rec 프레임워크는 그래프 구축 및 노이즈 제거, 임베딩 학습, 적응형 최적화의 세 단계 파이프라인을 통해 이러한 과제를 해결합니다.

1. 전처리: 그래프 구축, 노이즈 제거, 및 증강

훈련 중 노이즈를 처리하는 방법들과 달리, ALDA4Rec 은 노이즈 제거와 증강을 오프라인 전처리 단계로 수행합니다.

• 유사도 기반 그래프 구축: 저자들은 항목 인기도를 정규화하면서 직접적인 공발생과 공통 이웃을 통한 2 단계 경로를 모두 고려하는 새로운 항목 유사도 지표 (식 2) 를 제안합니다. 이 공식은 인기도 편향을 줄이고 방향성 있는 선호도를 포착하는 것을 목표로 합니다.
• 노이즈 제거를 위한 커뮤니티 탐지: Louvain 알고리즘을 사용하여, 각 시간 간격별로 상호작용한 항목들의 사용자별 서브그래프를 구축합니다. 탐지된 커뮤니티에 속하지 않는 항목들은 노이즈로 식별됩니다. 이들의 상호작용 행렬 내 엣지 가중치는 엄격히 제거되는 것이 아니라 감소되어, 노이즈 영향을 최소화하면서 데이터를 보존합니다.
• 엣지 증강: 데이터 희소성을 해결하기 위해, 이 방법은 유사 항목과의 상호작용을 추가하여 그래프를 증강합니다. 비활성 사용자의 경우 이전 상호작용을 기반으로 잠재적 행동을 시뮬레이션하고, 활성 사용자의 경우 무시되었지만 매우 유사한 항목들을 포함시킵니다.

2. 임베딩 학습: 단기 및 장기 표현

모델은 단기 및 장기 선호도를 위해 서로 다른 메커니즘을 통해 임베딩을 학습합니다.

• 단기 임베딩: LightGCN 에서 영감을 받은 단순화된 그래프 합성곱 네트워크 (GCN) 를 활용하여, 시간별 사용자 - 항목 그래프 내에서 협업 신호를 전파하여 단기 임베딩을 생성합니다.
• 장기 임베딩: 모델은 서로 다른 시간적 역동성을 포착하기 위해 세 가지 병렬 단계를 통해 장기 표현을 구축합니다:
  1. 구간 수준 (Interval-level): GRU 가 단기 임베딩 시퀀스를 처리한 후, 자기 어텐션을 적용하여 구간 간의 시간적 의존성을 포착합니다.
  2. 순간 수준 (Instant-level): 정밀한 순차적 패턴을 모델링하기 위해 상호작용한 항목 시퀀스에 직접 자기 어텐션을 적용합니다.
  3. 평균 수준 (Mean-level): U 자형 어텐션 편향과 기울기 소실을 상쇄하기 위해, 모델은 모든 시간 단계에 걸친 단기 임베딩의 단순 평균을 계산합니다. 이는 모든 시간 단계를 동등하게 취급하는 균일한 전역 요약을 제공합니다.

3. 적응형 장기 임베딩 최적화

핵심 혁신은 MLP 기반 적응형 가중치 메커니즘입니다.

• 시간 단계 간 가중치를 정규화하기 위해 표준 어텐션을 사용하는 대신, MLP 가 각 사용자의 평균 수준 및 구간 수준 임베딩을 연결한 값을 입력받습니다.
• MLP 는 각 사용자에 대해 스칼라 가중치 ($w_i$) 를 출력하여, 순차적 (GRU/어텐션) 예측과 평균 기반 예측 간의 중요도를 동적으로 결정합니다.
• 이를 통해 모델은 순차적 역동성 포착과 균일 시간적 집합 활용 간의 개인화된 균형을 학습할 수 있으며, 유효 어텐션 분포를 평탄화함으로써 U 자형 편향을 완화합니다.

4. 손실 함수

최적화 목적 함수는 학습된 사용자별 계수 ($w_i$ 및 $1-w_i$) 로 가중치가 부여된 두 가지 다른 손실 항을 결합합니다. 한 항은 GRU 기반 임베딩을 최적화하고, 다른 항은 평균 기반 임베딩을 최적화하며, 표준 L2 정규화와 함께 작동합니다.

주요 기여

논문은 다음과 같은 기여를 주장합니다:

1. 새로운 그래프 전처리: 훈련 전에 노이즈를 필터링하고 관련 항목으로 데이터를 증강하기 위해 유사도 기반 항목 - 항목 그래프 구축 방법과 커뮤니티 탐지를 결합한 도입.
2. 적응형 장기 프레임워크: 주기적 협업 학습 (GCN), 주의력 순차 모델링 (GRU/어텐션), 그리고 평균화된 협업 관계 (평균 풀링) 를 통합한 추천 프레임워크.
3. 편향 완화: 이전 순차 모델에 내재된 U 자형 어텐션 편향과 기울기 소실 문제를 구체적으로 해결하기 위해 평균 수준 임베딩과 적응형 가중치 메커니즘의 사용.
4. 실증적 검증: 네 가지 실제 세계 데이터셋 전반에 걸쳐 ALDA4Rec 이 최첨단 베이스라인 (SelfGNN, SASRec, LightGCN 포함) 을 일관되게 능가함을 보여주는 광범위한 실험.

실험 결과

모델은 Amazon-Book, Gowalla, Movielens, Yelp 네 가지 데이터셋에서 평가되었습니다.

• 성능: ALDA4Rec 은 다양한 컷오프 (N=5, 10, 20) 에서 Hit Ratio(HR) 와 Normalized Discounted Cumulative Gain(NDCG) 측면에서 모든 베이스라인을 일관되게 능가했습니다.
  • 특히 Movielens 데이터셋에서 ALDA4Rec 은 최상의 베이스라인 (SelfGNN) 대비 HR@10 에서 18.96% 향상을 달성했습니다.
  • Amazon에서는 HR@10 에서 11.74% 향상을 보였습니다.
• 강건성: 5% 에서 20% 까지 합성 노이즈를 주입한 실험 결과, ALDA4Rec 은 전처리 기반 노이즈 필터링에 기인하여 베이스라인 대비 우수한 성능을 유지했습니다.
• 절대 실험 (Ablation Studies):
  • 평균 수준 임베딩을 제거하고 SelfGNN 과 유사한 동작으로 되돌린 경우 성능이 하락하여, U 자형 편향 완화에 있어 평균화 전략의 유효성이 확인되었습니다.
  • 제안된 유사도 지표는 Cosine 및 Jaccard 유사도보다 우수했으며, 특히 "테일" (덜 인기 있는) 항목 추천에서 인기도 편향이 감소됨을 보여주었습니다.
• 효율성: 전처리 단계의 시간 복잡도는 $O(|A| + |J|^3)$이지만, 저자들은 테스트된 데이터셋의 경우 전체 전처리 단계가 1 시간 이내에 완료되며 이 비용은 훈련 전에 한 번만 발생한다고 명시했습니다.

중요성 및 주장

이 논문은 ALDA4Rec 을 복잡한 훈련 단계에서 구조화된 전처리 단계로 노이즈 처리의 부담을 이동시키는 견고한 솔루션으로 위치시킵니다. 평균 수준 임베딩과 적응형 가중치의 통합을 통해 GRU 와 어텐션 메커니즘의 구조적 한계 (기울기 소실 및 U 자형 편향) 를 명시적으로 해결함으로써, 저자들은 장기 사용자 선호도에 대한 더 정확하고 안정적인 표현을 제공한다고 주장합니다. 이 연구는 훈련 중 복잡한 보조 손실 함수를 요구하지 않으면서도 그래프 증강과 적응형 시간 모델링을 결합함으로써 추천 정확도와 강건성에서 상당한 향상을 얻을 수 있음을 시사합니다.