기술 요약: FEDIN – 클릭률 예측을 위한 주파수 강화 심층 관심 네트워크

문제 정의

클릭률 (CTR) 예측을 위한 순차 추천 모델은 사용자 관심사 내 잠재적 주기적 패턴을 포착하는 데 상당한 어려움을 겪고 있습니다. 실제 세계의 사용자 행동 시퀀스는 장기적 주기적 습관과 단기적 확률적 노이즈가 혼합된 경우가 많습니다. 순환 신경망 (RNN), 트랜스포머, 상태 공간 모델 (SSM) 등을 활용하는 순수 시간 영역 접근법은 포인트별 노이즈에 민감한 경향이 있습니다. 이러한 모델들은 특히 긴 시퀀스에서 안정적인 주기적 패턴과 무작위 클릭을 분리해 내는 데 어려움을 겪습니다.

주파수 영역 분석은 노이즈 제거와 패턴 인식에 적합한 전역적 관점을 제공하지만, 기존 주파수 기반 접근법 (예: FMLP-Rec, FEARec, DIFF) 은 일반적으로 사용자 시퀀스를 고립된 상태로 처리합니다. 이들은 대상 아이템의 맥락을 고려하지 않은 채 원시 행동 시퀀스에 주파수 분석을 적용합니다. 저자들은 이러한 '대상 무관 (target-agnostic)' 필터링이 최적이지 않다고 주장합니다. 사용자의 행동 시퀀스는 다형적 (polymorphic) 이기 때문에, 특정 대상 아이템을 맥락으로 삼지 않으면 모델이 진정한 신호를 나타내는 주파수 성분과 배경 노이즈를 나타내는 주파수 성분을 효과적으로 구별할 수 없기 때문입니다.

방법론: FEDIN 아키텍처

제안된 주파수 강화 심층 관심 네트워크 (FEDIN) 는 시간 영역과 주파수 영역 관점을 융합하는 듀얼-브랜치 아키텍처를 통해 이러한 한계를 해결합니다. 이 프레임워크는 사용자 행동 시퀀스 $X \in \mathbb{R}^{L \times D}$와 대상 아이템 $X_{tar} \in \mathbb{R}^D$를 입력으로 받아 사용자 관심 표현 $U$를 예측합니다.

1. 전처리

모델은 데이터를 브랜치에 입력하기 전에 분포 이동과 사용자 행동의 비정상성을 완화하기 위해 전처리 단계로 가역 인스턴스 정규화 (RevIN) 를 사용합니다.

2. 시간 영역 브랜치 (국소 진화)

이 브랜치는 관심사의 국소적 순차적 진화를 포착하는 데 중점을 둡니다.

• 대상 어텐션을 통한 거친 필터링: 대상 인지 어텐션 메커니즘이 가중 점수를 계산하여 시간 해상도를 유지하면서 포인트별 노이즈를 필터링하여 가중 시퀀스 $X_{attn}$을 생성합니다.
• 패치 기반 트랜스포머를 통한 세밀한 진화: 긴 시퀀스를 효율적으로 처리하고 국소적 시간적 의미를 포착하기 위해 $X_{attn}$을 겹치지 않는 패치로 분할합니다. 트랜스포머 인코더가 이러한 패치 간의 의존성을 모델링하여 시간 영역 관심 표현 $X_{time}$을 도출합니다.

3. 주파수 영역 브랜치 (전역 주기성)

이 브랜치는 대상 인지 스펙트럼 필터링 메커니즘을 사용하여 구조화된 조화 패턴을 분리하도록 설계된 핵심 혁신입니다.

• 대상 조건부 스펙트럼: 기존 연구들이 원시 시퀀스를 변환하는 것과 달리, FEDIN 은 먼저 각 과거 행동이 대상 아이템과 관련된 정도를 포착하기 위해 대상 어텐션 점수 $X_{score}$를 계산합니다. 이러한 점수는 고속 푸리에 변환 (FFT) 을 통해 주파수 영역으로 변환되어 대상 조건부 스펙트럼 $\hat{X}_{score}$를 생성합니다.
• 대상 인지 스펙트럼 필터링: 스펙트럼이 어텐션 점수 ($\hat{X}_{attn}$) 에 의해 변조되어 사용자가 대상과 강한 공명을 보이는 주파수 성분을 강조합니다.
• 학습 가능한 스펙트럼 필터: 복소수 값 MLP 가 복소 스펙트럼에 대한 학습 가능한 필터로 작용합니다. 이는 지배적인 조화 주파수를 적응적으로 증폭하고 고엔트로피 노이즈를 억제하여 정제된 주파수 표현 $\hat{X}_{freq}$를 생성합니다.
• 적응형 공명 스케일링: 적응형 게이팅 메커니즘이 대상 조건부 스펙트럼의 스펙트럼 명확성 (엔트로피) 에 기반하여 주파수 브랜치 출력을 스케일링합니다. 이는 모델이 명확한 공명 패턴이 감지될 때만 주파수 관점에 의존하고 그렇지 않은 경우 시간 영역으로 되돌아가도록 보장합니다.

4. 사용자 관심 집계기

두 브랜치 ($X_{time}$ 및 $X_{freq}$) 의 출력을 합산하여 혼합 표현을 형성합니다. 그런 다음 Top-k 대상 어텐션 메커니즘을 적용하여 최종 사용자 관심 $U$를 도출합니다. 이 메커니즘은 대상과 가장 유사한 $k$개의 아이템만 유지하며, 차분 가능성을 보장하고 약하거나 상충되는 신호에 의한 강한 신호의 희석을 방지하기 위해 마스킹 전략을 사용합니다.

주요 기여

1. 경험적 관찰: 저자들은 양의 대상 아이템과 음의 대상 아이템에 조건부일 때 사용자 어텐션 점수가 뚜렷한 스펙트럼 엔트로피 분포를 보인다고 확인했습니다. 진정한 사용자 관심사는 낮은 엔트로피를 가진 고도로 집중된 스펙트럼 패턴으로 나타나며, 관련 없는 행동은 고엔트로피 노이즈로 나타납니다. 이는 대상 인지 스펙트럼 추천에 대한 이론적 근거를 제공합니다.
2. FEDIN 프레임워크: 대상 인지 주파수 브랜치를 기존 시간 영역 모델링과 통합하는 하이브리드 프레임워크를 제안합니다. 이 설계는 주파수 분석의 전역적 노이즈 강건성과 시간 영역 모델링의 국소적 순차 정밀도를 효과적으로 결합합니다.
3. 성능 및 강건성: 광범위한 실험을 통해 FEDIN 이 최첨단 순차 베이스라인을 일관되게 능가하며 노이즈에 대한 우수한 강건성을 보임을 입증했습니다.

실험 결과

모델은 Tmall, Taobao, Alipay라는 세 가지 공개 데이터셋에서 평가되었습니다.

• 베이스라인: 여섯 가지 최첨단 모델 (DIN, DIEN, SASRec, BERT4Rec, GRU4Rec, BST, DIFF) 과 합계 풀링 베이스라인에 대한 비교가 수행되었습니다.
• 성능: FEDIN 은 모든 데이터셋에서 GAUC 및 AUC 지표 모두에서 최고의 성능을 달성했습니다. 예를 들어, Tmall 데이터셋에서 FEDIN 은 GAUC 0.9658 및 AUC 0.9666 을 기록하여 최상위 베이스라인 (DIN: 0.9547/0.9518) 을 크게 능가했습니다.
• 절대 연구 (Ablation Studies): 시간 영역 또는 주파수 영역 브랜치 중 하나를 제거하면 성능이 저하되어 두 가지 모두의 필요성이 확인되었습니다. 주파수 필터의 '대상 인지' 측면을 제거하고 (정적 필터로 대체) 이를 수행한 결과도 하락을 초래하여, 효과적인 스펙트럼 필터링을 위해 대상 맥락이 중요하다는 가설을 검증했습니다.
• 노이즈 저항성: 합성 노이즈 실험 (Drop Noise 및 Replace Noise) 은 노이즈 비율이 증가함에 따라 주파수 영역 브랜치가 시간 영역 브랜치보다 훨씬 높은 안정성을 유지함을 보여주었습니다. 스펙트럼 필터링은 고엔트로피 노이즈 성분을 효과적으로 감쇠시킵니다.

중요성 및 주장

이 논문은 스펙트럼 패턴의 대상 조건부 성질을 활용함으로써 순차 추천에 대한 새로운 관점을 제시한다고 주장합니다. 저자들은 단순히 원시 행동 시퀀스를 주파수 영역에서 분석하는 것만으로는 부족하며, 대상 아이템이 특정 공명 패턴을 활성화하는 데 필수적인 조건으로 작용한다고 단언합니다.

주파수 영역 분석을 시간 영역 모델링의 대체가 아닌 보완으로 통합함으로써, FEDIN 은 전역적 주기성을 포착하고 국소적 순차적 세부 사항을 보존하는 균형을 달성합니다. 이 연구는 이러한 듀얼-브랜치 접근법이 실제 세계 사용자 행동 로그의 고유한 노이즈와 희소성에 대한 우수한 강건성을 제공하여 다양한 데이터셋에서 더 안정적이고 정확한 CTR 예측으로 이어진다는 것을 보여줍니다. 저자들은 FFT 연산으로 인해 주파수 브랜치의 계산 비용이 $O(L \log L)$이며, 긴 시퀀스에 대해 표준 셀프 어텐션 메커니즘 ($O(L^2)$) 보다 효율성 우위를 제공한다고 지적합니다.