Unbiased Rectification for Sequential Recommender Systems Under Fake Orders

이 논문은 가짜 주문이 순차 추천 시스템에 미치는 편향을 제거하면서도 유용한 정보를 보존하기 위해, 협업 및 의미적 관점을 활용한 이중 뷰 식별과 타겟팅된 보정을 통해 기존 모델을 재학습하지 않고도 효율적이고 편향 없는 정정을 수행하는 'DITaR' 방법을 제안합니다.

핵심

🍽️ 배경: 식당과 가짜 리뷰의 문제

상상해 보세요. 여러분이 좋아하는 맛집 추천 앱이 있다고 칩시다. 이 앱은 "지난주에 김치찌개를 먹었으니 오늘도 김치찌개를 추천해 줄게요"라고 사용자의 취향을 잘 파악해 줍니다.

하지만 나쁜 상인들이 이 시스템을 악용합니다.

• **가짜 주문 **(Fake Orders)을 남발합니다.
  • 예: "김치찌개를 먹은 직후에 전혀 상관없는 '스키장 티켓'을 주문한 척"하거나, "같은 상품을 100 번이나 반복해서 클릭"하는 행위를 합니다.
• 목적: 특정 상품을 부자연스럽게 많이 노출시켜, 실제 사용자들이 그 상품을 보게 만들고 판매량을 조작하려는 것입니다.
• 결과: 앱은 사용자의 진짜 취향을 망각하고, 엉뚱한 상품만 추천하게 됩니다. 사용자는 "이 앱은 내 취향을 전혀 모르네"라며 실망하고 떠납니다.

🛠️ 기존 방법의 한계: "모두 다 잘라내자" vs "다시 처음부터 배우자"

이런 문제를 해결하려고 기존 연구자들은 두 가지 방법을 썼는데, 둘 다 문제가 있었습니다.

1. **다시 처음부터 배우기 **(Retrain) 가짜 데이터를 모두 지우고 모델을 처음부터 다시 훈련시킵니다.
   • 비유: 식당이 가짜 리뷰 때문에 망할 뻔하자, 모든 요리사 해고하고, 레시피를 다시 만들고, 식당을 새로 지은 뒤 다시 문을 엽니다.
   • 문제: 너무 비싸고 시간이 너무 오래 걸립니다. (컴퓨터 비용과 시간 낭비)
2. 무작위 삭제: 의심스러운 데이터를 그냥 지웁니다.
   • 비유: 의심스러운 손님이 한 명 있으면, 그 손님이 앉았던 모든 테이블을 부수고 다시 만듭니다.
   • 문제: 가짜 데이터 중에는 "의외로 유용한 정보"가 섞여 있을 수도 있는데, 다 지워버려서 오히려 추천 성능이 떨어질 수 있습니다.

💡 이 논문의 핵심 아이디어: "가짜도 다 나쁜 건 아니다!"

이 연구팀 (DITaR) 은 아주 통찰력 있는 사실을 발견했습니다.

"모든 가짜 주문이 나쁜 것은 아니다. 일부는 오히려 데이터를 풍부하게 해주는 '데이터 증강' 효과가 있을 수도 있다."

예를 들어, 순서를 살짝 바꾸는 가짜 주문은 모델이 더 유연하게 생각하도록 도와줄 수도 있습니다. 따라서 나쁜 것만 골라내서 고치고, 좋은 것은 남겨두어야 합니다.

🚀 해결책: DITaR (두 눈으로 보고, 표적을 정확히 타격)

이 논문이 제안한 DITaR은 두 단계로 작동합니다.

1 단계: 두 가지 눈으로 가짜를 찾아라 (Dual-view Identification)

가짜 주문은 자연스러운 행동과 달리, **'통계적 패턴 **(누가 무엇을 샀는지)과 **'의미적 패턴 **(상품의 내용이 무엇인지)이 서로 맞지 않는 경우가 많습니다.

• 비유: 식당에 손님이 들어왔습니다.
  • 통계적 눈: "이 손님은 보통 고기류를 사는데, 오늘은 갑자기 생선만 100 개나 샀네? (이상함)"
  • 의미적 눈: "이 손님은 고기 요리만 좋아하는데, 갑자기 '스키장 티켓'을 주문했네? (내용이 안 어울려)"
  • 결론: 두 눈이 모두 "이건 가짜일 확률이 높아"라고 말하면, 그 데이터를 의심스러운 목록에 넣습니다.

2 단계: 정말 나쁜 것만 골라내서 수정하라 (Targeted Rectification)

의심스러운 목록에 오른 모든 데이터를 다 지우는 게 아닙니다. 실제로 모델에 해를 끼치는지를 정밀하게 계산합니다.

• 비유: 의심스러운 손님이 10 명 있습니다.
  • 그중 3 명은 정말 나쁜 소문을 퍼뜨린 '악성 고객'이고, 7 명은 실수한 '착한 고객'이거나 오히려 식당에 도움이 된 '유용한 고객'일 수 있습니다.
  • **영향력 분석 **(Influence Function)을 통해 "이 손님을 제거하면 식당의 평판이 좋아질까, 나빠질까?"를 계산합니다.
  • 결과: 정말 나쁜 3 명만 골라내어, 그들 때문에 망가진 **기억 **(모델의 가중치)만 살짝 수정 (Gradient Ascent) 합니다. 나머지 7 명은 그대로 둡니다.

✨ 이 방법의 장점

1. 정확함: 나쁜 것만 골라내서, 유용한 정보는 잃지 않습니다.
2. 빠름: 처음부터 다시 배우지 않아도 됩니다. 이미 훈련된 모델의 '기억'만 살짝 고쳐주면 됩니다. (컴퓨터 비용 절감)
3. 공정함: 가짜 데이터를 무조건 삭제하지 않고, 그 영향력을 분석하여 편향되지 않은 추천을 유지합니다.

📝 요약

이 논문은 "가짜 주문으로 망가진 추천 시스템을 고칠 때, 무작정 지우거나 처음부터 다시 시작하지 말고, 두 가지 관점으로 가짜를 찾아낸 뒤 정말 나쁜 것만 정확히 제거하여 시스템을 바로잡자"는 새로운 방법을 제시했습니다.

이는 마치 정교한 외과 수술처럼, 병든 부분 (해로운 가짜 데이터) 만 정확히 제거하고 건강한 부분 (유용한 정보) 은 보존하여 환자를 (추천 시스템을) 건강하게 만드는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 순차 추천 시스템 (Sequential Recommender Systems) 은 사용자의 과거 상호작용 시퀀스를 기반으로 미래 선호도를 예측하는 핵심 기술입니다.
• 새로운 위협: 가짜 주문 (Fake Orders)
  • 기존 공격 방식 (의도적으로 설계된 가짜 사용자 생성) 과 달리, 가짜 주문은 실제 사용자의 시퀀스 내에 은밀하게 삽입됩니다.
  • 수단: 클릭 농사 (Click farming), 문맥과 무관한 항목 대체 (Context-irrelevant substitutions), 시퀀스 순서 교란 (Sequential perturbations) 등이 포함됩니다.
  • 목적: 특정 상품의 노출률을 인위적으로 조작하여 경쟁 우위를 점하거나, 사용자의 진정한 선호도를 왜곡하여 추천 결과를 조작하는 것입니다.
• 기존 방법론의 한계:
  • C1: 기존 정정 (Rectification) 방법들은 주로 협업 필터링 (Collaborative Filtering) 모델에 초점을 맞추어, 시계열 의존성과 진화하는 선호도가 복잡한 순차 시스템에는 적용이 어렵습니다.
  • C2: 단순히 가짜 데이터를 삭제하면 데이터의 양과 시퀀스 구조가 파괴되어 추천 성능이 저하될 수 있습니다.
  • C3: 모든 가짜 주문을 동일하게 취급하는 것은 비효율적입니다. 일부 가짜 주문은 데이터 증강 (Data Augmentation) 효과를 낼 수도 있으므로, 해로운 샘플만 정밀하게 제거하고 유용한 정보는 보존해야 합니다.

2. 제안 방법론: DITaR (Dual-view Identification and Targeted Rectification)

저자들은 DITaR이라는 새로운 프레임워크를 제안하여, 재학습 (Retraining) 없이도 편향 없는 정정을 수행합니다. 이 방법은 두 가지 핵심 단계로 구성됩니다.

A. 이중 뷰 식별 모듈 (Dual-view Identification Module)

가짜 주문을 식별하기 위해 협업 (Collaborative) 뷰와 시맨틱 (Semantic) 뷰의 정보를 결합합니다. 가짜 주문은 인위적으로 생성되었기 때문에 두 뷰 간의 일관성이 깨지는 특징을 가집니다.

1. 이중 뷰 표현 학습:
   • 시맨틱 뷰: LLaMA2-7B 와 같은 대규모 언어 모델을 사용하여 아이템의 속성과 설명 텍스트에서 시맨틱 임베딩 ($E_s$) 을 추출합니다.
   • 협업 뷰: PCA 를 통해 차원 축소된 임베딩 ($E_p$) 과 학습 가능한 ID 임베딩 ($E_i$) 을 적응형 게이트 (Adaptive Gating) 메커니즘을 통해 융합합니다.
   • 분리된 인코딩: 각 뷰를 독립적으로 처리하는 순차 인코더를 사용하여 상호 배타적인 표현 ($R_s, R_c$) 을 생성하며, InfoNCE 손실 함수를 통해 두 뷰의 독립성을 유지하도록 학습합니다.
2. 통합 이상 탐지 (Unified Anomaly Detection):
   • 교차 뷰 불일치: 협업 뷰와 시맨틱 뷰 간의 표현 불일치 ($\delta_r$) 와 예측 분포의 발산 ($\delta_p$) 을 측정합니다.
   • 내재적 행동 이상: 인기 패턴의 통계적 편차 ($\alpha_p$) 와 국소 시퀀스 패턴의 일관성 ($\beta_s$) 을 분석합니다.
   • 점수 융합: 위 4 가지 신호를 적응형 가중치로 융합하여 각 상호작용의 이상 점수 $U(k)$를 계산하고, 임계값을 넘어선 샘플을 '의심스러운 가짜 주문'으로 선별합니다.

B. 경사 상승을 통한 표적 정정 (Targeted Rectification with Gradient Ascent)

식별된 의심 샘플 중 실제로 해로운 것만 선별하여 정정합니다.

1. 영향 함수 (Influence Function) 기반 필터링:
   • 모든 의심 샘플이 해로운 것은 아닙니다. 일부는 모델 성능에 긍정적 (데이터 증강) 일 수 있습니다.
   • 영향 함수를 사용하여 각 의심 샘플이 깨끗한 검증 세트 (Clean Validation Set) 의 성능에 미치는 영향을 정량화합니다.
   • 영향 점수 ($Inf(k)$) 가 양수 (제거 시 검증 손실 감소) 인 경우만 '실제 해로운 가짜 주문 ($I_h$)'으로 분류합니다.
2. 표적 경사 상승 (Targeted Gradient Ascent):
   • 해로운 샘플 $I_h$에 대해 **경사 상승 (Gradient Ascent)**을 수행하여 모델이 해당 샘플을 '잊게' 만듭니다.
   • 정규화 (Regularization): 해로운 정보를 제거하는 동시에 정상적인 추천 능력을 유지하기 위해, 깨끗한 데이터 ($D_c$) 에 대한 경사 하강 (Gradient Descent) 단계를 번갈아 수행합니다.
   • 이를 통해 데이터 양을 변경하거나 모델을 처음부터 재학습하지 않고도 편향을 제거합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 위협 시나리오 정의: 실제 사용자 시퀀스 내에 삽입된 은밀한 '가짜 주문' 공격에 초점을 맞춘 최초의 연구입니다.
2. 편향 없는 정정 프레임워크 (DITaR):
   • 협업 - 시맨틱 간극을 활용한 정밀한 식별.
   • 영향 함수 기반 필터링을 통해 해로운 샘플만 선별.
   • 경사 상승을 통한 표적 정정으로 데이터 손실 없이 편향을 제거.
3. 실험적 검증: 다양한 데이터셋과 모델 (SASRec, GRU4Rec, BERT4Rec) 에서 기존 최첨단 방법 (SISA, RecEraser 등) 보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: MovieLens-1M, Amazon-Beauty, Yelp2018.
• 성능 비교:
  • 추천 품질: DITaR 은 재학습 (Retrain) 한 모델과 유사하거나 때로는 더 나은 추천 정확도 (NDCG, Hit Rate) 를 달성했습니다. 반면, 기존 방법들은 재학습보다 성능이 현저히 떨어졌습니다.
  • 계산 효율성: 재학습이나 쉐이딩 (Sharding) 기반 방법들에 비해 DITaR 은 수렴 에포크 (Convergence Epochs) 가 압도적으로 적었습니다 (약 5 에포크 vs 35~140 에포크). 이는 기존 모델을 미세 조정 (Fine-tuning) 만으로 해결하기 때문입니다.
  • 강건성: 다양한 공격 강도와 사용자 비율 하에서도 안정적인 성능을 유지했습니다.
• 가짜 주문의 영향 분석:
  • 반복 주문 (Repetitive): 일정 수준까지는 성능에 큰 영향을 미치지 않거나 오히려 패턴을 강화할 수 있음.
  • 시맨틱 주문 (Semantic): 시맨틱 일관성을 깨뜨려 성능을 지속적으로 저하시킴.
  • 순서 교란 (Sequential Swap): 의외로 데이터 증강 효과를 내어 모델의 일반화 능력을 향상시키는 경우가 있음. 이는 "모든 가짜 주문이 해로운 것은 아님"이라는 핵심 통찰을 입증합니다.
• Ablation Study:
  • 이중 뷰 (Dual-view) 와 영향 함수 (Influence Function) 모두 정정 성능에 필수적임. 특히 영향 함수 필터링이 없으면 유용한 데이터까지 제거되어 성능이 저하됨.

5. 의의 및 결론 (Significance)

이 논문은 순차 추천 시스템의 무결성을 위협하는 새로운 형태의 공격 (가짜 주문) 을 식별하고 해결하는 데 중요한 기여를 합니다.

• 효율성: 전체 모델을 재학습할 필요 없이, 해로운 데이터만 선택적으로 제거하여 시스템 신뢰성을 회복합니다.
• 정밀성: 단순히 노이즈를 제거하는 것을 넘어, 데이터의 '영향'을 정량화하여 유용한 정보는 보존하고 해로운 정보만 제거하는 편향 없는 (Unbiased) 정정을 실현했습니다.
• 실용성: 계산 비용이 적고 구현이 용이하여 실제 산업 환경에서의 적용 가능성이 높습니다.

결론적으로, DITaR 은 추천 시스템이 조작된 데이터에 노출되더라도 사용자의 진정한 선호도를 보호하고 시스템의 신뢰성을 유지할 수 있는 강력한 방어 메커니즘을 제공합니다.