기술 요약: 집계 과정에서의 인기 증폭 편향 제거 (DPAA)

문제 제기

그래프 신경망 (GNN) 기반의 협업 필터링 (CF) 모델은 상호작용 그래프를 통해 사용자 - 항목 신호를 전파함으로써 최첨단 성능을 달성해 왔습니다. 그러나 이러한 모델은 **인기 편향 (popularity bias)**에 매우 취약합니다. 실제 세계의 상호작용 데이터는 일반적으로 소수의 인기 있는 항목이 상호작용의 대다수를 차지하는 긴 꼬리 분포를 따릅니다. GNN 에서 메시지 전파는 고차수의 인기 있는 항목에서 신호를 국소 및 고차 이웃을 거쳐 반복적으로 전파합니다. 이 과정은 인기 있는 항목의 영향을 증폭시키는 반면, 긴 꼬리 (니치) 항목은 억제하여 "부자는 더 부자가 되는" 피드백 루프를 생성합니다.

기존의 편향 제거 접근법—역선호도 가중치 (IPW), 정규화, 인과 모델링, 사후 처리 등—은 집계 과정 중 전파되는 편향을 직접 상쇄하지 못하기 때문에 GNN 환경에서는 종종 실패합니다. 최근의 집계 내 가중치 방법들 (예: APDA, NAVIP) 은 초기 학습 중 정적 휴리스틱이나 불안정한 임베딩 추정에 의존하여, 노이즈가 있는 신호를 전파함으로써 표현 학습을 왜곡할 수 있습니다.

방법론: DPAA

저자들은 **집계 과정에서의 인기 증폭 편향 제거 (Debiasing Popularity Amplification in Aggregation, DPAA)**를 제안합니다. 이는 적응형 임베딩 인식 상호작용 가중치와 계층별 가중치를 GNN 메시지 전파 과정에 직접 통합하는 프레임워크입니다.

1. 상호작용 수준 가중치 (IIW)

엣지 수준에서 인기 편향을 완화하기 위해, DPAA 는 임베딩 공간에서의 정렬도에 기반하여 사용자 - 항목 상호작용에 동적 가중치를 할당합니다.

• 역상호작용 가중치: 이 방법은 사용자 및 항목 임베딩 간의 코사인 유사도의 보충값을 상호작용 가중치로 정의합니다. 높은 유사도 (종종 인기 주도 정렬을 나타냄) 는 낮은 가중치를, 낮은 유사도 (니치 항목) 는 높은 가중치를 부여합니다.
• 안정화된 추정: 학습 초기 단계의 임베딩 불안정성을 해결하기 위해, DPAA 는 다음에서 유도된 가중치의 시간 의존적 볼록 결합을 사용합니다.
  • 사전 학습된 모델(학습 초기에 안정적인 신호 제공).
  • 현재 진화 중인 모델(학습 진행에 따라 적응적 신호 포착).
  • 전이 계수 ($\beta_t$) 는 현재 임베딩의 안정성 (기간 간 평균 임베딩 변화로 측정) 에 기반하여 동적으로 조정되어, 사전 학습 모델 의존에서 현재 모델 의존으로의 원활한 전환을 보장합니다.

2. 계층 수준 가중치 (LW)

개별 상호작용을 넘어 편향을 해결하기 위해, DPAA 는 다양한 GNN 계층의 기여도를 제어하는 계층별 가중치 메커니즘을 도입합니다.

• 메커니즘: 다중 홉 이웃으로부터 신호를 집계하는 더 깊은 계층에는 더 높은 가중치 ($\lambda_l = (l+1)^\eta$) 가 할당됩니다.
• 근거: 얕은 계층은 종종 인기 있는 항목이 지배하는 즉각적인 상호작용을 포착하는 반면, 더 깊은 계층은 다양한 고차 협업 맥락으로부터의 신호를 통합합니다. 이러한 계층을 증폭하면 노출이 부족하고 관련성이 높은 항목과의 장거리 상호작용을 표면화하는 데 도움이 됩니다.

3. 통합 집계

계층 $l$에서의 상호작용에 대한 최종 가중치는 IIW 와 LW 를 모두 결합합니다. 또한 이 프레임워크는 과도한 평활화를 방지하기 위해 초기 잔차 연결을 활용하여 네트워크가 깊어짐에 따라 노드별 정보가 유지되도록 합니다.

주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

1. 직접 편향 보정: DPAA 는 안정화된 적응형 임베딩 인식 가중치와 계층별 가중치를 결합하여 메시지 전파 중 인기 증폭을 직접 완화하는 통합 프레임워크입니다.
2. 이론적 특성화: 저자들은 다음을 입증하는 이론적 증명 (Lemma 4.1 및 4.2) 을 제공합니다.
   • IIW 는 인기 있는 항목의 상대적 메시지 전파 기여도를 감소시키며, 그 감소 크기는 인기 편향의 심각도와 차수 불균형의 정도에 비례합니다.
   • LW 는 구조적으로 더 깊은 계층으로의 그래디언트 영향을 증폭시켜, 얕고 인기 주도적인 상호작용에서 고차 협업 신호로 표현 학습을 전환시킵니다.
3. 반합성 데이터 생성: 저자들은 Zipfian 확률 샘플링을 사용하여 반합성 클릭 데이터를 생성하는 새로운 프로세스를 도입했습니다. 이는 인기 편향 심각도 ($s$) 의 통제된 변동을 가능하게 하여, 다양한 편향 강도 하에서 편향 제거 방법을 체계적으로 평가할 수 있게 합니다. 이는 기존 연구에서 lacked 하던 기능입니다.
4. 실증적 성능: 실제 세계 및 반합성 데이터셋에 대한 광범위한 실험은 DPAA 가 다양한 편향 심각도와 희소성 수준에서 일관되게 최첨단 방법들보다 우수한 성능을 보임을 입증합니다.

실험 결과

저자들은 세 가지 실제 세계 데이터셋 (Coat, KuaiRec, Yahoo! R3) 과 통제된 편향 심각도를 가진 반합성 데이터에서 DPAA 를 평가했습니다.

• 전체 성능: DPAA 는 모든 데이터셋과 지표 (Recall@20, NDCG@20, HR@20) 에서 최고의 성능을 달성했습니다. 특히 KuaiRec(NDCG 최대 24.05% 향상) 과 Coat(Recall 11.13% 향상) 에서 현저한 개선을 보였으며, APDA, NAVIP, DAP 및 인과 추론 방법과 같은 베이스라인을 능가했습니다.
• 편향 심각도에 대한 강건성: 인기 편향 심각도 매개변수 ($s$) 를 0 에서 9 로 변화시킨 실험에서 DPAA 는 강건성을 유지했습니다. 다른 방법들은 편향이 증가함에 따라 성능이 크게 저하된 반면, DPAA 는 특히 심한 편향 조건 하에서도 우수한 성능을 유지했습니다.
• 인기 대 니치 항목: 인기 항목의 성능을 희생하여 니치 항목의 성능을 향상시키는 일부 편향 제거 방법과 달리, DPAA 는 두 그룹 모두의 성능을 동시에 향상시켰습니다. 이는 이 방법이 선호도 관련 신호를 희생하지 않으면서 인기 주도 왜곡을 줄임을 시사합니다.
• 절대 실험: 상호작용 수준 가중치 (IIW) 또는 계층 수준 가중치 (LW) 중 하나를 제거하면 명확한 성능 저하가 발생하여 두 구성 요소의 필요성을 확인했습니다. 또한, 가중치 추정을 위해 사전 학습된 임베딩과 현재 임베딩을 결합하는 것이 단일 소원에 의존하는 것보다 더 안정적이고 정확한 결과를 산출함을 검증했습니다.

중요성과 주장

본 논문은 DPAA 가 편향 증폭의 근원인 집계 과정에 직접 개입함으로써 GNN 기반 추천의 중요한 격차를 해소한다고 주장합니다. 상호작용 및 계층 가중치가 인기 지배력을 어떻게 감소시키는지에 대한 이론적 특성화를 통해, 저자들은 이 방법이 사후 수정이나 정적 재가중치보다 더 원칙적이고 효과적인 접근법을 제공한다고 논합니다.

반합성 데이터 생성 프로세스의 도입은 편향 심각도를 실제 세계 데이터에서 조작할 수 없었기 때문에 이전에는 어려웠던 편향 제거 기술에 대한 엄격하고 통제된 평가를 가능하게 하는 중요한 방법론적 기여로 강조됩니다. 저자들은 DPAA 를 인기 있는 항목과 긴 꼬리 항목 모두를 효과적으로 서비스할 수 있는 더 공정한 추천 시스템으로 나아가는 한 걸음으로 위치시키지만, 다른 유형의 편향 (예: 선택 편향 또는 위치 편향) 에 대한 한계와 실제 배포 시 책임 있는 가드레일의 필요성을 인정합니다.