PBiLoss: Popularity-Aware Regularization to Improve Fairness in Graph-Based Recommender Systems

다음은 "그래프 기반 추천 시스템의 공정성 향상을 위한 인기도 인식 정규화 (PBiLoss)" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

그래프 기반 추천 시스템, 특히 LightGCN 과 같은 그래프 신경망 (GNN) 을 활용하는 시스템은 사용자 - 항목 상호작용을 포착하는 데 있어 최첨단 성능을 달성했습니다. 그러나 이러한 시스템은 **인기도 편향 (popularity bias)**으로 인해 심각한 문제를 겪고 있습니다.

• 문제점: 이러한 모델은 인기 있는 항목 (높은 차수의 노드) 을 과도하게 추천하는 반면, 롱테일 (덜 인기 있는) 항목은 과소 추천하는 경향이 있습니다.
• 원인: GNN 에서 메시지 전달은 본질적으로 지배적인 상호작용 패턴을 증폭시킵니다. 인기 있는 항목은 더 빈번한 업데이트와 더 강력한 신호를 받아, 틈새 콘텐츠를 주변화하는 피드백 루프를 생성합니다.
• 기존 해결책의 한계:
  • 전처리: 데이터 분포를 왜곡합니다.
  • 후처리: 학습된 표현에 이미 내재된 편향을 수정하는 데 한계가 있습니다.
  • 학습 중 처리 (기반): 종종 최적화를 복잡하게 하거나, 불안정한 손실 지형을 만들거나, 민감한 하이퍼파라미터 조정이 필요합니다.
  • 기존 정규화: 많은 방법들이 민감한 속성에 의존하거나 복잡한 구조 변경을 요구합니다.

저자들은 추천 정확도를 희생하지 않으면서 공정성을 균형 있게 조절할 수 있는 **모델 중립적 (model-agnostic)**이며 학습 목적 함수에 직접 통합된 방법의 필요성을 제기합니다.

2. 방법론: PBiLoss

핵심 기여는 표준 학습 목적 함수 (특히 베이지안 개인화 순위 또는 BPR) 에 추가되도록 설계된 새로운 정규화 항인 **PBiLoss(인기도 편향 손실)**입니다.

A. 핵심 개념

PBiLoss 는 학습 동안 인기 있는 항목에 대한 모델의 경향을 명시적으로 처벌합니다. 그 목표는 다음과 같습니다.

1. 사용자에게 관련 없는 인기 있는 항목의 순위를 낮추기.
2. 사용자에게 관련 있는 덜 인기 있는 항목의 순위를 높이기.

B. 인기 있는 항목과 덜 인기 있는 항목 구분

이 논문은 차수 (node degree) 로 정량화된 인기도에 기반하여 항목을 범주화하는 두 가지 방법을 제안합니다.

1. 고정 임계값 ($\alpha$): 차수가 $\ge \alpha$인 항목은 "인기 있는" 항목으로, 나머지는 "덜 인기 있는" 항목으로 분류합니다.
2. 임계값 없음 (확률적): 차수에 기반하여 샘플링 확률을 할당합니다. 인기 있는 항목은 차수에 비례하는 확률로 샘플링되고, 덜 인기 있는 항목은 차수의 역수에 비례하는 확률로 샘플링됩니다.

C. 샘플링 전략

PBiLoss 는 학습 트리플 $(u, i, j)$을 생성하기 위해 두 가지 고유한 샘플링 전략을 도입합니다. 여기서 $u$는 사용자, $i$는 긍정 항목, $j$는 부정 항목입니다.

1. 인기 있는 긍정 (PopPos):

   • 초점: 관련 있는 (긍정) 상호작용.
   • 메커니즘: 하나는 인기 있고 하나는 덜 인기 있는 관련 항목 쌍을 샘플링합니다.
   • 목표: 모델이 인기 있는 관련 항목보다 덜 인기 있는 관련 항목을 더 높게 순위 매기도록 장려하여 롱테일 노출을 증대시킵니다.
   • 수식: $T_{PBi} = \{(u, i, j) | u \in U, i \in I^+_{u, unpop}, j \in I^+_{u, pop}\}$

2. 인기 있는 부정 (PopNeg):

   • 초점: 관련 없는 (부정) 상호작용.
   • 메커니즘: 긍정 항목은 덜 인기 있고 부정 항목은 인기 있는 쌍을 샘플링합니다.
   • 목표: 사용자가 상호작용하지 않은 인기 있는 항목을 너무 높게 순위 매기는 모델을 명시적으로 처벌합니다. 이는 BPR 에서의 인기도 편향이 종종 "쉬운 부정 (easy negatives)"으로 나타나는 인기 있는 항목에 의해 주도되기 때문에 종종 더 효과적입니다.
   • 수식: $T_{PBi} = \{(u, i, j) | u \in U, i \in I^+_{u, unpop}, j \in I_{pop} \setminus I^+_{u, pop}\}$

D. 최종 목적 함수

전체 손실 함수는 표준 BPR 손실과 PBiLoss 항을 결합합니다:
$$L_{total} = L_{BPR} + w \cdot L_{PBi}$$
여기서 $w$는 공정성 정규화의 강도를 조절하는 하이퍼파라미터입니다.

3. 주요 기여

1. 새로운 손실 함수: PBiLoss 는 후처리나 복잡한 구조 변경 없이 공정성 제약을 학습 목적 함수에 직접 통합합니다.
2. 혁신적인 샘플링 전략: 인기도 편향의 서로 다른 측면 (관련 항목 대 관련 없는 항목) 을 타겟팅하기 위한 PopPos와 PopNeg 전략 도입.
3. 유연한 인기도 정의: 다양한 데이터 분포에 적응할 수 있도록 고정 임계값 접근법 (결정적) 과 임계값 없음 접근법 (확률적) 을 모두 제공합니다.
4. 모델 중립적 설계: 이 방법은 기존 GNN 프레임워크 (예: LightGCN, r-AdjNorm, APDA, PopGo) 에 구조적 수정 없이 원활하게 통합될 수 있는 모듈형 손실 구성 요소입니다.
5. 효율성: 추가 손실 계산이 상수 인자 증가에 불과하므로 시간 복잡도는 기본 모델과 점근적으로 동일하게 유지됩니다 ($O(|E|Ld)$).

4. 실험 결과

저자들은 PBiLoss 를 Epinions, iFashion, MovieLens라는 세 가지 실제 세계 데이터셋에서 평가했으며, LightGCN, r-AdjNorm, APDA, PopGo라는 네 가지 기준 모델과 통합했습니다.

주요 발견 사항:

• 공정성 개선: PBiLoss 는 인기도 편향을 현저히 감소시켰습니다.
  • **PRU(사용자에 대한 인기도 - 순위 상관관계)**와 **PRI(항목에 대한 인기도 - 순위 상관관계)**가 기준 모델 대비 최대 **10%**까지 감소했습니다. 낮은 값은 더 나은 공정성을 나타냅니다.
  • PopNeg-FT(고정 임계값을 사용한 인기 있는 부정) 변형이 공정성과 정확도 사이의 최상의 균형을 일관되게 달성했습니다.
• 정확도 유지: 결정적으로, 이 방법은 표준 정확도 지표 (F1@10, NDCG@10, MAP@10) 를 저하시키지 않고 공정성을 향상시켰습니다. 많은 경우 정확도 지표가 약간 향상되거나 안정적으로 유지되었습니다.
• 통계적 유의성: 프리드만 비모수 검정은 순위 지표 (NDCG) 의 개선이 통계적으로 유의미함 ($p < 0.05$) 을 확인했습니다.
• 하이퍼파라미터 민감도:
  • 정규화 가중치 $w$의 중간 값이 최상의 절충안을 제공했습니다.
  • 인기도 임계값 $\alpha$를 상위 20% 항목으로 설정했을 때 최적의 결과가 도출되었습니다.

5. 의의 및 결론

• 실용적 영향: PBiLoss 는 산업용 추천 시스템을 위한 확장 가능하고 구현이 쉬운 솔루션을 제공합니다. 이는 추천에서의 "부익부 빈익빈 (Matthew Effect)"을 해결하여 롱테일 콘텐츠가 공정한 노출을 받도록 보장합니다.
• 이론적 기여: 이는 복잡한 구조 개편이나 민감한 속성 조작이 아닌, 손실 함수의 단순한 정규화를 통해 공정성을 달성할 수 있음을 보여줍니다.
• 향후 방향: 저자들은 인기도의 정의를 차수 이상으로 확장 (예: 시간적 추세, 콘텐츠 기반 신호) 하고, 이 방법을 순차적 또는 다중 모달 추천 시나리오에 적용할 것을 제안합니다.

요약하자면, PBiLoss는 그래프 기반 추천 시스템에서 인기도 편향을 성공적으로 완화하여 다양성과 공정성을 강화하면서도 높은 추천 정확도를 유지하는 견고하고 모델 중립적인 프레임워크입니다.