Causal Direct Preference Optimization for Distributionally Robust Generative Recommendation

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 을 활용한 생성형 추천 시스템이 주목받고 있으며, 특히 직접 선호도 최적화 (Direct Preference Optimization, DPO) 는 LLM 의 출력을 사용자의 선호도에 정렬시키는 데 효과적으로 사용되고 있습니다.
• 핵심 문제: 기존 DPO 기반 방법론은 훈련 데이터에 포함된 환경적 교란 변수 (Environmental Confounders) 로 인해 발생하는 허위 상관관계 (Spurious Correlations) 를 증폭시키는 경향이 있습니다.
  • 환경적 교란 변수: 특정 맥락 (예: 팬데믹 기간, 계절성, 플랫폼의 인기 편향, 정책 변화 등) 에 의해 도입된 관찰되지 않은 요인들입니다.
  • 허위 상관관계의 악영향: 모델은 실제 선호도가 아닌, 특정 환경과 강하게 연관된 특징 (예: 인기 있는 아이템, 특정 시기의 트렌드) 을 학습하여 편향을 갖게 됩니다.
  • OOD 일반화 저하: 이러한 허위 상관관계는 훈련 데이터 분포와 다른 분포 외 (Out-of-Distribution, OOD) 환경에서 모델의 일반화 능력을 심각하게 저하시킵니다. 예를 들어, DPO 학습 후 모델은 인기 있는 아이템 (Head items) 에 대한 상호작용을 과도하게 증대시키고, 긴 꼬리 (Long-tail) 아이템을 더 무시하게 되어 편향이 심화됩니다.

2. 제안 방법론: CausalDPO (Methodology)

저자들은 DPO 의 이러한 한계를 해결하기 위해 인과적 불변성 학습 (Causal Invariance Learning) 메커니즘을 통합한 CausalDPO를 제안했습니다.

2.1. 인과적 구조 모델링 및 분석

• 구조적 인과 모델 (SCM) 분석: 입력 ($X$), 출력 ($Y$), 환경 ($E$) 간의 관계를 인과 그래프로 모델링했습니다.
• 문제 규명: DPO 는 환경 $E$가 선호도 레이블 ($Y$) 에 미치는 간접적인 영향 ($E \to Y$) 을 학습하여 허위 경로를 강화한다는 것을 이론적으로 증명했습니다.
• 해결 전략: 백도어 조정 (Backdoor Adjustment) 전략을 도입하여 환경 $E$의 영향을 차단하고, 진정한 인과적 선호 구조 ($Y | do(X)$) 를 학습하도록 유도합니다.

2.2. 핵심 구성 요소

1. 소프트 클러스터링을 통한 잠재 환경 추론 (Soft Clustering for Latent Environment):

   • 실제 환경 레이블이 없는 경우, 데이터에서 잠재적인 환경 요인을 자동으로 발견하기 위해 DBSCAN 기반의 하드 클러스터링을 수행한 후, 이를 소프트 클러스터링 (Soft Clustering) 으로 변환합니다.
   • 각 샘플은 여러 환경 (클러스터) 에 확률적으로 소속되며, 이를 통해 환경 분포 $p(E)$를 데이터 기반으로 추정합니다.

2. 인과적 개입을 통한 선호도 정렬 (Causal Intervention via Backdoor Adjustment):

   • 추정된 환경 분포를 활용하여 백도어 조정 공식을 적용합니다.
   • 목표: $p(Y | do(X)) = \sum_E p(Y | X, E) p(E)$
   • 이는 특정 환경에 의존하지 않고 모든 환경에서 일관된 인과적 효과를 학습하도록 모델을 유도합니다.

3. 불변성 정규화 (Invariant Regularization):

   • DPO 목적 함수에 최대 평균 불일치 (Maximum Mean Discrepancy, MMD) 항을 추가합니다.
   • 목적: 서로 다른 추정된 환경 (pseudo-environments) 간의 모델 출력 분포 차이를 최소화하여, 환경에 구애받지 않는 불변적 (Invariant) 선호 패턴을 학습하게 합니다.
   • 최종 목적 함수: $L_{CausalDPO} = L_{DPO} + \lambda \cdot MMD$
     • $L_{DPO}$: 사용자 선호도 정렬
     • $MMD$: 환경 간 분포 불일치 최소화 (불변성 제약)

3. 주요 기여 (Key Contributions)

1. 실증 및 이론적 분석: LLM 기반 추천 시스템에서 DPO 기반 선호도 정렬 과정이 환경적 교란 변수로 인해 허위 상관관계를 어떻게 증폭시키는지, 그리고 이것이 OOD 일반화를 어떻게 저해하는지를 체계적으로 증명했습니다.
2. CausalDPO 제안: 소프트 클러스터링, 백도어 조정, 불변성 정규화를 결합하여 환경적 교란을 암묵적으로 모델링하고 상쇄하는 새로운 DPO 변형 알고리즘을 개발했습니다.
3. 광범위한 실험 검증: 네 가지 대표적인 분포 이동 시나리오 (인기 편향, 시간적 이동, 노출 편향, 혼합 이동) 에서 다양한 벤치마크 (Yelp2018, Movielens-10M, Book-Crossing) 를 통해 방법론의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: 네 가지 평가 지표 (HR@K, NDCG@K) 를 기준으로 평균 17.17% 의 성능 향상을 기록했습니다.
• 구체적 성과:
  • 인기 편향 (Popularity Shift): Yelp2018 데이터셋에서 기존 최상위 경쟁 모델 대비 평균 22.29% 향상. 특히 긴 꼬리 (Long-tail) 아이템 추천 성능이 크게 개선되었습니다.
  • 시간적 이동 (Temporal Shift): Movielens-10M 에서 시간적 의존성 모델링 능력이 우수하여 평균 24.06% 향상.
  • 노출 편향 (Exposure Shift): Book-Crossing 데이터셋에서 노출 편향을 완화하여 8.47%~23.33% 의 성능 개선.
  • 혼합 이동 (Mixed Shift): 여러 분포 이동이 동시에 발생하는 복잡한 환경에서도 일관된 우월한 성능을 보였습니다.
• 비교 분석: 기존 DPO 변형 (DMPO, SDPO, RosePO 등) 및 전통적 추천 모델 (SASRec) 보다 OOD 환경에서 압도적으로 우수한 일반화 능력을 입증했습니다.
• 계산 비용: MMD 계산으로 인해 학습 시간이 약 19.70% 증가했으나, 성능 향상 폭 (약 205.9% 개선) 을 고려할 때 계산 비용과 정확도 간의 트레이드오프가 매우 유리함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 이론적 통찰: DPO 가 단순히 선호도 정렬을 넘어, 데이터 내의 교란 변수를 어떻게 학습하고 증폭시키는지에 대한 인과적 관점의 분석을 제공했습니다.
• 실용적 가치: 실제 추천 시스템은 끊임없이 변화하는 환경 (계절, 트렌드, 정책 등) 에 노출되어 있습니다. CausalDPO 는 이러한 분포 이동 (Distribution Shift) 에 강건한 추천 시스템을 구축할 수 있는 새로운 패러다임을 제시합니다.
• 확장성: 제안된 인과적 프레임워크는 다양한 DPO 변형 알고리즘에 모듈 형태로 통합 가능하여, LLM 기반 추천 시스템 전반의 OOD 일반화 능력을 향상시키는 데 기여할 수 있습니다.

요약하자면, 이 논문은 DPO 의 허위 상관관계 증폭 문제를 인과적 관점에서 규명하고, 소프트 클러스터링과 불변성 학습을 통해 환경에 구애받지 않는 강건한 선호도 학습을 가능하게 하는 CausalDPO를 제안함으로써 생성형 추천 시스템의 실용성과 신뢰성을 크게 높인 연구입니다.