Fairness Begins with State: Purifying Latent Preferences for Hierarchical Reinforcement Learning in Interactive Recommendation

이 논문은 강화 학습 기반 대화형 추천 시스템의 공정성 문제를 상태 추정의 실패로 규명하고, 확산 모델을 활용한 잠재 상태 정제 모듈과 계층적 강화 학습을 결합하여 정확성과 공정성 간의 균형을 달성하는 DSRM-HRL 프레임워크를 제안합니다.

핵심

🍔 비유: "맛있는 햄버거"와 "소문난 맛집"의 함정

상상해 보세요. 당신이 새로운 햄버거 가게를 운영한다고 칩시다. 손님이 들어오면 "어떤 햄버거를 드시겠어요?"라고 물어봅니다.

1. 기존 시스템의 문제 (소문만 듣고 추천하는 점원)

   • 과거의 추천 시스템은 손님이 "인기 있는 햄버거 (소문난 맛집)"를 주문하면 "아, 이 손님은 이거를 좋아하는구나!"라고 착각합니다.
   • 하지만 사실 손님은 우연히 그 햄버거를 봤거나, 주변에 너무 많이 떠돌아다닌 광고 때문에 시켰을 뿐일 수 있습니다.
   • 시스템은 이 '잘못된 신호'를 믿고 계속 인기 있는 햄버거만 추천합니다.
   • 결과: 인기 있는 햄버거는 더 유명해지고, 정작 맛은 좋은데 잘 알려지지 않은 '보석 같은 햄버거 (긴 꼬리 아이템)'는 영원히 빛을 보지 못합니다. 이것이 '부자만 더 부자가 되는 (Rich-get-richer)' 현상입니다.

2. 이 연구의 핵심 아이디어 (소음을 제거하고 진짜 취향을 듣기)

   • 이 논문은 "아, 우리가 손님의 진짜 취향을 모르고, '소문'이나 '광고'라는 **잡음 (Noise)**만 듣고 판단하고 있구나!"라고 깨달았습니다.
   • 그래서 먼저 잡음을 제거하는 과정을 도입했습니다. 마치 안개 낀 창문을 닦아내어 밖의 진짜 풍경을 보는 것처럼요.
   • DSRM(잡음 제거 모듈): 손님의 과거 행동 기록에서 '인기 때문에 클릭한 것'과 '진짜 좋아해서 클릭한 것'을 구별해냅니다. 이를 통해 **사용자의 진짜 취향 (Latent Preference)**을 찾아냅니다.

3. 두 명의 점원 (계층적 강화학습)

   • 잡음을 제거한 후, 시스템을 두 명의 점원으로 나눕니다.
   • 상급 점원 (High-level): "오늘은 인기 있는 햄버거만 팔지 말고, 덜 알려진 맛있는 햄버거도 한 번씩 소개해서 가게의 평판을 장기적으로 유지하자"라고 장기적인 공평성을 지시합니다.
   • 하급 점원 (Low-level): "네, 알겠습니다! 상급 점원님의 지시대로 하되, 지금 당장 들어온 손님이 가장 만족할 만한 햄버거를 골라 드릴게요"라고 단기적인 만족도를 챙깁니다.
   • 이렇게 역할을 나누니, 인기 상품만 쫓는 일도, 무작정 unpopular 한 걸 추천해서 손님이 떠나는 일도 막을 수 있게 됩니다.

---

🚀 이 연구가 해결한 3 가지 큰 문제

1. 진짜 취향 vs. 인기의 함정 (C1)

   • 사람들은 인기 있는 걸 따라 하는 경향이 있습니다. 기존 시스템은 이를 '선호'로 오해했습니다. 이 연구는 **확산 모델 (Diffusion Model)**이라는 최신 기술을 써서, 인기라는 '안개'를 걷어내고 진짜 취향이라는 '산'을 드러냈습니다.

2. 잡음 제거 vs. 정보 보존 (C2)

   • 잡음을 너무 많이 지우면 손님의 '개성'까지 지워질 수 있습니다. 이 연구는 잡음은 지우되, 손님의 미세한 취향 변화는 그대로 남기는 정교한 필터를 만들었습니다.

3. 단기 이익 vs. 장기 공평성 (C3)

   • "지금 당장 클릭을 많이 받을까?" vs "장기적으로 모든 상품이 공평하게 노출되게 할까?"라는 갈등이 있었습니다. 두 명의 점원 (계층적 구조) 을 두어, 상급 점원이 장기 목표를 잡고 하급 점원이 단기 실무를 수행하게 함으로써 이 갈등을 해결했습니다.

---

🏆 결론: 왜 이 연구가 중요한가요?

기존 연구들은 "공평하게 하려면 보상 (Reward) 을 조정하자"라고 했지만, 이 논문은 **"아니, 입력되는 정보 (State) 자체가 잘못됐으니, 먼저 정보를 정제하자"**라고 주장합니다.

• 기존 방식: 잘못된 지도를 보고 길을 찾으려다 헤매는 것.
• 이 연구의 방식: 먼저 지도의 오차를 수정 (잡음 제거) 하고, 그제야 올바른 길 (공평한 추천) 을 찾아가는 것.

실험 결과, 이 방식을 적용한 시스템은 사용자가 더 오래 머무르게 만들고 (장기 만족도), 작은 가게들도 공평하게 기회를 얻게 하며 (공평성), 전체적인 시스템의 효율도 높였습니다.

한 줄 요약:

"추천 시스템을 공평하게 만들려면, 인기라는 '소음'을 먼저 제거하고 사용자의 '진짜 마음'을 듣는 것부터 시작해야 합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

배경:
대화형 추천 시스템 (Interactive Recommender Systems, IRS) 은 사용자와 시스템 간의 순차적 상호작용을 모델링하기 위해 강화학습 (RL) 을 increasingly 활용하고 있습니다. 그러나 기존 RL 기반 추천 시스템은 장기적인 누적 보상을 극대화하는 과정에서 '부익부 빈익빈 (Rich-get-richer)' 현상을 심화시켜, 인기 있는 아이템에 노출이 편중되고 장기 꼬리 (Long-tail) 아이템이 소외되는 아이템 측면의 노출 불공정성 (Item-side exposure unfairness) 을 야기합니다.

핵심 문제:
기존의 공정성 인식 (Fairness-aware) RL 방법들은 대부분 보상 함수에 페널티를 추가하거나 정책 제약을 두는 등 결정 (Decision) 수준에서 편향을 완화하려 시도합니다. 하지만 이 논문은 이러한 접근법의 근본적인 결함을 지적합니다.

• 상태 추정 실패 (State Estimation Failure): 기존 방법들은 관찰된 사용자 상태 (Observed User State) 가 사용자의 진정한 선호도를 faithfully 반영한다고 가정합니다.
• 노이즈 오염: 실제로는 암시적 피드백 (Implicit Feedback) 이 인기 중심의 노이즈 (Popularity-driven noise) 와 노출 편향 (Exposure Bias) 으로 심각하게 오염되어 있습니다.
• 결과: 오염된 상태 (Distorted State) 를 기반으로 학습된 RL 에이전트는 정확도 (Accuracy) 와 공정성 (Fairness) 사이에 인위적인 상충 관계 (Trade-off) 를 겪게 되며, 이는 보상 설계의 문제가 아니라 상태 표현의 오류에서 기인합니다.

2. 제안 방법론: DSRM-HRL

저자들은 공정성 인식 추천을 "잠재 상태 정제 (Latent State Purification)" followed by "분리된 계층적 의사결정 (Decoupled Hierarchical Decision-making)" 의 두 단계로 재정의합니다. 제안된 프레임워크 DSRM-HRL은 다음과 같은 두 가지 핵심 모듈로 구성됩니다.

A. DSRM (Denoising State Representation Module): 확산 모델 기반 상태 정제

• 목적: Challenge C1(비선형 편향 재구성) 및 C2(신호 유지 vs 노이즈 제거) 해결.
• 메커니즘: 확산 모델 (Diffusion Models) 의 생성 능력을 활용하여, 오염된 상호작용 히스토리 (고엔트로피 상태) 에서 진정한 잠재 선호도 매니폴드 (Low-entropy Latent Preference Manifold) 를 복원합니다.
  • Forward Process: 오염된 상태에 가우시안 노이즈를 점진적으로 주입하여 선호도 신호의 열화를 시뮬레이션합니다.
  • Reverse Process: 확산 역과정을 통해 노이즈를 제거하고, 진정한 사용자 의도 (True User Intent) 를 보존하면서 인기 편향으로 인한 구조화된 노이즈 ($\zeta_{pop}$) 를 제거합니다.
• 효과: 단순한 필터링이 아닌, 확률적 매니폴드 투사를 통해 의미론적으로 일관된 상태 표현을 생성합니다.

B. HRL (Hierarchical Reinforcement Learning): 계층적 제어

• 목적: Challenge C3(다목적 최적화의 시간적 충돌) 해결.
• 구조:
  • High-Level Manager (공정성 조절자): 장기적인 공정성 궤적을 관리합니다. 현재 단계의 공정성 제약 조건 ($z_t$) 을 동적으로 설정하며, 시스템 전체의 노출 형평성 (예: 지니 계수) 을 최적화합니다.
  • Low-Level Worker (효용 최적화자): Manager 가 설정한 공정성 제약 하에서 단기적인 사용자 참여도 (Engagement) 를 극대화합니다. 정제된 상태 ($\hat{s}_t$) 를 기반으로 아이템을 선택합니다.
• 효과: 장기 목표 (공정성) 와 단기 목표 (정확도) 를 시간적 스케일에 따라 분리하여 학습 안정성을 확보하고, 두 목표 간의 상충을 해결합니다.

3. 주요 기여 (Key Contributions)

1. 모델링 오류의 규명: 공정성 인식 추천에서 '편향 없는 사용자 상태'라는 가정이 근본적인 결함임을 규명하고, 효과적인 개입은 보상 설계가 아닌 상태 추정 (State Estimation) 에서 시작되어야 함을 주장합니다.
2. 새로운 아키텍처 제안: 확산 기반 상태 탈노이즈 (Denoising) 와 계층적 정책 분리 (Policy Decoupling) 를 결합한 DSRM-HRL을 제안합니다. 이는 의사결정 관련 선호도 매니폴드를 재구성하고, 서로 다른 시간 스케일의 목표 충돌을 해결합니다.
3. 실증적 검증: 정제된 상태가 장기 꼬리 아이템 노출과 누적 사용자 보상을 동시에 향상시킴을 입증하여, 상태 정제 (State Purification) 가 견고한 공정성 인식 의사결정의 필수 전제 조건임을 보여줍니다.

4. 실험 결과 (Results)

실험 환경:

• 데이터셋: KuaiRec, KuaiRand-Pure (실제 기반의 고신뢰도 시뮬레이터 KuaiSim 사용).
• 비교 대상: 일반 RL (A2C, TD3, BCQ) 및 기존 공정성 인식 RL (MOFIR, DORL, DNaIR, SAC4IR 등).

주요 성과:

• 파레토 프론티어 우위: DSRM-HRL 은 정확도 (Interaction Length, Cumulative Reward) 와 공정성 (Absolute Difference, AD) 모두에서 기존 최첨단 방법들보다 우월한 파레토 프론티어를 달성했습니다.
  • 예: KuaiRec 에서 상호작용 길이 (Len) 는 기존 최강 공정성 모델 (SAC4IR) 대비 21.1% 향상되었으며, AD 는 0.008로 극도로 낮았습니다.
• 상태 정제의 효과 (Ablation Study):
  • 상태 정제 없이 HRL 만 사용하는 경우나, 단순 RL 만 사용하는 경우보다 성능이 현저히 떨어졌습니다.
  • 기존 휴리스틱 탈노이즈 방법 (RCE, TCE 등) 과 결합한 경우 성능이 급격히 저하되어, 확산 모델 기반의 학습된 탈노이즈가 필수적임을 입증했습니다.
• 학습 안정성: DSRM-HRL 은 다른 방법들에 비해 학습 곡선이 훨씬 매끄럽고 분산이 적으며, 수렴이 빠르고 안정적입니다. 이는 오염된 상태에서의 학습 불안정성을 해결했음을 시사합니다.
• 확산 단계 민감도: 과도한 확산 단계 (노이즈 제거) 는 개인화된 신호까지 지워 성능을 저하시키므로, 적절한 단계 수 (10~30) 의 균형이 필요함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 추천 시스템의 공정성 문제를 단순한 보상 조정의 문제가 아니라 데이터 표현 (Representation) 의 문제로 재해석했습니다.

• 패러다임 전환: "결정 (Decision) 수정"에서 "상태 (State) 정제"로 초점을 이동시킴으로써, RL 에이전트가 왜곡된 피드백 루프에 갇히지 않도록 근본적인 해결책을 제시했습니다.
• 실용성: 확산 모델의 계산 비용이 존재하지만, 이는 장기적인 사용자 유지 (Retention) 와 공정한 노출을 통해 얻는 시스템 전체의 효용 증가를 상쇄하고도 남는 효율성 - 성능 트레이드오프를 보여줍니다.
• 미래 방향: 순차적 의사결정 분야에서 책임 있는 AI (Responsible AI) 를 구현하기 위해, 입력 데이터의 신뢰성 확보가 최우선 과제임을 강조합니다.

결론적으로, DSRM-HRL은 오염된 상태 정보를 정제하고 계층적으로 제어함으로써 정확도와 공정성이라는 상충되는 목표를 동시에 달성할 수 있는 강력한 프레임워크를 제시합니다.