MBD: A Model-Based Debiasing Framework Across User, Content, and Model Dimensions

이 논문은 사용자, 콘텐츠, 모델 차원의 다양한 편향을 가진 행동 신호를 분포 모델링을 통해 개인화된 편향 제거 신호로 변환하는 모델 기반 편향 제거 (MBD) 프레임워크를 제안합니다.

핵심

🎬 추천 시스템의 '공정한 심판'을 찾아서: MBD 프레임워크 설명

이 논문은 메타 (Meta) AI 팀이 발표한 것으로, 우리가 매일 보는 유튜브 쇼츠, 인스타그램 릴스, 페이스북 릴스 같은 단편 영상 추천 시스템이 어떻게 더 공정하게 작동하도록 고쳐졌는지에 대한 이야기입니다.

기존 시스템이 가진 치명적인 약점과, 이를 해결한 새로운 방법 (MBD) 을 쉽게 비유로 설명해 드릴게요.

---

1. 문제: "길이가 긴 영화가 무조건 더 재미있다는 착각" 🎥

우리가 영상을 볼 때, 시스템은 "이 사람이 이 영상을 얼마나 좋아했을까?"를 판단하기 위해 여러 신호를 모읍니다. '좋아요', '공유', '시청 시간' 같은 것들이죠.

하지만 여기서 **치명적인 편향 (Bias)**이 발생합니다.

• 시청 시간의 함정: 10 분짜리 긴 영상을 30 초만 보고 넘어가도, 10 초짜리 짧은 영상을 10 초 내내 보면 '시청 시간' 숫자는 긴 영상이 더 높게 나옵니다. 시스템은 "아, 긴 영상이 더 인기가 많구나!"라고 오해합니다.
• 루프 (반복) 재생의 함정: 짧은 영상은 끝까지 보고 다시 보기가 쉽지만, 긴 영상은 반복하기 어렵습니다. 그래서 짧은 영상이 유리합니다.
• 사용자 성향의 차이: 어떤 사람은 영상을 1 초도 안 보고 스킵하는 '빠른 스크롤러'이고, 어떤 사람은 10 분을 꼼꼼히 보는 '인내심 있는 시청자'입니다. 절대적인 숫자만 보면 이 두 사람을 비교할 수 없습니다.

🍕 비유로 이해하기:

imagine imagine 두 개의 피자를 비교한다고 합시다.

• A 피자: 거대한 30 인치 피자 (긴 영상). 한 조각만 먹고 배가 불러서 멈췄습니다. (시청 시간: 10 분)
• B 피자: 작은 미니 피자 (짧은 영상). 다 먹고 또 하나 시켜서 다 먹었습니다. (시청 시간: 10 분)

기존 시스템은 "두 피자 모두 10 분 동안 먹었으니 똑같이 맛있다!"라고 판단합니다. 하지만 사실 B 피자는 정말 맛있어서 다 먹고 다시 시킨 거죠. 시스템은 A 피자의 '크기'라는 편향 때문에 B 피자의 진짜 맛을 간과하고 있습니다.

이런 편향 때문에 시스템은 진짜 재미있는 콘텐츠보다, 단순히 '길이가 긴' 콘텐츠나 '짧아서 반복하기 쉬운' 콘텐츠만 쫙쫙 추천하게 됩니다.

---

2. 기존 해결책의 한계: "통계표로 대충 맞추기" 📊

과거에는 이런 편향을 없애기 위해 통계적 방법을 썼습니다.
"영상 길이가 5~10 초인 것끼리 모아서 평균을 내고, 그 평균과 비교하자"라고 했죠.

하지만 이 방법에는 큰 문제가 있었습니다.

1. 세부적인 차이를 못 잡음: 5.1 초 영상과 9.9 초 영상을 같은 '통'으로 묶어버리면, 9.9 초 영상이 가진 장점을 무시하게 됩니다.
2. 데이터 부족: 새로운 영상이나 드문 사용자에게는 과거 데이터가 없어서 평균을 낼 수 없습니다.
3. 시시각각 변하는 세상: 오늘 유행하는 영상과 어제의 영상은 다릅니다. 과거에 계산한 통계표는 금방 낡아집니다.

---

3. 새로운 해결책: MBD (모델 기반 편향 제거) 🧠✨

이 논문이 제안한 MBD는 "통계표"를 버리고, AI 가 스스로 '상황'을 이해하게 만드는 방식입니다.

핵심 아이디어:
"이 영상이 **이런 상황 (사용자, 길이, 지역 등)**에서 보통 얼마나 시청되는지, 그리고 그 변동성은 얼마나 되는지 AI 가 실시간으로 계산해라!"

🎯 MBD 의 작동 원리 (비유):

MBD 는 마치 '상황을 고려하는 똑똑한 심판'과 같습니다.

• 기존 심판: "30 초를 봤으니 점수 100 점!" (상황 무관)
• MBD 심판: "이 영상은 10 분짜리 긴 영상인데, 사용자가 30 초만 봤네? 보통 10 분 영상은 5 초만 봐도 넘어가는데, 30 초나 봤으니 이 사용자는 정말 이 영상을 좋아한 거야! 점수 100 점!"

MBD 는 단순히 "시청 시간"이라는 숫자만 보는 게 아니라, **"이런 조건에서는 보통 5 초만 봐도 넘어가는구나"**라는 **기준선 (평균)**과 **"사람들이 얼마나 들쑥날쑥하게 반응하는지" (분산)**을 실시간으로 계산합니다.

그리고 실제 시청 시간을 그 기준선과 비교해서 **"상대적 점수 (백분위수)"**로 바꿉니다.

• "45 초 시청" → "이 영상 길이 기준으로는 상위 85% 에 해당하는 엄청난 인기!" (변환)

---

4. 왜 이것이 중요한가요? (실제 효과) 🚀

메타는 이 기술을 20 억 명의 사용자가 쓰는 앱에 적용했습니다. 결과는 놀라웠습니다.

1. 공정한 경쟁: 긴 영상도, 짧은 영상도, 새로운 영상도 자신의 '진짜 매력'대로 경쟁할 수 있게 되었습니다.
2. 사용자 만족도 상승: 사용자가 진짜 원하는 콘텐츠를 더 많이 보게 되어, 총 시청 시간과 앱 사용 횟수가 증가했습니다.
3. 시스템의 건강: 시스템이 편향된 콘텐츠만 추천하는 '에코 챔버 (동일한 생각만 반복하는 공간)'에서 벗어나, 다양한 콘텐츠가 살아남을 수 있는 건강한 생태계를 만들었습니다.

🌱 비유로 마무리:

기존 시스템은 키가 큰 사람만 골라주는 농구 팀 같았습니다. (긴 영상만 추천)
MBD 를 도입한 시스템은 실력 (상대적 선호도) 을 보는 팀이 되었습니다.
키가 작아도 (짧은 영상) 실력이 좋으면 골인시키고, 키가 커도 실력이 없으면 떨어뜨립니다. 그 결과 팀 전체의 승률 (사용자 만족도) 이 오르게 된 것입니다.

요약

이 논문은 **"단순한 숫자 (시청 시간 등) 에 속지 말고, 그 숫자가 나온 '상황'을 이해해서 공정한 점수를 매기자"**는 아이디어를 AI 모델에 심어주었습니다. 이를 통해 우리는 더 다양하고, 더 재미있는 콘텐츠를 만날 수 있게 되었습니다.

기술 요약

MBD: 사용자, 콘텐츠, 모델 차원을 아우르는 모델 기반 편향 제거 (Debiasing) 프레임워크 기술 요약

이 논문은 현대 추천 시스템에서 발생하는 다양한 편향 (Bias) 문제를 해결하기 위해 메타 AI (Meta AI) 에서 제안한 MBD (Model-Based Debiasing) 프레임워크에 대한 연구입니다. 기존 추천 시스템이 단순한 점 추정 (Point-wise Estimation) 에 의존하여 발생하는 한계를 극복하고, 분포 기반 (Distributional) 모델링을 통해 편향된 신호를 편향 없는 신호로 변환하는 새로운 접근법을 제시합니다.

---

1. 문제 정의 (Problem Statement)

현대 추천 시스템은 '좋아요', '시청 시간', '루프 재생률' 등 다양한 행동 신호를 집계하여 가치 모델 (Value Model) 을 통해 후보 콘텐츠를 랭킹합니다. 그러나 이러한 원시 신호들은 본질적으로 이질적인 편향에 의해 왜곡되어 있습니다.

• 편향의 원인:

  • 아이템 편향 (Item Bias): 비디오의 물리적 속성 (예: 길이) 이 콘텐츠의 질과 무관하게 지표를 왜곡함 (예: 긴 영상은 시청 시간이 길어지고, 짧은 영상은 루프 재생률이 높음).
  • 사용자 편향 (User Bias): 사용자의 활동성, 인내심, 인구통계학적 요인 (지역, 언어) 에 따라 행동 패턴이 다름.
  • 모델 편향 (Model Bias): 랭킹 시스템의 피드백 루프가 초기 편향을 증폭시켜 생태계를 특정 콘텐츠로 좁힘.

• 기존 방법의 한계:

  • 점 추정 (Point-wise Estimation) 의 부재: "45 초 시청"이라는 절대적 값은 60 초 영상에서는 높은 관심, 10 분 영상에서는 낮은 관심을 의미할 수 있으나, 기존 모델은 이러한 맥락적 (Contextual) 차이를 반영하지 못함.
  • 통계적 버킷화 (Bucketing) 의 한계: 과거 데이터를 기반으로 구간 (Bucket) 을 나누어 평균을 보정하는 방식은 차원의 저주 (Curse of Dimensionality), 데이터 희소성 (Cold Start), 시간적 부패 (Temporal Staleness) 등의 문제로 대규모 개인화 추천 시스템에 적용하기 어려움.

2. 방법론 (Methodology: MBD Framework)

MBD 는 편향된 행동 신호를 사용자 정의된 '편향 없는 (Unbiased)' 개념 하에 개인화되고 적응적인 신호로 체계적으로 변환하는 프레임워크입니다. 핵심은 **부분 특징 집합 (Partial Feature Set)**을 조건으로 하여 **맥락적 평균 ($\mu$) 과 분산 ($\sigma^2$)**을 명시적으로 추정하는 것입니다.

2.1 핵심 아키텍처

• 부분 특징 집합 ($x'$) 정의: 편향을 제거하고자 하는 특정 특징 (예: 비디오 길이, 사용자 지역, 노출 횟수) 의 부분 집합을 정의합니다.
• 분포 기반 학습 (Distributional Modeling):
  • 기존 랭킹 모델 (MTML, Multi-Task Multi-Label) 에 경량화된 추가 브랜치를 통합합니다.
  • 맥락적 평균 ($\mu$) 추정: $x'$ 조건 하에서의 기대값을 학습합니다.
  • 맥락적 분산 ($\sigma^2$) 추정: 분산은 직접적인 레이블이 없으므로, 1 차 모멘트 (평균) 와 2 차 모멘트 간의 관계를 이용한 감독 학습 (Supervised Learning) 을 통해 추정합니다.
    • Loss 함수: $L_{var} = \| \sigma^2(x') - \text{sg}[(p(x) - \text{sg}[\mu(x')])^2] \|^2$ (여기서 sg 는 Stop-Gradient 연산자).
• 편향 제거 신호 구성 (Unbiased Signal Construction):
  • 원시 신호 ($p(x)$) 를 맥락적 평균과 분산을 이용해 표준화합니다.
  • 상대적 선호 점수 (RPS): $RPS = \frac{p(x) - \mu(x')}{\sigma(x')}$
  • 이를 통해 절대값 (예: 45 초) 을 상대적 지표 (예: 해당 길이 영상 중 상위 85 퍼센타일) 로 변환하여 공정한 비교가 가능해집니다.

2.2 적용 전략

• 가산 부스팅 (Additive Boosting): cohort 기준보다 성능이 우수한 콘텐츠를 부스팅.
• 하드 필터링 (Hard Filtering): cohort 기대치보다 현저히 낮은 저품질 콘텐츠 (클릭베이트 등) 를 필터링.
• 승수 재가중 (Multiplicative Reweighting): 점수 분포를 조정하여 cohort 간 상대적 선호 효율성을 반영.

3. 주요 기여 (Key Contributions)

1. 일반화된 편향 제거 프레임워크: 점 오차 최소화를 분포 편향 완화로 전환하여, 비디오 길이, 사용자 활동 편향, 콘텐츠 콜드 스타트 등 다양한 편향 유형에 대한 통합 솔루션 제공.
2. 분포 무관 학습 알고리즘: 분포에 대한 가정을 하지 않고 모멘트 학습 (Method of Moments) 을 통해 분포 통계를 추정하는 효율적인 알고리즘 제안.
3. 효율적인 내장 아키텍처: 기존 다중 태스크 모델에 경량 브랜치를 추가하여, 별도의 서빙 인프라나 오프라인 통계 테이블 없이 실시간 맥락 인식 편향 제거 구현 (계산 비용 증가 5% 미만).
4. 산업 규모 검증: 수십억 명의 사용자를 대상으로 한 대규모 플랫폼에서 A/B 테스트를 통해 장기적인 참여 지표 개선을 입증.

4. 실험 결과 (Results)

MBD 는 오프라인 평가와 온라인 A/B 테스트를 통해 그 유효성이 검증되었습니다.

• 오프라인 평가:

  • 정확도: MBD 에 의해 추정된 평균 ($\mu$) 은 편향이 거의 0 에 수렴하여 편향 제거의 정확성을 입증.
  • 분포 적합도: NLL (Negative Log-Likelihood) 이 기존 클러스터 기반 베이스라인보다 50% 이상 감소하여 불확실성 모델링의 우수성 입증.
  • 편향 완화: 시청 시간 (Duration Bias) 과 루프 재생률 간의 상관관계를 0 에 가깝게 줄여, 편향 속성과 랭킹 점수의 의존성을 제거함.

• 온라인 A/B 테스트 (실제 배포):

  • 미디어 길이 편향 제거: 긴 멀티미디어 스토어의 노출이 증가하고, 짧은 콘텐츠의 저품질 노출이 감소하여 전체 시청 시간 (Time Spent) +0.198%, 좋아요 +0.173% 증가.
  • 콘텐츠 포맷 편향 제거: 사진과 비디오 간의 불균형 해소 및 클릭베이트 필터링을 통해 세션 수 +0.006%, 시청 시간 +0.058% 개선.
  • 콜드 스타트 편향 제거: 신규 콘텐츠의 노출 편향을 해결하여 브레이크아웃 (Breakout) +0.190%, 조회수 +0.135% 상승.
  • 참여 효율성 (Engagement Efficiency): 짧은 저가치 콘텐츠는 줄이고, 30 초 이상의 고품질 콘텐츠는 증대시켜 생태계의 전반적인 질을 높임.

5. 의의 및 결론 (Significance)

MBD 프레임워크는 추천 시스템의 근본적인 문제인 "편향된 신호와 사용자의 실제 선호도 간의 불일치"를 해결합니다.

• 시스템적 안정성: 편향 제거가 랭킹 모델의 구조를 변경하거나 별도의 복잡한 인프라를 요구하지 않아, 대규모 시스템에 안정적으로 통합 가능.
• 생태계 건강: 특정 콘텐츠 유형 (긴 영상, 짧은 영상, 사진 등) 에 대한 시스템적 편향을 제거함으로써, 사용자의 진정한 선호도에 기반한 공정한 경쟁 환경을 조성.
• 지속 가능한 성장: 단기적인 클릭률 최적화를 넘어, 장기적인 사용자 참여 (Retention, Time Spent) 를 증대시키는 데 기여하여 플랫폼의 생태계 건강을 유지.

결론적으로, MBD 는 편향된 행동 데이터를 맥락적 분포를 통해 해석하고, 이를 통해 더 정교하고 공정한 추천을 가능하게 하는 차세대 추천 시스템의 핵심 기술로 자리 잡았습니다.