Predictable Drifts in Collective Cultural Attention: Evidence from Nation-Level Library Takeout Data

1. 연구 배경 및 문제 제기 (Problem)

• 문제의 본질: 문화적 제품 (책, 영화, 음악 등) 에 대한 소비자 주의 (Attention) 의 변화를 예측하는 것은 매우 어렵습니다. 기존 연구는 개별 제품에 대한 주의 예측에는 본질적인 한계가 있음을 시사했으나, 전체 시장 차원에서의 집단적 주의 (Collective Attention) 의 변화 한계에 대해서는 잘 알려져 있지 않았습니다.
• 연구 질문:
  • 집단적 주의는 얼마나 빠르게 변화하는가?
  • 이러한 변화는 모든 제품과 소비자 그룹에서 보편적인가?
  • 이러한 변화 (Drift) 는 예측 가능한가?
• 기존 연구의 한계: 대부분의 연구는 '히트작 (Hit products)'과 같은 인기 있는 소수의 제품에 집중하여, 전체 시장의 시스템적 역동성을 놓치고 있었습니다.

2. 데이터 및 방법론 (Methodology)

A. 데이터셋 (Data)

• 규모: 덴마크 전역의 공공 도서관 대출 기록을 기반으로 한 국가 규모 (Nation-scale) 데이터입니다.
• 범위: 2020 년 1 월부터 2024 년 12 월까지의 5 년간 데이터로, 약 **300 만 명의 개인 (덴마크 인구의 약 50%)**이 대출한 1 억 3,600 만 건 이상의 대출을 포함합니다.
• 세부 정보: 75 만 개 이상의 고유한 책 제목과 513 개 도서관의 데이터가 포함되며, 전자책 (eBook) 과 오디오북도 포함됩니다.
• 연계 데이터: 대출 기록을 덴마크의 국가 등록 데이터 (Registry data) 와 익명화하여 연결하여 대출자의 **인구통계학적 정보 (연령, 성별, 교육 수준, 거주 지역 유형)**를 확보했습니다.
• 범주: 일반 대중 소설 (Fiction), 일반 대중 논픽션 (Nonfiction), 아동/청소년 도서로 분류되었습니다.

B. 분석 방법 (Method)

• 측정 지표: 집단적 주의의 변화를 정량화하기 위해 **제센 - 샨논 발산 (Jensen-Shannon Divergence, JSD)**을 사용했습니다. 이는 두 달 간의 책 인기도 분포 (Frequency distribution) 간의 차이를 정보 이론적으로 측정하는 지표입니다.
  • JSD = 0: 두 달의 인기도 분포가 동일함.
  • JSD = 1: 완전히 다른 책들이 대출됨.
• Drift (편차) 의 정의:
  • 로컬 드리프트 (Local Drift): 인접한 두 달 간의 JSD (즉시적인 변화).
  • 글로벌 드리프트 (Global Drift): 기준 월 (2021 년 5 월) 과 이후 모든 월 간의 JSD (장기적인 누적 변화).
• 분석 전략:
  • COVID-19 봉쇄 기간 (2020 년 3 월~5 월, 2020 년 12 월) 을 제외하고 2021 년 5 월부터 2024 년 12 월까지의 데이터를 분석하여 노이즈를 최소화했습니다.
  • 인구통계학적 하위 그룹별 (성별, 연령, 교육 등) 로 상위 10,000 권의 인기 도서만을 대상으로 드리프트를 계산하여 무작위 변동의 영향을 제거했습니다.
  • 개별 책이 전체 드리프트에 기여하는 정도를 분석하여 '히트작'과 '롱테일 (Long-tail)' 책의 역할을 규명했습니다.

3. 주요 결과 (Key Results)

A. 집단적 주의의 지속적인 편차 (Continuous Drift)

• 일정한 변화율: 문화적 주의는 매월 거의 일정한 속도로 지속적으로 변화 (Drift) 합니다. 이는 개별 책의 인기도가 어떻게 변하든 상관없이 전체 분포가 지속적으로 재편성됨을 의미합니다.
• 계절성: 겨울철 (11 월~1 월) 에 크리스마스 테마의 책 (특히 아동 도서) 으로 인해 로컬 드리프트에 일시적인 피크가 발생하지만, 전체적인 추세는 선형적으로 증가합니다.
• 장기적 이질성: 글로벌 드리프트는 시간이 지남에 따라 계속 증가하여, 기준 시점과 멀어질수록 문화적 취향의 차이가 커집니다.

B. 인구통계학적 요인의 영향 (Heterogeneous Effects)

• 성별: 여성은 남성보다 글로벌 드리프트가 더 크고 계절적 피크가 뚜렷합니다. 남성은 여름철 피크도 관찰됩니다.
• 연령: 30~45 세 대출자는 65 세 이상 대출자에 비해 로컬 및 글로벌 드리프트가 현저히 낮습니다 (취향이 더 안정적임).
• 교육 및 거주지: 고학력자와 대도시 거주자는 일반 대중 도서 (아동 도서 제외) 에서 더 큰 드리프트를 보입니다.
• 아동 도서의 역할: 아동 도서를 제외하면 성별, 교육, 거주지 간의 드리프트 차이가 더 두드러지며, 연령대 간 차이는 줄어듭니다. 이는 아동 도서가 전체적인 계절적 변동의 주요 동인임을 시사합니다.

C. 개별 책의 기여도 (Contributions of Individual Books)

• 히트작의 한계: 인기도가 가장 크게 변동하는 상위 100 권의 책이 전체 로컬/글로벌 드리프트의 약 10% 만 설명합니다.
• 롱테일의 중요성: 전체 드리프트의 70% 이상을 설명하려면 상위 10,000 권 이상의 책을 고려해야 합니다. 즉, 소수의 히트작이 아닌, 수많은 책들의 집단적 움직임이 전체 문화적 변화를 주도합니다.
• 불안정성: 한 달에 큰 기여를 하던 책이 다음 달에도 같은 그룹에 속할 확률은 매우 낮습니다 (상위 100 권 중 약 14% 만 유지).

D. 예측 가능성 (Predictability)

• 패턴의 안정성: 개별 책이 무엇인지 예측하는 것은 불가능하지만, **드리프트의 크기 (Magnitude)**는 과거 데이터로 높은 정확도로 예측할 수 있습니다.
• 모델 성능: 전년의 같은 기간 드리프트를 사용하여 다음 해의 드리프트를 예측하는 간단한 모델은 평균 절대 백분율 오차 (MAPE) 가 10% 미만으로 매우 높은 정확도를 보였습니다.
• 계절성 패턴: 매년 반복되는 계절적 변동 패턴은 매우 일관적입니다.

4. 주요 기여 및 의의 (Significance & Contributions)

1. 새로운 관점 제시: 개별 제품의 예측 불가능성 대신, 집단적 문화적 주의의 시스템적 역동성이 예측 가능하고 규칙적임을 증명했습니다.
2. 알고리즘 및 추천 시스템에 대한 시사점:
   • 추천 시스템은 고정된 모델이 아니라, **드리프트 (Drift) 를 고려하여 주기적으로 재학습 (Retraining)**되어야 함을 강조합니다.
   • 특정 그룹 (예: 여성, 고령자) 은 다른 그룹보다 문화적 취향 변화가 빠르므로, 그룹별 드리프트 속도에 맞춰 모델 업데이트 주기를 조정해야 편향을 줄일 수 있습니다.
3. 이론적 함의: 문화적 변화는 단순한 무작위 과정이 아니라, 계절적 요인과 인구통계학적 요인이 결합된 예측 가능한 메커니즘을 따릅니다. 이는 중립적 드리프트 (Neutral drift) 모델과 같은 기존 이론에 제약을 가하며, 선택 메커니즘의 이질성을 고려해야 함을 시사합니다.
4. 데이터의 독창성: 300 만 명의 개인 데이터를 인구통계학적 정보와 연결하여 분석한 전례 없는 규모와 정밀도를 제공했습니다.

5. 결론

이 연구는 문화 시장의 집단적 주의가 끊임없이 변화하지만, 그 변화의 속도와 패턴은 예측 가능하다는 사실을 입증했습니다. 이는 시장 예측, 정책 수립, 그리고 특히 알고리즘 기반 추천 시스템의 설계 및 유지보수에 있어 중요한 실용적 지침을 제공합니다. 즉, "무엇이 유행할지"를 예측하는 대신 "유행의 흐름이 얼마나 빠르게 변할지"를 예측하는 것이 더 현실적이고 효과적일 수 있음을 보여줍니다.