Trait, Not State: The Durability of Reading Identity in Social Highlighting

기술 요약: 상태(State)가 아닌 특성(Trait): 사회적 하이라이팅에서 독서 정체성의 지속성

문제 제記述 (Problem Statement)
사회적 웹 하이라이팅에 관한 선행 연구는 독서 행동의 개별성이 문서 내 어디를 하이라이트하는가 하는 '현저성(salience)'보다는 어떤 문서를 선택하는가 하는 '선택(selection)'에 주로 존재함을 밝혀냈다. 그러나 이러한 결과는 시간을 고정된 것으로 간주한 횡단적 연구였다. 본 논문이 다루는 핵심 질문은 시간적이다: 독자의 선택 시그니처는 특성(trait)(지속적이고 안정적인 정체성)인가, 아니면 상태(state)(최신성에 의해 유도되는 일시적인 조건)인가?

이 구분은 실무적으로 상반된 함의를 갖는다. 만약 선택이 '상태'라면, 추천 시스템은 단기 세션 모델과 공격적인 망각(forgetting)에 의존해야 한다. 만약 선택이 '특성'이라면, 장기 사용자 프로필은 정당하고 지속적인 자산이 된다. 실제 운영 중인 추천 시스템들은 흔히 최신성 가중치에 기본 설정을 두지만, 심리측정학 문헌은 디지털 흔적이 안정적인 속성을 예측할 수 있음을 시사한다. 본 연구는 독자의 선택 우위(selection advantage)가 시간에 따라 어떻게 감쇠하는지를 측정함으로써 이 긴장 관계를 해결하고자 한다.

방법론 (Methodology)
본 연구는 사회적 웹 하이라이터인 Glasp의 데이터를 활용하며, 헤비 유저이자 장기 이용자라는 엄격한 코호트에 집중한다.

• 코호트: 무작위로 샘생된 191,223개의 사용자 기록 중, 405명의 적격 독자를 식별했다. 적격 요건은 12개월 이상의 기간 동안 최소 8개의 서로 다른 달에 활동하며 60개 이상의 깨끗한 웹 문서를 생성하는 것이었다. 중앙값 사용자의 문서 수는 133개였다.
• 프로필 구축: 각 사용자에 대해, 첫 6개월간의 하이라이팅 데이터를 "동결(frozen)"하여 프로필을 생성했다. 이 프로필은 하이라이트된 텍스트 스팬(span)의 텍고 임베딩(512차원 text-embedding-3-small)의 중심점(centroid)으로 구성되며, $K=20$개의 문서로 제한된다.
• 평가 설계:
  • 양성(Positives): 프로필 동결 이후의 사용자 문서 선택을 프로필 동결 시점으로부터의 시간 간격(0–1, 1–3, 3–6, 6–12, 12–24, 24+개월)별로 분류했다.
  • 음성(Negatives): "공급 드리프트(supply drift)"(가용 콘텐츠의 변화)가 개인의 드리프트로 오인되는 것을 방방지하기 위해, 음성 데이터는 시간 매칭을 거쳤다. 이들은 양성 데이터와 동일한 달력 간격 내의 다른 독자들의 선택에서 추출되었다.
  • 두 가지 레짐(Regimes):
    1. 조대(Coarse, Easy): 음성과 대조군을 글로벌 코호트에서 추출했다.
    2. 미세(Fine, Hard/Primary): 음성과 대조군을 사용자의 상위 25개 유사 피어(관심사 이웃)로부터 추출했다. 이 레짐은 더 어렵고 관련성 높은 베이스라인에 대한 정체성을 테스트하기 위해 주 분석 대상으로 지정되었다.
• 지표: 주요 지표는 평균 정밀도(AP) 우위($Own - Other$)이다. 여기서 "Own"은 사용자의 동결된 프로필이 후보 집합을 랭킹하는 AP이며, "Other"는 동일한 집합에 대해 세 명의 대조군 사용자 프로필의 평균 AP이다.
• 유지 분석(Retention Analysis): 생존 편향(멀리 있는 빈(bin)에 장기 이용자만 포함되는 현상)을 피하기 위해, 본 분석은 쌍을 이룬 유지(paired retention) 방식을 사용한다. 즉, 특정 사용자의 후기 빈(예: 6–12개월)에서의 우위를 자신의 0–1개월 베이스라인과 비교한다.

주요 결과 (Key Results)

1. 하네스(Harness)의 검증: 파인 레이어(fine layer)의 "앵커(anchor)" 셀(프로필 동결 직후의 평가)은 +0.188 (95% CI: [0.160, 0.216])의 우위를 보였다. 이는 이전의 횡단적 추정치인 +0.169를 재현하며 실험 설정의 타당성을 입증한다.
2. 감쇠 미검출 (특성 행동):
   • 파인 레이어: 6–12개월 지평에서의 쌍을 이룬 유지 비율($R$)은 1.00 (CI: [0.85, 1.18])으로, 통계적으로 유의미한 감소가 관찰되지 않았다. 24개월 이상에서도 구간에 0이 포함되어 있으며, 점 추정치는 완만한 감소를 허용한다.
   • 조대 레이어: 조대 레이어에서는 12–24개월 지점에서 통계적으로 유의미한 감소(약 13% 하락)가 관찰되었다. 이는 광범위한 주제 혼합은 약간 드리프트할 수 있으나, 미세한 정체성은 안정적임을 시사한다.
   • 결론: 2년 이내의 기간 동안 파인 레이어에서는 "반감기(half-life)" 빈이 관찰되지 않았다.
3. 소스 반복과의 독립성: 이 지속적인 신호는 사용자가 동일한 도메인을 반복해서 하이라이트하기 때문에 발생하는 결과가 아니다. 모든 프로필 도메인을 후보 집합에서 제외했을 때도, 우위는 모든 지평에서 **약 90%**의 가치를 유지했다.
4. 느린 개인 내 드리프트: 정체성은 타인에 비해서는 안정적이지만, 정지된 것은 아니다. 최근 절반의 이력을 사용하여 구축한 프로필은 과거 절반의 이력으로 구축한 프로필보다 +0.042 AP만큼 더 높은 성능을 보였다. 그러나 과거 절반의 프로필도 최근 절반의 점수의 약 91%를 유지하고 있어, 새로운 테마의 교체가 아닌 느린 축적(accretion)이 일어나고 있음을 나타낸다.
5. 전망적 실행 가능성: 개인 프로필(심지어 20개월 전의 문서로 구축된 프로필이라 할지라도)은 비개인적 사전 확률(전체 인기, 이웃 공동 독서, 최신성, 랜덤)보다 사용자의 실제 다음 읽을거리를 약 3배 높은 AP로 랭킹했다. 특히, 글로벌 인기 사전 확률은 본 개인 수준 평가에서 무작위 추측 수준의 성능을 보였다.

의의 및 주장 (Significance and Claims)
본 논문은 자연스러운, 참여가 검증된 독서 선택에 대한 최초의 **정체성 감쇠 곡선(identity-decay curve)**을 제공한다고 주장한다. 저자들이 정의한 '특성'은 지속적인 플랫폼 참여 하에서의 안정적인 개인별 선택 시그니처이다.

• 이론적 기여: 본 연구는 문서 내의 현저성 신호는 공유되고 상황적이지만, **선택 층위(selection layer)**는 개인적이고 지속적임을 입증한다. 이는 사용자의 선호도가 순수하게 상태 기반이며 지속적인 갱신이 필요하다는 추천 시스템의 가정을 반박한다.
• 실무적 함의: 이 데이터를 활용하는 시스템의 경우, 선택 신호에 대해 "공격적인 망각"은 불필요하다. 장기 프로필은 유지되어야 하며, 완만한 최신성 적응과 결합되어야 한다. 신호는 사용자의 가장 초기 문서(중앙값 20개월 전)로 구축된 프로필에서도 여전히 실행 가능하다.
• 한계 및 범위: 저자들은 본 연구 결과가 특정 플랫폼(Glasp)의 헤비 유저 및 장기 이용자에게 적용됨을 명시한다. 본 연구는 노출과 선택을 분리할 수 없다(노출 로그를 사용할 수 없으므로). 따라서 관찰된 "특성"은 "환경 속의 개인"이라는 시스템의 속성이다. 또한, 측정 도구(고정된 제목/스팬 임베딩)는 의도적으로 단순하게 설계되었다. 더 복잡한 모델은 다른 드리프트 패턴을 드러낼 수도 있다.

요약하자면, 본 논문은 몰입하는 독자들에게 있어 무엇을 읽기로 선택하는지의 시그니처는 수년간 지속되는 견고한 '특성'이며, 미지의 소스로 전이되고 비개인적 베이스라인보다 유의미하게 높은 성능을 보이는 반면, 텍스트 내의 어디를 하이라이트하는지의 신호는 일시적이고 공유되는 '상태'라고 결론짓는다.