Personal Salience: Highlighting Is Social, but Individuality Lives in Selection

기술 요약: 디지털 하이라이팅에서의 개인적 현저성(Personal Salience)

문제 정의
본 논문은 자연스러운 하이라이팅 흔적(독서 중 구절을 표시하는 행위)으로부터 개인의 고유한 정체성을 어느 정도까지 복구할 수 있는지 조사한다. 디지털 트윈 연구는 종종 행동 흔적이 뚜렷한 관심사를 드러내고 선택을 예측한다고 가정하지만, 본 연구는 하이라이팅이 '개인적 지문'인지 아니면 주로 공유된 현저성(shared salience)의 반영인지를 의문을 제기한다. 핵심 과제는 개인화 연구에서 혼재되어 있는 세 가지 양을 분리하는 것이다:

1. 일반적 현서성 (Generic Salience): 문서 자체에 내재된 구조적 또는 의미적 중요성 (예: 주제 문장, 결론).
2. 집단 현저성 (Crowd Salience): 다른 독자들이 표시한 구절 (집단적 합의).
3. 개인적 현저성 (Personal Salience): 특정 사용자에게 남겨진 고유한 잔여물.

저자들은 여러 사용자가 정확히 동일한 문서를 하이라이트하는 드문 시나리오인 '공동 독자(co-readership)'를 실체화하기 위해 웹 하이라이터인 Glasp를 활용한다. 이를 통해 문서와 주제를 일정하게 유지함으로써 개인의 행동만을 분리해 낼 수 있는 문서 내 정체성 제어를 수행한다.

방법론
연구는 두 가지 뚜렷한 예측 작업을 정의하며, 엄격하고 누수 없는(leakage-free) 평가 프레임워크를 채택한다:

1. 작업 (Tasks):

   • 문서 내 현저성 (Within-Document Salience): 사용자가 전체 문서 중 어떤 문장을 하이라이트할지 예측함.
   • 선택성 (Selectivity): 이미 (집단에 의해) 하이라이트된 구절들 중 특정 사용자의 것에 속하는 것을 예측함.

2. 평가 모델 및 베이스라인 (Scorers & Baselines):

   • 집단 (Crowd): 후보 구간을 표시한 다른 공동 독자의 수 (밀집된 집단에서 추정된 중앙값은 38명).
   • 일반 (Generic): 문장 중심성 (문서 임베딩 중심점과의 코사인 유사도).
   • 개인 모델 (Personal Models):
     • 임베딩 프로필 (M1): 사용자의 과거 하이라이트 평균 풀링 임베딩과의 코사인 유사도.
     • 트윈 (Twin): 사용자의 이력을 조건으로 하여 후보군을 순위 매기는 프런티어 LLM (gpt-5.5).
   • 정체성 제어 (Other Identity Control): 동일한 점수 산출 방식을 다른 공동 독자의 프로필에 적용함. 이는 추출기의 일반적인 능력을 제어하며, 양(+)의 "자기 대 타인(own-versus-other)" 격차는 진정한 개인화를 나타낸다.

3. 핵심 방법론적 통제 (Critical Methodological Controls):

   • 누수 없는 프로필 (Leakage-Free Profiles): 개인 프로필은 대상 문서를 명시적으로 제외하여 쌍(pair)별로 구축된다. 저자들은 단순한 파이프라인이 대상 문서를 프로필에 포함시켜(약 42%의 쌍에서) 개인 점수를 평균 정밀도(AP) 기준 +0.07에서 +0.15까지 부풀리는 경우가 많음을 입증했다.
   • 밀집된 집단 (Dense Crowd): 인위적으로 집단의 성능을 낮게 만드는 작은 부분 집합(≤5) 대신 전체 공동 독자 집단(중앙값 38명)을 사용했다.
   • 주제 분해 (Topic Decomposition): 개인적 신호가 안정적인 주제적 선호에 의한 것인지, 아니면 더 미세한 스타일의 차이인지 결정하기 위해 "주제적으로 가장 가까운" 동료들과 비교한다.

주요 결과

1. 하이라이팅은 사회적이다 (문서 내 현서성):

   • 집단이 사용자가 하이라이트할 문장을 예측하는 데 있어 가장 강력한 예측 변수이다 (AP 0.321). 이는 일반적 구조 (0.187), 개인 임베딩 프로필 (0.172), 심지어 프런티어 LLM 트윈 (0.247)보다 우수하다.
   • 이 작업에서 복구 가능한 개인적 신호는 미미하다. 임베딩 스코어러의 "자기 대 타인" 정체성 격차는 +0.017 AP (작지만 유의미함)이며, 트윈의 경우 +0.012 AP (유의미하지 않음)이다.
   • 심지어 "순서/위치" 사전 확률(문장 순서에 기반해 마크를 예측)조차 개인의 이력보다 성능이 좋지만, 여전히 집단이 이보다 우세하다.
   • 결론: 무엇이 현저한지를 결정하는 데 있어 개별성은 거의 존재하지 않으며, 합의가 지배한다.

2. 개별성은 선택 속에 존재한다:

   • 작업이 이미 현저한 구절들 중 어떤 것을 사용자가 선택했는지를 고르는 것으로 바뀌면, 개인적 신호가 강력해진다. 정체성 격차는 +0.143 AP로 급증한다.
   • 여기서 집단의 인기도는 역예측적이다 (AP 0.157, 기본율보다 낮음). 왜냐하면 가장 많이 표시된 구간은 모두에게 공유되는 것이므로 개인을 차별화할 수 없기 때문이다.
   • 비대칭성: 동일한 스코어러를 사용할 때, 선택 작업에서의 개인적 신호는 현저성 작업보다 6~8배 더 강력하다.

3. 선택 신호의 본질:

   • 분해 결과, 선택 신호는 주로 안정적인 주제적 선호에 기인한다. 사용자를 "주제적으로 일치하는" 동료와 비교했을 때, 정체성 격차는 약 8배 감소한다 (from +0.212 to +0.026).
   • 근접한 주제의 트윈과 비교하더라도 미세한 잔여 신호(+0.026)가 남지만, 저자들은 이것이 비주제적인 "스타일"이라기보다는 더 미세한 주제적 뉘앙스를 나타낼 수 있다고 주의를 준다.
   • 스케일링 법칙 (Scaling Law): 풍부한 이력을 가진 사용자의 경우, 선택 신호는 약 60개의 과거 하이라이트(수십 개 정도) 이후에 정체(plateau)된다. 이는 개인의 시그니처를 포착하는 데 적당한 양의 이력이면 충분함을 시사한다.

4. 이차적 관찰 (합의 vs 인기도):

   • 문서의 인기도가 높아질수록 집단의 합의가 감소하는 암시적인 경향이 있다. 고정된 집단 크기를 기준으로 할 때, 총 독자 수가 많은 문서는 무엇을 하이라이트할지에 대한 합의도가 더 낮았다.

의의 및 주장
본 논문은 개인화에 대한 흔한 전제를 뒤집는다고 주장한다. 즉, 개인이 무엇에 흥미를 느끼는지(현저성)에서 차이가 난다는 가설이다. 증거에 따르면:

• 현저성은 공유된다: 무엇이 흥미로운가는 주로 문서의 구조와 집단적 합의에 의해 결정된다.
• 개별성은 선택적이다: 개인의 정체성은 공유된 풀(pool) 내에서 특정 흥미로운 항목을 선택하는 과정에서 드러난다.
• 방법론적 교정: "디지털 트윈"이 집단을 이겼다는 이전의 주장들은 대부분 방법론적 결함의 산물이었다. 즉, 인위적으로 작은 집단을 사용했거나, 대상 문서의 데이터가 사용자 프로필로 유입되는 것을 방지하지 못했다.

저자들은 하이라이트가 사람에 대한 완전한 복제본이라기보다, "부분적이고 선택의 형태를 띤 창(window)"을 제공한다고 결론짓는다. 개인의 시그니처는 실재하지만, 강력한 공유 기반 위에 놓인 "얇은 층"으로서 존재하며, 현저성 탐지보다는 주로 선택 작업에서 표면화된다.