技術要約：サリエンス（顕著性）ではなく、セレクション（選択）

問題提起

本論文は、ソーシャル・ハイライティングにおけるパーソナライゼーションの形状と限界を調査しており、特に「デジタルツイン」の前提（行動の痕跡がユーザーの選択を予測するという仮説）に関する2つの問いに取り組んでいる。

1. ドキュメントの高度（Document Altitude）: 個人の選択シグナル（どのドキュメントをユーザーが選ぶか）は、文スパンよりも粗いレベルで評価した場合でも持続するのか。また、次ドキュメント評価における混同（confounds）を除去した際、その大きさはどの程度か。
2. サリエンス・レイヤー（Salience Layer）: パーソナライゼーションは、非個人的なサリエンス・モデルを改善できるか。具体的には、非個人的なモデルが候補となる一連の文を提案した場合、パーソナルなモデルは、ユーザーがハイライトするであろう特定の項目を浮上させるために、それらを効果的に再ランク付けできるのか。

著者らは、パーソナライゼーションが普遍的に有益であるという仮定に異議を唱え、測定可能な個性が「選択（どの文書を読むかを選ぶこと）」には存在するが、「サリエンス（テキストのどの部分が重要であるかを特定すること）」には限定されている可能性があると主張している。

手法

本研究では、ソーシャル・ウェブ・ハイライターであるGlaspのデータを用い、**共読者アイデンティティ・コントロール（co-readership identity control）**を活用している。この構造により、同一のドキュメントが複数のユーザーによってハイライトされるため、ドキュメントとトピックを固定したままユーザーを変化させることができ、手法が一致した比較が可能となる。

実験設計

研究は2つの「高度（altitude）」にわたって実施される。

1. 実験 A（ドキュメント選択）:

   • セットアップ: ターゲットユーザー $A$ に対し、彼らの過去のハイライト（候補プールを除く）からプロフィールを構築する。候補プールは、$A$ がハイライトした保持ドキュメント（ポジティブ）と、共読者によってハイライトされたが $A$ はハイライトしていないドキュメント（ネガティブ）で構成される。
   • コントロール: 本研究では、$A$ の履歴によって駆動されるスコアラー（"own"）を、比較可能な他の読者 $B$ によって駆動されるスコアラー（"other"）、トピック的に最も近いピア（"near"）、およびクラウド（群衆）と比較する。
   • バイアス補正: 著者らは「ネガティブにおけるコントロール・イン・ネガティブ（control-in-negatives）」バイアスを特定し、修正した。当初、コントロール・ユーザー自身のドキュメントがターゲット・ユーザーのネガティブ・セットに含まれており、パフォーマンスの差を人工的に膨らませていた。これらのドキュメントを除外することで、修正された結果が得られた。
   • 指標: 平均精度（AP）および95%クラスター・ブートストラップ信頼区間。2つのネガティブ・レジーム（「コミュニティ（広範なサンプル）」および「ハード（トピックが一致し、ユーザーのプロフィールに最も類似したもの）」）がテストされた。

2. 実験 B（文レベルの2段階オート・ハイライト）:

   • アーキテクチャ: 2段階のパイプライン。
     • 第1段階（非個人的）: ゼロショットLLM（gpt-4o-mini, gpt-5.5）、汎用的な中心性、リード・ヒューリスティック、またはクラウド・ユニオンを用いて、候補となる文のプールを生成する。
     • 第2段階（パーソナル）: 候補の埋め込みベクトルと、ユーザーのリークフリーなハイライト・プロフィールのセントロイドとのコサイン類似度を用いて、候補を再ランク付けする。
   • 評価: 第1段階のRecall@K、およびパーソナルな再ランク・モデルが第1段階のサリエンス順序に対して示した利得（または損失）を測定する。

主な結果

1. ドキュメント選択シグナル（実験 A）

• 大きさ: 「own対other」のアイデンティティ・ギャップは、コミュニティ・ネガティブに対して +0.169、ハード（トピック一致）ネガティブに対して +0.119 であった。どちらも極めて有意である。
• 先行研究との比較: このシグナル（+0.12 〜 +0.17）は、著者らの先行研究 [1] で報告されたスパンレベルの選択シグナル（+0.14）と同程度の大きさである。
• シグナルの性質: シグナルは主にトピックに支配されている。コミュニティ・レジームにおけるギャップの約3分の1は、粗いトピック嗜好に起因するが、残りの部分はトピック一致ネガティブに対しても存続している。
• コンテンツ vs タイトル: 記事のコンテンツ・セントロイドを用いた頑健性チェック（タイトルではなく）により、シグナルが純粋にタイトル駆動ではないことが確認されたが、このサブセットではアイデンティティ・ギャップが圧縮された。

2. 文レベルのパーソナライゼーション（実験 B）

• LLMの性能: オフザシェルフのゼロショットLLM（フロンティアモデルを含む）は、トリビアルなリード・ベースライン（ドキュメント順序）よりも成績が悪く、ユーザーのハイライトを回収する上でクラウド・ユニオンよりも大幅に劣っていた（Recall@10: LLM ~0.22–0.25 vs. Lead ~0.29–0.30 vs. Crowd ~0.41–0.42）。
• 再ランク付けの失敗: パーソナルな再ランク付けは、非個人的なサリエンス順序を改善できなかった。
  • LLMのプールにおいて、パーソナルな再ランカーは第1段階のサリエス順序に対して -0.05 の損失を出した。
  • 高リコールな「クラウド・ユニオン」プールでは、損失はさらに大きくなった（K=10において -0.118）。
• サリエンスに関する結論: この結果は、第1段階のリコールが低いことによるアーティファクトではない。リコールを高めるほど、再ランカーの損失は増大した。共有されたサリエンス・レイヤーは、現在のLLMよりも、位置やクラウドの普及度によってより良くモデル化される。つまり、パーソナルなモデルはこれらのベースラインを打ち負かすことはできない。

3. 方法論的貢献

本論文は**「ネガティブにおけるコントロール・イン・ネガティブ」バイアス**を浮き彫りにした。アイデンティティ・コントロール・ユーザー自身のドキュメントが誤ってターゲット・ユーザーのネガティブ・セットに配置されると、コントロール・スコアラーがそれらを高くランク付けするため（それらはコントロール自身のドキュメントであるため）、パフォーマンスの差が人工的に膨らんでしまう。著者らは、このアーティファクト（当初は +0.227 のギャップを示唆していた）と、その修正（コントロール・ドキュメントをネガティブから除外すること）を報告し、ギャップが +0.169 に修正されたことを示した。

意義と統合

本論文は、以下の知見を統合して、ソーシャル・ハイライティングにおけるパーソナライゼーションの境界を定義している。

• 個性が存在するのはサリエンスではなく、セレクションである: 測定可能なパーソナライゼーションは、主に選択レイヤー（どのドキュメントやスパンに関与するかを選ぶこと）において存在し、そのシグナルは控えめ（~+0.13）であり、トピックに依存している。サリエンス・レイヤー（テキスト内のどの文が重要であるかを特定すること）においては、個性は「ささやき」に過ぎず（先行研究でのギャップは +0.017、この再ランクの文脈では実質ゼロ）、パーソナルなモデルは効果的ではない。
• パーソナライゼーションよりも集計: 結果は、共有されたサリエンスを伴うタスク（オート・ハイライトなど）においては、パーソナライズを強めるよりも、個人の集計（クラウドの普及度や位置のヒューリスティックを使用すること）の方が効果的であることを示唆している。これは、レコメンデーション・システム（普及度が打ち負かしがたい）や要約の評価（非パーソナルなモデルがパーソナルなモデルを上回ることが多い）の知見とも一致する。
• 製品への示唆: 文レベルのタスクに対しては、位置やクラウドの転移に基づくジェネリックなオート・ハイライトが適切なツールとなる。パーソナライゼーションは、特定のテキストスパンのサリエンスを精緻化するためではなく、関心のルーティング（どのドキュメントやトピックを提示するかを選択すること）に適用するのが最善である。

著者らは、ハイライト行動から個性を抽出することは可能であるが、それは控えめな選択レベルの現象であり、パーソナライゼーションをサリエンス・レイヤーへと押し進めても、共有された非個人的なシグナルに対して信頼できる利得は得られないと結論付けている。