Theory-Grounded Evaluation Exposes the Authorship Gap in LLM Personalization

Yash Ganpat Sawant による論文「Theory-Grounded Evaluation Exposes the Authorship Gap in LLM Personalization（理論的根拠に基づく評価が LLM 個人化における著者性の隔たりを露呈する）」の詳細な技術的概要を以下に示す。

1. 問題提起

大規模言語モデル（LLM）の個人化分野では、現在、スタイルの個人化（特定の個人の声で LLM に書かせること）に対する厳密な評価手法が存在しない。既存のベンチマークは以下の点に焦点を当てている：

• タスク精度：（例：LaMP）
• 選好の整合性：（例：PersonalLLM）
• 会話のペルソナ：（例：LLM をジャッジとして用いる PersonaLens）

隔たり（Gap）： これらの手法のいずれも、生成されたテキストが実際に対象となる人間著者の根本的な「指紋」を有しているかどうか、すなわち著者性の忠実度を評価していない。現在の指標は「その場限りの（ad hoc）」ものであり、著者性科学における理論的根拠を欠いているため、較正されていないスコアや、モデルのパフォーマンスに関する誤解を招く可能性のある結論をもたらしている。

2. 手法

著者らは、確立された著者性検証理論とその場限りの代替案を対比させる、理論的根拠に基づく評価フレームワークを提案する。

データと設定

• コーパス：Blog Authorship Corpus（68 万 1 千件の投稿、1 万 9 千人のブロガー）。
• サブセット：十分なデータを持つ 50 人の著者（トレーニング用投稿≥200、テスト用投稿≥50）。
• 生成物：合計 1,000 件の生成物（50 人の著者 × 5 つのプロンプト × 4 つの手法）。
• プロンプティング：プロンプト汚染（例：著者の最初の文を漏洩させること）を避けるため、LLM によって抽出された中立的な内容要約を使用。
• モデル：主要生成モデル：Qwen 3（32B）；再現検証：GLM-4（32B）。

テストされた 4 つの推論時個人化手法

1. 非個人化：対照群（内容要約のみ）。
2. Few-Shot：明示的な指示なしに 5 つの著者サンプルを提供。
3. プロファイル抽出：2 段階プロセス（抽象的なスタイルプロファイルの抽出 $\rightarrow$ プロファイルからの生成）。
4. 対照的：著者サンプル＋他の著者からの対照的サンプル＋スタイル計測的特徴。

3 つの評価指標

本研究は、異なる伝統に由来する 3 つの異なる指標を用いてこれらの手法を評価する：

1. LUAR（主要・理論的根拠あり）：Learning Universal Authorship Representations。数百万件の Reddit 投稿上で対照学習により訓練されたトランスフォーマーモデルであり、著者を識別する埋め込みを生成する。
   • 指標：生成テキストの集約された埋め込みと実在の著者テキストの埋め込みとの間のコサイン類似度。
   • 利点：較正されたベースライン（人間上限と他著者下限）を提供する。
2. LLM-as-Judge（副次・その場限り）：GLM-4 を用いた分離された二値プロトコル。
   • プロセス：著者ごとに 5 つのスタイル特性を抽出 $\rightarrow$ 特性に基づいて生成物をスコアリング $\rightarrow$ 同一著者による妥当性を判断。
   • 指標：特性一致率（TMR）。
3. 自動スタイル計測（三次的・古典的）：
   • 指標：60 の一般的な機能語（Argamon et al., 2003）における機能語のコサイン類似度（FuncCos）。

3. 主な貢献

1. 著者性の較正されたベースライン：本論文は、著者性検証理論に根ざしたスタイル個人化のための最初の評価フレームワークを導入し、絶対的なスコアの意義（上限：0.756、下限：0.626）を確立した。
2. 「著者性の隔たり」の発見：現在の推論時個人化手法は、LLM のスタイル指紋を目標とする人間に向けてシフトさせることに失敗しており、生成されたテキストは、ランダムな人間同士が互いから離れているよりも、目標とする著者から著しく遠ざかっていることを実証した。
3. 構成妥当性の欠如：本研究は、その場限りの指標（LLM ジャッジ）と古典的指標（スタイル計測）が、著者性検証とは異なる構成を測定しており、相関がほぼゼロ（$|r| < 0.07$）であり、矛盾する結論をもたらすことを証明した。
4. 循環的評価の特定：「プロファイル抽出」手法が、真のスタイル忠実度ではなく、ジャッジが抽出する特性そのものを最適化することで、LLM ジャッジのスコアを人為的に引き上げていることを暴露した。

4. 主要な結果

著者性の隔たり

• LUAR スコア：4 つの個人化手法すべてが0.484 から 0.508の範囲でスコアを記録した。
• 下限：「他著者人間下限」（2 人の異なる人間間の類似度）は0.626である。
• 上限：「同一著者人間上限」は0.756である。
• 結論：すべての LLM 生成テキストは人間他者下限を下回ってスコアを記録した。これは、個人化された LLM 出力が、ランダムな人間が他のランダムな人間と比べても、目標とする著者とスタイル的により少なく類似していることを意味する。LLM 自身の「指紋」が出力を支配している。

指標の不一致と妥当性

• 相関：3 つの指標は、ペアごとの相関がほぼゼロ（$|r| < 0.07$）であった。
• 「勝者」の錯覚：LLM-as-Judge（TMR）はプロファイル抽出を明確な勝者として宣言した（効果量 $d=0.58$）。しかし、LUAR は手法間の意味のある差異を認めなかった。
• 不一致の理由：プロファイル抽出は、LLM が抽出可能な特性を最適化する。ジャッジもまた LLM を用いて特性を抽出するため、この手法はジャッジを「ゲーム化」している。実在の著者は TMR においてプロファイル抽出手法（0.542）よりも低いスコア（0.427）であり、TMR は指示への従順さを測定しており、著者性の忠実度を測定していないことを証明している。
• スタイル計測：FuncCos は崩壊したベースライン（上限 0.742 対 下限 0.695）を示し、同一著者テキストと他著者テキストを効果的に区別できなかった。

頑健性

• モデル間：GLM-4 による再現検証は、隔たりが持続することを確認した（スコア 0.417–0.576、依然として 0.626 の下限を下回る）。
• 埋め込み空間：LLM は LUAR 埋め込み空間において明確な領域を占有している。個人化は LLM のスタイル空間内での出力を調節する（Gen$\leftrightarrow$Gen AUC=0.918）が、人間の多様体への隔たりを埋めることはできない（Gen$\leftrightarrow$Real AUC $\approx$ 0.45–0.49）。

方法論的交絡

• プロンプト汚染：対象投稿の最初の文をプロンプトとして使用すると、非個人化ベースラインの類似度が28 パーセントポイント引き上げられ、真のパフォーマンスの隔たりを隠蔽した。妥当な評価には中立的な内容要約が必要である。

5. 意義と含意

• 理論とベンチマークのサイクル：本論文は、著者性理論（Stamatatos, Rivera-Soto）が検証可能な予測（LLM は完全にその指紋を消去できない）を生成し、ベンチマーク（LUAR）が較正された測定でそれらを確認するという、好循環を実証している。
• 評価の再定義：タスク精度や選好の整合性は、スタイルの個人化には不十分であると主張する。将来のベンチマークは、「幻覚」された進歩を避けるために、較正されたベースラインを持つ理論的根拠に基づく指標を使用しなければならない。
• 構造的限界：この知見は、推論時個人化の根本的な限界を示唆している。LLM 固有のスタイル指紋は堅牢であり、プロンプティングや Few-shot 学習のみでは覆すことができない。隔たりを埋めるには、トレーニング時アプローチ（例：LoRA アダプター）が必要かもしれない。
• 診断ツール：指標間の不一致は、スコアを平均化する機会ではなく、構成妥当性の欠如のシグナルとして扱われるべきである。

要約すると、本論文は現在の LLM 個人化研究における重大な失敗を暴露している。モデルは特性を模倣するように指示に従うことはできるが、現在、特定の人間の深層的かつ構造的な著者性の指紋を複製することはできず、この事実は較正されていないその場限りの評価指標には見えない。