Measuring Embedding Sensitivity to Authorial Style in French: Comparing Literary Texts with Language Model Rewritings

技術的概要：フランス語における作者様式に対する埋め込みの感度測定

問題提起
大規模言語モデル（LLM）は人間の文章様式を説得力を持って模倣できるものの、言語モデルの埋め込み（embedding）にどの程度の様式情報が符号化されているか、また LLM による書き換え後にこれらのシグナルがどの程度保持されるかは未解明である。既存の埋め込みに基づく分析は、トピックモデリングなどの意味論的タスクを様式的特徴よりも優先する傾向がある。本論文は、フランス語の文学テキストにおいて埋め込みが作者の様式的特徴を確実に捉えるかどうか、および LLM によって特定の作者を模倣するために書き換えられた際にこれらのシグナルがどの程度持続するかを調査する。

方法論
本研究は、1,248 件のフランス語文学テキストからなるデータセットを用いた統制実験デザインを採用し、以下の 3 つの構成要素に分割されている：

1. 参照コーパス（人間作成）：
   • TUFFERY_REF: ステファヌ・テュフェリーの『Le style mode d'emploi』からの 96 件のテキスト。すべてが単一のトピック（パリでのバス旅）を共有しつつ、様式（主要な作家のパastiche を含む）が異なる。
   • STYLE_REF: 3 人の異なる作家からの 288 件のテキスト。プルースト（『スワン家のほうへ』）、セリーヌ（『夜への旅』）、ユルリナール（『ハドリアヌス帝の回想』）であり、それぞれ多様な様式プロファイル（構造的複雑さ、口語的レジスター、歴史的根拠）を代表する。
2. 生成コーパス（LLM 模倣）：
   • STYLE_GEN: 3 つの LLM（GPT-4o、Mistral-large-2411、Gemini-1.5-flash）にプロンプトを与え、TUFFERY_REFのテキストをSTYLE_REFの 3 人の作家の様式で書き換えさせることで生成された 864 件のテキスト。これにより、トピックは固定され様式が変化するデータセットが作成される。
3. ベクトル化と分析：
   • すべてのテキストは、アーキテクチャの多様性と Massive Text Embedding Benchmark（MTEB）での性能に基づいて選択された13 種類の異なる埋め込みモデル（384 次元から 1536 次元の範囲）を用いて符号化された。
   • クラスタリング検証: K-means クラスタリング（k=3）と Uniform Manifold Approximation and Projection（UMAP）を用いて、埋め込み空間における 3 つのコーパスグループ（TUFFERY、STYLE_REF、STYLE_GEN）の分離可能性を評価した。
   • 感度指標: 中核となる分析は、埋め込みの分散（2D UMAP 空間におけるクラス重心からのユークリッド距離）を様式的特徴のシフトに対して測定するものである。5 つの様式的特徴ファミリーを追跡した：構造的（単語/文の長さ）、形態統語（品詞タグ）、語彙（シャノンエントロピー、文字頻度）、参照性（固有表現認識密度）。
   • 相関分析: 埋め込み分散のシフト（$\Delta d$）と、TUFFERY_REFを基準とした様式的特徴頻度のシフト（$\Delta f_s$）との間でピアソン相関を計算した。これは人間作成のテキスト（STYLE_REF）と LLM 生成の模倣（STYLE_GEN）の両方に対して実施された。

主要な結果

• 人間様式に対する埋め込みの感度: 埋め込みは作者の様式的特徴を確実に捉える。埋め込み分散のシフトと様式的特徴のシフトの間には、有意ながら中程度から弱い相関が見出された。
  • プルースト: 固有表現（NER）、文字、構造的特徴、品詞タグにわたる広範な感度。
  • セリーヌ: 文字頻度、NER、エントロピーに集中した感度。
  • ユルリナール: NER（参照密度）に対する感度が支配的。
• 書き換え後の持続性: LLM による書き換え後も様式的シグナルは持続するが、減衰し再重付けされる。
  • プルーストの模倣: 広範なプロファイルを保持したが、構造的および文字特徴における感度は低下した。
  • セリーヌの模倣: 生成されたクラスの中で最も高い様式的忠実度を示し、口語的レジスターの指標（文字）を保持しつつ、参照性を過大評価した。
  • ユルリナールの模倣: NER に基づく根拠を保持したが、部分的な希釈と文字頻度へのシフトを伴った。
• LLM 固有のパターン: 異なる LLM は作者様式の異なる側面を保持する。例えば、Mistral はプルーストの広範なプロファイルを最もよく保持したが、GPT は表面レベルの分類器における全体的な「転送精度」が低かったにもかかわらず、他のモデルと比較してセリーヌとユルリナールの定義パターンに対してより高い忠実度を示した。
• 指標の乖離: 本研究は、表面レベルの様式転送精度（文字 n-グラムで測定）と、埋め込みに基づく様式的忠実度の間に乖離があることを浮き彫りにした。モデルは表面精度のスコアが低くても、作者の埋め込みプロファイルを定義する深層的な構造的または参照的パターンをよりよく保持する可能性がある。

意義と主張
本論文は、その分析結果が言語モデルの時代における作者模倣の検出にとって有望な方向性を提供すると主張している。生成による書き換えを通じて特定の様式的特徴がどのように保持または変更されるかを追跡することで、本研究は従来の様式転送評価を補完する。特に様式変換パターンに関する埋め込み空間における人間基準からの逸脱が、LLM による模倣の指標となり得ることを示唆している。

著者らは自身の発見について慎重であり、以下の点を指摘している：

• 観察された相関は有意であるが、その大きさは中程度である。
• 本研究はフランス語の文学テキストと特定の作家群に限定されており、他の言語や非文学ジャンルへの一般化にはさらなる検証が必要である。
• 様式的特徴のリストは研究対象の特定の作家に合わせて調整されたものであり、網羅的ではない可能性がある。
• 可視化に 2D UMAP に依存することは歪みを導入しており、さらなる調査が必要である。

究極的に、この研究は、埋め込みベクトルが様式に対してどの程度感応するか、また LLM が様式転送の間にその感度をどの程度保持または変更するかを定量化するための枠組みを提供する。