Probing Stylistic Appropriation using Large Language Models: An Evaluation Framework for Copyright Infringement under EU Law

技術要約：大規模言語モデルを用いた文体流用（Stylistic Appropriation）の調査

1. 問題提起

大規模言語モデル（LLM）の急速な進歩は、技術的なセーフガードとEU著作権法の間に決定的なコンプライアンス・ギャップを生じさせている。著作権侵害に関する現在の技術的アプローチは、主にn-gramの重複、編集距離、埋め込み類似性などの指標を用いた、逐語的な記憶（verbatim memorisation）（正確またはそれに近いテキストの再現）に焦点を当てている。しかし、EUの著作権ドクトリン、特に「デジタル単一市場における著作権（CDSM）指令」および「AI法」の下では、著作物は「著作者自身の知的創作物」として定義される**独創性（originality）**に基づいて保護される。侵害の判断は、リテラルなコピー（逐語的な複製）を超えて、物語構造、キャラクター開発、文体の選択、および創造的要素の配置を含む、**実質的な類似性（substantial similarity）**にまで及ぶ。

既存の技術的パイプラインは、これらの微妙な形態の文体的および構造的な流用を検出することに失敗している。その結果、モデルはリテラルなコピーを防ぐために設計された技術的ベンチマークをパスしながらも、既存のセーフガードを回避して、保護された表現上の選択（例：物語の語り口、プロットのアーキテクチャ）を流用した出力を生成する可能性がある。本論文は、類似性が定性的かつ文脈依存的であり、非逐語的である場合において、法的に関連のある表現の類似性を大規模に評価するという方法論的課題に取り組むものである。

2. 方法論：PSALMフレームワーク

著者らは、LLM-as-a-judge（判定器としてのLLM）アーキテクチャを通じてEU著作権ドクトリンを操作化する自動評価フレームワーク、PSALM（Probing Stylistic Appropriation by Language Models）を導入する。

• アーキテクチャ: PSALMは、各評価器に対して有向非巡回グラフ（DAG）構造を採用している。このグラフは以下で構成される：
  • タスクノード（Task Nodes）: 法的構成概念（例：語彙の複雑さ、焦点化のパターン）の特定のサブ次元を、法的定義や物語論的理論をエンコードした構造化プロンプトを用いて分析する。
  • 判定ノード（Judgement Node）: タスクノードの出力を集約し、法的ドクトリンおよび物語論から導出されたヒューリスティックな重みを適用して、最終的な判定を下す。
  • 判定ノード（Verdict Nodes）: 分析結果を、「明らかに異なる」から「同一またはほぼ同一」に至る5段階の順序尺度（0から10、0.0–1.0に正規化）にマッピングする。
• 評価器（Evaluators）: フレームワークは、以下の2つのカテゴリに分けられた10の評価器を実装している：
  1. 侵害指向型（Infringement-Oriented）（6つの評価器）: 保護されるべき表現的特徴における類似性を測定する：
     • 執筆スタイル（Writing Style）: 語彙の複雑さ、文構造、リズム、修辞的パターン、談話組織、トーン。
     • 物語の語り口（Narrative Voice）: 視点、物語的距離、語り手の存在、時間的観点、焦点化、読者の関与。
     • キャラクター（Character）: アイデンティティ／特性、弧／発展（arc/development）、関係性、背景／動機、表現／行動、機能／役割。
     • プロット構造（Plot Structure）: イベントの連鎖／因果関係、ストーリーのアーキテクチャ、葛藤の構築、転換点、時間的構造、収束。
     • シーンの連鎖（Scene Sequence）: アイデンティティ／内容、内部構造、シーケンスのアーキテクチャ、遷移、ペース配分、機能。
     • 世界観の構築（World Building）: 地理的／空間的設計、ルール／システム、文化的／社会的アーキテクチャ、歴史的／時間的設計、物質的／感覚的詳細、機能／論理。
  2. 防御指向型（Defence-Oriented）（4つの評価器）: 類似性が法定の例外に該当するか、あるいは保護対象外の要素に該当するかを評価する：
     • パロディ／風刺（Parody/Satire）: Deckmynテスト（喚起、変容、ユーモア、批判的性格、公正なバランス）に基づく。
     • パスティッシュ（Pastiche）: Pelham IIおよびAG Emiliouの意見（スタイルの喚起、芸術的スキル、オマージュ、変容、比例性）に基づく。
     • 引用／引用（Quotation/Citation）: Art. 5(3)(d) InfoSoc（特定、正当な目的、公正な慣行、帰属、事前の開示）に基づく。
     • スセーヌ・ア・フェール（Scènes à Faire）: ジャンルや技術的制約によって規定される定型的な要素の評価。

3. 実験設定

本研究では、翻訳された歴史的なオランダ文学作品のコーパス（Digital Library of Dutch Literatureより）でファインチューニングされたLlama 3.2 1B Instructモデルを使用して、PSALMフレームワークを評価する。

• データ構築: スタイルの学習を強調するため（プロンプトのコピーではなく）、歴史的なオランダ語のテキストを質問回答（QA）データセットに変換した。テキストは現代オランダ語および英語に翻訳されている。
• トレーニング・レジーム:
  • ベースライン（Baseline）: 未修正の指示チューニング済みモデル。
  • ファインチューニング済み（Fine-tuned）: フルQAデータセット（忘却セット + 保持セット）で訓練されたモデル。
  • アンラーン済み（Unlearned）: 特定の著者や書籍を「忘却（forget sets）」させつつ、他の書籍を「保持（retain sets）」させるために、**負の選好最適化（Negative Preference Optimisation: NPO）**を適用したファインチューニング済みモデル。
• 評価: フレームワークは、標準的なレキシカル・ベースライン（Exact Match、BLEU-4、ROUGE-L）と比較して、ソーステキストに対するモデルの出力をPSALM評価器を用いて比較する。統計分析には、非パラメトリック検定（Kruskal-Wallis、Mann-Whitney、Wilcoxon）および等価性検定（TOST）を用いる。

4. 主要な結果

実験は、ベースラインの類似性、ファインチューニングの影響、およびアンラーニングの有効性に関する3つのリサーチクエスチョン（RQ）に対処している：

• RQ1: ベースラインの文体的類似性: 指示チューニングされたベースモデルは、コーパスへの露出前であっても、保護された著作物に対して非自明なベースラインの文体的類似性を示す。特に英語モデルは、19世紀後半の散文スタイルとの事前学習による重複が高い。しかし、これらのスコアは一般に「いくらか類似している」または「中程度に類似している」範囲に留まっており、「ほぼ同一」ではない。
• RQ2: ファインチューニングの影響: 教師ありファインチューニングは、すべての侵害に関連する次元において系統的な文体的流用を誘発する。
  • ファインチューニングされたモデルは、計算的、文体的、およびコンテンツの指標（執筆スタイル、物語の語り口、キャラクター、プロット、世界観の構築）において、上限に近いスコア（0.95–1.0）を達成する。
  • この流用は、逐語的な記憶をはるかに超えて広がる。モデルは抽象的な物語のパターンや著者の声を再現する。
  • 決定的なことに、ファインチューニングは防御指向の指標（パロディ、パスティッシュ、引用）のスコアを上昇させない。これは、モデルが変容的または例外適格な振る舞いを自発的に採用しないことを示している。
• RQ3: アンラーニング（NPO）の有効性: 負の選好最適化（NPO）は類似性を大幅に減少させるが、ベースラインの挙動を完全に復元することには失敗する。
  • NPOは、逐語的な記憶（Exact Matchがゼロに低下）を効果的に排除する。
  • 文体的およびコンテンツの類似性スコアは大幅に減少するが（例：忘却セットにおいて0.99から0.30へ）、依然として検出可能であり、しばしば「いくらか異なる」から「中程度に類似している」範囲に留まる。
  • 残留する類似性: 等価性検定（TOost）は、アンラーンされたモデルがベースラインモデルと統計的に等価ではないことを確認している。残留する文体的パターンは存続しており、特に保持セットにおいてスコアは「非常に類似している」領域に留まっている。
  • 言語効果は限定的であるが、オランダ語モデルは英語モデルよりも高い残留的な世界観構築の類似性を示した。

5. 重要性と主張

本論文は、定性的な法的基準と定量的な技術的測定の間の溝を埋めるものであり、生成AIとEU知的財産法の間の根本的な緊張関係を露呈させている。

• 方法論的貢献: PSALMは、表面的な形式の重複を超えて、構造的および文体的な流用を評価するための、監査可能で法的に情報に基づいたコンプライアンス評価のための最初のインフラストラクチャを提供する。これは、特定のドクトリン基準に基づいた場合、LLMが人間の法的評価者の文脈依存的な推論を近似できることを示している。
• 法的含意: 本研究の結果は、リテラルなコピーのみを標的としたセーフガードは、より広範な著作権リスクを軽減するには不十分であることを示唆している。ファインチューニングは、特定の著作物の表現的要素を再現するための精密なツールとして機能するモデルを作成する可能性があり、現在のアンラーニング技術（NPO）は部分的な緩和策に過ぎず、EU法の下で実質的な類似性を構成し得る検出可能な残留文体パターンを残している。
• 謙虚さと限界: 著者らは、PSALMのスコアは人間の法的判断を代替するものではなく、情報を与えるものであることを明示している。検証は、測定の内部一貫性と安定性を確立するために、研究者が設計したテストケースに依存しており、現実世界の裁判における法的妥当性に対するものではない。自動化された類似性スコアと実際の侵害判断との関係については、法務専門家によるさらなる検証が必要である。さらに、本研究は、QA形式が、より多様な指示チューニング・パイプラインと比較して、文体的流用の上限値を表している可能性があることを指摘している。

要約すると、本研究は、技術的なアンラーニングが逐語的な抽出を抑制することはできるものの、「文体的および構造的な学習の刻印」を完全に消去することはできず、生成AI時代におけるモデル開発者と権利保持者の間で重大なコンプライアンス・ギャップを残していることを示している。