Alignment Whack-a-Mole : Finetuning Activates Verbatim Recall of Copyrighted Books in Large Language Models

この論文「Alignment Whack-a-Mole: Finetuning Activates Verbatim Recall of Copyrighted Books in Large Language Models」は、大規模言語モデル（LLM）における著作権保護された書籍の記憶（メモライゼーション）と、その安全性アライメント（安全調整）がファインチューニングによってどのように回避されるかを示す重要な研究です。以下に、問題定義、手法、主要な貢献、結果、そしてその意義について詳細な技術的サマリーを日本語で記述します。

1. 問題定義 (Problem)

近年の最先端 LLM 開発企業は、裁判所や規制当局に対し、「モデルは学習データの完全なコピーを保存しておらず、RLHF（人間フィードバックによる強化学習）やシステムプロンプト、出力フィルタなどの安全対策により、著作権のある作品の逐語的な再生（レグリゲーション）をブロックしている」と主張しています。しかし、本研究は以下の核心的な問題に焦点を当てています。

• 安全性の脆弱性: 安全に調整された（Aligned）モデルであっても、特定のタスク（例えば、プロット要約を本文に拡張する）でファインチューニングを行うことで、これらの保護措置が破られ、学習データに含まれる著作権のある書籍の逐語的な内容が引き出せるのではないか。
• 法的根拠の揺らぎ: 最近のフェアユース（公正利用）に関する判決では、「モデルが学習データを複製していないこと」や「適切な保護措置が講じられていること」が重要な要素となっています。もしファインチューニングで容易に著作権内容が再生可能であれば、この法的前提が崩れる可能性があります。

2. 手法 (Methodology)

本研究は、モデルの「パラメトリックメモリ（重み）」から著作権のあるテキストを抽出するための新しい攻撃手法を提案し、評価しました。

• 抽出パイプライン:

  1. データ準備: 著作権のある書籍を 300〜500 語の断片に分割し、GPT-4o を用いて各断片の「プロット要約（あらすじ）」を生成します。
  2. ファインチューニング: モデルに対し、「プロット要約（入力）」から「元の書籍の逐語的なテキスト（出力）」を生成させるタスクでファインチューニングを行います。このタスクは、商業的なライティングアシスタントとして正当な用途にもなり得るため、悪意のある攻撃とは見なされにくい「ベンIGN（善意）」なタスクです。
  3. 評価（推論）: ファインチューニング済みのモデルに対し、学習データに含まれていない（ホールドアウトされた）書籍のプロット要約を入力し、モデルがパラメトリックメモリのみから逐語的なテキストを生成できるか評価します。

• 評価対象モデル:

  • OpenAI: GPT-4o
  • Google: Gemini-2.5-Pro
  • DeepSeek: DeepSeek-V3.1
  • これらはいずれも RLHF による安全調整が施された最先端のクローズドモデルです。

• 評価指標:

  • bmc@k (Book Memorization Coverage): 書籍全体の単語のうち、k 語以上の連続する一致するスパンで覆われた割合。
  • 最長の連続する記憶ブロック: 一度の生成で抽出された最長の連続する単語数。
  • 20 語を超える連続する再生スパンの数: 頻繁に発生する逐語的な再生の回数を計測。

3. 主要な貢献と発見 (Key Contributions & Results)

A. ファインチューニングによる保護の回避

アライメント済みのベースラインモデルは、プロット要約からのみではほとんど逐語的な内容を生成しませんでした（bmc@5 は約 7% 未満）。しかし、ファインチューニング後、モデルはホールドアウトされた書籍の85〜90%を再生し、単一の連続するスパンが460 語以上に達しました。

B. クロス著者（Cross-Author）の一般化

最も驚くべき発見は、ファインチューニングが著者を超えて記憶を活性化させることです。

• 実験: ハルキ・ムラカミの作品のみでファインチューニングを行い、30 人以上の無関係な著者の作品をテストしました。
• 結果: ムラカミで学習させたモデルは、他の著者（村上春樹とは無関係）の書籍からも大量の逐語的テキストを抽出しました。これは、モデルが著者固有のスタイルだけでなく、**意味的な関連性（セマンティックな構造）**を通じて記憶を組織化していることを示唆しています。

C. 事前学習データの重なりが鍵

• パブリックドメイン vs 合成データ: 公共領域（パブリックドメイン）の作品（バージニア・ウルフなど）でファインチューニングすると、著作権のある書籍からの抽出が可能になりましたが、合成データ（AI 生成の物語）でファインチューニングしても抽出は起こりませんでした。
• 結論: これは、タスクの形式そのものではなく、事前学習データに著作権のある書籍が含まれていることが記憶の源泉であることを強く示しています。

D. 業界全体の脆弱性（Cross-Model Agreement）

異なるベンダー（OpenAI, Google, DeepSeek）の 3 つのモデルは、同じ書籍の同じ部分を非常に高い相関（r ≥ 0.90）で記憶していることが判明しました。これは、個々のモデルのアーキテクチャやトレーニングプロセスの違いではなく、**共有されたトレーニングデータ（おそらく海賊版書籍の集合体など）**に起因する構造的な脆弱性であることを示しています。

E. 記憶の構造（意味的連想）

モデルは記憶を孤立した断片としてではなく、意味的にリンクされた連想構造として保存していることが示されました。ある段落のプロット要約を入力すると、モデルは入力された段落とは異なる、しかし意味的に類似した別の段落からの逐語的テキストを生成することがあります（クロス・パラグラフ再生）。

4. 結果の定量的サマリー

• Sapiens (ユヴァル・ノア・ハラリ): ファインチューニング後、GPT-4o は 85.1% のカバー率（bmc@5）を達成し、最長の連続スパンは 1,053 語に達しました。
• The Handmaid's Tale (マーガレット・アトウッド): 同様に 70.8% のカバー率、最長 887 語の連続スパンを再生しました。
• クロス著者効果: ムラカミで学習させたモデルが、村上春樹とは無関係な「Between the World and Me」から 53.76% のカバー率を達成しました。

5. 意義と法的含意 (Significance & Implications)

この研究は、技術的・法的な両面で重要な意味を持ちます。

• 技術的含意:

  • 現在の RLHF や出力フィルタなどの安全対策は、ファインチューニングという「正当な用途」によって容易に回避可能であり、完全な防御策ではないことが示されました。
  • LLM の重み（パラメータ）には、学習データである著作権のある書籍の「圧縮されたコピー」が保存されているという証拠を強力に提供します。

• 法的含意:

  • フェアユースの再考: 最近の裁判（Bartz v. Anthropic, Kadrey v. Meta など）では、「モデルが学習データを複製していない」ことや「有害な出力を防ぐ措置があること」がフェアユースの判断基準となりました。しかし、本研究は「ファインチューニングという単純な操作で、これらの保護措置が無力化され、著作権作品の大部分が再生可能になる」ことを示しました。
  • 市場への被害: 著作権者が作品を販売する市場に対して、AI が「要約を入力すれば全文を再生する」ような機能を提供することは、直接的な市場代替となり、フェアユースの第 4 要素（市場への影響）に深刻な悪影響を与える可能性があります。
  • セキュリティの欠如: 開発者が「モデルにコピーは保存されていない」と主張しても、実際には重みにコピーが埋め込まれており、適切なセキュリティ対策（再生防止）が機能していない場合、著作権侵害の責任を問われるリスクが高まります。

結論

この論文は、大規模言語モデルが学習データとして著作権のある書籍を記憶しており、その記憶がファインチューニングによって「活性化」され、安全対策を回避して逐語的に再生されることを実証しました。これは単一のモデルやプロバイダーに限定されない業界全体の構造的な問題であり、AI 開発における著作権法理（特にフェアユース）の再評価を迫る重要な知見です。