💬 NLP

Exploring Cross-Client Memorization of Training Data in Large Language Models for Federated Learning

本論文は、中央集権型学習からの微細なクロスサンプル測定技術を適応させることで、連合学習におけるクライアント内およびクライアント間のトレーニングデータ記憶を定量化する新たな枠組みを提案し、FL モデルが特定のトレーニングおよび推論要因に影響される顕著な記憶リスクを示すことを明らかにする。

原著者： Tinnakit Udsa, Can Udomcharoenchaikit, Patomporn Payoungkhamdee, Sarana Nutanong, Norrathep Rattanavipanon

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tinnakit Udsa, Can Udomcharoenchaikit, Patomporn Payoungkhamdee, Sarana Nutanong, Norrathep Rattanavipanon

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

複雑な料理を一緒に作りたいが、秘密の家族レシピを共有するのを恥ずかしがっている友人たちのグループを想像してください。彼らは実際のレシピを中央のキッチンに送る代わりに、それぞれが自宅のキッチンで自分なりの料理のバージョンを訓練し、中央のシェフに「学んだ教訓」（重みまたは調整）のみを送ります。これが**連合学習（Federated Learning: FL）**です。これは、生の食材（あなたのプライベートデータ）を一度も共有することなく、協調的に学習する方法です。

しかし、隠れた危険があります。レシピを共有しなくても、シェフが偶然にあなたの特定の食材を記憶してしまい、後で別の料理を頼まれたときにそれを口走ってしまう可能性があります。これを**記憶（memorization）**と呼びます。

この論文は、連合学習においてこのような偶発的な記憶が起きているかどうか、また、それが従来の学習方法（全員が一つの大きな鍋でレシピを共有していた場合）とどのように異なるかを調査する、新しい「プライバシー探偵」のようなものです。

以下は、彼らの調査を簡単な比喩を用いて解説したものです。

1. 古い探偵と新しい探偵

従来の方法（集中型学習）： 以前、研究者たちはモデルがデータを記憶しているかどうかを確認するために、「もしあなたがこの特定の文（プロンプト）を与えられたら、この正確な文（答え）を口走りますか？」と問いかけました。彼らは、プロンプトと答えが元の同じレシピから来なければならないと仮定していました。
新しい問題（連合学習）： 「恥ずかしがり屋の友人」のシナリオでは、ある友人が自分のレシピに基づいてシェフに質問し、シェフが偶然に別の友人の秘密のレシピからの詳細を答えてしまう可能性があります。古い探偵は、一度に一つのレシピしか見ていなかったため、これを逃していました。
新しい枠組み： 著者たちは、クライアント間の記憶を検査する新しいツールを構築しました。彼らはこう問います。「友人Aがプロンプトを与えた場合、モデルは偶然に友人Bの秘密を明かすでしょうか？」

2. 調査：彼らは何を見つけましたか？

研究者たちは、4 つの異なる「料理タスク」（要約、チャット、質問への回答、分類）と、異なるデータセットを持つ3 つの「友人」（クライアント）を用いたシミュレーションを設定しました。そして、テキストがコピーされたものか、言い換えられたものか、単に同じアイデアを持っているかをチェックする「盗作検出器」を用いて、モデルが秘密を漏らしているかどうかを確認しました。

主要な発見 A：「自宅」バイアス
モデルは、友人の秘密をその同じ友人に漏らす（クライアント内）可能性の方が、友人Aの秘密を友人Bに漏らす（クライアント間）可能性よりもはるかに高かったのです。

比喩: あなたがシェフに自分の家族のレシピについて尋ねると、彼らは偶然にあなた自身のノートからの詳細を言い漏らすかもしれません。しかし、あなたが自分のレシピについて尋ねた場合、隣人のレシピからの秘密を偶然漏らす可能性は低くなります。ただし、隣人の秘密も漏れてはいたのです。ただ、その頻度は低かったのです。

主要な発見 B：「短いプロンプト」の罠
彼らは、質問の長さ（「接頭辞」）が非常に重要であることを発見しました。

比喩: もしシェフに非常に短く曖昧なプロンプト（例：「スープについて教えてください」）を与えると、モデルは空白を埋めるために訓練データから記憶されたランダムな詳細を拾い上げる可能性が高まります。長く詳細なプロンプトを与えると、モデルはより多くの文脈を持って作業でき、記憶された断片に依存しなくなります。
結果: プロンプトが短いほど＝記憶が増加します。

主要な発見 C：「調理スタイル」が重要
モデルが次の単語を「決定」する方法（デコーディング戦略）が結果を変えました。

比喩: 一部の調理スタイルはより「創造的」でリスクが高いものです。特定の手法（「top-p」や「top-k」デコーディングなど）を使用すると、モデルは記憶された秘密を口走る可能性が高まります。これは、あまりにも創造的になろうとするシェフが、偶然に隣人のパンtriesからの食材を使用してしまうことに似ています。

主要な発見 D：「レシピ」の種類が重要
彼らは、ある種のタスクは安全だが、他のタスクはリスクがあることに気づきました。

安全地帯: 「分類」タスク（答えが「はい」や「いいえ」のような単一の単語である場合）では、モデルは何も記憶しませんでした。
なぜか: 「盗作検出器」は機能するために一定量のテキストを必要とします。モデルが単語を一つしか生成しない場合、検出器は一致を見つけることができません。まるで、たった一粒の米しか盗まない泥棒を捕まえようとしているようなもので、セキュリティカメラ（検出器）はそれを見るのに十分な感度を持っていないのです。

主要な発見 E：「アルゴリズム」の選択
彼らは、友人たちが教訓を共有する2 つの異なる方法（FedAvg と FedProx）をテストしました。

結果: ある方法（FedProx）は、もう一方の方法よりもモデルに多くの秘密を記憶させました。これは、あるグループの友人がより攻撃的にノートを共有し、結果としてより多くの偶発的な漏洩を引き起こすことに似ています。

3. 彼らが発見しなかったこと

モデルのサイズ: シェフをより賢くすること（より大きなモデルを使用すること）は、記憶が増えるか減るかを明確にはしませんでした。
練習ラウンド: 友人たちがより多くの回数練習すること（より多くの通信ラウンド）は、記憶の増加または減少の明確なパターンを示しませんでした。

結論

この論文は、連合学習は記憶に対する魔法の盾ではないと結論付けています。生のデータが共有されていないとしても、モデルは依然として訓練データからの特定の詳細を「記憶」することを学びます。

それは他の人のデータよりも自分のデータをより多く記憶しますが、他の人のデータも確かに記憶しています。
短い質問や特定の「創造的」な設定は、この漏洩を悪化させます。
友人たちが教訓を共有する方法（アルゴリズム）は、どれほど漏洩するかを変えます。

著者たちは警告しています。生のデータを共有していないからといって、モデルが私たちの秘密を保持していないわけではないのです。彼らはこれらの漏洩を自らのシステムでチェックできるように、「探偵ツール（コード）」を公開しました。

技術概要：連合学習における大規模言語モデルの訓練データに対するクライアント間記憶の探求

問題定義

連合学習（FL）は、生データを共有することなく大規模言語モデル（LLM）の協調学習を可能にし、プライバシーの保護を目指しています。しかし、FL はモデルが意図せず敏感な訓練データをエンコードし、再生する「記憶（memorization）」のリスクを排除するものではありません。FL における既存の検出技術は、主にカナリア注入（分布外フレーズの埋め込み）に依存するか、単一サンプル内での逐語的記憶に焦点を当てています。これらのアプローチは、ある訓練サンプルの接頭辞をプロンプトとした際に、別のサンプルの接尾辞をモデルが再生するサンプル間記憶を捉えることができません。FL の文脈では、このリスクはクライアント間記憶にまで及び、あるクライアントの接頭辞が別のクライアントのプライベートな接尾辞の生成をトリガーする可能性があります。中央集権学習（CL）におけるサンプル間記憶を測定する既存の方法は、中央集権的なデータアクセスを前提としており、分散型の FL 設定には直接適用できません。

手法

著者は、CL からの微細なサンプル間測定技術を適応させることで、FL におけるクライアント内（同一クライアント内）およびクライアント間（異なるクライアント間）の記憶を定量化するフレームワークを提案します。

フレームワーク設計

記憶の定義: 本論文は、FL における分布内記憶の定義を一般化します。クライアント $C_j$ からの接頭辞 $p_j$ が、識別関数 $F$ によって決定されるように、モデル $M(p_j)$ がクライアント $C_k$ からの接尾辞 $s_k$ と十分に類似したテキストを生成する場合、その接頭辞はクライアント $C_k$ のデータの記憶を誘発すると定義されます。
ペアワイズ測定: このフレームワークは、クライアント $C_j$ $C_{j}$ からの接頭辞がクライアント $C_k$ $C_{k}$ からの接尾辞の記憶をトリガーする割合を表すペアワイズ記憶率（ $MR_{j \to k}$ $M R_{j \to k}$ ）を計算します。
- クライアント内（ $MR_{Intra}$ ）: $j=k$ である場合の平均率。
- クライアント間（ $MR_{Inter}$ ）: $j \neq k$ である場合の平均率。
推定プロセス:
- サンプリング: クライアントから接頭辞の小さな部分集合（ $\tilde{P}_j$ ）と接尾辞の小さな部分集合（ $\tilde{S}_k$ ）をサンプリングします。
- 生成: 各サンプリングされた接頭辞に対してモデルがテキスト $M(\tilde{p})$ を生成します。
- 検索: 生成されたテキストを Elasticsearch を用いて接尾辞集合 $\tilde{S}_k$ に対してクエリし、最も類似した上位 $n'$ 個の接尾辞を検索します。
- 類似性検出: 識別関数 $F$ としてPAN2014 盗作検出器を使用します。これは逐語的、言い換え、アイデアレベルの 3 つの粒度で類似性を評価します。
- 計算: 上位 $n'$ 個の接尾辞のいずれかが、いかなる粒度においても生成テキストと一致する場合、その接頭辞は記憶を誘発したとカウントされます。

実験設定

データセット: 要約（ArxivAbstract）、対話（MedDialog）、質問応答（PubMedQA）、分類（PubMed 200k RCT）の 4 つのタスクを評価しました。データはタスクごとに 3 つのクライアント間で非 IID に分割されました。
モデル: 主要な実験にはQwen2.5-3Bを使用し、補足結果として Llama3.2-3B と GPT-2 の結果も示しました。
変数: 本研究では、デコード戦略（温度、top-k、top-p）、接頭辞の長さ（10、30、50、100 トークン）、連合アルゴリズム（FedAvg、FedProx）、モデルサイズ、通信ラウンドの影響を分析しました。

主要な貢献

問題定式化: 著者は、CL からの評価手法を適応させることで、FL における微妙なサンプル間記憶の検出という課題を定式化しました。
新規フレームワーク: FL におけるクライアント内およびクライアント間の記憶を測定可能なフレームワークを設計し、クライアント間でのプライバシー漏洩の定量化を可能にしました。
実証的知見: 広範なアブレーション研究を通じて、FL 設定における記憶率に影響を与える特定の要因を特定しました。

結果と知見

記憶の存在: FL モデルは訓練データを記憶します。重要なのは、評価されたすべてのタスク（要約、対話、QA）において、クライアント内記憶（ $MR_{Intra}$ ）がクライアント間記憶（ $MR_{Inter}$ ）よりも一貫して高いことです。
タスク固有の挙動: 分類タスクでは、クライアント内およびクライアント間の両方のシナリオで記憶率が**0.000%**でした。分析により、これは分類タスクにおける生成出力の長さが短く、PAN2014 検出器が要求する最小一致閾値（50 文字）を下回る場合が多いためであることが判明しました。
FL と CL の比較: 一部の先行研究が FL は記憶を減少させると示唆しているのに対し、本研究では分布内データを測定する際、FL が CL に比べて記憶を減少させることを示す明確な傾向は見られませんでした。CL と FL の設定における総記憶率（$MRTotal$）は同程度でした。
影響要因:
- デコード戦略: 温度デコードに比べ、top-kやtop-pデコードのような洗練された戦略は記憶を増加させる傾向がありました。
- 接頭辞の長さ: 短い接頭辞は一般的に高い記憶率を誘発しました。
- 連合アルゴリズム: FedProxは FedAvg よりも高い記憶率をもたらし、分類タスクで記憶を誘発した唯一のアルゴリズムでした。
- 接尾辞の特性: 特定のデータセットグループ（例：対話タスクのグループ 3）は他のグループよりも記憶を受けやすかったことから、データセットの特性が役割を果たしていることが示唆されました。
- モデルサイズとラウンド: モデルサイズや通信ラウンド数と記憶率の間には明確な相関は観察されませんでした。

意義と主張

本論文は、クライアント間漏洩を測定する方法を提供することで、中央集権的な記憶評価と連合学習の間のギャップを埋めると主張しています。主な意義は、FL は本質的に記憶リスクを排除しないことを実証し、モデルが特に同一クライアントの分布内でプライベートデータをエンコードし続けることを示した点にあります。

著者は、クライアント間漏洩が直接的なプライバシー侵害である一方で、接頭辞が公開されている場合、クライアント内漏洩（危害に晒された状態）もリスクを伴うことを強調しています。これらの知見は、FL におけるプライバシー保護メカニズムが、逐語的な抽出だけでなく分布内サンプル間記憶にも対処する必要があることを示唆しています。本研究は、デコード戦略、接頭辞の長さ、連合アルゴリズムの選択などの要因が記憶に大きく影響し、分散型 LLM 訓練におけるプライバシーリスクを軽減するために慎重な設定が必要であると結論付けています。

著者は控えめに、PAN2014 検出器への依存（一貫性のない出力を誤分類する可能性がある）や英語テキストへの制限といった限界を指摘しています。また、なぜクライアント内記憶がクライアント間記憶を上回るのかという理論的説明を、将来の研究の方向性として特定しています。