VerifiableFL: 排他的実行環境（Exclaves）を用いた連合学習への検証可能な主張の提供

この論文は、連合学習（Federated Learning: FL）において、トレーニングされたモデルに関する「検証可能な主張（Verifiable Claims）」を提供するための新しいシステムVerifiableFLを提案しています。従来の信頼できる実行環境（TEE）の限界を克服し、データ提供者やモデル提供者が合意されたトレーニングプロトコルから逸脱した場合を検出可能にする技術を開発しました。

以下に、論文の技術的要点を問題定義、手法、主要な貢献、評価結果、意義の観点から詳細にまとめます。

---

1. 問題定義 (Problem)

連合学習では、複数のデータ提供者がデータを共有せずに協調してモデルを学習します。しかし、この仕組みには以下の重大な課題があります。

• 検証不可能な主張: 現在の FL では、モデルが特定のデータセットで学習されたこと、データの前処理（個人情報除去など）が行われたこと、あるいは正しいアルゴリズムが使用されたことなどの主張は、単なる「信頼（Reputational Trust）」に基づいています。コードやデータを開示しても、実際にそのコードが指定されたデータで実行されたかを検証するには、学習プロセス自体を再実行する必要があり、コストと非決定性（Non-determinism）の問題により実用的ではありません。
• TEE の限界: 従来の解決策として、Intel SGX や AMD SEV-SNP などの信頼できる実行環境（TEE）が提案されてきました。しかし、TEE には以下の 2 つの根本的な問題があります。
  1. 静的アテステーションの限界: TEE は通常、デプロイ時のメモリ状態（コードのハッシュ）のみを検証します。ランタイム中にデータ処理がスキップされたり、プロトコルが変更されたりしても、静的なアテステーションでは検出できません。
  2. 機密性の脆弱性: TEE のアテステーション証明は、機密性の保証（秘密鍵の保護）に依存しています。しかし、サイドチャネル攻撃などにより TEE の機密性が侵害されると、アテステーション鍵が漏洩し、証明の完全性も破綻します。攻撃者は鍵を漏洩させ、偽の証明を生成してプロトコルを無視することが可能です。

2. 手法とアーキテクチャ (Methodology)

VerifiableFL は、TEE の「機密性」に依存せず、「完全性（Integrity）」のみを保証する新しい抽象化**「Exclave（排他的実行環境）」**を導入することで、上記の問題を解決します。

2.1 Exclave（排他的実行環境）

• 概念: Exclave は、コードとデータの完全性を保証するが、機密性（データが外部から隠されること）は保証しない実行環境です。
• 秘密なし（Secret-free）: 従来の TEE と異なり、Exclave 内のデータは攻撃者（または環境管理者）に漏洩しても構いません。唯一守られるべきは、アテステーション署名鍵のみです。この鍵はハードウェア（セキュア・コプロセッサ）によってのみ管理され、ソフトウェアからはアクセス不可能です。
• 実装: 既存の TEE 実装（AMD SEV-SNP など）を微修正することで実装可能です。具体的には、共有されたソフトウェア秘密鍵に代わり、MMU（メモリ管理ユニット）によるアクセス制御とハードウェア署名機能を利用します。

2.2 実行時アテステーションと EDR

• Exclave Data Record (EDR): FL 内の各データ変換（ローカル学習、差分プライバシー付与、集約など）が Exclave 内で実行される際、その入出力データと実行コードのハッシュを結びつけた署名付きレコード（EDR）が生成されます。
• ランタイム検証: EDR には、入力データのハッシュ、実行されたコードのハッシュ、出力データのハッシュが含まれます。これにより、「特定のコードが特定のデータに対して実行された」ことが証明されます。

2.3 Exclave データフローグラフ (EDG)

• 全ての参加者から収集された EDR を基に、Exclave Dataflow Graph (EDG) が構築されます。
• EDG は有向非巡回グラフ（DAG）であり、各ノードが EDR、エッジがデータの流れ（入出力のハッシュ一致）を表します。
• 監査（Auditing）: 第三者の監査人が EDG を検証することで、以下のことを確認できます。
  • 正しいコードが実行されたか（コードのハッシュ照合）。
  • データが途中で改ざんされていないか（入出力ハッシュの連鎖）。
  • 差分プライバシー（DP）やデータサンプリングなどの必須ステップがスキップされていないか（グラフの構造とノードの有無）。
  • 学習データセットがトレーニング中に改ざんされていないか（Merkle 木による整合性チェック）。

2.4 システム実装

• NVFlare 拡張: NVIDIA の FL フレームワーク「NVFlare」を拡張し、各 FL タスク（ローカル学習、集約など）を個別の Exclave 内で実行するように設計しました。
• ストレージ: 学習データセットの完全性を保証するため、Linux の dm-verity と Merkle 木を用いた整合性保護ディスクイメージを採用しています。
• ハードウェア依存性の回避: 本物の Exclave 実装にはプロプライエタリなファームウェア変更が必要ですが、評価実験では AMD SEV-SNP の仮想 TPM（vTPM）機能を用いて、同様の性能特性を持つ代替実装を行いました。

3. 主要な貢献 (Key Contributions)

1. Exclave の提案: 機密性ではなく完全性のみを保証する新しい実行環境の抽象化を提案し、サイドチャネル攻撃などによる機密性侵害の影響を受けないアテステーション機構を確立しました。
2. VerifiableFL システムの設計と実装: Exclave を利用して FL 学習中のすべてのデータ変換を検証可能にするシステムを構築しました。これにより、モデル提供者やデータ提供者がプロトコルから逸脱した場合、第三者による検証で検出可能になります。
3. 低オーバーヘッドな実証: 既存の FL フレームワークとの互換性を保ちつつ、トレーニングスループットに対するオーバーヘッドを 12% 未満に抑えたことを実証しました。

4. 評価結果 (Results)

実験は Azure クラウド上の AMD SEV-SNP 環境（GPU 搭載 H100 および CPU のみ）で行われ、言語モデル（GPT-2, DistilGPT-2）、NER（BERT, MobileBERT）、画像分類（LeNet, VGG9）の 3 つのタスクで評価されました。

• パフォーマンスオーバーヘッド:
  • VerifiableFL は、セキュリティなしの NVFlare ベースラインと比較して、最大 12% 未満のオーバーヘッドしか生じませんでした。
  • 中規模・大規模モデル（GPT-2, BERT, VGG9 など）では、オーバーヘッドは10% 未満に抑えられました。
  • 小規模モデル（LeNet）では、トレーニング時間が短いため Exclave の起動や通信オーバーヘッドの影響を受けやすく、約 11% のオーバーヘッドが見られましたが、全体として実用的な範囲内です。
• スケーラビリティ:
  • クライアント数や GPU 数を増やしても、VerifiableFL は他のベースライン（NVFlare CVM など）と同様に効率的にスケーリングしました。
• アテステーションと監査のオーバーヘッド:
  • 実行時アテステーションの生成には、1GB のデータに対して約 687ms（ハッシュ計算）+ 数 ms（署名）かかり、トレーニング時間全体に対して無視できるレベルです。
  • 監査プロセス（EDG の構築と検証）も、100 クライアント×1000 ラウンドの規模でも約 19 秒で完了し、ストレージコストも 162MB と軽量でした。
• ストレージオーバーヘッド:
  • 整合性保護ディスク（dm-verity）の使用により、シーケンシャルリードのスループットは約 62% 低下しましたが、これはデータセットの整合性保証のためのトレードオフとして許容範囲と判断されました。

5. 意義と結論 (Significance)

• 規制対応への貢献: EU AI 法（2025 年施行予定）など、AI モデルのトレーニングデータやプロセスに関する透明性・説明責任を要求する規制への対応が可能になります。
• セキュリティモデルの転換: TEE の「機密性」に依存しない「完全性」中心のアプローチは、サイドチャネル攻撃などの脅威に対してより堅牢です。機密性が不要な FL の多くのコンポーネントにおいて、より安全で実用的な検証手段を提供します。
• 実用性: 既存の FL フレームワーク（NVFlare）を大幅に変更せずに統合でき、低オーバーヘッドで動作するため、実社会での導入が現実的です。

結論として、VerifiableFL は、連合学習における「誰が、いつ、どのようにデータを処理したか」を検証可能な形で証明する初めてのシステムであり、機密性を犠牲にすることなく、モデルの信頼性と透明性を大幅に向上させる画期的なアプローチです。