LEA: Label Enumeration Attack in Vertical Federated Learning

この論文は、補助データや特定シナリオに依存せず、勾配の類似性評価と探索空間の削減（n! から n^3）を可能にする新たな「ラベル列挙攻撃（LEA）」を提案し、それが既存の防御機構に対しても耐性を持つことを示しています。

要約

1. 背景：みんなで料理をする「連合学習」とは？

まず、この技術がどんなものか想像してみてください。

• シチュエーション: ある銀行（アクティブパーティ）は「誰がローンを返せるか（ラベル：良い/悪い）」というデータを持っていますが、顧客の詳しい属性（職業、趣味、住んでいる地域など）は持っていません。一方、複数の企業（パッシブパーティ）は、それぞれの顧客の詳しい属性データを持っていますが、「ローンが返せるかどうか」という結果データを持っていません。
• 連合学習: 銀行と企業が協力して、お互いのデータを混ぜずに、AI モデルを共同で作ります。
  • 銀行は「ラベル（答え）」を隠したまま、計算結果だけを送ります。
  • 企業は「特徴量（材料）」だけを送ります。
  • 最終的に、「誰がどの属性を持っているか」や「誰がローンを返せるか」という秘密は、それぞれの持ち主の元に残ったままになります。これが「プライバシーを守りながら AI を作る」という夢の技術です。

2. 問題：「答え合わせ」を盗む悪魔の攻撃（LEA）

この論文の著者たちは、この「夢の技術」に隠れた大きな弱点を見つけました。彼らが提案した攻撃手法を**「LEA（ラベル列挙攻撃）」**と呼びます。

悪魔の策略：「当てずっぽう」の極み

通常、ラベル（答え）がないと AI は学習できません。しかし、この攻撃者は以下のような大胆なことをします。

1. グループ分け（クラスタリング）:
   攻撃者（企業側）は、自分の持っている顧客データを見て、「似ている人同士」をグループに分けます。
   • 例え: 「スポーツ好きのグループ」「読書好きのグループ」「旅行好きのグループ」など。
2. 答えの全パターンを試す（列挙）:
   「もし、スポーツ好きグループが『ローン返済可能』で、読書好きグループが『返済不可』だったらどうなるか？」と仮定します。
   答えのパターンは有限なので、**「あり得るすべての答えのパターン」**を全部作って、それぞれで AI を訓練します。
   • 例え: 10 人のグループに分けたら、その 10 人への答えのパターンは全部で 362 万通り（10!）あります。攻撃者はこれらすべてをシミュレーションします。
3. 正解を探す（モデルの比較）:
   本物の共同学習では、銀行から「損失（誤差）」というフィードバックが返ってきます。攻撃者は、自分が作った「362 万通りのシミュレーションモデル」のうち、**「本物の銀行からのフィードバックと最も似ているモデル」**を探し出します。
   • 例え: 本物の料理の味（フィードバック）と、自分が作った 362 万通りの「味見用料理」を比べます。「あ、この味（答えのパターン）が一番近い！ということは、このグループ分けの答えが正解だ！」と特定します。

結果: 攻撃者は、ラベル（答え）を一切持っていなくても、「どのグループが『良い人』で、どのグループが『悪い人』か」を 100% 近く正確に当ててしまうのです。

3. 工夫：計算しすぎないための「Binary-LEA」

「362 万通り全部試すなんて、計算しすぎて大変だ！」という課題がありました。そこで著者たちは**「Binary-LEA（二値ラベル列挙攻撃）」**という賢い方法を考え出しました。

• アイデア: 10 種類全部を一度に当てるのではなく、**「2 つのグループだけを取り出して、どっちが『良い人』か『悪い人』か」**を当てるゲームを繰り返します。
• 効果: これにより、計算量が「362 万通り」から「数千通り」程度まで激減します。
  • 例え: 10 人の名前を全部覚えるのは大変ですが、「A と B はどっちが有名か？」「C と D はどっちが有名か？」と 2 人ずつ比較していけば、効率的に正解にたどり着けます。

4. 防御策：なぜ難しいのか？

この攻撃を防ぐために、いくつかの対策を試しましたが、既存の対策はほとんど効きませんでした。

• ノイズ（雑音）を混ぜる: 銀行からのフィードバックに雑音を混ぜても、攻撃者は「一番似ているもの」を見つけられるため、あまり効果はありませんでした。
• 圧縮: データを圧縮しても、重要な情報は残ってしまうため、攻撃は成功しました。

唯一の対策（ラベルマッピング表）:
銀行側が「答え」を勝手に書き換えて（例：A を B に、B を C に）、攻撃者に送る方法です。

• 効果: 攻撃者が「A が正解」と分かったとしても、実際は「C が正解」なので、意味が分かりません。
• 弱点: しかし、攻撃者が少しだけ「答えが分かっているデータ（補助データ）」を持っていたり、データの偏りが極端だったりすると、この対策も破られてしまいます。

5. まとめ：何が重要なのか？

この論文が伝えている最も重要なメッセージは以下の通りです。

1. 「答え」がなくても、データの特徴さえあれば、答えを推測できる。
   • 従来の常識では「ラベルがないと学習できない」と思われていましたが、この攻撃は「ラベルなしでも、データのグループ化と推測で答えを盗める」ことを証明しました。
2. 既存の防御は不十分。
   • 単にノイズを混ぜるだけでは、この巧妙な攻撃には勝てません。
3. 新しい防御が必要。
   • 「ラベルを隠す」だけでなく、「ラベルとデータの対応関係そのものを隠す」ような、より強力な対策（ラベルマッピング表など）が必要だと提言しています。

一言で言うと：
「みんなで料理を作る際、味見（答え）を隠していても、材料（データ）の組み合わせを全部試して味見と比べることで、誰が何を作ったか（ラベル）を盗み見られてしまう危険な攻撃が見つかりました。従来の対策では防げないので、もっと新しい防衛策が必要です」という内容です。

技術概要

論文サマリー：LEA (Label Enumeration Attack) in Vertical Federated Learning

1. 問題設定 (Problem)

垂直連合学習（Vertical Federated Learning: VFL）は、異なる特徴量を持つ複数の参加者が同じサンプルに対して協調してモデルを学習する枠組みです。通常、ラベル（正解データ）は「アクティブパーティ（ラベル保有者）」のみが保持し、他の「パッシブパーティ（特徴量保有者）」はラベルを持たず、プライバシーを保護するために中間値のみを交換します。

しかし、既存のラベル推論攻撃には以下のような限界がありました：

• 補助データへの依存: 多くの既存攻撃は、攻撃者が少量のラベル付き補助データ（アライメント済みデータ）を保持していることを前提としており、現実のシナリオでは適用が困難です。
• シナリオの限定: 特定の VFL 設定（例：バイナリ分類のみ、または特定のモデル構造）にしか適用できない場合が多いです。

本研究は、補助データなしで、かつ多様な VFL シナリオ（AggVFL と SplitVFL の両方）において、パッシブパーティがアクティブパーティのラベルを推論できる新たな脅威を提示します。

2. 手法 (Methodology)

本研究では、**ラベル列挙攻撃（Label Enumeration Attack: LEA）**を提案しました。この攻撃の核心は、パッシブパーティのローカルデータが本質的に「クラスタリング可能」であるという仮定に基づいています。

基本的な攻撃フロー

1. クラスタリング: 攻撃者（パッシブパーティ）は、自身の持つ特徴量データに対して教師なしクラスタリングを行い、$n$ クラスター（$n$ はラベル数）を生成します。
2. ラベルの列挙: $n$ 個のラベルのすべての順列（$n!$ 通り）を生成し、各順列を $n$ クラスターに割り当てます。これにより、$n!$ 個の「疑似ラベル付きデータセット」が作成されます。
3. シミュレーションモデルの訓練: 各順列に対して、ローカルモデルをコピーした $n!$ 個の「シミュレーションモデル」を用意し、それぞれ 1 回分のトレーニング（1 エポック）を実行して損失勾配を計算します。
4. モデル類似度の評価: 実際の VFL 参加中に得られた「正当なトレーニングの損失勾配」と、各シミュレーションモデルの損失勾配を比較します。
   • 類似度指標: パラメータそのものの比較ではなく、**第 1 回目の損失勾配の余弦類似度（Cosine Similarity）**を使用します。
   • 理由: 初期化が同じ場合、真のラベル順列に対応するモデルは、正当なトレーニングと勾配の方向が最も一致するため、余弦類似度が最大になります。
5. 攻撃モデルの特定: 最も類似度が高いシミュレーションモデルを「攻撃モデル」として特定し、これをラベル推論に使用します。

計算コストの削減：Binary-LEA

$n!$ 回の列挙は計算量が膨大（例：$n=10$ で約 362 万通り）になるため、Binary-LEAを提案しました。

• 多クラス分類のバイナリ化: $n$ クラスのタスクを、$\lfloor n/2 \rfloor$ 個のバイナリ分類タスクに分解します。
• 計算量の削減: 列挙の数を $O(n!)$ から $O(n^3)$ に削減します。
• 統合: 各バイナリ攻撃モデルの出力を統合することで、最終的なラベルを推論します。

3. 主要な貢献 (Key Contributions)

1. 新しい攻撃手法 LEA の提案: 補助データやラベル分布の事前知識を必要とせず、クラスタリングと勾配の類似度比較を用いて、多様な VFL 環境（AggVFL, SplitVFL）およびモデル（ロジスティック回帰、ニューラルネットワーク）で有効なラベル推論攻撃を実現しました。
2. 効率的な類似度評価手法: モデルパラメータの比較ではなく、「第 1 回目の損失勾配の余弦類似度」を用いることで、高精度かつ効率的に攻撃モデルを特定する方法を理論的・実験的に証明しました。
3. Binary-LEA による最適化: 計算コストを $O(n!)$ から $O(n^3)$ に削減するアルゴリズムを提案し、大規模なラベル数でも実用的な攻撃を可能にしました。
4. 防御策の評価と提案:
   • 既存の防御（勾配ノイズ、勾配圧縮）は、勾配の相対的な順序を変化させない限り、LEA に対して無力であることを示しました。
   • 「ラベルマッピングテーブル」を用いた新たな防御策を提案しましたが、攻撃者が少量の補助データを持つ場合や、ラベル分布に偏りがある場合は防御が破綻することを示しました。

4. 実験結果 (Results)

実世界のデータセット（Breast Cancer, Give-me-some-credit, MNIST）を用いた実験で以下の結果が得られました。

• 攻撃精度: 補助データなしの条件下で、既存の最先端攻撃（PMC など）と比較して、攻撃精度が50%〜90% 向上しました。
  • 二値分類タスクでは 90% 以上の精度を達成。
  • 多クラス分類（MNIST-10）でも Binary-LEA を用いて 80% 以上の精度を達成。
• クラスタリング精度との相関: 攻撃精度は、パッシブパーティのデータによるクラスタリング精度に強く依存することが確認されました。特徴量が十分であれば、少量の特徴量（例：全特徴量の 10%）でも高い攻撃成功率が得られます。
• 防御耐性:
  • 勾配ノイズ: ノイズレベルが高くても、第 1 回勾配の類似度の順序が維持されれば攻撃は成功します。
  • 勾配圧縮: 重要な特徴量が保持されていれば、圧縮率が高くても攻撃は有効です。
  • ラベルマッピング: 攻撃者に補助データがない場合やラベル分布が均一な場合（MNIST など）には有効ですが、補助データがある場合や分布に偏りがある場合は防御できません。

5. 意義と結論 (Significance and Conclusion)

本研究は、VFL におけるラベルプライバシーの脆弱性を浮き彫りにしました。

• セキュリティへの警告: 従来の「中間値の交換のみで安全」という前提が、ラベル推論攻撃（特に LEA）によって崩れる可能性を示しました。
• 防御の必要性: 既存のプライバシー保護技術（ノイズ付加や圧縮）だけでは不十分であり、ラベルマッピングのような新しい防御アプローチや、より強固なプライバシー保護メカニズムの開発が急務であることを示唆しています。
• 学術的貢献: 補助データなしでの攻撃可能性を証明し、VFL のセキュリティ研究における新たな基準（ベンチマーク）を提供しました。

総じて、LEA は VFL の実用化において、ラベル情報の保護が単なる「ラベルの秘匿」だけでなく、モデルの学習過程そのものにおける情報漏洩リスクも考慮する必要があることを強く示唆する重要な研究です。