FedVIB–AGP: Defending Against Distributed Backdoor Attacks in Federated Learning via Variational Information Bottleneck and Activation-Gap Pruning

膨大な数のアーティスト（「クライアント」と呼ばれます）が、一つの巨大な壁画（「グローバルモデル」）を共同で描く、大規模な共同芸術プロジェクトを想像してみてください。彼らは自分の秘密を守るために、実際の筆やスケッチを共有することはできません。そのため、サーバーには「空はもっと青い方がいいと思う」といった、ごく小さなメモを送るだけです。サーバーはこれらのメモを混ぜ合わせ、壁画を更新していきます。これが**連合学習（Federated Learning）**です。

しかし、そこには狡猾な問題が潜んでいます。一団のサボタージュ（破壊工作員）たちが、この壁画を騙そうとしています。彼らの目的は壁画全体を台無しにすることではなく、誰かが特定の小さなパターン（例えば「赤い点」）を木に描いたとき、その木が突然、叫ぶ巨大なモンスターに変貌するように仕向けることです。これが**バックドア攻撃（Backdoor Attack）**です。

厄介なのは、この**分散型バックドア攻撃（Distributed Backdoor Attack: DBA）**です。一人の悪いアーティストが「赤い点」のパターン全体を描くのではなく、サボタージュを行う者たちは、そのパターンを極めて小さく、目に見えない断片へと分割します。アーティストAは葉っぱの上に小さな赤い斑点を描き、アーティストBは枝の上に小さな赤い斑点を描き、アーティストCは幹の上に斑点を描きます。個々の斑点は、一見すると無害なミスのように見えます。しかし、サーバーがすべてのメモを混ぜ合わせたとき、これらの「赤い斑点」が組み合わさり、完全な「叫び」のトリガーを形成します。壁画は通常の状態では正常に見えますが、その特定のパターンが現れた瞬間、ドーンと、叫び声を上げるのです。

旧来の手法 vs 新しいアイデア

これらを阻止しようとする以前の試みは、アーティストが送ってきたメモをチェックする警備員のようなものでした。彼らは悪いメモを見つけ出したり、どのアーティストが嘘をついているかを推測しようとしました。しかし、悪いメモがあまりにも巧妙に分割されていたため、警備員はそれを見逃してしまうことがよくありました。

この論文の著者であるHanlei Zhou氏とそのチームは、「誰が嘘をついているかを推測するのはやめて、壁画そのものを修理することに集中しよう」と提案しています。彼らはFedVIB–AGPと呼ばれる、2段階の修理キットを提案しています。

ステップ1：「記憶のダイエット」（変分情報ボトルネック）

まず、アーティストがローカルのスケッチを描く方法を変更します。彼らは**変分情報ボトルネック（Variational Information Bottleneck: VIB）**と呼ばれるルールを導入します。

VIBを、厳格な編集者だと考えてください。この編集者はアーティストにこう命じます。「君たちは、普通の木を描くために不可欠な詳細のみを保持しなければならない。もし奇妙で余計な詳細（例えば秘密の赤い斑点）を記憶しようとすれば、罰則を受けることになる」。これは、アーティストに記憶を圧縮させ、不要な情報を捨てさせるように強制するものです。目的は、たとえ悪いアーティストが赤い斑点を忍び込ませようとしても、それが「通常の木を描くために不可ら欠なもの」ではないため、アーティストの脳がそれを忘れるようにすることです。

ただし、論文ではこれは魔法の盾ではないと注意深く述べています。これは単なる「ダイエット」です。毒を覚えにくくはしますが、毒が完全に消えたことを保証するものではありません。

ステップ2：「トリガー探偵」（活性化ギャップ・プルーニング）

サーバーがすべてのメモを混ぜ合わせた後でも、壁画にはまだ隠れた「叫び」の経路が残っているかもしれません。ここで、第二のステップである**活性化ギャップ・プルーニング（Activation-Gap Pruning: AGP）**が登場します。

極めて重要な点として、このステップには2つの特定のツールが必要です。 サーバーは、クリーンな参照バッチ（正常で毒されていない木の写真セット）と、組み立てられたトリガー（分割されたすべての断片で作られた完全なパターン）を完璧に再現して壁画をテストできるトリガーツールを所有していなければなりません。

これらのツールを用いて、サーバーは小さな実験を行います：

1. サーバーは、クリーンな参照バッチから取り出した普通の木を壁画に示します。
2. 次に、サーバーは、バッチ内の同じ木に、組み立てられた完全な赤い斑点パターンを加えたものを壁画に示します。
3. そして、壁画の内部にある「ニューロン」（絵を描く機械の中にある小さな作業員）を観察します。

もし、ある作業員が通常の木に対しては反応しないのに、完全なパターンが加えられた途端に激しく反応して叫び始めたとしたら、その作業員は疑わしい存在です。サーバーはこの「通常の反応」と「トリガーされた反応」の間の「ギャップ」を測定します。もしギャップが大きければ、サーバーは「この作業員は毒に対して敏感すぎる！」と判断し、その作業員をプルーニング（剪定）（マスク）します。これは実質的に、その特定の経路に対して「使用禁止」の看板を立てる行為です。

これらの悪い作業員を切り取った後、サーバーはクリーンな参照バッチを用いて壁画に素早い「微調整（ファインチューニング）」を行い、その作業員がいなくても美しい風景を描き続けられるようにします。

結果：うまくいったのか？

著者らは、4種類の異なる「描画タスク」（データセット）でテストを行いました：CIFAR-10（カラフルな物体）、Fashion-MNIST（衣類）、MNIST（手書き数字）、SV_HN（住宅番号）です。

シミュレーションの結果は以下の通りです：

• 攻撃： 防御策がない場合、悪いアーティストたちは、CIFAR-10で95.67%、Fashion-MNISTで90.82%、MNISTで98.46%、SVHNで**86.43%**の確率で、命令通りにモデルを叫ばせることができました。壁画は完全にハイジャックされました。
• 防御： FedVIB–AGPを使用すると、攻撃成功率は劇的に低下しました：
  • CIFAR-10: **2.16%**まで低下。
  • Fashion-MNIST: **2.56%**まで低下。
  • MNIST: **0.81%**まで低下。
  • SV_HN: **0.60%**まで低下。

決定的なことに、壁画は「普通の木を描く能力」を失いませんでした。「クリーンな精度（通常の画像を描く能力）」は高く維持されました：CIFAR-10で73.27%、Fashion-MNISTで75.93%、MNISTで92.45%、SVHNで**90.38%**でした。

他のトップクラスの防御策（例えば、旧来の手法の中で最も優れたCRFLなど）と比較しても、FedVIB–AGPはさらに優れていました。CRFLよりも攻撃成功率を最大**10.29%低減させ、実際にクリーンな精度を最大11.16%**向上させました。

この論文が否定していること（およびしていないこと）

この論文が主張していないことを知っておくことは重要です。

• 未知のトリガーに対する魔法の杖ではありません。 論文では、この手法を実行するには、サーバーがクリーンな参照バッチと組み立てられたトリガーパターンの両方を所有している必要があると明記しています。サーバーは、比較するために「赤い斑点」が正確にどのような見た目であるかを知る必要があります。もしサボタージュを行う者がパターンを変更し、サーバーがそれを知らないものになった場合、この特定の修理キットは「トリガー探偵」のステップを実行できず、機能しない可能性があります。
• 将来のあらゆる攻撃に対する保証ではありません。 結果は、特定のデータセットと攻撃設定を用いた特定のシミュレーションに基づいています。著者らは、現実世界の攻撃はより巧妙であったり、異なったりする可能性があると警告しています。
• 単なる「VIB」や単なる「プルーニング」ではありません。 論文は、単独で「記憶のダイエット（VIB）」または「プルーニング（AGP）」を行うだけでは不十分であることを示しています。最高の成果を得るには、両方を連携させる必要があります。例えば、CIFAR-10において、プルーニングのみを使用した場合は攻撃成功率が16.10%でしたが、メモリ・ダイエットを加えることで2.16%まで下げることができました。

結論

この論文は、トレーニング中の「記憶のダイエット」と、モデル構築後の「トリガー探偵」を組み合わせることで、壁画を台無しにすることなく、効果的に毒を浄化できることを示唆しています。

これらの特定のシミュレーションにおいて、この手法は驚異的に機能しました。ほぼ100%に近い成功率を誇る攻撃を、ほぼゼロに近い成功率へと変えつつ、モデルが本来の仕事をこなすための知性を維持させたのです。しかし、著者らは正直です。これは「毒がどのような形をしているか」を我々が知っている場合に最も効果を発揮します。もし毒の形が変われば、新しい種類の探偵が必要になるかもしれません。