Understanding Backdoor Vulnerabilities in Vertical Federated Learning: The Gap Between Research and Practice

一つの巨大な企業がすべてのデータを独占して構築するのではなく、それぞれがパズルの異なるピースを持っている隣人たちが作り上げる、最も賢いコンピュータが存在する世界を想像してみてください。これは、コンピュータにパターンから学習する方法を教える科学である「機械学習」の世界です。通常、コンピュータに病気の患者やリスクのあるローンを認識させるように教えるには、膨大なデータの山が必要です。しかし、もしあなたの銀行が信用履歴を持ち、医師が医療記録を持ち、スマートウォッチがフィットネス統計を持っているのに、プライバシー法のために誰も生のデータを共有することが許されないとしたらどうでしょう？そこで登場するのが「垂直型連合学習（Vertical Federated Learning: VFL）」です。これは、隣人たちが互いのプライベートなノートブックを決して見せることなく、共に謎を解くことに同意する秘密のクラブのようなものです。「アクティブ・パーティ（能動的当事者）」（銀行など）は問い（「この人物はリスクが低いか？」）を知っており、「パッシブ・パーティ（受動的当事者）」（医師やウォッチ会社）は手がかりを持っています。彼らはデータの極めて小さく、断片化された要約――「エンベディング（埋め込み）」と呼ばれるもの――だけを銀行に送り、銀行はそれらを組み合わせて予測を行います。これは、プライバシーと協力の素晴らしいダンスです。

しかし、あらゆる秘密のクラブにはリスクがあります。それはサボタージュ（破壊工作）です。AIの世界における「バックドア攻撃」は、秘密の握手のようなものです。悪意のある隣人（パッシブ・パーティ）は、グループの脳に対し、本物の手がかりを無視して、代わりに特定の隠された信号に従うよう密かに教え込むかもしれません。もしその信号が後で現れた場合、コンピュータはプログラムされた誤った回答、例えば、不適切なローンの承認や病気の無視などを行いながら、それ以外では完璧に正常に動作します。長年、研究者たちはこれらのバックドアは甚大な脅威であると叫び続け、システムをほぼ100%の確率で欺ける可能性があると主張してきました。しかし、ある新しい研究は、その警報が、現実の世界にはほとんど存在しない幽霊に対して鳴らされているのではないかと示唆しています。

『Understanding Backdoor Vulnerabilities in Vertical Federated Learning: The Gap Between Research and Practice（垂直型連合学習におけるバックドアの脆弱性の理解：研究と実践のギャップ）』と題されたこの論文は、AIセキュリティコミュニティに対する現実的な再確認として機能しています。香港大学のチームである著者たちは、ラボでよく使われる「完璧な世界」のシナリオを見るのをやめ、これらのシステムが実際の、混沌とした現実世界でどのように機能しているのかを見ることによりしました。彼らは、以前の研究で報告されている恐ろしいバックドア攻撃が、非現実的な仮定を取り除いたときに実際に生き残ることができるのかを確認するために、「BVBench（バックドア脆弱性ベンチマーク）」という新しいテスト環境を構築しました。

彼らが発見したのは、少し意外な展開でした。以前の研究者が誤って攻撃者に与えてしまっていた「非現実的な優位性」――例えば、AIが答えようとしている秘密の問いを知っていることや、データの完全なラベルを持っていること――を剥ぎ取ったところ、攻撃は崩壊したのです。ラボでは、一部の攻撃が99%の成功率を謳っていました。しかし、彼らの現実的なシミュレーションでは、それと同じ攻撃がしばしば10%未満に低下するか、あるいは完全に失敗しました。それはまるで、明るいスタジオの照明の下では素晴らしい手品に見えたものが、暗く混雑した路上で披露すると無残に失敗するかのようです。論文は、私たちがこれまで読んできた「ほぼ完璧な」成功率は、真空状態でテストすることによって生じた幻影に過ぎないことを示唆しています。

また、この研究は、これらの攻撃を阻止しようとする「ヒーロー」である「防御策（Defenses）」についても調査しました。攻撃と同様に、防御策もまた、比較対象となるクリーンなコピーのデータを持っているといった、非現実的な優位性を持ってテストされていました。著者たちがこれらと同じ厳格で現実的なルールに基づいてこれらの防御策をテストしたところ、その多くが脆弱であることが分かりました。それらは攻撃を阻止できるかもしれませんが、システムの本来の仕事を損なったり、攻撃によってすでに犯された間違いを修正できなかったりすることがよくありました。実際、いくつかの防御策は設定のわずかな変化に対して非常に敏感であり、あるシナタリオでは素晴らしく機能しても、次のシナリオでは失敗するというものでした。

大きな教訓は、バックドア攻撃が不可能であるということではなく、現在の私たちの理解が不安定であるということです。論文は、攻撃者が知りすぎた知識を持ち、防御者が多くのツールを持っているというファンタジーの世界でテストしてきたために、私たちはこれらの攻撃の危険性を過大評価してきたのだと論じています。著者たちは、BV_Benchを導入することで、将来の研究をより誠実で実用的なテストへと導くことを望んでいます。彼らはシステムが安全だと言っているのではなく、幽霊に対してパニックになるのをやめ、より困難で、かつ「完璧」ではない、実際に存在する脅威に対してどのように保護すべきかを考える必要があると言っているのです。研究論文が述べていることと、実際に起こっていることの間のギャップは大きく、今こそそれを埋める時なのです。