Sovereign-Mohawk: Machine-Checked Hierarchical Byzantine Resilience and Probabilistic Composition for Federated Learning

現代の世界において、機械学習モデルはしばしばあまりに巨大であり、データもあまりに機密性が高いため、一箇所の中央に集めることができません。その代わりに、「連合学習（フェデレーテッド・ラーニング）」と呼ばれる手法を用いることで、スマートフォンから産業用センサーに至るまで、数千ものデバイスが、個人のプライベートなデータを中央サーバーに送信することなく、共有された知能を訓練することが可能になります。各デバイスは自身のローカルな情報から学習し、更新されたモデルの小さな断片のみを返し、それを統合します。このアプローチは、個人のプライバシーを損なうことなく人工知能が向上していく未来を約束するものです。しかし、この分散型システムは、ある決定的な脆弱性に直面しています。それは「ビザンチン」問題です。この文脈におけるビザンチン故障とは、ネットワーク内の何人かの参加者が悪意を持って行動したり、誤作動を起こしたりして、モデル全体を毒させるように設計された破損した更新情報を送ってくることを指します。たとえ少数の悪意ある主体が、自分たちの破損したデータを最終的な計算の中に紛れ込ませることができたとしても、システム全体が崩壊してしまう可能性があります。

数百万ものデバイスという大規模な規模を管理するために、エンジニアはしばしば、枝と葉を持つ木のように、参加者を階層構造に整理します。もし、各ローカルグループがデータを上位へと送る前に、自分たちのメンバーの中に不正なアクターがいないかチェックすれば、ネットワーク全体は安全に保たれるはずだ、という考え方です。これは、システムの設計において長らく当然のこととして受け入れられてきた、安心させるような仮定です。もしすべてのローカル監督者がその役割を果たせば、グローバルなリーダーも大丈夫であるはずだ、というものです。しかし、この仮定は、実は危険なほど欠陥があることが判明しました。ライアン・ウィリアムズによる「Sovereign-Mohawk」と題された新しい研究は、この隠れた弱点を暴き出し、推測を確信へと置き換える、数学的に証明された解決策を提示しています。

研究者たちはまず、「ローカルの安全性保証がグローバルな安全性を保証する」という一般的な信念を検証することから始めました。彼らは、デバイスのグループがリージョナル・スーパーバイザー（地域監督者）に更新情報を送り、そのスーパーバイザーがグローバル・リーダーに要約を送るという、二段階の階層を持つ形式的な数学モデルを構築しました。彼らのモデルにおいて、すべてのリージョナル・スーパーバイザーがルールを完璧に遵守しているシナリオを作成しました。各ローカルグループには誠実なデバイスが過半数存在し、ローカルのフィルターは、それぞれの小さな輪の中にある明白な悪意あるアクターを正常にブロックしました。しかし、研究者たちが大局的な視点で調査したところ、グローバルなネットワークが実際には悪意ある主体によって支配されていることが判明しました。悪意あるデバイスを、あらゆるローカルグループにおいて検出の閾値の直下に配置するように注意深く配置することで、彼らは全ネットワークの60パーセントが敵対者に制御されている状況を作り出すことに成功しました。ローカルのガードマンたちはそれぞれの任務を遂行していましたが、システム全体としては崩壊していたのです。これは、起こりうる失敗のシミュレーションではありませんでした。従来の考え方が通用しないことを示した、マシンによる検証済みの証明でした。

この旧来の手法を論破した後、チームはローカル処理の効率性を放棄することなく、階層構造を修正する方法を見つける必要がありました。彼らは、問題がデバイスの配置が予測可能であったことに起因すると気づきました。もし攻撃者がどのデバイスがどのようにグループ化されるかを正確に知っていれば、彼らは自らの悪意あるノードを隙間に滑り込ませるように配置することができます。これを解決するために、研究者たちはランダム割り当ての手法を導入しました。デバイスを固定されたグループに留めておくのではなく、数学的な保証を伴う「名前を帽子から引く」プロセスに似た方法で、委員会へとシャッフルすることを提案しました。彼らは、デバイスがこれらの委員会にランダムに割り当てられれば、悪意あるグループがローカルフィルターを破壊するのに十分な数の悪意あるアクターを集約してしまう確率は、事実上ゼロになるほど極めて小さくなることを証明しました。彼らはこれを、数学的証明をチェックするために設計されたコンピュータ・システムを用いて検証しました。その結果、5万個のデバイスを含む委員会において、総人口の中にかなりの数の悪意ある主体が存在していたとしても、失敗の確率は宇宙の原子の数よりも多くのゼロを持つ数字よりも遥かに大きい数値未満であることを示しました。

この理論的なブレイクスルーは、抽象的なアイデアとして放置されることはありませんでした。研究者たちは、彼らの新しい手法が現実世界で動作することを示すために、実際に機能するソフトウェア・システムを構築しました。彼らは、数千のシミュレートされたデバイス間のデータの流れを管理するために、Goと呼ばれる言語で書かれた高速エンジンを作成しました。このシステムには、プライバシーとセキュリティを確保するためのいくつかの保護レイヤーが含まれていました。個々のユーザーのプライベートな情報を逆エンジニアリングすることを防ぐために、データ更新に特定の種類の数学的ノイズを加えました。また、データ自体を明かすことなく、送られているデータが有効であることを証明するために高度な暗号技術を使用し、将来の量子コンピュータによる攻撃にも耐えられるように設計された新しい暗号化手法を採用しました。

チームは、一つの物理的なコンピュータ上で最大1500個の仮想デバイスを実行するという、大規模なネットワークを模した制御環境下でこのシステムをテストしました。彼らは、最大35パーセントのデバイスが学習プロセスを妨害しようと積極的に動いているという、激しい攻撃をシステムに仕掛けました。この強烈な圧力にもかかわらず、システムは持ちこたえました。モデルは学習と改善を続け、100ラウンドのトレーニング後に86.4パーセントの精度に達しました。これは、攻撃を受けていない完璧なシステムが到達した88.2パーセントと比較しても、ごくわずかな低下に過ぎませんでした。このセキュリティにかかるコストは、驚くほど低いものでした。証明のチェックやデバイスのシャッフルに必要な追加時間は、各トレーニングラウンドの合計時間に対してわずか約35ミリ秒であり、その遅延はマイクロ秒単位で測定されるほど極めて短いものでした。

この研究は、大規模な人工知能のセキュリティに関する考え方に重要な転換をもたらします。それは、ローカルのチェックがいかにスケールアップするかという「希望的観測」に基づく仮定から、厳格でマシン検証された保証という基盤へと、この分野を移行させるものです。旧来の階層モデルが壊れていることを証明し、ネットワークを組織化するための新しい確率的な方法を提供することで、研究者たちは、効率的でありながら、執拗な攻撃者に対しても安全なシステムを構築することが可能であることを示しました。「Sovereign-Mohawk」システムは、数百万のデバイスが、自分たちの集合的な知能が希望ではなく、最小の細部に至るまでチェックされた数学によって守られていることを知りながら、安全に協力できる未来の設計図となるでしょう。