Native Byzantine-Robust Aggregation for Trustworthy Federated Learning: A C++20 Evaluation of Krum, Multi-Krum, Trimmed Mean, and Coordinate-wise Median

見知らぬ人々が集まり、互いに相手のパズルのピースを見ることはできない状態で、複雑なパズルを協力して解こうとしている場面を想像してみてください。彼らは中央のリーダーに、自分たちの進捗状況を説明して送ることしかできません。これは、現代のコンピューティング手法である「フェデレーテッドラーニング（連合学習）」の本質です。そこでは、多くのデバイスが個人のプライベートなデータを共有することなく、共有された人工知能を訓練します。全員が公平にプレイしていれば、このシステムは美しく機能しますが、決定的な弱点に直面します。もし、その見知らぬ人たちの中に「嘘をつく者」がいたらどうなるでしょうか。乗っ取られたデバイスは、故障しているからではなく、悪意を持って、最終的な答えを台無しにすることを目的として、完全に間違った説明を送る可能性があります。このシナリオでは、単に多数派を信頼するだけでは不十分です。なぜなら、少数の悪意あるアクターがグループ全体を誤った方向へと引きずり込むことができるからです。科学者たちの課題は、これらの嘘つきを見抜き、彼らの悪い助言を無視できるシステムを構築し、一部の参加者がプロセスを積極的に妨害しようとしても、最終的な結果が信頼できる状態を維持できるようにすることです。

研究者たちは、特定のルールを用いてこれらの悪意あるアクターを数学的にフィルタリングする方法を古くから知っていましたが、それらのルールを高速で信頼性の高いソフトウェアへと変えることは困難でした。ヴォロネージュ国立森林技術大学のMd Shahanur Islam Shagorによる新しい研究は、これらの安全チェックを実行するための高速エンジンを構築することで、この問題に取り組んでいます。チームは、悪いデータをフィルタリングするための新しい方法を発明したわけではありません。代わりに、嘘つきを見つけるための既存のよく知られた4つの手法を取り上げ、速度と安全性を目的とした現代的なプログラミング言語を使用して、それらをゼロから再構築しました。彼らの目標は、これらの安全メカニズムが実世界のアプリケーションで利用できるほど十分に高速に動作することを示し、同時に、壊れたり危険な入力が誤って受け入れられないようにすることでした。

研究者たちは、悪いデータを扱うための4つの具体的な戦略に焦点を当てました。最初の2つは「Krum」および「Multi-Krum」として知られ、各人の更新が他の全員からどれだけ離れているかを測定することで機能します。もし誰かの更新がグループから大きく外れている場合、システムはそれを外れ値として特定し、最も一貫性のある人物を選んだり、最も一貫性のある数人を平均したりします。もう一方の2つの戦略である「trimmed mean（刈り込み平均）」と「coordinate-wise median（座標ごとの中央値）」は、パズルのピースの各部分を個別に調べることで機能します。これらは、平均を計算する前に、あらゆる部分に対して最高値と最低値を破棄するか、あるいは単に中央の値を選択することで、結果を歪めようとする極端な外れ値を効果的に無視します。これらの数学的なアイデアは十分に理解されていますが、研究者たちは、それらが今日の人工知能に使用されている大規模なソフトウェアシステムと並行して実行できるネイティブなコンピュータプログラムとして実装された場合に、どのように機能するかを確認したいと考えました。

彼らの成果をテストするために、チームは10台の仮想クライアントが25ラウンドにわたってモデルを訓練する制御されたシミュレーションを作成しました。このシミュレーションでは、2台のクライアントが悪意のある攻撃者としてプログラムされました。一方の攻撃者は進捗の方向性を完全に反転させようとし、もう一方は、数学を混乱させることを目的としたランダムで高分散なノイズをシステムに大量に送り込みました。これらの攻撃的な試みにもかかわらず、システムはモデルを正しいターゲットへと導くことに成功しました。25ラウンド後、モデルの現在位置と真のターゲットとの距離は、開始時の5パーセント未満に縮小しました。この結果は、Multi-Krum法、trimmed mean、およびmedianにおいて成立しており、これらの確立されたルールが、制御された環境下での20パーセントの攻撃率に耐えうることを証明しました。

しかし、この研究で最も驚くべき点は、安全ルールが機能したことだけでなく、標準的なソフトウェアツールと比較してどれほど速く動作したかという点でした。研究者たちは、1,000個のパラメータを含む更新を処理する時間と、再び100,000個のパラメータで処理する時間を測定しました。KrumやMulti-Krumのような距離ベースの手法では、新しいネイティブコードは劇的に高速でした。1,000個のパラメータを処理する場合、新しいコードは標準的なツールよりも2倍以上速く、サイズが100,000個に成長すると、3倍以上速くなりました。このスピードアップは、新しいコードがコンピュータのプロセッサを使用して、多くの計算を一度に処理し、複雑な距離チェックを極めて効率的に実行できたことによって実現されました。

ところが、物語は他の手法については異なっていました。数値をソートして中央値を見つける作業を伴うtrimmed meanは、新しいコードを使用しても速くなりませんでした。実際、サイズが小さいときは標準的なツールよりも遅く、サイズが大きくなると、それらとほぼ同等の性能しか示しませんでした。この発見は極めて重要です。なぜなら、単にコードをより速い言語で書き直すことが、自動的にすべてを速くするわけではないことを示しているからです。数値をソートするための標準的なツールはすでに高度に最適化されているため、カスタムプログラムがそれらを打ち負かすことは困難です。研究者たちは、スピードの優位性は行われる特定の数学的処理に完全に依存していることを見出しました。つまり、特定のタスクにおいては新しいエンジンは大きな飛躍となりますが、他のタスクにおいては全くメリットが得られないこともあるのです。

また、本研究は、スピードが安全性を犠牲にしてはならないことも強調しています。新しいシステムは「フェイルクローズド（失敗時に閉じる）」のアプローチで設計されており、入力が乱れていたり、数値が欠落していたり、構成が不可能であったりする場合、潜在的に危険な結果を生成するのではなく、単に実行を拒否するように設計されています。システムは、参加人数に対して攻撃者が多すぎる場合などの不可能なシナリオをチェックし、即座に拒否します。また、最終的なモデルを汚染するような奇妙で未定義の数値が紛れ込まないことも保証します。この厳格さは、より注意に欠けるシステムであれば処理しようとしたかもしれない要求であっても、システムが拒絶することを意味しますが、それによってシステムの信頼性を維持します。

結局のところ、この研究は、信頼できる人工知能システムを構築するには、セキュリティとパフォーマンスの間の慎重なバランスが必要であることを示しています。研究者たちは、数学的に健全でありながら計算効率の高い、悪意あるアクターに対する堅牢な防御策を作ることが可能であることを示しましたが、それは設計が使用される特定のメソッドに合わせて調整されている場合に限られます。研究は、すべての安全問題に対して単一の「速い」解決策は存在しないという結論を下しています。代わりに、エンジニアは、データのサイズや計算の性質に応じて、どの安全ルールがより速く動作するかを理解した上で、適切な道具を選択しなければなりません。高度な安全性チェックと高性能コンピューティングを組み合わせることで、スマートであるだけでなく、現実世界で信頼されるほど回復力のあるフェデレーテッドラーニング・システムを構築することが可能になります。