🤖 machine learning

Federated Adversarial Training with Transformers

本論文は、連合学習の設定におけるVision Transformerに対する敵対的訓練の実現可能性を調査し、Non-IIDデータ分布下での堅牢な精度を向上させるために、層の類似性に基づいてクライアントの更新に重みを付ける新しい集約手法であるFedWAvgを提案する。

原著者： Ahmed Aldahdooh, Wassim Hamidouche, Olivier Déforges

公開日 2026-08-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ahmed Aldahdooh, Wassim Hamidouche, Olivier Déforges

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

現代の人工知能の世界において、機械は膨大な量のデータを学習することで学びます。通常、このデータは巨大な図書館のように一つの中心的な場所に集められ、単一のコンピュータシステムがすべてを読み取ってパターンを見つけ出します。しかし、「連合学習（フェデレーテッド・ラーニング）」と呼ばれる高まりつつある動きが、この仕組みを変えようとしています。個人のプライベートな情報を一箇所に集める代わりに、学習は個々のデバイス（スマートフォン、医療用センサー、あるいはローカルサーバーなど）上で行われます。デバイスは自身のデータをプライバシーとして保持したまま、学んだ内容についての小さく暗号化された更新情報のみを中央のコーディネーターに送信します。そして、このコーディネーターは、生の個人データを一度も見ることなく、これらの更新情報を組み合わせて、よりスマートなグローバルモデルを構築します。これは、テクノロジーを進歩させつつ、プライバシーを保護するための強力な手法です。

しかし、これらのスマートなモデルには隠れた危険が存在します。人間が巧妙な錯覚に騙されるのと同じように、人工知能も、画像に対する微細で、ほとんど目に見えない変化によって欺かれることがあります。パンダの画像が、人間の目には気づかない程度に数ピクセル変更されるだけで、コンピュータが自信満々にそれを「テナントザル」と誤認してしまうことがあります。これらは「敵対的例（アドバーサリアル・エグザンプル）」と呼ばれます。これに対抗するために、研究者たちは「敵対的訓練」という手法を用います。これは、学習フェーズにおいて、モデルにこれらのトリッキーで改変された画像を繰り返し見せることで、欺瞞を無視するように学習させるものです。今回の新しい研究が取り組んでいる問いは、この防御策が、分散されプライバシーを保護する形で行われる場合、特に「ビジョン・トランスフォーマー（Vision Transformer）」と呼ばれる現代的なアーキテクチャを使用している場合に、果たして機能するのかという点です。ビジョン・トランスフォーマーは、現在、コンピュータに「視覚」を教えるための最も強力なツールのひとつです。

研究者たちは、データが完璧にバランスされていない現実世界のシナリオを模倣し、5つの異なるクライアントにデータが分散されている状況下で、これらのビジョン・トランスフォーマーが欺瞞に対してどの程度耐性を持ち得るかをテストすることに乗り出しました。彼らは、画像をコンピュータが分析するためにどのように分割するか、および最終的な決定をどのように行うかを変えた12種類の異なるモデルのバリエーションを用いて実験を行いました。また、5つのクライアントからの学習更新を組み合わせるための、いくつかの異なる方法についてもテストしました。その目的は、モデルのデザインと組み合わせ手法のどの組み合わせが、最も堅牢な結果——つまり、最も洗練されたトリックによる攻撃を受けても精度を維持できる結果——を生み出すかを見極めることでした。

第一の大きな発見は、新しい手法が常に優れていると期待していた人々にとっての驚きでした。データの分布が偏っている場合にモデルの学習を速めるために特別に設計されたいくつかの高度な手法が、実際にはビジョン・トランスフォーマーをより脆弱にさせてしまったのです。クライアント間の差異を修正しようとするこれらの手法は、結果として学習を遅らせ、デバイスと中央サーバーとの間で送受信されるデータ量を2倍に増やしてしまいました。対照的に、更新を平均化するという標準的でよりシンプルな手法の方が、モデルを欺瞞から守る上で優れた性能を発揮しました。データの不均衡を修正するための複雑な補正は、この特定のモデルにとっては不要であり、セキュリティを向上させることなくコストだけを増大させていたのです。

また、本研究は、モデルが画像をどのように「見る」かが、その安全性に深く関わっていることも明らかにしました。研究者たちは、モデルが分析を行う前に画像を「トークン（小さな断片）」へと切り分けるさまざまな方法をテストしました。その結果、画像を非常に細かく、かつ重なり合うような断片に分解する方法は、通常の条件下では物体を認識するのに役立つことがわかりました。しかし、攻撃者がモデルを欺こうとした場合、この同じ手法を用いるとモデルは非常に騙されやすくなることが判明しました。逆に、最終的な決定において特定の視覚的トークンのみに依存するモデルは、この分散型の設定において効果的に学習することに苦戦しました。最も成功したアプローチは、バランスのとれたものでした。すなわち、視覚的トークンと、最終的な判断を下すための特別な「要約トークン」を組み合わせて使用することで、精度を維持しながら、攻撃に対して強固なモデルを実現することができたのです。

データの不均衡という問題を、複雑な手法による高いコストをかけずに解決するため、チームは「FedWAvg」と呼ばれる新しい戦略を導入しました。すべてのクライアントの更新を平等に扱ったり、強制的に同一に見せかけたりするのではなく、この新手法は各クライアントのモデルの「最終層」、つまり実際に意思決定を行う部分に着目します。この手法は、各クライアントの意思決定層の方向性が、グローバルモデルの方向性とどれほど一致しているかを測定します。クライアントの更新が似た方向を向いていれば、より大きな重みが与えられ、全く異なる方向を向いていれば、より小さな重みが与えられます。これはランダムな推測ではなく、グローバルモデルが軌道から外れないようにするための精密な数学的調整です。研究者たちは、このアプローチが標準的な手法よりもモデルを悪化させることは決してなく、データが高度に偏っている場合に、攻撃への耐性を向上させることを証明しました。一方で、中程度の偏りがある場合には、一貫した優位性は見られませんでした。

結果として、この新しい重み付け手法は、データが非常に偏っている場合（例えば、あるクライアントは猫と犬の画像しか持たず、別のクライアントは車とトラックの画像しか持たない場合など）に特に効果的であることが示されました。このような困難なシナリオにおいて、新しい手法はモデルの精度を高く保ち、防御力を強固に保ちましたが、従来の複雑な手法は失敗しました。また、本研究はモデルのサイズも重要であることを浮き彫りにしました。より多くの「アテンション・ブロック」を持つ大型のモデルは、こうした乱れた不均衡な環境において優れた性能を発揮しましたが、それにはより多くの計算能力を必要としました。研究者たちは、テストが特定の画像セットに対して行われたものの、学習更新の組み合わせ方やモデルの最終決定層の設計について明らかになった原理は、将来的に、より大規模で複雑なデータセットにおいても通用するものであると述べています。

結局のところ、本研究は、安全でプライバシー保護に優れた人工知能を構築するための明確なロードマップを提供しています。それは、欺瞞的な攻撃との戦いにおいては、「シンプルであること」がしばしば最善であるということを示しています。最も効果的な道筋は、学習を遅らせる複雑な補正メカニメントを追加することではなく、各学習者の貢献を賢く、軽量な方法で重み付けすることです。最終的な意思決定層の整合性に焦点を当てることで、新しい手法は、不均衡なデータのノイズに惑わされることなく、全員から学びながらグローバルモデルを正しい軌道に留めることができます。このアプローチは、データが決して完璧ではなく、プライバシーが極めて重要となる現実世界において、堅牢なビジョン・システムを展開するための実用的かつ効率的な方法を提供しています。

技術要約：Transformerを用いた連合型敵対的学習

問題提起
連合学習（Federated Learning: FL）は、プライバシーを保護しながら、分散されたクライアントデータを用いてグローバルモデルを訓練することを可能にする。しかし、FLを通じて訓練されたモデルは、依然として敵対的サンプル（Adversarial Examples: AEs）に対して脆弱である。敵対的学習（Adversarial Training: AT）は畳み込みニューラルネットワーク（CNN）にとって最も効果的な防御策であるが、Vision Transformer（ViT）を用いたFL環境におけるその性能については、ほとんど検証されていない。既存の文献は、非IID（不均一）なデータ分布下においてViTがCNNよりも速く収束することを強調しているが、このアーキテクチャ上の利点が、ATと組み合わせた際に堅牢性（Robustness）へとつながるのかどうかは不明である。クライアントのドリフトを軽減するために設計された標準的な集約手法（例：FedProx、SCAFFOLD）は、Non-IID設定におけるViTに対してはまだ評価されていない。本研究の核心的な問いは、ViTにおける連合型敵対的学習（FAT）の実現可能性を判断し、モデルのアーキテクチャ（トークン化および分類ヘッド）が精度と堅牢性のトレードオフにどのように影響するかを分析し、データの不均一性下で堅牢性を高める集約戦略を開発することである。

手法
本研究では、CIFAR-10データセットを用い、3つのデータ分割スキーム（独立同一分布（IID）、Non-IID(4)（各クライアントが4クラスを保持）、Non-IED(2)（各クライアントが2クラスを保持））の下でFATを評価する。実験セットアップは、1つのサーバーと $K=5$ のクライアントによる50回の通信ラウンドで構成される。

モデルのバリエーション: 著者らは、3つのトークン化スキーム（標準的なImage Patch、Tokens-to-Token ViT [T2T]、Transformer-in-Transformer [TNT]）と、3つの分類ヘッド・アーキテクチャ（[CLS]トークンのみ、視覚的[VIS]トークンのみ、またはその両方を使用）を組み合わせた12種類のViTバリアントをテストした。
敵対的設定: クライアントは、 $\epsilon=8/255$ 、ステップサイズ $\alpha=2/255$ 、7ステップの投影勾配降下法（Projected Gradient Descent: PGD）攻撃を利用する。敵対的比率は0.5であり、これはローカル訓練中に各バッチの50%が敵対的サンプルに置き換えられることを意味する。
集約戦略: 本研究では、提案手法であるFedWAvgを、標準的なFedAvgおよび3つのドリフト低減アルゴリズム（FedProx、FedGate、SCAFFOLD）と比較する。
- FedWAvg: この手法は、グローバルサーバーの最終層パラメータ（ $g$ ）と各クライアントの最終層パラメータ（ $l_k$ ）の間のコサイン類似度に基づいて集約重みを計算する。重みは、以下のスケーリングされたソフトマックス関数を用いて算出される： $w_k = \frac{\exp(q c_k)}{\sum \exp(q c_j)}$ 。ここで、 $c_k$ はコサイン類似度、 $q$ はスケール因子である。

理論的分析
本論文は、FedWAvgに関する厳密な理論的分析を提供している：

ギブス・リウェイト（Gibbs Reweighting）: FedWAvgが、方向正規化された最終層の間のユークリッド距離の二乗に基づく、クライアントのギブス・リウェイトと正確に一致することが証明されている。
ドリフト収縮（Drift Contraction）: 定理1は、FedWAvgが分類ヘッドの累積的な方向的ドリフトをFedAvgに対して増加させないことを示している。その改善は、クライアント・ドリフトの累積分散として閉じた形式で与えられる。
汎化（Generalization）: 定理2は、ロバストな汎化境界を確立し、重み付けスキームのコストが限定的であり、スケール因子 $q \to 0$ のとき消失することを示している。
限界: 著者らは、ドリフト収縮を証明してはいるものの、重みが適応的かつ時変的であるため、ATのミニマックス目的関数下でのFedWAvgの正式な収束定理は確立されていないことを明記している。

主な結果

ドリフト低減アルゴリズムの無効性: 期待に反して、Non-IIDデータに対してFedProx、FedGate、SCAFFOLDは、ViTバックボーンを使用した場合、標準的なFedAvgよりも低い堅牢精度を達成した。これらの手法は、最大2倍の通信コストを要し、追加のクライアント側モデル状態を維持するという高いコストも伴った。
アーキテクチャのトレードオフ:
- トークン化: Tokens-to-Token (T2T) エンベディングはクリーンな精度を向上させたが、PGD攻撃に対しては非常に脆弱なままであった。標準的なイメージパッチおよびTNTエンベディングは、より優れた堅牢性を示した。
- 分類ヘッド: 視覚的トークン（[VIS]）のみに依存するヘッドは、FATにおいてパフォーマンスが悪かった。[CLS]と[VIS]の両方のトークンを組み合わせるか、[CLS]のみを使用する場合の方が、一般的に良好な結果をもたらした。
FedWAvgの性能: FedWAvgは、極端に歪んだデータ（Non-IID(2)）の下で、FedAvgや他の手法と比較して堅牢精度を大幅に向上させた。スケール因子 $q$ はトレードオフとして機能する：高い $q$ 値（例：10）は、高度に不均質な分割には恩恵をもたらすが、中程度の歪みにおいては一貫した優位性を提供しない。
コスト効率: FedWAvgは、既にサーバーに送信されているパラメータを利用するため、通信オーバーヘッドやクライアント側のメモリ状態を追加しない。対照的に、SCAFFOLDやFedGateは、2倍の帯域幅と追加のクライアント・バッファを必要とする。

意義と主張
本論文は、主に3つの貢献を主張している：

経験的証拠: 標準的なドリフト低減集約手法（FedProx、FedGate、SCAFFOLD）が、FATにおけるViTに対しては逆効果であり、多くの場合、計算および通信コストを増大させながら堅牢精度を低下させることを実証した。
アーキテクチャに関する洞察: トークン化と分類ヘッドのデザインが、クリーンな精度と堅牢な精度のバランスを決定するという重要なトレードオフを特定し、特に敵対的な連合設定において視覚的トークンのみに依存するヘッドに対して警告を発している。
新しい集約ルール: 分類ヘッドの角度的類似性に基づいてクライアントに重みを付ける、不均一性を考慮した集約手法であるFedWAvgを導入した。理論的に、この手法はFedAvgと比較して方向的ドリフトを増加させないことが証明されている。経験的に、この手法は他の高度な集約技術に伴うオーバーヘッドなしに、高度に不均質な環境下での堅牢精度を向上させる。

著者らは、自らの結果がCIFAR-10データセットおよびPGD-7脅威モデルに特有のものであることを述べ、控えめな姿勢を維持している。彼らはViTがCNNよりも本質的に堅ろうであると主張しているのではなく、ViT内の特定の設計選択と提案された集約ルールによって、FATプロセスを最適化できることを示している。結論として、本研究は、FedWAvgがラベル・スキューが存在する連合型ViT訓練において、堅牢性を向上させるためのコスト効率の高い経路を提供すると述べている。

関連論文