How Much Regularization Survives Averaging? Update Masking in Federated Learning

人工知能の世界には、「フェデレーテッド（連合）」問題として知られる根強い課題が存在します。それぞれがパズルの独自のピースを持っている人々が集まり、誰にも個々のピースを見せることなく、一つの完成した絵を作り上げたいと考えている場面を想像してみてください。これは現代の機械学習がどのように機能しているかを物語っています。中央のコンピュータが、電話やセンサーなどの多くの異なるデバイスを調整し、共有されたスキルを学習させます。問題は、各デバイスにあるデータが共通しているとは限らないことです。ある電話には主に猫の写真があり、別の電話には車だけの写真があるかもしれません。中央のコンピュータが全員の学習内容を組み合わせようとするとき、結果として得られるモデルは全体像を理解することに苦しみ、新しい状況に対してうまく汎化できないことがよくあります。これを解決するために、研究者たちは長年、学習の数学的な風景の中で「平坦な」解を見つける方法を模索してきました。鋭い頂点と、広く平らな台地を思い浮かべてください。モデルが鋭い頂点に着地した場合、その時見た特定のデータに対しては完璧に機能するかもしれませんが、データがわずかに変化しただけで即座に躓いてしまいます。一方で、広く平らな台地に落ち着いたモデルはより堅牢です。データの小さな変化に対しても、崩壊することなく対処できます。

長年、科学者たちは、学習プロセス中にノイズを加えたり、意図的な小さなミスを誘発したりすることで、これらのモデルに平坦な台地を見つけさせようと試みてきました。このノイズは、まるで優しいシェイカーのように機能し、モデルが狭く脆弱な場所に陥るのを防ぎます。最近では、単一のコンピュータがすべての作業を行う集中型学習において、「アップデート・マスキング」と呼ばれる特定の技術が普及しました。この手法は、学習指示の塊をランダムに破棄し、残りの部分を再スケールします。これにより、モデルを安定した平坦な領域へと押し上げる、一種の有益なノイズを効果的に加えることができます。しかし、研究者がこの技術を、多くの異なるデバイスが個別に学習してからその結果を組み合わせる「フェデレーテッド（連合）」の設定に持ち込もうとしたとき、それは消滅してしまうようでした。ソフィア大学とシェンディアン・エナジー社の研究チームが答えを出そうとした問いは単純でした。あの有益なノイズはどこへ行ったのか、そしてそれは回復可能なのか、という問いです。

研究者たちは、ノイズが消えたのではなく、結果を組み合わせる行為そのものによって希釈されたことを発見しました。彼らの設定では、100個の異なるデバイス（クライアント）があり、それぞれが自身のデータの断片に基づいて学習を行いました。標準的なアプローチでは、各デバイスは、自身の学習指示のどの部分を保持し、どの部分を破棄するかを、それぞれ独自の選択パターンを用いてランダムに決定します。中央サーバーがこれらの更新内容を収集して平均化すると、個々のデバイスによるランダムな選択は互いに打ち消し合ってしまいます。それは、10人が重い物体を少しずつ異なるランダムな方向に押そうとしているようなもので、その正味の結果として、物体はほとんど動きません。数学的なペナルティ（本来ならモデルを堅牢にするはずのもの）は、グループ内のデバイス数に等しい係数によって弱められてしまいます。10個のデバイスがあれば、有益な効果は元の強度の10分の1にまで減少してしまい、モデルにはオーバーフィッティングに対する保護がほとんど残らない状態になります。

チームは別の戦略をテストしました。「もしすべてのデバイスが全く同じ選択パターンを使用したらどうなるか？」というものです。もし10人が同じランダムな方向に物体を押せば、その効果は維持されるはずです。研究者たちは、これらの選択を同期させることが、確かに保護的なノイズを回復させることを発見しましたが、そこには大きな注意点がありました。回復されたノイズの強さは、デバイス同士がどれだけ一致しているかに完全に依存するということです。もしデバイスが非常に異なるデータから学習しており、その更新内容が相反する方向を向いている場合、同期されたノイズは効果を失うか、あるいは有害にさえなります。この一致の度合いは「勾配の多様性（グラディエント・ダイバーシティ）」と呼ばれ、本質的には、デバイス個々の努力がどれほど重なり合っているかをカウントする概念です。デバイスが調和しているとき、ノイズは全力で戻ってきます。デバイスが衝突しているとき、ノイズは減衰するか、完全に消失します。

なぜこのようなことが実際に起こるのかを理解するために、研究者たちは、100個のシミュレートされたクライアントに分割された標準的な画像データセットであるCIFAR-10を用いて、広範な実験を行いました。彼らは、異なる条件下で、保護的なノイズが平均化プロセスの中でどれだけ生存したかを正確に測定しました。彼らは、デバイスが小さなバッチのデータで学習するという最も一般的な設定において、生存率が驚くほど低いことを発見しました。最大強度が10である中で、最終的なモデルに到達したノイズは、わずか1.19程度でした。この極めて小さな割合は、モデルがノイズを全く加えていない場合とほとんど変わらないほど、堅牢性が低いことを意味していました。研究者たちは、この失敗の原因が、標準的な学習において毎ステップ行われる「データのランダムなサンプリング」にあることを突き止めました。小さな画像のバッチを選択することによって導入されるランダムなノイズが、アップデート・マスキングによって生成された特定の有益なノイズを圧倒し、かき消してしまったのです。

チームはまた、データ自体の違い、つまり「あるデバイスには猫が多く、別のデバイスには車が多い」という事実が原因なのかどうかについても調査しました。彼らは、一部のデバイスが他のデバイスよりも100倍多くのデータを持つような、極端に不均衡なデータ分布を変化させて検証しました。驚くべきことに、この極端な差異は、ノイズの生存率にほとんど影響を与えませんでした。データがほぼ同一であっても、あるいは極端に異なっていても、生存率は1.17から1.50の間にとどまっていました。真の障壁はデータの多様性ではなく、学習の方法そのものでした。研究者が小さなバッチによるサンプリングを停止し、各デバイスが自身の全コレクションから一度に学習するようにしたところ、生存率は8.96へと劇的に跳ね上がりました。これは、小さなバッチによるランダムなノイズが、フェデレーテッド設定においてこの手法を失敗させる主要な要因であったことを証明しています。

しかし、研究は厳しい現実を突きつけて締めくくられました。大規模なフルデータ・バッチを使用し、デバイスを同期させることで、保護的なノイズの全強度を回復させることは数学的に可能ですが、それを行うにはモデルの実際の性能に対して甚大なコストを支払うことになります。ノイズが生き残る設定は、学習結果が最悪になる設定でもありました。実験では、小さなバッチを使用した最も優れたパフォーマンスを示すモデルは、保護的なノイズがほとんど残っておらず、一方で最も多くのノイズを持つモデルは、使い物にならないほど不正確でした。研究者たちは、モデルの学習能力を犠牲にすることなく、ノイズを維持できる中間地点を見出すことはできませんでした。

結局のところ、この論文は、フェデレーテッド学習におけるアップデート・マスキングの失敗は、見落としやバグではなく、システムの仕組みそのものによる根本的な帰結であることを明らかにしています。多くのデバイスが共に学習することを可能にする仕組みそのものが、アップデート・マスキングが依存している特定の種類のノイズを洗い流してしまうのです。研究者たちは、デバイスを同期させることでノイズを強制的に生存させることは可能であるが、そのために必要な条件は、有用なモデルを訓練するという実用的なニーズとは相容れないものであることを示しました。単一のコンピュータではうまく機能する保護効果も、ネットワーク化された多くのデバイスにおいては、モデルが非常に質の低い学習を受け入れる覚悟がない限り、そのままでは通用しないのです。この研究は、この手法の限界を明確に示すことで、フェデレーテッド・モデルがどのようにしてあの安定した平坦な台地を見つけることができるかについて、別の解決策を探るべきであるという指針を残しました。