Activation-Adjacent Layer Normalization: Effects on Approximation Power

現代の人工知能は、ニューロンを緩やかにモデル化した、単純な数学的単位による膨大なネットワークに依存しており、それによってパターン認識、言語翻訳、画像生成を行っています。これらのネットワークは、データを層（レイヤー）を通して通過させることで機能し、各層は情報を次の層へと引き継ぐ前に、その情報をわずかに変換します。このプロセスにおける重要な構成要素は、「正規化（ノーマライゼーション）」と呼ばれるメカニズムです。これはボリューム調整器のような役割を果たし、ネットワークを通過する信号の強度を調整して、それらが過度に混沌としたり、あるいは弱すぎたりしないよう、安定性を保ちます。この調整がなければ、これほど複雑なシステムの学習は非常に困難になるでしょう。しかし、ある微妙な疑問がこの分野に残り続けています。それは、「このボリューム調整は、ネットワークが伝えようとしている根本的な物語を変えてしまうのではないか？」という問いです。具体的には、ネットワークにこの正規化ステップを挿入した場合、正規化なしで学習できたはずの全く同じ関数を表現する能力が制限されてしまうのでしょうか。

中国の北華理工大学の研究チームは、数学的な精密さをもってこの問いに答えるべく取り組みました。彼らは、現代のAIで広く用いられている2種類の正規化に焦点を当てました。一つは、平方平均平方根に基づいて信号をスケーリングするもの、もう一つは、平均値を引くことによって信号の中心を合わせるものです。研究者たちは、これらのツールを備えたネットワークが、標準的な（これらのツールを持たない）ネットワークが扱えるあらゆる関数を、依然として近似、あるいは密接に模倣できるかどうかを知りたいと考えました。彼らの調査によれば、答えは「イエス」ですが、そこには特定の代償が伴います。標準的なネットワークの完全な表現力を維持するためには、正規化されたバージョンは、わずかに「幅広く」なければなりません。単にコンポーネントを入れ替えるだけでは不十分であり、ネットワークには、呼吸するための少し余分なスペースを与える必要があるのです。

研究者たちは、ネットワークを「入力を出力へと変換する機械」として扱うことで、この問題にアプローチしました。彼らは、情報を処理するために使用される並列な経路の数によって定義される、特定の幅を持つ標準的なネットワークを想定しました。そして、「もしネットワークの主要な活性化関数の前または後に正規化ステップを挿入した場合、元の関数を完全に再現するためには、ネットワークをどれほど広くする必要があるのか？」と問いかけました。彼らの知見によれば、その答えは正規化の種類と、それが配置される場所によって異なります。スケーリングのみを行う手法の場合、ネットワークの活性化関数が非常に大きな数値を生み出すことができるのであれば、たった一つの追加経路を加えるだけで、高い精度で元の関数を復元できます。もし活性化関数がより制限されている場合は、いくつかの追加経路が必要となり、経路が増えるにつれて誤差は減少していきます。

正規化が平均値を引くことによってデータの中心を合わせる場合、状況は少し複雑になります。この追加のステップは、ネットワークが修正しなければならない「第二の歪み」をもたらします。このケースにおいて、研究者たちは、同等の精度を得るためには、ネットワークを元のものより2つの経路分広くする必要があることを見出しました。この余分な幅によって、ネットワークはターゲットとなる関数を表現する能力を失うことなく、センタリングの効果を吸収できるのです。この研究は、これらの追加経路が単なる「便利なトリック」ではなく、最悪のシナリオにおいては数学的に必要であることを証明しています。もしネットワークがこれらの特定の限界よりも狭ければ、どのような学習を行っても、学習できない特定の関数が存在することになります。

これらの理論的な限界を検証するために、研究者たちは一連のコンピュータ実験を行いました。彼らは標準的なネットワークを取り、彼らの証明から導き出された正確な数学的レシピを用いて、正規化されたバージョンを構築しました。その際、データによる学習は行いませんでした。そして、正規化されたネットワークが、元のネットワークの挙動にどれほど密接に一致できるかを測定しました。結果は彼らの予測と完璧に一致しました。幅や追加されたコンポーネントの大きさを増大させると、誤差は彼らの公式が予測した通りの速度で減少しました。また、活性化関数がシフトされた特定のシナリオもテストしましたが、これは狭い正規化ネットワークが完全に失敗する状況を作り出すものです。実験の結果、追加の幅がなければネットワークの出力は平坦で無用なものになるものの、幅を増やせばネットワークは学習能力を回復することが確認されました。

この研究は、現代のニューラルネットワーク設計におけるトレードオフを理解するための明確な地図を提供しています。正規化は、複雑な関数を学習するネットワークの能力を破壊するものではなく、正規化が導入する変化を補うために、ネットワークのサイズをわずかに、かつ予測可能な形で増加させることを要求するものであることを示しています。この洞察は、なぜ成功しているモデルが、しばしばそのタスクに必要とされる最小限の容量よりも、わずかに大きな容量を持っているのかを説明する助けとなります。研究者たちは、わずか数個の次元を追加するだけで、ディープラーニングを可能にする安定化ツールを使用しながらも、ネットワークがその全能力を保持できることを示しました。彼らの知見は、設計者が選択する正規化ステップの具体的な幾何学的コストを考慮さえすれば、これらのネットワークのアーキテクチャは堅牢であることを裏付けています。