SG-Blend: Learning an Interpolation Between Improved Swish and GELU for Robust Neural Representations
本論文は、新たなバイアス補正済みSwish変種（SSwish）とGELUとの間の最適な補間を学習する層ごとの適応型活性化関数であるSG-Blendを導入しており、標準的な固定活性化関数と比較して、自然言語処理およびコンピュータビジョンのタスクにおける学習分散の低減と優れた性能を実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代の人工知能の背後にある技術であるディープラーニングは、情報を層ごとに処理する膨大な数学的経路のネットワークに依存しています。機能するためには、これらのネットワークは「活性化関数」と呼ばれる特別なスイッチを必要とします。これらのスイッチは、ある層から次の層へどれだけの情報を通過させるかを決定し、複雑なパターンを学習するネットワークの能力を形作ります。長年、研究者たちはSwishやGELUといった数種類の標準的なスイッチに頼ってきました。これらは、ほぼすべての現代的なAIモデルにおけるデフォルト設定として機能しています。しかし、これらの標準的なスイッチは硬直的です。それらは、ネットワークの層が最初であれ、中間であれ、最後であれ、その層に関わらず、全く同じ形状と挙動を適用してしまいます。この「一律の適用」というアプローチは問題を引き起こします。ネットワークは平均的にはうまく機能するかもしれませんが、どのようにランダムに初期化されたかによってパフォーマンスが激しく変動することがあり、結果を一貫して信頼したり再現したりすることを困難にします。
ある研究チームは、「SG-Blend」と呼ばれる柔軟なスイッチを用いた新しい解決策を提案しました。これは、ニューラルネットワークの各層が、2つの異なる挙動の間で自分にとって完璧なバランスを見つけられるようにするものです。すべての層に同じ硬直した設定を強制する代わりに、この新しい手法は、各層がどちらのタイプのスイッチをどの程度好むかを学習することを可能にします。研究者たちは、各層にこの小さな自由を与えることで、ネットワーク全体が著しく安定することを発見しました。言語モデルを用いたテストでは、このアプローチは標準的な手法と比較して結果の予測不可能性を42パーセント減少させると同時に、最高の精度スコアも達成しました。鍵となる発見は、最高のパフォーマンスは単一の完璧なスイッチを選ぶことからではなく、2つのよく知られた選択肢の間を滑らかに補間（ブレンド）させることで得られるものであり、それによって初期の層を深い層とは異なる挙動にさせられる、ということです。
この研究の核心となる考え方は、現在の活性化関数の硬直的な性質が、現代のニューラルネットワークの構築方法とミスマッチを起こしているという点です。古いネットワークでは、異なるタイプの正規化が情報の流れを滑らかにする役割を果たし、これらの固定されたスイッチの欠点を隠していました。しかし、言語や視覚に使用される新しい、より深いアーキテクチャでは、その平滑化効果が失われています。この効果がないため、固定されたスイッチは、ネットワーク内の多くの層を通過する情報の流れを不安定にします。研究者たちは、この不安定さが高い分散（バリアンス）をもたらすことを観察しました。つまり、同じトレーニング実験を、わずかに異なるランダムな開始点を用いて2回実行した場合、全く異なる結果が得られる可能性があるということです。ある実行では非常に精度の高いモデルが生成される一方で、次の実行では、固定されたスイッチが各層の特定のニーズに適応できなかったために、効果的に学習することに失敗するかもしれません。
これを解決するために、チームは修正版のSwishスイッチとGELUスイッチを組み合わせた新しいメカニズムを導入しました。彼らは単にそれらをランダムに混ぜ合わせたのではなく、ネットワーク内のあらゆる単一の層が、独自の小さな「調整ノブ」を持つシステムを作り上げました。一つのノブは、その層がどの程度Swishのスタイルに傾くかを制御し、もう一つのノブは遷移の鋭さを制御し、3つ目のノブは信号のベースラインレベルを調整します。トレーニング中、ネットワークはこれらのノブを自動的に設定する方法を学習します。研究者たちは、ネットワークが自然に、ほとんどの層が中間的な状態を選択し、2つのスタイルをほぼ等しくブレンドするという状態に落ち着くことを発見しました。このことは、純粋なSwishも純粋なGELUも、あらゆる部分に対する完璧な答えではないことを示唆しています。むしろ、最適な状態とは、層ごとにわずかに変化するカスタム・ブレンドなのです。
このアプローチの結果は、いくつかの異なるタスクにわたって測定されました。映画のレビューに関する感情分析の研究において、この新手法は既存の最高モデルのピーク精度に匹然しましたが、それをはるかに高い一貫性で達成しました。標準的な手法は、異なるランダムな開始点の間で最良の結果と最悪の結果の間に大きな開きが見られた一方で、新手法は結果をタイトに集約させました。この一貫性は実用的なアプリケーションにおいて極めて重要です。なぜなら、開発者がモデルを一度トレーニングすれば、運の良い開始点を見つけるために数十回の実験を行う必要はなく、それがうまく機能することに自信を持てるようになるからです。さらに、文章の次の単語を予測するように訓練された大規模言語モデルを用いたテストでは、新手法はテストされたすべてのモデルの中で最も低いエラー率を達成し、その恩恵が単純な分類タスクを超えて複雑な生成モデルにまで及ぶことを証明しました。
研究者たちは、なぜこのブレンドがこれほど上手くいくのかを、ネットワークの内部信号の流れを調べることで調査しました。彼らは、新手法が最初の層から最後の層まで、一定かつ均一な情報の流れを維持し、固定されたスイッチでしばしば発生するスパイク（急上昇）やドロップ（急落）を回避していることを見出しました。この安定性は、新手法の挙動が構成要素である2つの挙動の間にきれいに収まっており、新たな弱点を導入することなく、両方の強みを効果的に取り入れていることを観察することで確認されました。興味深いことに、ネットワークは初期の層と後の層で信号のベースラインレベルを異なる方法で調整することを学習しました。これは、固定されたスイッチでは達成できない微細な調整です。個々の層の内部状態を適応させるこの能力が、向上した安定性とパフォーマンスの秘訣であるようです。
しかし、この柔軟性にはコストが伴います。新しい手法は、すべての層に対して2つの異なるスイッチの挙動を計算し、それをブレンドする必要があるため、トレーニングに時間がかかります。研究者たちはこのオーバーヘッドを測定し、この新手法を用いてモデルをトレーニングするには、同じハードウェア上で標準的なGELUスイッチを使用する場合よりも約33パーセント長く時間がかかることを明らかにしました。ネットワークはより確実に学習し、より良い結果を生み出しますが、必要な追加時間は、モデルを迅速にトレーニングする必要がある、あるいは計算リソースが限られている人々にとって重要な要因となります。チームはこのトレードオフを認め、減少した分散と高い精度のメリットは、達成するために必要な追加の時間と計算能力と天秤にかける必要があると述べています。
追加の時間が必要であるにもかかわらず、この知見はニューラルネットワーク設計に対する考え方の転換を示唆しています。SG-Blendの成功は、活性化関数に対する硬直した一律の適用というアプローチが、過去の制限である可能性を示しています。ネットワークに自身の内部設定を学習させることで、研究者はより正確であるだけでなく、より堅牢で予測可能なモデルを構築できるのです。この研究は、より優れた人工知能への道は、単一の完璧な数学的公式を見つけることにあるのではなく、タスクの特定の要求に合わせて自身の内部メカニズムを適応させることができる柔軟なシステムを作り出すことにあるということを実証しています。このアプローチは、現代の言語および視覚技術を駆動する大規模で複雑なモデルにとって、将来の研究における有望な方向性を提示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。