An implication of activation functions for Physics-Informed Neural Networks (PINNs) to solve non-autonomous differential equations

現代の科学・工学という広大な領域において、システムが時間の経過とともにどのように変化するかを予測することは、根本的な課題です。人工衛星の軌道を追跡することであれ、疾病の蔓延をモデル化することであれ、あるいは材料内の熱の流れをシミュレートすることであれ、科学者は微分方程式として知られる特定の種類の数学的規則に依拠しています。これらの方程式は、ある量がそれ自身およびその環境に対してどのように変化するかを記述します。何十年もの間、これらの方程式を解くことは、問題を小さく管理可能なステップに分解する古典的な数値手法の領域でした。これらは信頼できる一方で、計算コストが高くなりやすく、複雑で高次元の問題には苦戦することがあります。近年、人工知能の分野から借用した新しいアプローチが登場しました。研究者たちは、人間の脳に触発されたコンピュータシステムであるニューラルネットワークを使用して、これらの方程式の解を学習し近似し始めています。これらのシステムは「物理情報に基づいたニューラルネットワーク（Physics-Informed Neural Networks）」と呼ばれ、単なるデータだけでなく、物理法則そのものに基づいて学習されるため、基礎となる科学を尊重した解を見つけ出すことができます。

しかし、これらのニューラルネットワークが機能するためには、回路が単に電気を通すだけでなく、それ以上のことを行うためのスイッチのように、複雑さと非線形性を導入するための特定の内部メカニメントを必要とします。このメカニズムは「活性化関数」と呼ばれます。これは、ネットワークが各ステップで情報をどのように処理するかを決定し、正解を学習し近似する能力を形作ります。長い間、これらの科学的ソルバーにおいてどの活性化関数を使用するかという選択は、エビデンスに基づくというよりも習慣に基づいて選ばれるなど、ある種の手探り状態にありました。この不確実性は重要です。なぜなら、誤った選択は不正確な予測を招いたり、システムが解の学習に失敗したりすることにつながるからです。問いは残っています。私たちの物理的世界を支配する複雑で時間依存的な方程式を解くために、利用可能な多くの選択肢の中で、真に最良のものはどれなのか、という問いです。

最近の研究は、体系的かつ厳格なアプローチを用いて、この問いに答えることを目的としました。研究者たちは、特定のクラスの問題、すなわち「非自律常微分方程式」に焦点を当てました。簡単に言えば、これらは変化のルールが静的なものではなく、時間そのものや変化する環境条件などの外部要因によって進化する方程式のことです。理論を検証するために、チームは標準的なニューラルネットワーク・アーキテクチャを構築し、それを10種類の異なる数学的課題にさらしました。これらの課題には、指数関数的な成長、多項式曲線、および三角波によって駆動される方程式が含まれており、自然界に見られる幅広い挙動を網羅しています。極めて重要な点として、研究者たちは実験における他のすべての変数を同一に保ちました。彼らは同じネットワーク構造、同じ訓練サイクル、そして同じデータポイントを使用しました。唯一の変化は、活性化関数でした。彼らは、よく知られたSigmoidやReLUから、GELU、ELU、SiLUのようなより現代的なバリアントに至るまで、この分野で使用される最も一般的な9つの関数をテストしました。

この広範なシミュレーションの結果は、明確かつ決定的でした。研究によれば、あらゆるシナリオに対して完璧な単一の関数は存在しないものの、全体を通して最も信頼できるパフォーマンスを発揮するものが一つあることが判明しました。GELU活性化関数がトップの選択肢として浮上し、60パーセントの実験において最も正確な解を提供しました。GELUは、これらの方程式の既知の厳密解と比較して、一貫して最小の誤差を生み出しました。これに僅差で続いたのは、強力な能力を示したELUとSELUという2つの関数でした。対照的に、SigmoidやSoftmaxといった、より伝統的な古い選択肢は、パフォーマンスが低い結果となりました。研究者たちは、この失敗の原因を「飽和（saturation）」と呼ばれる現象に求めています。これは、これらの関数がある領域で非常に平坦になり、効果的な学習を停止してしまう現象です。また、研究では、ReLUのような関数は一般的な人工知能では人気がありますが、これらの特定の科学的タスクには最適ではないことも指摘されました。その理由は、おそらくその鋭く角張った性質が、物理ベースのソルバーによって要求される精密な微分計算において困難を生じさせるためです。

これらの発見が偶然ではないことを確認するため、研究者たちはさらに6つの追加の方程式を含む第2のテストへと範囲を広げました。結果は揺るぎませんでした。この拡張グループにおいても、GELUが約3分の2のケースで再びトップの座を占め、残りのケースではELUがリードしました。他のどの関数も、この検証グループで第1位を獲得することはありませんでした。研究は、GELUとELUの成功が、その数学的な「滑らかさ」に根ざしていることを示唆しています。鋭い角や平坦なプラトーを持つ関数とは異なり、これらの滑らかな関数は、ネットワークが変化や勾配をより確実に計算することを可能にします。これは、ネットワークが方程式に組み込まれた厳格な物理法則を満たすよう求められる際に不可欠なことです。この滑らかさは、訓練プロセスをより安定して収束させ、より正確な最終結果へと導きます。

この研究の含意は、これらの計算ツールに依存する科学者やエンジニアにとって、実用的かつ即時的なものです。本研究は、適切な道具を選択するための、明確でエビデンスに基づいたガイドラインを提供しています。活性化関数の選択をランダムまたは普遍的な設定として扱うのではなく、研究者たちは問題の具体的な性質によって選択が決まるべきであると示唆しています。一般的な時間依存問題については、GELUが最も堅牢なデフォルトの選択肢として機能するようです。多項式的な相互作用を伴う問題については、ELUが強力な代替案となります。一方で、本研究は、Sigmoidのような飽和する関数をこのような残留ベースのソルバーに使用しないことを明確に助言しており、それらはパフォーマンスを阻害する可能性が高いとしています。最も効果的な活性化関数を特定することで、この研究はニューラルネットワークの能力を洗練させ、私たちの宇宙を記述する微分方程式を解くための、より効率的で正確な手法への道を開いています。この研究は、この分野のあらゆる問題を解決したと主張するものではありませんが、次世代の科学計算ツールの構築に向けた、より体系的で情報に基づいたアプローチへの指針となる、強固な基礎を提供するものです。