Error Analysis of Higher Order Integration Schemes in the Context of Neural Network based Modelling

曲がりくねり、うねる川の長さを測ろうとしている場面を想像してみてください。科学や工学の世界では、物の動きや曲がり方を予測するための「超スマートな地図」として、「ニューラルネットワーク」を用いることがよくあります。これらのネットワークは、まるで教科書を暗記する学生のように、複雑なパターンを学習するように訓練されます。しかし、これらの地図を現実世界の計算（例えば、曲がる梁がどれだけのエネルギーを使うかなど）に使用するには、「積分」と呼ばれる数学的な操作を行う必要があります。積分とは、曲線の微小な断片を足し合わせることで、その下の総面積や長さを求める方法だと考えてください。

数十年にわたり、数学者たちは、この「切り分けと足し合わせ」のための巧妙で高速なレシピを開発してきました。これらは「高次積分スキーム」として知られています。これらのレシピは非常に精密であるよう設計されており、もし川をより小さく細かく切り分けていけば、答えが指数関数的に正確になることを約束しています。それは、ズームインすればするほど完璧になる魔法の定規を持っているようなものです。しかし、ここに落とし穴があります。これらの魔法の定規は、自然界に見られるような滑らかで予測可能な曲線に対して設計されたものであり、必ずしも現代のニューラルネットワークが生み出す、ギザギザで凹凸があり、時には混沌とした線に対してテストされたわけではありません。大きな疑問は、「これらのハイテクな定規は、その対象となる地図がデジタルなニューロンで作られている場合でも、果たして機能するのか？」ということです。

本論文は、まさにそのシナリオを調査しています。著者であるフェリックス・メストとマーティン・アーノルドは、これらの高度な高精度定規をニューラルネットワーク関数に使用しようとすると、しばしばその「スーパーパワー」を失ってしまうことを発見しました。ズームインしても精度が向上し続ける代わりに、誤差が改善されなくなり、はるかに低い精度レベルで停滞してしまうのです。それはまるで、くしゃくしゃになった紙に対してレーザー測定器を使っているようなものです。どれほど丁寧に測定しても、紙の「しわ（あるいは振動）」が完璧な読み取りを妨げてしまうのです。

研究者たちは、ニューラルネットワークが、たとえ滑らかになるよう訓練されていたとしても、高次の数学的レシピが対処できないような、目に見えないほど小さな「ゆらぎ」や「鋭い角」を発達させることが多いことを突き止めました。これらのゆらぎは、数学が期待するスムーズな走行を台無しにする「スピードバンプ（段差）」として機能します。論文によれば、普及している「ReLU」活性化関数（これは直線的なセグメントによる鋭い形状を作り出します）を使用しているネットワークの場合、これらの高度な定規は、非常に単純で古風な定規と比べて性能が向上しないことが示されています。より滑らかな「tanh」のような関数を使用しているネットワークについては、高度な定規は最終的に機能する可能性がありますが、それは実用的な計算が不可能になるほど極限までズームインした場合に限られます。

これを解決するために、著者らは、トレーニング中にニューラルネットワークを「平滑化（スムージング）」することをテストしました。これは、ネットワークに対して「小さなゆらぎを作るのをやめてください」と指示することに相当します。これにより、高精度な定規がより良く機能するようになりましたが、そこにはトレードオフが伴いました。つまり、ネットワークが本来の任務である「曲線の形状を予測すること」において、精度が低下してしまったのです。論文は、特別な注意を払わない限り、ニューラルネットワークに対するこれらの高次積分法を盲目的に信頼することはできないと結論付けています。それらは現実の世界において、理論上の速度と精度をしばしば失い、「滑らかな計算」か「賢い予測」かのどちらかを選択することを私たちに強いることになるのです。