A Statistical Formulation Gap for Nonlinear Multiscale Physics-Informed Learning

あなたは、非常に奇妙で凹凸のある材料の中を熱がどのように流れるかを予測しようとしている、超スマートなロボットに教えているところだと想像してください。この材料は単に滑らかなわけではありません。1インチの中に数千回も繰り返される、微細で急速な凹凸やうねりを持っています。科学の世界では、これは「マルチスケール物理学」と呼ばれます。ロボットの仕事は、単にデータポイントを見るだけで、宇宙のルール（物理学）を、カンニングペーパーを与えられることなく学習することです。これは「物理情報学習（Physics-Informed Learning）」の領域であり、私たちは人工知能に、世界の仕組みを記述する複雑な方程式を解くように訓練しようとしています。

通常、私たちがロボットにこれらのルールを教えるとき、仕事が正しいかどうかを確認するために「強形式残差（strong residual）」を見るよう求めます。これは、数学がすべての地点で完璧に合っているかどうかをチェックするようにロボットに求めるようなものです。しかし、ここには落とし穴があります。もし材料にそれらの微細で急速なうねり（微視的スケール）がある場合、数学を完璧にチェックするには、微分（事象の変化の速さを測る数学的操作）を行う必要があります。うねりが激しい材料において変化の速さを測定しようとすると、数値が巨大になり、ロボットは混乱してしまいます。それは、まるでハチドリの羽の速さを、カタツムリ用のストップウォッチで測ろうとするようなもので、微細なディテールが測定の難易度を爆発させてしまうのです。

この論文はある特定のパズルに取り組んでいます。学習が難しいのは、材料自体が理解しにくいからなのか、それとも、私たちがロボットへの「チェックの仕方」を間違えているからなのか？ ロナルド・カテンデとそのチームは、問題は材料そのものではなく、「定式化（formulation）」、つまりロボットを訓練するために使用する特定の数学的なレシピにあることを証明しています。彼らは、標準的な「強形式」の方法を用いてチェックを行うと、うねりが小さくなるにつれて、AIの学習が統計的に不可能になることを示しています。しかし、もし「変分（variational）」的なチェック方法（点ごとの速度ではなく、システムの全エネルギーを見る方法）に切り替えれば、うねりがどれほど小さくなっても、ロボットは冷静で安定した状態を保てます。彼らはこれを数学的に証明し、コンピュータシミュレーションによって裏付けました。つまり、悪い方法ではスケールが縮小するにつれて難易度が指数関数的に増大する一方で、良い方法では一定に保たれることを示しているのです。

凹凸のある壁と二人の検査員の物語

「凹凸のある壁」の物語に飛び込んでみましょう。あなたが、風に耐えられる建物を設計しようとしている建築家だと想像してください。しかし、これは普通の壁ではありません。顕微鏡レベルのハニカム構造のように、微細で繰り返される凹凸のパターンを持つ特殊な材料でできています。これらの凹凸の大きさは、$\varepsilon$（エプシロン）と呼ばれる非常に小さな数で表されます。$\varepsilon$ が小さくなるにつれ、凹凸はより細かく、より密集していきます。

この論文の科学者たちは、「ニューラルソルバー（Neural Solver）」と呼ばれる一種のAIの脳に、この壁がどのように振る舞うかを解明させようとしています。彼らには、AIを教えるための2つの主要な方法があります。それは、**強形式残差（Strong Residual）**法と、**変分（Variational）**法です。

強形式残差：過剰に熱心な検査員
最初の方法は、壁に歩み寄り、あらゆる微細な凹凸における風の正確な速度を要求する、過剰に熱心な検査員のようなものです。これを行うために、検査員は壁のテクスチャの「微分」を計算しなければなりません。壁のテクスチャが非常に速くうねっているため（スケール $\varepsilon$ のスケールで）、検査員は速度を得るためにその小さな数 $\varepsilon$ で割らなければなりません。

• 問題点: 凹凸が2倍に細かくなる（$\varepsilon$ が半分になる）たびに、速度を測定するための検査員の仕事は2倍難しくなります。もし検査員が誤差の「二乗」もチェックしている場合（AIの訓練では一般的です）、難易度は爆発します。論文では、強形式のチェックでは、速度のチェックで $1/\varepsilon$ 倍、二乗誤差のチェックでは膨大な $1/\varepsilon^2$ 倍の統計的複雑性が生じると証明されています。
• 結果: シミュレーションにおいて、凹凸を小さくしていくと、二乗誤差のチェックにおける難易度は、凹凸のサイズが半分になるたびに、ほぼ4倍の係数で増大しました。論文ではこれを「統計的定式化ギャップ（statistical formulation gap）」と呼んでいます。それは、壁が理解不能なのではなく、検査員が、仕事を不可能にするほどの拡大鏡を使っていることが原因なのです。

変分法：冷静なエネルギー監査員
二番目の方法は、冷静なエネルギー監査員のようです。個々の凹凸にズームインして速度を測る代わりに、監査員は壁全体の「総エネルギー」を見ます。彼らはこう問いかけます。「このシステム全体にどれだけのエネルギーが蓄えられているのか？」

• 魔法: この方法では、微細な凹mentsの微分を必要としません。単に、凹凸を平均化された滑らかなテクスチャとして捉えます。論文では、この方法を用いると、凹凸がいかに小さくなっても、統計的複雑性は全く変わらないことが証明されています。
• 結果: シミュレーションでは、凹凸が極めて小さくなっても、エネルギー監査員の難易度は平坦なままでした。「適合指数（fitted exponent）」は実質的にゼロであり、これは、この方法が「スケールに対して頑健（scale-robust）」であることを意味しています。

「障害」とその証明

著者たちは単に推測したわけではありません。彼らは、強形式のメソッドが必ず失敗することを証明するために、単純な一次元（直線）の世界に数学的な「障害の証拠（obstruction witness）」を構築しました。彼らは、数学が困難を強いるような、特定の単純なシナリオを作り出しました。

彼らは、特定のタイプの方程式（三次反応を伴う非線形拡散方程式）において、AIの予測がランダムなノイズによってどれほど揺らぐかを測る指標である「ラデマッハー複雑性（Rademacher complexity）」には、明確な下限が存在することを示しました。

• 強形式残差の場合、この下限は $1/(\varepsilon\sqrt{N})$ に比例します（ここで $N$ はデータポイント数）。
• **二乗強形式損失（Squared Strong Loss）**の場合、それは $1/(\varepsilon^2\sqrt{N})$ に比例します。
• 変分エネルギーの場合、それは $1/\sqrt{N}$ に比例し、分母に $\varepsilon$ は存在しません。

これは、微細なスケールの問題に対して強形式のメソッドを使用しようとすると、スケールが小さくなるほど急勾配になる、統計的な登り坂の戦いに挑むことになることを意味します。変分法は、この特定の統計的ペナルティを取り除きます。

この論文が否定していること（および否定していないこと）

この論文が何を言っていないかを理解しておくことは重要です。

• 問題が解決したと言っているわけではありません: この論文は、手法を変えることで「統計的」な部分の問題（データのノイズやサンプリング）が解決されることを証明しています。しかし、著者は「近似」の問題は依然として残っていると明言しています。たとえ冷静なエネルギー監査員がいたとしても、AIは依然として、うねりのある壁の解を実際に「近似」できるほど賢くなければなりません。論文は、「変分定式化は、この統計的ペナルティを取り除くが、別のマルチスケール近似問題を排除するものではない」と述べています。あなたは依然として、うねりを扱うための優れたニューラルネットワークのアーキテクチャを必要としますが、数学そのものと戦う必要はなくなります。
• ニューラル・タンジェント・カーネル（NTK）に関するものではありません: 以前の研究では、難易度は訓練のダイナミクス（AIの内部の重みがどのように動くか）の「コンディショニング」に起因すると示唆されていました。しかし、この論文は、問題はもっと深いところにあると主張しています。それは「関数空間」そのものの問題です。難易度は、トレーニングを開始する前から、データの変動によって既に存在しています。彼らは、最適化アルゴリズムやAIの初期化とは独立した「経験的ラデマッハー複雑性」を用いて、これを証明しました。
• 一次元（1D）に限った話ではありません: 著者たちは、この「障害」が一次元の線の特性による偶然ではないことを証明しました。彼らは「テンソル積構成（tensor-product construction）」を用い、同じルールが2次元、3次元、およびあらゆる次元に適用されることを示しました。もし直線で失敗するなら、立方体でも失敗します。

数字は嘘をつかない

数学的な裏付けとして、チームはコンピュータシミュレーションを実行しました。彼らは、$\varepsilon$ のサイズが $2^{-3}$ から $2^{-8}$ まで変化する中で、「証拠」となるシナリオをテストしました。

• 強形式残差の場合、凹凸を小さくしていくと、複雑性は指数の 0.9971 で成長しました。これはほぼ 1 であり、$1/\varepsilon$ に比例するという彼らの理論と一致します。
• 二乗強形式損失の場合、指数は 1.9860 であり、これはほぼ 2 です。これは $1/\varepsilon^2$ の理論と一致します。
• 変分エネルギーの場合、指数は -0.0028 であり、これは実質的に 0 です。これは、難易度がスケールの縮小に伴って変化しないことを裏付けています。

まとめ

この論文は、「定式化のギャップ」は実在すると結論づけています。AIにどのように仕事のチェックをさせるかが、その問題が解決可能か、あるいは不可能かを決定します。もし強形式の残差を使用すれば、微視的な係数を微分することになり、統計的な悪夢を生み出します。もし変分的なアプローチを使用すれば、その係数の微分を回避でき、問題を安定させ、頑健に保つことができます。

したがって、次にあなたが、複雑で凹凸のある材料に対するAIの訓練に苦労している科学者を見かけたときは、この論文は、彼らはより大きなコンピュータやより多くのデータを必要としているのではなく、単にAIに投げかけている「質問」を変える必要があるかもしれない、と示唆しています。点ごとの速度チェックを要求する代わりに、総エネルギーを問うべきなのです。これは、科学において、時には最も困難な部分はパズルそのものではなく、それを見るための「レンズ」であるということを思い出させてくれます。