Walsh-Hadamard Neural Operators for Solving PDEs with Discontinuous Coefficients

本論文は、フーリエベースの手法の限界を克服して不連続係数を有する偏微分方程式を効果的に解くために Walsh-Hadamard 変換を利用する新しいアーキテクチャである Walsh-Hadamard 神経作用素（WHNO）を導入し、WHNO をフーリエ神経作用素とアンサンブルで組み合わせることで、鋭い界面と滑らかな特徴の両方を捉える精度が著しく向上することを示す。

要約

複雑な機械内の熱の流れや、水中を移動する衝撃波の予測をコンピュータに学習させると想像してみてください。これらは**偏微分方程式（PDEs）**によって支配される問題です。通常、コンピュータはこれらの問題を微小な断片に分解し、ステップごとに答えを計算することで解きますが、これは時間がかかります。

ニューラルオペレーターは、これらの方程式の「規則」を学習して瞬時に答えを予測できるように設計された、新しい種類のAIです。まるで超高速のショートカットのようです。

しかし、落とし穴があります。これらのAIのショートカットの多くは、フーリエ変換と呼ばれる数学的ツールに依存しています。フーリエ変換を、滑らかな波状のサイン波（穏やかな海のうねりのようなもの）のセットだと考えてみてください。これらの波は滑らかで連続的なものには優れていますが、鋭く急激な跳躍を伴う問題、例えば川に突然氷の壁が現れたり、素材が瞬時に木から金属に変わったりする場合には、苦手とします。

滑らかな波だけで鋭い正方形の縁を記述しようとすると、波は混乱します。縁の近くで「鳴り」や激しい振動が始まり、誤差が生じます。数学的には、これをギブス現象と呼びます。丸いブラシだけで完璧な正方形を描こうとするようなもので、常にふんわりとして揺らぐ角になってしまいます。

新しい解決策：ウォルシュ・アダマール・ニューラルオペレーター（WHNO）

この論文の著者たちは、WHNOと呼ばれる新しいAIモデルを導入しました。滑らかな波の代わりに、長方形のブロックのセットを使用するようにブラシを交換したのです。

• アナロジー: 床にタイルを敷き詰めることを想像してください。
  • 旧来の方法（フーリエ）は、曲がった波状のタイルだけで正方形の部屋を敷き詰めようとします。まっすぐな壁を作るには、何千もの小さな曲がったピースを積み重ねる必要があり、それらは決して完璧に揃いません。
  • 新しい方法（WHNO）は正方形のタイルを使用します。まっすぐな壁や鋭い角が必要な場合、正方形のタイルを隣り合わせに置くだけです。ふらつく縁もなく、完璧にフィットします。

多くの現実世界の課題は、地中の岩層や急激な温度変化のような急激な変化を伴うため、これらの「長方形の波」タイルは、混乱する振動なしに真実を捉えるのにはるかに優れています。

「両方の利点」の戦略

研究者たちは、新しい方法だけで満足しませんでした。彼らは、「正方形のタイル」（WHNO）は鋭い縁には優れているものの、「滑らかな波」（フーリエ）は、縁と縁の間の滑らかで穏やかな部分を記述するには依然として非常に優れていることに気づいたのです。

そこで、彼らは**チームアップ（アンサンブル）**を作成しました。

• 正方形のタイルを持つAI（WHNO）と、滑らかな波を持つAI（FNO）の2つの独立したAIを訓練しました。
• その後、2色の絵の具を混ぜるように、それらの予測を混合しました。
• 各特定の課題に対する完璧な「混合比率」を見つけるために、スマートなテストプロセス（交差検証）を使用しました。

結果:
彼らが実行したすべてのテストにおいて、奇妙な形状の素材を通過する熱や流体を移動する衝撃波など、混合チームは、どちらかのAIが単独で動作するよりも優れたパフォーマンスを発揮しました。

• 時には混合比率が57%の正方形タイルと43%の滑らかな波でした。
• 他の時には65%の正方形タイルと35%の滑らかな波でした。

「正方形のタイル」AIが単独では明確な勝者ではなかった場合でも、少しの「滑らかな波」AIを追加するだけで、最終的な答えの精度が向上しました。

論文からの主要な教訓

1. ツールが重要: 数学的な「ブラシ」を滑らかな波から長方形のブロックに変更することで、コンピュータを遅くすることなく、急激な跳躍を伴う問題の精度が大幅に向上しました。
2. チームワークが勝利: 2つの異なるアプローチ（新しい長方形のものと古い滑らかなもの）を組み合わせることで、常に最良の結果が得られました。2つの方法は互いの弱点を補い合います。
3. 魔法ではなく、数学: この論文は、特定の物理問題（熱伝導と流体衝撃波）でこれをテストしました。医療診断や他の無関係な分野にこれが機能すると主張したのではなく、これらの特定の種類の「急激な跳躍」を伴う物理問題に対して、この新しい組み合わせがこれまでにテストされた中で最も正確な方法であることを示しました。

要約すると、この論文はこう述べています：鋭い縁を伴う問題がある場合、古い滑らかな波のAIだけを頼りにしないでください。新しいブロックベースのAIを使用するか、さらに良いことに、ブロックベースのAIと滑らかな波のAIをチームとして一緒に働かせてください。

技術概要

技術的概要：不連続係数を伴う PDE の解決のための Walsh-Hadamard 神経作用素

問題定義
神経作用素は、パラメータ付き偏微分方程式（PDE）の解作用素を学習するための強力なツールとして登場し、解像度を超えて一般化する離散化不変の代理モデルを提供する。しかし、標準的なスペクトル法、特にフーリエ神経作用素（FNO）は、不連続な係数または初期条件を伴う PDE に適用される際、重大な限界に直面する。滑らかな三角関数からなるフーリエ基底は、鋭い界面やステップ関数を表現する際にギブス現象に悩まされる。その結果、振動するアーチファクト、点ごとの収束の遅延、および材料境界付近での誤差の局在化が生じる。これらの問題は、多孔質媒体における地下水流（急激な透水性の対比）、複合材料における熱管理（急激な熱伝導率の跳躍）、および流体力学（衝撃波）などの応用において決定的である。

手法
著者は、フーリエ変換を Walsh-Hadamard 変換（WHT）に置き換えたスペクトル神経作用素アーキテクチャである**Walsh-Hadamard 神経作用素（WHNO）**を導入する。

• スペクトル基底: FNO のグローバルな三角関数基底とは異なり、WHT は矩形波関数の直交正規基底を利用する。これらの関数は区分的に一定であるため、振動するリンギングなしにステップ不連続性を表現するのに自然に適している。WHT は区分的に一定な場に対して信号を正確に分解し、過激なスペクトル圧縮を可能にする。
• アーキテクチャ: WHNO アーキテクチャは FNO の構造を反映するが、Walsh-Hadamard 領域で動作する。
  • 入力符号化: 入力場（例えば、熱伝導率または初期速度）は、一定のチャネルと連結される。
  • スペクトル層: ネットワークの中核は、高速 Walsh-Hadamard 変換（FWHT）を介して入力を変換するスペクトル層で構成される。学習可能な重みが低シーケンス係数（FNO の低周波モードに相当）に適用され、グローバルな依存関係を捉える。その後、変換は空間領域へ逆変換される。
  • 空間的洗練: 拡大畳み込みデコーダがスペクトル特徴を処理し、不連続点における微細な特徴を解像する。
  • 計算量: FWHT は高速フーリエ変換（FFT）と同じ $O(n \log n)$ の計算複雑性を共有しており、WHNO が FNO と同じパスごとの効率を維持することを保証する。
• アンサンブル戦略: Walsh-Hadamard 基底が鋭い界面に優れ、フーリエ基底が滑らかな領域で効率的であることを認識し、著者は WHNO と FNO の加重アンサンブルを提案する。アンサンブル予測は $u_{ensemble} = w \cdot u_{WHNO} + (1-w) \cdot u_{FNO}$ と定義され、ここで重み $w^* \in [0, 1]$ は、検証セット上の平均二乗誤差（MSE）を最小化するために 5 回交差検証によって決定される。

主要な貢献

1. アーキテクチャの開発: 低シーケンス係数に作用する学習可能な重みと Walsh-Hadamard スペクトル処理を統合した WHNO の定式化。
2. 不連続 PDE における検証: 2 つの異なる問題に対する厳密なテスト:
   • 熱伝導: 不連続な熱伝導率（矩形インクルージョン）を伴う準定常拡散。
   • 2 次元 Burgers 方程式: 不連続な初期条件（正方形ブロック）を伴う非線形移流拡散。
3. 制御された比較: 一致したパラメータ数（1,555,153 パラメータ）および同一のトレーニングプロトコルを備えた FNO ベースラインとの直接比較。
4. アンサンブルフレームワーク: 単一の交差検証済みスカラー重みで WHNO と FNO を組み合わせることで、すべてのテスト構成において単独のモデルよりも厳密に優れた性能が得られることの証明。

結果
本研究は、4 つの熱伝導幾何学（軸方向、回転、円盤、ボロノイ）と 3 つの Burgers 初期条件ファミリー（ブロック、滑らかな正弦波、斜めフロント）の 7 つの構成における性能を評価した。

• 単一モデルの性能:

  • 熱伝導問題において、WHNO は FNO と比較して低い平均絶対誤差（MAE）および低い $H^1$（勾配 MSE）誤差を達成した。具体的には、WHNO は MAE を $0.0153 \pm 0.00097$ に削減し、FNO の $0.01663 \pm 0.00183$ に対して優位であった。
  • Burgers 方程式において、WHNO は同様に MAE（$0.00642$対$0.00843$）および$H^1$ 誤差において FNO を上回った。
  • 誤差分析により、FNO の誤差は材料界面（ギブス現象）に集中するのに対し、WHNO の誤差はより均一に分布することが明らかになった。
  • 不連続性が Walsh 基底と整合しない構成（例えば、回転した長方形、斜めフロント）では、$H^1$ 指標において WHNO の単一モデルの優位性が減少するか逆転したが、MAE では依然として優位性を保持することが多かった。

• アンサンブルの性能:

  • 交差検証されたアンサンブルは、一貫して両方の単一モデルを上回った。
  • 熱伝導: 最適重みは $w^* = 0.572 \pm 0.016$ であった。アンサンブルは $3.65 \times 10^{-4}$ のテスト MSE を達成し、WHNO 単独（$4.71 \times 10^{-4}$）および FNO 単独（$5.66 \times 10^{-4}$）よりも厳密に低かった。
  • Burgers 方程式: 最適重みは $w^* = 0.648 \pm 0.020$ であった。アンサンブル MSE は $6.6 \times 10^{-5}$ であり、WHNO 単独（$9.4 \times 10^{-5}$）および FNO 単独（$1.59 \times 10^{-4}$）を改善した。
  • 重要なのは、WHNO 単独が明確に FNO を打ち負かせなかった構成（例えば、円盤インクルージョンを伴う熱伝導、斜めフロントを伴う Burgers）であっても、アンサンブルは両方のベースラインよりも低い $H^1$ 誤差を達成した点である。

意義と主張
本論文は、これらの知見から導き出された 2 つの主要な原則を主張する:

1. スペクトル基底は重要である: 一致したパラメータ数において、フーリエ基底を Walsh-Hadamard 基底に置き換えることは、不連続構造を伴う PDE に対して誤差指標（MAE および $H^1$）を削減し、前方パスあたりの計算コストを増加させることなく行うことができる。
2. 基底の相補性: Walsh-Hadamard 表現とフーリエ表現は、解場の部分的に相補的な特徴（鋭い界面対滑らかな変動）を捉える。これらを単一の交差検証済みスカラー重みで組み合わせることは、テストされたすべての問題バリアントにおいてフーリエベースラインを厳密に改善する堅牢な手法を提供する。

著者は、WHNO+FNO アンサンブルを、不連続な係数または初期条件を伴う問題で測定可能な精度向上を達成するために、すでにフーリエベースのベースラインを使用している実務家にとっての実用的で低リスクの戦略として位置づけている。ただし、重み調整のための検証セットが利用可能であることが前提条件である。本研究は、2 進（2 のべき乗）グリッドの必要性、および不連続性の幾何学と基底との整合性に対する Walsh の優位性の感度という限界を認めている。