When Attention Beats Fourier: Multi-Scale Transformers for PDE Solving on Irregular Domains
本論文はマルチスケール注意トランスフォーマー(MSAT)を導入し、包括的な実証的および理論的解析を通じて、注意機構に基づくアーキテクチャが不規則領域における偏微分方程式の求解においてフーリエ領域演算子を上回ることを示すと同時に、物理情報正則化が拡散優勢な問題では性能を向上させる一方でカオス的領域では性能を低下させるという重要なトレードオフを確立することを明らかにする。