When Attention Beats Fourier: Multi-Scale Transformers for PDE Solving on Irregular Domains
Dit artikel introduceert de Multi-Scale Attention Transformer (MSAT) en toont aan door middel van uitgebreide empirische en theoretische analyse dat op attention gebaseerde architecturen Fourier-domein-operatoren overtreffen bij het oplossen van PDE's op onregelmatige domeinen, terwijl het ook een kritieke trade-off vaststelt waarbij physics-informed regularisatie problemen die door diffusie worden gedomineerd verbetert maar de prestaties verslechtert in chaotische regimes.