When Attention Beats Fourier: Multi-Scale Transformers for PDE Solving on Irregular Domains
Questo articolo introduce il Multi-Scale Attention Transformer (MSAT), dimostrando attraverso un'analisi empirica e teorica esaustiva che le architetture basate sull'attenzione superano gli operatori nel dominio di Fourier nella risoluzione di equazioni differenziali alle derivate parziali su domini irregolari, stabilendo al contempo un compromesso critico in cui la regolarizzazione informata dalla fisica migliora i problemi dominati dalla diffusione ma degrada le prestazioni nei regimi caotici.