When Attention Beats Fourier: Multi-Scale Transformers for PDE Solving on Irregular Domains
Este artigo apresenta o Transformer de Atenção Multi-Escala (MSAT), demonstrando por meio de uma análise empírica e teórica abrangente que arquiteturas baseadas em atenção superam operadores no domínio de Fourier na resolução de EDPs em domínios irregulares, ao mesmo tempo em que estabelece um compromisso crítico no qual a regularização informada por física melhora problemas dominados por difusão, mas degrada o desempenho em regimes caóticos.