Resumo Técnico: Reformulação de Operadores Neurais em $d + 1$ Dimensões para Evolução de Embeddings

Declaração do Problema

Operadores Neurais (NOs) são projetados para aprender mapeamentos entre espaços de funções, particularmente para resolver Equações Diferenciais Parciais (PDEs). Embora avanços recentes tenham se concentrado em refinar a parametrização de kernels sobre o domínio físico de $d$ dimensões, a evolução dos embeddings levantados (lifted embeddings) permanece subexplorada. Arquiteturas existentes tipicamente compensam a insuficiência de expressividade do embedding por meio de escalonamento de força bruta (aumentando a largura do embedding ou adicionando cabeças), mas essa estratégia incorre em altos custos computacionais: a mistura densa de canais escala quadraticamente com a largura do embedding, e a fatoração por cabeças apenas mitiga parcialmente isso ao induzir estruturas de bloco diagonal que enfraquecem o acoplamento entre as cabeças. O artigo identifica uma lacuna no design direto de como os embeddings evoluem, em vez de meramente aumentar sua capacidade.

Metodologia

Os autores propõem reformular o pipeline do Operador Neural no $d + 1$ dimensões, introduzindo uma dimensão de função auxiliar $p$. Em vez de evoluir embeddings unicamente sobre o domínio físico $D_x$, o framework proposto evolui funções escalares latentes sobre o produto dos domínios $D_x \times D_p$.

O Framework Geral

1. Levantamento (Lifting): O campo de entrada $a(x)$ é levantado para uma função latente escalar $v_0(x, p)$ no domínio do produto. Isso é alcançado via um operador de levantamento $P$, frequentemente implementado como um mapa linear separado $v_0(x, p) = w^\top(p)a(x)$.
2. Evolução em $(d+1)$ Dimensões: A função latente é evoluída através de uma sequência de operadores lineares aprendíveis $\mathcal{L}$ e mapas não lineares $\sigma$. O componente central é um operador de integral de kernel $\mathcal{K}$ atuando tanto nas coordenadas físicas $x$ quanto na coordenada auxiliar $p$:
   $$\mathcal{K}_l[v_l](x, p) = \int_{D_x} \int_{D_p} \kappa_l(x, y, p, p') v_l(y, p') \, dp' \, dy$$
3. Recuperação: A função evoluída $v_L(x, p)$ é mapeada de volta para o domínio de saída via um operador de recuperação $Q$, tipicamente uma integração sobre $p$: $u_{pred}(x) = \int_{D_p} \chi(p) v_L(x, p) \, dp$.

O Operador Neural de Kernel Schrödingerizado (SKNO)

O artigo instancia este framework com um modelo baseado em Fourier chamado SKNO. Escolhas de design fundamentais incluem:

• Evolução Auxiliar Diversificada por Base: Para cada localização espacial, o sinal ao longo da dimensão auxiliar $p$ é atualizado usando duas visões de coordenadas distintas:
  1. Mistura da coordenada $p$ bruta: Uma mistura linear no domínio espacial de $p$.
  2. Mistura da coordenada Fourier-$p$: Uma mistura espectral no domínio de Fourier de $p$.
     Esta estrutura de dois ramos ($F_p^{-1} \tilde{A}_l F_p + B_l$) permite que o modelo capture características de ambas as visões sem simplesmente duplicar o mesmo caminho de mistura de canais.
• Propagação no Domínio Físico: O SKNO emprega $(L-1)$ propagadores globais usando Operadores de Convolução Espectral (diagonalizados no domínio de Fourier de $x$) e um último propagador local usando operadores diferenciais para capturar informações locais perdidas pelos métodos espectrais globais.
• Conexões Residuais: Os blocos lineares incluem conexões residuais para facilitar o treinamento e a estabilidade.

Principais Contribuições

1. Reformulação ao Nível do Operador: Os autores reformulam o pipeline do NO para evoluir funções latentes via integrais de kernel sobre coordenadas físicas e auxiliares, estabelecendo um mecanismo explícito baseado em operador para a evolução de embeddings.
2. Arquitetura SKNO: Eles propõem o Operador Neural de Kernel Schrödingerizado, que utiliza evolução auxiliar diversificada por base (misturando coordenadas $p$ brutas e Fourier-$p$) para melhorar a expressividade sem escalonamento de força bruta.
3. Avaliação Abrangente: O modelo é avaliado em mais de dez benchmarks, variando de equações lineares 1D a instabilidades altamente não lineares 3D.
4. Análise Controlada: O artigo fornece comparações rigorosas contra baselines escalonados e com ablação para demonstrar que os ganhos de desempenho derivam do design arquitetural (diversidade de base) e não apenas do aumento da contagem de parâmetros.

Resultados Experimentais

Através de benchmarks incluindo equações de Calor/Advecção 1D, Burgers 1D, Fluxo de Darcy 2D, Gray-Scott 2D, Navier-Stokes 2D/3D e instabilidade de Rayleigh-Taylor 3D, o SKNO consistentemente atinge o menor erro relativo $L_2$ entre os baselines avaliados (DeepONet, FNO, Transolver, CNO).

• Ganhos de Desempenho: No Navier-Stokes incompressível 2D ($\nu=10^{-5}$), o SKNO reduz o erro relativo $L_2$ em aproximadamente 37,1% em comparação ao FNO. No Gray-Scott 2D, a redução é de 42,1%. No Rayleigh-Taylor 3D, o SKNO alcança uma redução de erro de 14,3%.
• Eficiência de Capacidade: Experimentos controlados mostram que o SKNO (A+B) supera variantes do FNO sistematicamente escalonadas e FNOs empilhados em paralelo com menos parâmetros e FLOPs. Uma variante "B+B" (duplicando o ramo $p$-bruto) não consegue igualar o desempenho da variante "A+B" diversificada por base, confirmando o valor da visão de dupla coordenada.
• Robustez: O SKNO demonstra superior invariância de resolução, mantendo baixo erro sob treinamento de resolução mista e inferência de super-resolução zero-shot (ex: treinamento em grades de 128 e teste em 8192). Também exibe forte generalização zero-shot para regimes temporais não vistos.
• Eficiência: Apesar da dimensão adicional, o SKNO mantém tempos de treinamento competitivos, muitas vezes superando modelos baseados em Transformer como o Transolver, que sofrem com complexidade quadrática no tamanho do embedding.

Significância e Alegações

O artigo alega que a evolução de operador no domínio auxiliar é uma alternativa promissora ao escalonamento de força bruta de embeddings. Ao aplicar o princípio de design de operador ao longo de uma coordenada auxiliar, o modelo melhora a expressividade e as capacidades de aproximação sem os custos computacionais proibitivos associados ao alargamento de embeddings.

Os autores enfatizam que a nomenclatura "Schrödingerizado" serve como inspiração de design para a evolução estruturada do operador ao longo da coordenada auxiliar, e não como uma reivindicação de um mecanismo direto de aceleração numérica clássica para as PDEs em si. Os resultados sugerem que o design de $d+1$ dimensões proposto oferece um caminho mais direto e eficiente para melhorar o desempenho dos Operadores Neurais, apoiado por evidências empíricas de menor erro, melhor robustez de resolução e eficiência de capacidade superior.

O artigo conclui observando que trabalhos futuros devem focar no desenvolvimento de critérios quantitativos para comparar operadores neurais além do erro de teste final, investigando especificamente como diferentes designs de agregação afetam as trajetórias de otimização e a seleção de mínimos locais em superfícies de erro de alta dimensão.