Resumo Técnico: Quantificação de Incerteza Post-Hoc Sensível à Geometria em Aprendizado de Operadores

Definição do Problema

Operadores neurais emergiram como substitutos poderosos para resolver equações diferenciais parciais (PDEs) em domínios como dinâmica de fluidos e mecânica dos sólidos. No entanto, sua natureza determinística padrão limita sua utilidade em aplicações científicas que exigem quantificação de incerteza (UQ) rigorosa, particularmente ao lidar com variabilidade geométrica. As abordagens de UQ existentes geralmente se dividem em duas categorias:

1. Métodos em tempo de treinamento: Técnicas como Deep Ensembles ou aproximações Bayesianas (ex: MC Dropout) que modelam a incerteza nos parâmetros da rede. Estes são frequentemente computacionalmente proibitivos para o aprendizado de operadores em larga escala em malhas não estruturadas.
2. Métodos post-hoc: Abordagens como a aproximação de Laplace que adicionam componentes probabilísticos a um modelo congelado. Embora mais eficientes, muitas dependem de aproximações locais no espaço de pesos ou mapas de características genéricos que falham em capturar as representações específicas sensíveis à geometria aprendidas pelo operador.

Existe uma lacuna crítica em aproveitar as representações latentes intrínsecas e conscientes da física de um operador neural pré-treinado para construir incertezas sensíveis à geometria sem retreinar o modelo ou impor priors mal especificadas em espaços de dimensão infinita.

Metodologia: REEF-GP

Os autores propõem o REEF-GP (Residual on Embedded Features Gaussian Process), um framework de UQ post-hoc que modela a discrepância entre um operador neural congelado e a solução real diretamente no espaço de características aprendido pelo operador.

Estrutura Central

O método trata o operador neural pré-treinado $G_\theta$ como um modelo computacional determinístico. A solução verdadeira $v(x)$ em uma coordenada de consulta $x$ é modelada como:
$$v(x) = G_\theta(u, a)(x) + \delta(u, x, h(u, a, x)) + \epsilon$$
onde $\delta$ representa a inadequação do modelo (resíduo) e $\epsilon$ é o ruído observacional. Ao contrário das estruturas KOH (Kennedy–O'Hagan) padrão que tratam o modelo como uma caixa preta, o REEF-GP explora a estrutura interna de $G_\theta$.

Componentes Técnicos Principais

1. Kernel Profundo Sensível à Geometria:

   • Em vez de aprender um mapa de características do zero, o REEF-GP utiliza as camadas ocultas do operador pré-treinado (especificamente o Transolver), que já codifica representações deformadas e fisicamente conscientes da geometria de entrada.
   • Ele seleciona um subconjunto de camadas informativas (iniciais, intermediárias e tardias) com base no Alinhamento de Kernel Centrado (CKA) para construir um estado aumentado $h(u, a, x)$.
   • Um kernel profundo é definido sobre o produto de coordenadas espaciais, funções de entrada e esses embeddings latentes: $k_\phi(\bar{z}, \bar{z}') = k_{space} \cdot k_{fun} \cdot k_{latent}$. O kernel latente utiliza um MLP com normalização espectral para deformar os embeddings, criando um prior não estacionário que se adapta a regimes físicos locais.

2. Modelagem de Discrepância Probabilística:

   • O resíduo $\delta$ é modelado como um Processo Gaussiano (GP) de média zero com um termo de ruído heterocedástico.
   • A variância do ruído é dependente da entrada, parametrizada por uma rede densa com normalização espectral para evitar o colapso de características e garantir estabilidade.

3. Treinamento e Inferência Escaláveis:

   • Otimização de Subconjunto Estocástico: Para lidar com a complexidade $O((MN)^3)$ do treinamento exato de GP (onde $M$ é o número de amostras e $N$ é o número de pontos de discretização), o REEF-GP emprega uma estratégia de subconjunto estocástico inspirada em Kernel Flows (KF). Ele otimiza hiperparâmetros usando mini-lotes de resíduos, desacoplando as restrições de memória da resolução total da malha.
   • Produto de Especialistas Generalizado (gPoE): Para inferência, o método condiciona $K$ especialistas GP independentes em subconjuntos aleatórios de dados. A distribuição preditiva final é obtida agregando esses especialistas no espaço de precisão, limitando a pegada de memória em tempo de teste a $O(N_s^2)$ por especialista, em vez do tamanho total do conjunto de dados.

Principais Contribuições

1. Kernel Profundo Sensível à Geometria: O design de um kernel que aproveita as representações internas e congeladas de um operador neural pré-treinado, evitando a necessidade de aprender um mapa de características separado ou impor um prior que possa ser mal especificado para a regularidade do operador.
2. UQ Post-Hoc Escalável: O desenvolvimento de procedimentos de treinamento e inferência baseados em otimização de subconjunto estocástico e gPoE, tornando a UQ baseada em GP prática para conjuntos de dados de aprendizado de operadores contendo milhões de pontos.
3. Validação Empírica: Demonstração de calibração competitiva em cinco benchmarks de PDEs 2D e 3D (incluindo Airfoil, ShapeNet Car e Ahmed Body), mostrando robustez sob mudanças na distribuição geométrica.

Resultados

O artigo avalia o REEF-GP contra seis baselines: Deep Ensembles, MC Dropout, Probabilistic Neural Operator (PNO), Perturbação de Entrada, Aproximação de Laplace (LUNO-LA) e Deep Vecchia Ensemble (DVE-spatial).

• Precisão Preditiva: O REEF-GP preserva a precisão preditiva do operador determinístico base (Transolver) em todos os datasets, com erros relativos de $L_2$ idênticos ao baseline. Em contraste, métodos de tempo de treinamento (MC Dropout, PNO) e perturbação de entrada incorrem em penalidades significativas de precisão.
• Calibração de Incerteza: Em benchmarks 3D (ShapeNet Car), o REEF-GP alcança pontuações de Log-Verossimilhança Negativa (NLL) competitivas com o Deep Ensembles (ex: 2.84 vs. 4.16 para Ensembles) e supera significativamente outros métodos post-hoc como o LUNO-LA (33.55).
• Coerência Espacial: Os mapas de incerteza gerados pelo REEF-GP são espacialmente significativos, concentrando-se em regiões fisicamente importantes de alto erro, como frentes de choque em aerofólios e a frente do para-choque de geometrias de carros.
• Robustez Geométrica OOD: Sob mudanças na distribuição geométrica (medidas por Maximum Mean Discrepancy), o REEF-GP mantém uma calibração estável. Enquanto outros métodos como LUNO-LA e Perturbação mostram degradação significativa de NLL conforme as geometrias de teste divergem da distribuição de treinamento, o NLL do REEF-GP permanece relativamente estável.
• Custo Computacional: O REEF-GP incorre em um overhead de treinamento uma ordem de magnitude menor do que o Deep Ensembles. Embora sua avaliação de memória seja maior do que alguns baselines devido às matrizes de kernel, ela permanece dentro dos limites de GPUs comerciais.

Significância e Alegações

Os autores afirmam que o REEF-GP demonstra que uma UQ post-hoc precisa e escalável para operadores neurais pode ser alcançada diretamente no espaço de características aprendido pelo operador. Ao reutilizar os embeddings sensíveis à geometria de um operador congelado, o método oferece uma alternativa prática para abordagens centradas em parâmetros (como Deep Ensembles) que são excessivamente caras para problemas de larga escala.

O artigo enfatiza que a geometria que um operador neural aprende ao resolver uma PDE codifica inerentemente grande parte da informação necessária para quantificar sua própria incerteza. Esta abordagem abre um eixo complementar à UQ baseada em parâmetros, fornecendo um ponto de partida natural para a quantificação de incerteza em operadores cada vez maiores e sensíveis à geometria, sem o custo proibitivo de retreinamento ou métodos de ensemble. Os autores observam limitações quanto a backbones que não preservam a correspondência espacial ponto a ponto (ex: FNOs padrão) e o foco atual em problemas estacionários de saída única, identificando estas como direções naturais para trabalhos futuros.