Solver-Integrated Adversarial Attacking and Training of Neural Operators

Resumo Técnico: Ataque Adversário e Treinamento Integrado ao Solver de Operadores Neurais

Formulação do Problema
Operadores neurais (ex: Operadores Neurais de Fourier, DeepONets) servem como substitutos (surrogates) rápidos baseados em dados para solvers de equações diferenciais parciais (PDEs) numéricos, mapeando funções de entrada (ex: condições iniciais, coeficientes) para funções de solução. Embora eficazes, sua generalização e robustez no contexto de aprendizado de operadores permanecem mal definidas em comparação à robustez adversária tradicional em classificação.

Uma distinção crítica no aprendizado de operadores de PDE é que o "valor real" (ground truth) não é um rótulo fixo, mas sim a saída de um solver numérico $G$. Na regressão ou classificação tradicional, ataques adversários assumem que o valor real permanece constante sob perturbação da entrada. No entanto, em configurações de PDE, perturbar a função de entrada $x$ altera inerentemente a solução verdadeira $G(x)$. Consequentemente, não se espera que um modelo $F_\theta$ seja robusto isoladamente (ou seja, sua saída não deve mudar), mas sim que a discrepância entre o modelo e o solver, definida como o operador de erro $E_\theta = F_\theta - G$, seja robusta. Métodos existentes frequentemente falham ao não considerar essa verdade dinâmica, tratando a saída do solver como um rótulo fixo ou ignorando o gradiente do solver durante a geração do ataque.

Metodologia

1. Formalizando Generalização e Robustez
Os autores definem robustez e generalização através da lente do operador de erro modelo-solver $E_\theta$:

• Generalização: Definida estaticamente como a norma do operador de erro em uma entrada fixa: $L_{gen}(x) = \|F_\theta(x) - G(x)\|_Y$.
• Robustness (Robustez): Definida dinamicamente como o quanto a saída do operador de erro é amplificada sob perturbação da entrada. O artigo propõe três métricas locais:
  • Norma do Operador Jacobiano: A norma induzida da derivada do operador de erro, $\|DE_\theta[x]\|$.
  • Aumento de Perda de Ataque Finito: O aumento máximo no erro sobre uma bola de perturbação de norma limitada.
  • Métrica Jacobiano-Erro: Uma aproximação computacionalmente eficiente definida como $\|g_\theta(x)\|_X$, onde $g_\theta(x) = DE_\theta[x]^* e_\theta[x]$. Esta métrica combina o campo de erro com o Jacobiano local e alinha-se estreitamente com direções de ataque de orçamento finito no limite de pequeno orçamento.

2. Ataques Adversários Integrados ao Solver
O artigo identifica que objetivos de ataque padrão (ex: maximizar a mudança na saída do modelo ou comparar contra um valor real fixo) são insuficientes porque não refletem a verdadeira discrepância modelo-solver sob perturbação. Os autores propõem uma hierarquia de objetivos de ataque baseada no grau de integração com o solver:

• $L_1$ (Apenas Modelo): Maximiza a mudança na saída do modelo ($\|F_\theta(x+\delta) - F_\theta(x)\|$).
• $L_2$ (Valor Real Fixo): Maximiza o erro contra a saída limpa do solver ($\|F_\theta(x+\delta) - G(x)\|$).
• $L_3$ (Totalmente Integrado ao Solver): Maximiza o erro contra a saída perturbada do solver ($\|F_\theta(x+\delta) - G(x+\delta)\|$).

A contribuição central é o objetivo $L_3$, que requer que o solver numérico $G$ seja diferenciável e integrado ao loop de ataque. Isso permite que o ataque compute gradientes através do solver ($DG$), garantindo que a perturbação $\delta$ seja otimizada para maximizar a divergência entre o modelo e a solução real da entrada perturbada. O artigo também detalha estratégias de otimização (ex: atualizações de "substituição" vs. "adição") que se adaptam à geometria do panorama de perda (loss landscape) (amplo para Burgers, estreito para Navier-Stokes).

3. Treinamento Adversário Integrado ao Solver
Baseando-se no ataque $L_3$, os autores propõem um framework de treinamento adversário onde o loop de treinamento opera como um problema min-max:
$$\min_\theta \mathbb{E}_{x \sim \mu_X} \left[ \max_{\|\delta\| \le \epsilon} \|F_\theta(x+\delta) - G(x+\delta)\|^2 \right]$$
Neste pipeline, o modelo atual é congelado para gerar amostras adversárias ao maximizar a perda $L_3$. Essas amostras, emparelhadas com suas respectivas saídas do solver (re-rotuladas pelo solver), são então usadas para atualizar o modelo. Este processo atua como uma destilação "professor-aluno", onde o solver numérico atua como o professor, e o operador neural aprende a ser um gêmeo comportamental fiel do solver através de entradas perturbadas.

Principais Contribções

• Nova Definição de Robustez: Uma formalização da generalização e robustez no aprendizado de operadores baseada na discrepância modelo-solver, em vez da estabilidade apenas do modelo.
• Alvo de Ataque Integrado ao Solver: Identificação do objetivo $L_3$ (integração total do solver) como o alvo mais preciso para ataques em configurações de PDE, demonstrando que ataques que ignoram a resposta do solver à perturbação ($L_1, L_2$) ou que utilizam rótulos fixos são subótimos.
• Framework de Treinamento Adversário: Um método para gerar lotes (batches) adversários re-rotulados pelo solver online, melhorando tanto a generalização para distribuições deslocadas quanto a robustez a perturbações sem seleção manual de amostras.
• Análise de Métricas: Demonstração de que a métrica Jacobiano-erro é uma aproximação prática e leve do desempenho de ataque de orçamento finito e que as normas espectrais padrão são insuficientes para medir a robustez do operador de PDE.

Resultos Experimentais
O framework foi avaliado em três benchmarks canônicos de PDE: Burgers 1D, Fluxo de Darcy 2D e Navier-Stokes 2D.

• Eficácia do Ataque: Ataques usando o objetivo $L_3$ completo alcançaram consistentemente aumentos significativamente maiores na perda modelo-solver em comparação com ataques $L_1, L_2$, de resíduo de física ou baseados em dicionário. Ataques $L_3$ também geraram perturbações de alta frequência, expondo discrepâncias específicas entre modelo e solver.
• Desempenho de Treinamento:
  • Generalização: Modelos treinados com treinamento adversário $L_3$ mostraram desempenho superior em distribuições de entrada deslocadas (ex: diferentes comprimentos de correlação, parâmetros de kernel ou condições de contorno) em comparação com modelos de linha de base e aqueles treinados com perturbações aleatórias ou perdas não integradas.
  • Robustez: Modelos treinados com $L_3$ exibiram os menores aumentos de perda de ataque e as menores normas de Jacobiano-erro, indicando maior robustez.
  • Eficiência: Embora a integração do solver aumente o custo computacional (devido às passagens de ida e volta através do solver), o método produz amostras mais informativas e convergência mais rápida para soluções robustas em comparação com métodos de amostragem heurística.

Significância e Alegações
O artigo afirma fornecer um framework geral para o treinamento de operadores robustos que aproveita o solver numérico existente como um "oráculo confiável". Ao integrar o solver diretamente nos loops de ataque e treinamento, o método seleciona automaticamente amostras difíceis e alinha o comportamento do operador neural com a física do solver, reduzindo a necessidade de intervenção manual ou conjuntos de dados deslocados criados manualmente.

Os autores reconhecem que a principal limitação é o custo computacional, particularmente para PDEs dependentes do tempo, onde a diferenciação através de longos rollouts do solver exige uma quantidade significativa de memória GPU. Eles sugerem que trabalhos futuros poderiam explorar abordagens hierárquicas (ex: rollouts neurais implícitos) para mitigar esse custo. O artigo não pretende resolver todos os problemas de robustez em aprendizado de máquina científico, mas estabelece que a integração do solver é um componente necessário para definir e alcançar a verdadeira robustez no cenário de aprendizado de operadores.