Solver-Integrated Adversarial Attacking and Training of Neural Operators

Sintesi Tecnica: Attacco Avversario e Addestramento Integrato con Solutore per Operatori Neurali

Formulazione del Problema
Gli operatori neurali (ad esempio, Fourier Neural Operators, DeepONets) fungono da surrogati veloci basati sui dati per i solutori numerici di equazioni differenziali alle derivate parziali (PDE), mappando funzioni di input (ad esempio, condizioni iniziali, coefficienti) verso funzioni di soluzione. Sebbene efficaci, la loro generalizzabilità e robustezza nel contesto dell'apprendimento di operatori rimangono mal definite rispetto alla robustezza avversaria tradizionale nella classificazione.

Una distinzione critica nell'apprendimento di operatori per PDE è che la "verità fondamentale" (ground truth) non è un'etichetta fissa, ma l'output di un solutore numerico $G$. Nella regressione o classificazione tradizionale, gli attacchi avversari assumono che la verità fondamentale rimanga costante sotto perturbazione dell'input. Tuttavia, nelle impostazioni PDE, perturbare la funzione di input $x$ cambia intrinsecamente la vera soluzione $G(x)$. Di conseguenza, un modello $F_\theta$ non è previsto essere robusto in isolamento (ovvero, il suo output non dovrebbe cambiare), bensì la discrepanza tra il modello e il solutore, definita come l'operatore di errore $E_\theta = F_\theta - G$, deve essere robusta. I metodi esistenti spesso falliscono nel considerare questa verità fondamentale dinamica, trattando l'output del solutore come un'etichetta fissa o ignorando il gradiente del solutore durante la generazione dell'attacco.

Metodologia

1. Formalizzazione di Generalizzazione e Robustezza
Gli autori definiscono robustezza e generalizzazione attraverso la lente dell'operatore di errore modello-solutore $E_\theta$:

• Generalizzazione: Definita staticamente come la norma dell'operatore di errore a un input fisso: $L_{gen}(x) = \|F_\theta(x) - G(x)\|_Y$.
• Robustezza: Definita dinamicamente come il modo in cui l'output dell'operatore di errore si amplifica sotto perturbazione dell'input. Il documento propone tre metriche locali:
  • Norma dell'Operatore Jacobiano: La norma indotta della derivata dell'operatore di errore, $\|DE_\theta[x]\|$.
  • Aumento della Perdita dell'Attacco Avversario Finito: L'aumento massimo della perdita di errore su una palla di perturbazione a norma limitata.
  • Metrica Jacobiano-Errore: Una proxy computazionalmente efficiente definita come $\|g_\theta(x)\|_X$, dove $g_\theta(x) = DE_\theta[x]^* e_\theta[x]$. Questa metrica combina il campo di errore con il Jacobiano locale e si allinea strettamente con le direzioni di attacco a budget limitato nel limite di piccolo budget.

2. Attacchi Avversari Integrati con il Solutore
Il documento identifica che gli obiettivi di attacco standard (ad esempio, massimizzare il cambiamento nell'output del modello o confrontarsi con una verità fondamentale fissa) sono insufficienti perché non rifletono la reale discrepanza modello-solutore sotto perturbazione. Gli autori propongono una gerarchia di obiettivi di attacco basata sul grado di integrazione con il solutore:

• $L_1$ (Solo Modello): Massimizza il cambiamento nell'output del modello ($\|F_\theta(x+\delta) - F_\theta(x)\|$).
• $L_2$ (Verità Fondamentale Fissa): Massimizza l'errore rispetto al clean output del solutore ($\|F_\theta(x+\delta) - G(x)\|$).
• $L_3$ (Piena Integrazione con il Solutore): Massimizza l'errore rispetto all'output perturbato del solutore ($\|F_\theta(x+\delta) - G(x+\delta)\|$).

Il contributo principale è l'obiettivo $L_3$, che richiede che il solutore numerico $G$ sia differenziabile e integrato nel ciclo di attacco. Ciò consente all'attacco di calcolare i gradienti attraverso il solutore ($DG$), assicurando che la perturbazione $\delta$ sia ottimizzata per massimizzare la divergenza tra il modello e la soluzione effettiva dell'input perturbato. Il documento dettaglia anche strategie di ottimizzazione (ad esempio, aggiornamenti "replace" vs "add") che si adattano alla geometria del paesaggio della perdita (ampio per Burgers, stretto per Navier-Stokes).

3. Addestramento Avversario Integrato con il Solutore
Costruendo sull'attacco $L_3$, gli autori propongono un framework di addestramento avversario in cui il ciclo di addestramento opera come un problema min-max:
$$\min_\theta \mathbb{E}_{x \sim \mu_X} \left[ \max_{\|\delta\| \le \epsilon} \|F_\theta(x+\delta) - G(x+\delta)\|^2 \right]$$
In questa pipeline, l'attuale modello è congelato per generare campioni avversari massimizzando la perdita $L_3$. Questi campioni, accoppiati con i corrispondenti output del solutore (ri-etichettati dal solutore), vengono poi utilizzati per aggiornare il modello. Questo processo agisce come una distillazione "teacher-student", dove il solutore numerico funge da insegnante (teacher) e l'operatore neurale impara a essere un gemello comportamentale fedele del solutore attraverso gli input perturbati.

Contributi Chiave

• Nuova Definizione di Robustezza: Una formalizzazione della generalizzazione e della robustezza nell'apprendimento di operatori basata sulla discrepanza modello-solutore piuttosto che sulla sola stabilità del modello.
• Target di Attacco Integrato con il Solutore: Identificazione dell'obiettivo $L_3$ (piena integrazione con il solutore) come il target più accurato per gli attacchi avversari nei contesti PDE, dimostrando che gli attacchi che ignorano la risposta del solutore alla perturbazione ($L_1, L_2$) o che utilizzano etichette fisse sono subottimali.
• Framework di Addestramento Avversario: Un metodo per generare batch avversari ri-etichettati dal solutore online, migliorando sia la generalizzazione a distribuzioni spostate che la robustezza alle perturbazioni senza selezione manuale dei campioni.
• Analisi delle Metriche: Dimostrazione del fatto che la metrica Jacobiano-Errore è una proxy pratica e leggera delle prestazioni dell'attacco a budget finito e che le norme spettrali standard sono insufficienti per misurare la robustezza dell'operatore PDE.

Risultati Sperimentali
Il framework è stato valutato su tre benchmark canonici di PDE: Burgers 1D, Darcy Flow 2D e Navier-Stokes 2D.

• Efficacia dell'Attacco: Gli attacchi che utilizzano il pieno obiettivo $L_3$ hanno ottenuto costantemente aumenti della perdita modello-solutore significativamente più alti rispetto agli attacchi $L_1, L_2$, ai residui fisici o a quelli basati su dizionari. Gli attacchi $L_3$ hanno anche generato perturbazioni ad alta frequenza, esponendo specifici disallineamenti modello-solutore.
• Prestazioni dell'Addestramento:
  • Generalizzazione: I modelli addestrati con l'addestramento avversario $L_3$ hanno mostrato una prestazione superiore su distribuzioni di input spostate (ad esempio, diverse lunghezze di correlazione, parametri del kernel o condizioni al contorno) rispetto ai modelli baseline o a quelli addestrati con perturbazioni casuali o perdite non integrate.
  • Robustezza: I modelli addestrati con $L_3$ hanno esibito i minori aumenti della perdita d'attacco e le norme Jacobiano-errore più basse, indicando una robustezza più forte.
  • Efficienza: Sebbene l'integrazione con il solutore aumenti il costo computazionale (a causa dei passaggi forward e backward attraverso il solutore), il metodo fornisce campioni più informativi e una convergenza più rapida verso soluzioni robuste rispetto ai metodi di campionamento euristici.

Significatività e Rivendicazioni
Il documento sostiene di fornire un framework generale per l'addestramento di operatori robusti che sfrutta il solutore numerico esistente come un "oracolo affidabile". Integrando direttamente il solutore nei cicli di attacco e addestramento, il metodo seleziona automaticamente campioni difficili e allinea il comportamento dell'operatore neurale con la fisica del solutore, riducendo la necessità di intervento manuale o di dataset spostati creati artigianalmente.

Gli autori riconoscono che il limite principale è il costo computazionale, in particolare per le PDE dipendenti dal tempo, dove la differenziazione attraverso lunghi rollout del solutore richiede una memoria GPU significativa. Suggeriscono che il lavoro futuro potrebbe esplorare approcci gerarchici (ad esempio, rollout neurali impliciti) per mitigare questo costo. Il documento non pretende di risolvere tutti i problemi di robustezza nella machine learning scientifica, ma stabilisce che l'integrazione con il solutore è un componente necessario per definire e raggiungere una vera robustezza nel contesto dell'apprendimento di operatori.