Solver-Integrated Adversarial Attacking and Training of Neural Operators

Technische Samenvatting: Solver-Geïntegreerde Adversariële Aanval en Training van Neurale Operatoren

Probleemformulering
Neurale operatoren (bijv. Fourier Neural Operators, DeepONets) dienen als snelle, op data gebaseerde surrogaten voor numerieke PDE-solvers (partiële differentiaalvergelijkingen), die inputfuncties (bijv. beginvoorwaarden, coëfficiënten) mappen naar oplossingfuncties. Hoewel ze effectief zijn, blijven hun generaliseerbaarheid en robuustheid in de context van operator-leren slecht gedefinieerd vergeleken met traditionele adversariële robuustheid in classificatie.

Een cruciaal onderscheid in PDE-operator-leren is dat de "ground truth" geen vaste label is, maar de output van een numerieke solver $G$. In traditionele regressie of classificatie gaan adversariële aanvallen ervan uit dat de ground truth constant blijft onder inputperturbatie. Echter, in PDE-instellingen verandert het verstoren van de inputfunctie $x$ inherent de ware oplossing $G(x)$. Een model $F_\theta$ wordt daarom niet verwacht in isolatie robuust te zijn (d.v. de output mag niet veranderen); in plaats daarvan moet de discrepantie tussen het model en de solver, gedefinieerd als de foutoperator $E_\theta = F_\theta - G$, robuust zijn. Bestaande methoden falen vaak omdat ze geen rekening houden met deze dynamische ground truth, ofwel door de solver-output als een vast label te behandelen, ofwel door de gradiënt van de solver tijdens de aanval te negeren.

Methodologie

1. Formalisering van Generalisatie en Robuustheid
De auteurs definiëren robuustheid en generalisatie via de lens van de model-solver foutoperator $E_\theta$:

• Generalisatie: Statisch gedefinieerd als de norm van de foutoperator bij een vaste input: $L_{gen}(x) = \|F_\theta(x) - G(x)\|_Y$.
• Robuustheid: Dynamisch gedefinieerd als hoe de output van de foutoperator wordt versterkt onder inputperturbatie. Het artikel stelt drie lokale metrieken voor:
  • Jacobian Operator Norm: De geïnduceerde norm van de afgeleide van de foutoperator, $\|DE_\theta[x]\|$.
  • Eindige Adversariële Aanvalsverliestoename: De maximale toename in foutverlies over een norm-begrensde perturbatiebal.
  • Jacobian-Error Metriek: Een computationeel efficiënte proxy gedefinieerd als $\|g_\theta(x)\|_X$, waarbij $g_\theta(x) = DE_\theta[x]^* e_\theta[x]$. Deze metriek combineert het foutveld met de lokale Jacobian en komt nauw overeen met eindige budget aanvalrichtingen in de limiet van een klein budget.

2. Solver-Geïntegreerde Adversariële Aanvallen
Het artikel identificeert dat standaard aanvalsdoelstellingen (bijv. het maximaliseren van de verandering in modeloutput of het vergelijken met een vaste ground truth) onvoldoende zijn omdat ze de ware model-solver discrepantie onder perturbatie niet weerspiegelen. De auteurs stellen een hiërarchie van aanvalsdoelstellingen voor op basis van de mate van solver-integratie:

• $L_1$ (Alleen Model): Maximaliseert de verandering in modeloutput ($\|F_\theta(x+\delta) - F_\theta(x)\|$).
• $L_2$ (Vaste Ground Truth): Maximaliseert de fout tegen de schone solver-output ($\|F_\theta(x+\delta) - G(x)\|$).
• $L_3$ (Volledig Solver-Geïntegreerd): Maximaliseert de fout tegen de geperturbreerde solver-output ($\|F_\theta(x+\delta) - G(x+\delta)\|$).

De kernbijdrage is de $L_3$ doelstelling, die vereist dat de numerieke solver $G$ differentieerbaar is en geïntegreerd wordt in de aanvallingslus. Dit maakt de aanval in staat om gradiënten door de solver te berekenen ($DG$), wat ervoor zorgt dat de perturbatie $\delta$ wordt geoptimaliseerd om de divergentie tussen het model en de werkelijke oplossing van de geperturbeerde input te maximalen. Het artikel beschrijft ook optimalisatiestrategieën (bijv. "replace" versus "add" updates) die zich aanpassen aan de geometrie van het verlieslandschap (breed voor Burgers, smal voor Navier-Stokes).

3. Solver-Geïntegreerde Adversariële Training
Voortbouwend op de $L_3$ aanval, stellen de auteurs een framework voor adversariële training voor waarbij de trainingslus opereert als een min-max probleem:
$$\min_\theta \mathbb{E}_{x \sim \mu_X} \left[ \max_{\|\delta\| \le \epsilon} \|F_\theta(x+\delta) - G(x+\delta)\|^2 \right]$$
In deze pijplijn wordt het huidige model bevroren om adversariële samples te genereren door de $L_3$ loss te maximaliseren. Deze samples, gekoppeld aan hun bijbehorende solver-outputs (opnieuw gelabeld door de solver), worden vervolgens gebruikt om het model bij te werken. Dit proces fungeert als een "teacher-student" distillatie, waarbij de numerieke solver fungeert als de leraar en de neurale operator leert een getrouwe gedragsdubbelganger van de solver te zijn over geperturbeerde inputs heen.

Belangrijkste Bijdragen

• Nieuwe Definitie van Robuustheid: Een formalisering van generalisatie en robuustheid in operator-leren gebaseerd op de model-solver discrepantie in plaats van enkel model-stabiliteit.
• Solver-Geïntegreerd Aanvalstarget: Identificatie van de $L_3$ loss (volledige solver-integratie) als de meest accurate doelstelling voor adversariële aanvallen in PDE-settings, waarbij wordt aangetoond dat aanvallen die de respons van de solver op perturbatie ($L_1, L_2$) negeren of vaste labels gebruiken, suboptimaal zijn.
• Solver-Geïntegreerd Trainingsframework: Een methode voor het online genereren van solver-herlabelde adversariële batches, wat zowel de generalisatie naar verschoven distributies als de robuustheid tegen perturbaties verbetert zonder handmatige selectie van samples.
• Metriek-Analyse: Demonstratie dat de Jacobian-error metriek een praktische, lichtgewicht proxy is voor de prestaties van aanvallen met een eindig budget en dat standaard spectrale normen onvoldoende zijn om de robuustheid van PDE-operatoren te meten.

Experimentele Resultaten
Het framework werd geëvalueerd op drie canonieke PDE-benchmarks: 1D Burgers, 2D Darcy Flow en 2D Navier-Stokes.

• Effectiviteit van de Aanval: Aanvallen die de volledige $L_3$ doelstelling gebruikten, bereikten consistent significant hogere model-solver loss-toenames vergeleken met $L_1, L_2$, physics-residual, of dictionary-gebaseerde aanvallen. $L_3$ aanvallen genereerden ook hogere frequentie-perturbaties, waardoor specifieke model-solver mismatches werden blootgelegd.
• Trainingsprestaties:
  • Generalisatie: Modellen getraind met $L_3$ adversariële training vertoonden superieure prestaties op verschoven input-distributies (bijv. verschillende correlatielengtes, kernelparameters of randvoorwaarden) vergeleken met baseline modellen en die getraind met willekeurige perturbaties of niet-geïntegreerde losses.
  • Robuustheid: $L_3$-getrainde modellen vertoonden de kleinste aanvals-loss toenames en de laagste Jacobian-error normen, wat wijst op sterkere robuustheid.
  • Efficiëntie: Hoewel solver-integratie de computationele kosten verhoogt (door forward en backward passes door de solver), levert de methode meer informatieve samples en snellere convergentie naar robuuste oplossingen op vergeleken met heuristische samplingmethoden.

Betekenis en Claims
Het artikel claimt een algemeen framework te bieden voor robuuste operator-training dat gebruikmaakt van de bestaande numerieke solver als een "vertrouwde oracle". Door de solver direct in de aanval en trainingslussen te integreren, selecteert de methode automatisch moeilijke samples en stemt het de gedragingen van de neurale operator af op de fysica van de solver, waardoor de noodzaak voor handmatige interventie of handmatig ontworpen verschoven datasets wordt verminderd.

De auteurs erkennen dat de primaire beperking de computationele kosten zijn, met name voor tijd-afhankelijke PDE's waarbij het differentiëren door lange solver-rollouts aanzienlijke GPU-geheugen vereist. Zij suggereren dat toekomstig werk hiërarchische benaderingen (bijv. impliciete neurale rollouts) kan verkennen om deze kosten te beperken. Het artikel claimt niet alle robuustheidsvraagstukken in wetenschappelijk machine learning op te lossen, maar stelt vast dat solver-integratie een noodzakelijk onderdeel is voor het definiëren en bereiken van echte robuustheid in de context van operator-leren.