Technische Samenvatting: Physics-Aligned Canonical Equivariant Fourier Neural Operator (PACE-FNO)

1. Probleemstelling

Neurale operatoren zijn ontworpen om oplossingskaarten voor partiële differentiaalvergelijkingen (PDE's) te benaderen, door afbeeldingen tussen functieruimten te leren voor taken zoals stromingssimulatie en weermanagement. Hoewel deze modellen zich goed generaliseren over parameters en discretisaties binnen hun trainingsverdeling, kampen ze met moeite bij out-of-distribution (OOD) generalisatie wanneer de invoervelden verschuivingen ondergaan die door symmetrie worden veroorzaakt (bijvoorbeeld translaties, rotaties of Galileïsche boosts).

De kernmoeilijkheid ontstaat door een geometrisch mismatch. Veel PDE-oplossingsoperatoren zijn equivariant onder continue symmetriegroepen, wat betekent dat een getransformeerde invoer een overeenkomstig getransformeerde uitvoer induceert. Echter, standaard neurale operatoren worden doorgaans getraind op data die ligt nabij een "canoniek slice" van de symmetrie-orbit. Wanneer een OOD-invoer buiten dit bemonsterde coördinatenbereik wordt verschoven, moet het model tegelijkertijd leren het coördinatenstelsel uit te lijnen en de fysieke evolutie te voorspellen. Deze dubbele last leidt vaak tot slechte generalisatie, vooral wanneer spectrale truncatie mismatchen versterkt door energie buiten de behouden Fourier-modi te verplaatsen.

Bestaande benaderingen lossen dit op via data-augmentatie (wat de prestaties koppelt aan het bemonsterde bereik), equivariante architecturen (wat architecturale keuzes beperkt), of post-hoc canonicalisatiemethoden (die vaak dure optimalisatie tijdens de inferentie vereisen).

2. Methodologie: PACE-FNO

De auteurs stellen de Physics-Aligned Canonical Equivariant Fourier Neural Operator (PACE-FNO) voor. Dit kader ontkoppelt symmetrie-uitlijning van dynamica-voorspelling door te opereren in drie distincte fasen:

1. Lie-algebra Coördinaten Schatting: Gegeven een OOD-invoerveld $a_{OOD}$, voorspelt een neurale schatter de Lie-algebra-coördinaten $\hat{\xi}_0$ die overeenkomen met de symmetrietransformatie die de invoer heeft gegenereerd. Deze schatter wordt gezamenlijk getraind met de hoofdoperator.
2. Canonicalisatie: De invoer wordt teruggetrokken naar een canoniek referentiekader met behulp van de inverse groepswerking: $\tilde{a}_c = C_{\exp(\hat{\xi}_0)}^{-1}(a_{OOD})$. Deze stap verwijdert de door symmetrie veroorzaakte verschuiving en koppelt de observatie aan het canonieke slice waar de operator op is getraind.
3. Dynamica Voorspelling: Een standaard Fourier Neural Operator (FNO) verwerkt het gecanonicaliseerde veld $\tilde{a}_c$ om de oplossing $\tilde{u}_c$ in het referentiekader te voorspellen. De FNO-architectuur blijft onveranderd.
4. Herstel: De voorspelde oplossing wordt naar het doelframe geduwd met behulp van de geschatte terminale groepswerking: $\hat{u}_{pred} = C_{\exp(\hat{\xi}_T)}(\tilde{u}_c)$. Voor kinematische symmetrieën zoals Galileïsche boosts, wordt de terminale generator $\hat{\xi}_T$ analytisch afgeleid uit de initiële schatting $\hat{\xi}_0$ en de tijdsduur (bijvoorbeeld $\hat{\xi}_T = \hat{\xi}_0 + v_{bg}T$).

Training en Inferentie:

• Training: Het model wordt getraind met behulp van begrenste symmetrieperturbaties. De totale loss combineert een PDE-veldloss ($L_{PDE}$), een equivariantie-regularisator ($L_{equiv}$) om geschatte generatoren te laten overeenkomen met trainingsperturbaties, en een ankerloss ($L_{anchor}$) om de schatter te stabiliseren.
• Inferentie (One-Shot): De standaardpijplijn gebruikt een enkele doorgang van de schatter en de FNO.
• Inferentie (TTA): Een optionele Test-Time Adaptation (TTA)-stap staat iteratieve verfijning toe van de ruimtelijke generatorcoördinaten $\hat{\xi}_0$ door een zelfconsistentie-energiefunctionaal te minimaliseren (zorgend dat het teruggetrokken veld canoniek lijkt voor de schatter) terwijl de netwerkgewichten bevroren blijven.

Spectrale Implementatie:
Om interpolatiedissipatie te vermijden, worden groepswerkingen (translaties en rotaties) spectraal geïmplementeerd. Translaties maken gebruik van de Fourier-verschuivingsstelling, en rotaties gebruiken een drie-schuif-decompositie in het spectrale domein.

3. Belangrijkste Bijdragen

Het artikel presenteert drie primaire bijdragen:

1. Een Lie-algebra Canonicalisatielaag: Een methode voor oplossingsoperatoren op velden over tori die spectrale groepswerkingen en correctie van het terminale frame gebruikt. Het omhult een standaard FNO zonder zijn interne architectuur te wijzigen, en scheidt symmetriebehandeling van de spectrale voorspeller.
2. Error Decompositie Stelling: Een theoretische analyse (Stelling 3.1) die de voorspelfout onder door symmetrie veroorzaakte verschuivingen decomposeert in drie componenten: canonieke benaderingsfout, residu invoer-uitlijnfout en terminale uitlijnfout. Dit verduidelijkt wanneer canonicalisatie de generalisatie verbetert.
3. Empirische Validatie: Uitgebreide evaluaties op 1-D en 2-D Burgers-vergelijkingen, ondiep-watervergelijkingen (SWE) en Navier-Stokes (NS)-vergelijkingen op periodieke domeinen.

4. Experimentele Resultaten

De auteurs hebben PACE-FNO geëvalueerd tegenover standaard FNO, FNO met data-augmentatie (FNO+Aug), en Group-Equivariant FNO (GFNO) onder cross-resolution instellingen.

• 1-D Burgers (Translatie + Galileïsche Shift): PACE-FNO (one-shot) verlaagde de OOD relatieve fout met ongeveer 12× vergeleken met FNO+Aug (0,0267 versus 0,3222). TTA bood slechts marginale winsten tegen een aanzienlijk hogere inferentiekost.
• 2-D Burgers: One-shot PACE-FNO verlaagde de OOD-fout met 2,7× ten opzichte van FNO+Aug (0,0755 versus 0,2035).
• 2-D Ondiep Water: PACE-FNO verlaagde de OOD-fout met 4,8× ten opzichte van FNO+Aug (0,1069 versus 0,5136) door effectief golf-evolutie te scheiden van transport.
• (2+1)-D Navier-Stokes (SE(2) Shifts): Voor gekoppelde rotatie-translatie verschuivingen toonde PACE-FNO kleinere maar consistente winsten (3–9% foutreductie) ten opzichte van FNO+Aug. TTA bood een verdere 6% relatieve foutreductie tegen 3× de inferentiekost.
• Ablatiestudies: Het verwijderen van de canonicalisatiestep elimineerde de meeste OOD-winsten, wat bevestigt dat het uitlijnen van de invoer en het herstellen van het uitvoerframe de primaire drijfveren van prestaties zijn. De volledige Lie-generator (inclusief kinematische componenten) bleek cruciaal voor SWE en NS.

5. Betekenis en Claims

Het artikel beweert dat PACE-FNO de centrale uitdaging van OOD-generalisatie in neurale operatoren aanpakt door bekende continue symmetrieën te exploiteren. Door frame-uitlijning expliciet te scheiden van fysieke evolutie, stelt de methode standaard spectrale operatoren in staat om effectief te opereren op een canoniek slice, waardoor de noodzaak om complexe coördinatentransformaties binnen de dynamische kaart te leren wordt vermeden.

De auteurs benadrukken dat:

• Equivariantie wordt afgedwongen via invoer/uitvoer-transformaties in plaats van het hard-coden van beperkingen in de FNO-architectuur, waardoor de flexibiliteit van standaard neurale operatoren behouden blijft.
• One-shot inferentie voldoende is voor aanzienlijke winsten in translatie-gedomineerde regimes, waarbij TTA een afweging biedt tussen nauwkeurigheid en latentie voor complexere verschuivingen.
• Theoretische garanties worden geboden met betrekking tot de reductie van overdekkingsgetallen voor equivariante klassen, wat betere generalisatiegrenzen suggereert in vergelijking met onbeperkte operatoren.

Beperkingen:
De auteurs merken op dat de methode ervan uitgaat dat de symmetriegroep a priori is gespecificeerd en geen benaderende, emergente of onbekende symmetrieën behandelt. Bovendien nemen de spectrale groepswerkingen velden op een torus aan (periodieke domeinen), wat directe toepassing op onregelmatige domeinen beperkt zonder graf- of puntwolk-aanpassingen. Robuustheid tegen sensorruis en gedeeltelijke waarneembaarheid wordt evenmin onderzocht.