Technische Samenvatting: Factorized Neural Operators Decomponeren Dynamische en Persistente Responsies

1. Probleemstelling

Fysieke systemen, variërend van geofysische stromingen tot technische turbulentie, vertonen vaak heterogene mechanismen waarbij snel evoluerende dynamica samenbestaan met persistente structuren die worden geïnduceerd door geometrie, randvoorwaarden en heterogene media. Bestaande neurale operatoren, met name spectrale benaderingen (bijv. FNO, SFNO), vertrouwen doorgaans op een enkele dominante inductieve bias (vaak equivariantie). Deze formulering koppelt onderscheidende fysieke responsen aan een gedeelde representatie, waardoor het model gedwongen wordt om simultaan rekening te houden met transformatiegevoelige dynamica en transformatiestabiele structuren.

De auteurs stellen dat deze koppeling de interpreteerbaarheid beperkt, autoregressieve fouten tijdens langdurige rollouts versterkt en de generalisatie over verschillende resoluties verzwakt. De centrale uitdaging is of fysieke operatoren moeten worden geleerd als een enkele respons of gefactoriseerd moeten worden in mechanisme-specifieke componenten om de heterogene organisatie van fysieke systemen beter te reflecteren.

2. Methodologie: Unified Green's Function Framework en FaNO

2.1 Unified Green's Function Framework

De auteurs stellen een herinterpretatie voor van de klassieke Green's functie, niet louter als een analytische kernel die moet worden teruggewonnen, maar als een ontwerpprincipe voor geometrie-natuurlijke operator-systemen. Ze formuleren een verenigd framework waarin de oplossing van een fysiek systeem wordt gerepresenteerd als een integraal-respons. Binnen dit framework maken ze onderscheid tussen twee soorten kernels op basis van hun afhankelijkheid:

• Relatieve positie-afhankelijke kernels ($G(T^{-1}u)$): Deze leiden natuurlijk tot equivariante (dynamische) responsies, die transformatiegevoelige dynamica vastleggen.
• Absolute positie-afhankelijke kernels ($G(u)$): Deze representeren invariante (persistente) responsies, die structuren vastleggen die stabiel zijn onder transformaties, zoals die geïnduceerd door vaste grenzen of globale geometrie.

2.2 Factorized Neural Operators (FaNO)

Op basis van dit framework introduceren de auteurs FaNO, een spectrale architectuur die de operator deelt in twee gespecialiseerde takken:

1. Dynamische Tak (Equivariant): Gemodelleerd met een leerbare kernel $G^E_\theta$ die afhankelijk is van relatieve posities (of groepstransformaties $T$). Deze tak legt snel variërende, transiënte en toestand-afhankelijke dynamica vast. Het maakt gebruik van standaard spectrale transformaties (Fourier voor Euclidische roosters, Sferische Harmonischen voor sferen, Laplace–Beltrami eigenbasis voor manifolds).

   • Formulering: $g^E(u) = \mathcal{F}^{-1}[G^E_\theta \cdot \mathcal{F}[f]]$

2. Persistente Tak (Invariant): Gemodelleerd met een leerbare kernel $G^I_\theta$ die afhankelijk is van absolute posities. Deze tak extraheert coherente, systeem-afhankelijke structuren die stabiel blijven over verschillende schalen. Deze wordt gedreven door geometrie-bewuste integrale informatie ($C_f$) van de inputfunctie.

   • Formulering: $g^I(u) = \mathcal{F}^{-1}[C_f \cdot G^I_\theta]$

3. Fusie: De outputs van beide takken worden geconcateneerd en door een lineaire laag ($w_1$) geleid voor kanaalinteractie:

   • $g(u) = \mathcal{F}^{-1}[\text{Concat}(\mathcal{F}[f] \cdot G^E_\theta, C_f \cdot G^I_\theta)] \cdot w_1$

Dit ontwerp stelt het model in staat om de rooster-invariantie en efficiëntie van spectrale operatoren te behouden terwijl het expliciete specialisatie mogelijk maakt. De architectuur is toepasbaar op Euclidische roosters, sferische domeinen en ongestructureerde manifolds.

3. Belangrijkste Bijdragen

• Conceptuele Verschuiving: Stelt voor om verder te gaan dan single-inductive-bias formuleringen naar gefactoriseerde operator-representaties die dynamische en persistente fysieke responsies expliciet scheiden.
• Verenigd Framework: Introduceert een Unified Green's Function Framework dat het ontwerp van operatoren generaliseert over verschillende geometrische domeinen (Euclidisch, sferisch, manifold) door onderscheid te maken tussen equivariante en invariante kernelstructuren.
• Spontane Specialisatie: Demonstreert dat de twee takken van FaNO spontaan specialiseren in onderscheidende fysieke rollen zonder expliciete supervisie: de dynamische tak volgt transiënte veranderingen, terwijl de persistente tak stabiele ruimtelijke organisatie verankert.
• Generaliseerbaarheid: Toont aan dat deze factorisatie niet alleen de prestaties in vloeistofdynamica verbetert, maar ook in tijd-onafhankelijke fysieke systemen (Darcy, Helmholtz) en geometrische leertaken (classificatie, segmentatie).

4. Experimentele Resultaten

De auteurs evalueerden FaNO tegenover single-branch baselines (SFNO, FNO, NORM) en state-of-the-art modellen in diverse settings:

• Mechanisme Specialisatie: In autoregressieve forecasting voor Shallow Water Equations (SWE), Navier-Stokes (NS) en Cylinder Flow, legde de dynamische tak hoog-amplitude, sample-afhankelijke variaties vast, terwijl de persistente tak laag-amplitude, coherente grootschalige structuren codeerde (bijv. polaire geopotentieel, geometrie-geïnduceerde wakes).
• Multiscale Geofysische Modellering (SWE): FaNO behaalde de laagste Mean Relative Error (MRE) over temporele en ruimtelijke schalen. Cruciaal is dat onder cross-resolution extrapolatie (trainen op grove roosters, testen op fijne roosters), FaNO stabiele fouten handhaafde onder $2.5 \times 10^{-3}$, terwijl single-branch SFNO significant degradeerde (fouten naderend of overschrijdend van $10^{-2}$).
• Real-World Weervoorspelling (WeatherBench): Op de ERA5-dataset behaalde FaNO de hoogste Anomaly Correlation Coefficient (ACC) voor medium- en langetermijnvoorspellingen (3-daagse en 5-daagse) met slechts 2,7M parameters. Het behield coherente planetaire stromingsstructuren bij 120-uur horizons waar andere methoden structurele distorties accumuleerden.
• Vloeistofdynamica & Geometrische Constraints:
  • Navier-Stokes: FaNO verminderde rollout-fouten door coherente vortex-organisatie te behouden tijdens viscositeits- en resolutie-transfers, waarbij het 45,8% minder parameters gebruikte dan FNO.
  • CylinderFlow (Ongestructureerd Mesh): In langdurige autoregressieve rollouts verminderde FaNO de per-stap MSE met ~28,8% vergeleken met NORM, waardoor accumulatie van distorties in de downstream wake werd voorkomen.
• Voorbij Tijd-Afhankelijke Fysica: FaNO presteerde beter dan baselines op tijd-onafhankelijke Darcy en Helmholtz vergelijkingen, evenals op geometrische taken zoals Spherical MNIST classificatie en oppervlaktesegmentatie, wat aantoont dat het factorisatieprincipe helpt bij het scheiden van stabiele globale structuur van lokale inputvariaties.

5. Betekenis en Claims

Het artikel claimt dat schaalbare fysieke modellering profiteert van het bewegen voorbij single-inductive-bias formuleringen. Door de respons van operatoren te deconstrueren in complementaire dynamische en persistente componenten, biedt FaNO een meer geschikte inductieve bias voor heterogene fysieke systemen.

Belangrijke implicaties die door de auteurs worden benadrukt, zijn onder meer:

• Verbeterde Robuustheid: Het gefactoriseerde mechanisme verbetert de generalisatie over schalen, domeinen en fysieke regimes, met name in langdurige autoregressieve rollouts en cross-resolution extrapolatie.
• Interpreteerbaarheid: De spontane specialisatie van de takken biedt een meer interpreteerbare model van fysieke systemen, waarbij de architectuur aansluit bij de heterogene organisatie van de onderliggende fysica.
• Efficiëntie: Deze verbeteringen worden bereikt door gecontroleerde architecturale modificaties in plaats van verhoogde modelcapaciteit, wat vaak resulteert in minder parameters dan vergelijkbare single-branch modellen.

De auteurs concluderen dat dit werk een stap is naar meer interpreteerbare, robuuste en generaliseerbare fundamenten voor wetenschappelijke berekeningen, en suggereren dat toekomstige physics-informed machine learning gefactoriseerde representaties moet overwegen die de afzonderlijke mechanismen reflecteren die fysieke systemen beheersen.