HyCOP: Hybrid Composition Operators for Interpretable Learning of PDEs

1. Probleemstelling

Scientific Machine Learning (SciML) staat momenteel voor een afweging tussen monolithische neurale operatoren (bijv. FNO, DeepONet) en klassieke numerieke oplosmethoden:

• Monolithische Neurale Operatoren: Leren één enkele black-box mapping vanuit data. Hoewel ze krachtig zijn binnen de trainingsverdeling, falen ze vaak catastrofaal onder verdelingsverschuivingen (OOD), missen ze interpreteerbaarheid en bieden ze geen richtlijnen over waarom ze faalden of hoe specifieke fysische mechanismen kunnen worden opgelost.
• Klassieke Oplosmethoden: Vertrouwen op vaste operator-splitting schema's (bijv. Lie-Trotter, Strang splitting). Hoewel ze fysisch interpreteerbaar en robuust zijn, gebruiken ze stijve, vooraf gedefinieerde schema's die niet adaptief zijn voor specifieke query-regimes (bijv. veranderende Péclet- of Damköhler-getallen).
• De Kloof: Er ontbreekt een kader dat kan leren welke samenstellingspolitiek (d.w.z. welk fysisch proces toe te passen en voor hoe lang) afhankelijk is van de query-toestand, terwijl het de modulariteit en interpreteerbaarheid van de samenstellende fysische mechanismen behoudt.

2. Methodologie: HyCOP Kader

HyCOP (Hybrid Composition Operators) introduceert een modulair kader dat PDE-oplossingsoperatoren leert als query-geconditioneerde composities van herbruikbare primitieven.

Kernarchitectuur

• Woordenboek van Primitieven ($\mathcal{D}$): Een verzameling sub-stroomoperatoren die onderscheiden fysische mechanismen vertegenwoordigen (bijv. advektie, diffusie, reactie, randbehandeling). Deze primitieven kunnen zijn:
  • Numeriek: Klassieke oplosmethoden (bijv. RK4, spectrale methoden).
  • Gelernd: Vooraf getrainde neurale surrogaten (bijv. FNO) voor specifieke processen.
  • Hybride: Een mix van beide.
• Gelernd Beleid ($\pi_\theta$): Een klein neuraal netwerk (ongeveer 50–100 parameters) dat een query $x = (u_0, \mu, b, \Omega, t)$ als input neemt en een programma output.
  • Input: Het beleid conditioneert op dimensieloze regime-kenmerken (bijv. Péclet-, Damköhler-, Froude-getallen) en ruwe statistieken van de toestand, wat resolutie-invariantie garandeert.
  • Output: Een reeks paren van $(primitief\_index, duur)$.
  • Uitvoering: De oplossing wordt berekend door deze sub-stromen sequentieel te compositen: $\hat{u}(t) = \hat{\Phi}_{\tau_k}^{(j_k)} \circ \dots \circ \hat{\Phi}_{\tau_1}^{(j_1)} (u_0)$.
• Belangrijk Onderscheid: In tegenstelling tot "Mixture of Experts" (die outputs mengt) of autoregressieve rollouts (die marcheren in vaste tijdstappen), compositet HyCOP stromen sequentieel met geleerde, variabele duur.

Optimalisatie

• Algoritme: Het kader gebruikt Evolution Strategies (ES) voor training.
• Redenering: Aangezien de primitieven legacy black-box oplosmethoden kunnen zijn (niet-differentieerbaar), is standaard backpropagation onmogelijk. ES behandelt de programmatie-uitvoering als een black box en optimaliseert de beleidsparameters $\theta$ door perturbaties te bemonsteren en prestaties te rangschikken.
• Efficiëntie: Het beleid is laagdimensionaal, wat efficiënte parallelisatie en convergentie met minder trainingsforward-passes mogelijk maakt in vergelijking met monolithische modellen.

Theoretische Grondslag

Het artikel biedt een leertheoretische analyse van compositional operator flows:

1. Expressiviteit: Bewijst dat eindige composities van sub-stromen dicht liggen in de ruimte van PDE-oplossingsoperatoren (universele benadering met structuur).
2. Foutdecompositie: Leidt een gestructureerde foutgrens af:
   $$\text{Totaal Fout} \leq \underbrace{\text{Splitting Fout}}_{\text{Beleid/Schedule}} + \underbrace{\text{Primitief Fout}}_{\text{Module Nauwkeurigheid}}$$
   Deze decompositie maakt procesniveau-diagnose mogelijk: als de fout hoog is, kan men identificeren of het probleem ligt bij het planningsbeleid of een specifiek primitief module.

3. Belangrijkste Bijdragen

1. Kader: Een modulaire architectuur die PDE-operatoren leert als query-geconditioneerde composities, met ondersteuning voor hybride woordenboeken (numeriek + gelernt) en voorspelling over meerdere tijdstippen zonder autoregressieve rollout.
2. Theorie: De eerste leertheoretische analyse van geleerde, query-geconditioneerde composities, met een foutdecompositie die compositiesfouten scheidt van modulefouten.
3. Interpreteerbaarheid & Diagnose: Het kader produceert interpreteerbare programma's (bijv. "Advektie toepassen voor 20%, diffusie voor 6%..."). Het maakt een "Compose–Diagnose–Enrich" workflow mogelijk: als een model faalt, lokaliseren fouten zich tot specifieke ontbrekende mechanismen, waardoor wetenschappers specifieke sluitingen kunnen toevoegen of modules kunnen vervangen zonder het hele systeem opnieuw te trainen.
4. Modulariteit: Ondersteunt zero-shot transfer via woordenboekupdates (bijv. het vervangen van een periodieke randprimitief door een wand-randprimitief) en aanpassing aan ontbrekende fysica door residu-sluitingen toe te voegen.

4. Experimentele Resultaten

De auteurs evalueerden HyCOP op vijf benchmarks: 2D Compressible Navier-Stokes (PDEBench), 2D Shallow Water Equations (SWE), 2D Advection-Diffusion-Reaction (ADR), en 1D-systemen.

• Robuustheid bij Out-of-Distribution (OOD):
  • HyCOP behaalt orde-van-magnitude verbeteringen ten opzichte van state-of-the-art monolithische baselines (FNO, DeepONet, PINO) onder OOD-verschuivingen (parameterextrapolatie, randveranderingen, initiële toestandverschuivingen).
  • Voorbeeld: Bij de 2D SWE dam-break transfer (schokgolven, wandranden, ongezette parameters) verlaagde HyCOP de fout met 10x vergeleken met de beste monolithische baseline. Het vervangen van de randprimitief verlaagde de fout verder met 4x zonder opnieuw te trainen.
• Stabiliteit op Lange Termijn:
  • HyCOP blijft stabiel over lange tijdsintervallen (20-staps rollouts), terwijl autoregressieve baselines snel fouten accumuleren (vaak falend met Rel. L2 > 1.0). HyCOP compositet op operatorniveau, waardoor stap-voor-stap foutaccumulatie wordt vermeden.
• Efficiëntie:
  • Training: Vereist 25x minder trainingsforward-passes en 10x kortere wandkloktijd in vergelijking met U-Net/AR baselines.
  • Inferentie: Concurrerende snelheid, vaak sneller dan autoregressieve methoden voor lange intervallen.
• Aanpassingsscenario's (Regime B):
  • Onbekende Ontbrekende Fysica: Wanneer getraind op Advektie-Diffusie (AD) maar getest op Advektie-Diffusie-Reactie (ADR), lokaliseerde HyCOP fouten tot reactie-gedomineerde gebieden. Het toevoegen van een gelernt residu-sluiting en het opnieuw leren van alleen het beleid herstelde de nauwkeurigheid.
  • Heterogene Primitieven: Succeedde in het compositen van een vooraf getrainde FNO (voor AD) met een handboek-numerieke oplosmethode (voor Reactie) zonder beide componenten opnieuw te trainen, en presteerde beter dan monolithische modellen die end-to-end op het volledige systeem waren getraind.

5. Betekenis

• Paradigmaverschuiving: Verplaatst SciML van "black-box vervanging" van oplosmethoden naar "orkestratie" van heterogene componenten. Het behandelt de oplosmethode als een compositie van bekende fysica en geleerde correcties.
• Betrouwbaarheid: Door procesniveau-foutdiagnose te bieden, sluit HyCOP aan bij opkomende Verification and Validation (V&V) kaders die interpreteerbare, modulaire modellen vereisen voor wetenschappelijk vertrouwen.
• Wetenschappelijke Workflow: Het formaliseert de "Compose-Diagnose-Enrich"-lus die door menselijke modelleurs wordt gebruikt, waardoor AI kan helpen bij het ontdekken van ontbrekende fysica of het verfijnen van modellen door precies te identificeren welk mechanisme faalt.
• Schaalbaarheid: Het beleid is resolutie-agnostisch; alleen de kosten van de primitieven schalen met de gridgrootte, waardoor het kader potentieel schaalbaar is naar productieresoluties.

Kortom, HyCOP overbrugt de kloof tussen de flexibiliteit van neurale operatoren en de fysische striktheid van klassieke oplosmethoden, en biedt een robuuste, interpreteerbare en modulaire aanpak voor het leren van PDE's die uitblinkt in out-of-distribution scenario's en complexe multi-fysica systemen.