Technische Samenvatting: Ontdekking van Neurale Operatoren uit Heterogene Trajecten

Probleemstelling

In de fysische wetenschappen worden trajectgegevens frequent verzameld van systemen die een gemeenschappelijke onderliggende wet delen, maar verschillen door niet-geobserveerde systeemspecifieke factoren (bijv. fysische parameters, geometrieën, randvoorwaarden). In veel experimentele en legacy-simulatiesets zijn deze onderscheidende factoren niet geregistreerd of onmeetbaar. Als gevolg hiervan bestaan de gegevens uit heterogene trajecten die gegenereerd zijn door meerdere onderliggende configuraties zonder expliciete labels voor de variabelen die de variatie aansturen.

De centrale uitdaging is het aanleren van predictieve modellen die zowel de gedeelde dynamica van een systeemfamilie als de verschillen tussen specifieke systeeminstanties vastleggen direct uit deze ongelabelde trajecten. Bestaande benaderingen kampen met beperkingen:

• Symbolische Regressie: Beperkt door primitieve bibliotheken en computationeel kostbaar voor hoogdimensionale spatio-temporele dynamica.
• Parametrische Neurale Operatoren (PNO): Vereisen expliciete factor-inputs, die in deze setting niet beschikbaar zijn.
• Autoregressieve Neurale Operatoren (ANO): Conditioneren op trajectvensters uit het verleden, wat leidt tot hoogdimensionale, ongestructureerde representaties die fouten in de rollouts accumuleren en er niet in slagen om systeemspecifieke variatie te identificeren.
• Latent-geconditioneerde Modellen: Ruilen vaak expressiviteit, schaalbaarheid of interpreteerbaarheid in, of vertrouwen op dure meta-learning adaptaties.

Methodologie: Neural Operator Discovery (NOD)

De auteurs formuleren Neural Operator Discovery (NOD) als het probleem van het aanleren van een gedeelde oplossingsoperator en systeemspecifieke variatie direct uit heterogene trajecten zonder parametersupervisie. Het voorgestelde framework, NODnet, maakt gebruik van een gefactoriseerde realisatie bestaande uit twee componenten:

1. Traject Encoder ($f_\phi$): Brengt een venster van een verleden-toestand (conditionerende traject) van een systeeminstantie in naar een laagdimensionale latente representatie $c$.
2. State-Evolution Operator ($g_\theta$): Een geconditioneerde neurale operator die toekomstige toestanden voorspelt op basis van een initiële toestand en de latente representatie $c$.

Om te waarborgen dat de latente representatie sturende factoren vastlegt in plaats van transiënte trajectkenmerken, integreert NODnet drie kernmechanismen:

1. Gefactoriseerde Predictie

In plaats van toekomstige toestanden direct te voorspellen vanuit een venster van het verleden (zoals bij ANO), factoriseert het model het proces:
$$c = f_\phi(x'_{0:s}), \quad \hat{x}_{t+1} = g_\theta(x_t; c)$$
De encoder leidt een latente $c$ af uit een conditionerend traject, terwijl de decoder de evolutie van een apart traject van dezelfde systeeminstantie voorspelt.

2. Trajectory-Decoupled Sampling (TDS)

Om te voorkomen dat de latente representatie informatie codeert die specifiek is voor de beginconditie, worden de encoder en decoder getraind met behulp van trajecten die gegenereerd zijn uit verschillende begincondities van dezelfde systeeminstantie.

• De encoder leidt $c$ af uit een conditionerend traject $x'_{0:s}$.
• De decoder voorspelt de evolutie van een afzonderlijk traject $x_{t:t+1}$ van hetzelfde systeem.
  Deze beperking moedigt de encoder aan om alleen cross-traject invarianten (de sturende factoren) te behouden en transiënte kenmerken te onderdrukken.

3. Dimensiekeuze

De latente dimensie $d$ wordt geselecteerd als de kleinste waarde die voldoende is om de verschillen tussen systeeminstanties te verklaren. Dit wordt bereikt via een tweefasige procedure:

• Fase 1: Identificeer kandidaat-dimensies waarbij het verhogen van $d$ geen significante verbeteringen meer oplevert in de trainingsverlies boven de variabiliteit van de willekeurige seed.
• Fase 2: Selecteer de definitieve dimensie $d^*$ als de kleinste kandidaat waarbij het $(d+1)$ model geen aanvullende, op factoren uitgelijnde structuur in de latente ruimte produceert (beoordeeld via Principal Component Analysis van de gemiddelden van de latente ruimtes per instantie).

Belangrijkste Bijdragen

• Formulering van NOD: Een nieuwe probleemformulering voor het aanleren van gedeelde operatoren en systeemspecifieke variaties zonder expliciete factor-supervisie.
• Gefactoriseerde Latente Conditionering: Een nieuwe architectuur die traject-encoding ontkoppelt van state-evolutie, wat de ontdekking van laagdimensionale, interpreteerbare latente ruimtes mogelijk maakt.
• Trajectory-Decoupled Sampling: Een trainingsstrategie die het extraheren van systeem-niveau invarianten afdwingt door conditionerende en voorspellende trajecten te koppelen aan verschillende begincondities.
• Data-gedreven Dimensie Bepaling: Een systematische procedure om automatisch de intrinsieke dimensionaliteit van systeemvariatie te bepalen, passend bij het aantal onafhankelijke sturende factoren zonder voorafgaande kennis.

Resultaten

De methode werd gevalideerd op drie families van partiële differentiaalvergelijkingen (PDE's) en vier aanvullende casestudies in de supplementaire informatie:

1. Burgers' Vergelijking (Variërende Viscositeit):

   • Resultaat: Het model identificeerde correct een latente dimensie $d^*=1$, overeenkomend met de enkele variërende factor (viscositeit $\nu$).
   • Prestaties: Bereikte nauwkeurige langetermijnvoorspellingen en extrapoleerde succesvol naar de onviskeuze limiet ($\nu=0$), een singulier regime waar klassieke numerieke methoden vaak moeite mee hebben. De geleerde latente ruimte vertoonde een gladde, monotone correspondentie met de viscositeit.
   • Vergelijking: Presteerde beter dan autoregressieve baselines (ANO) en single-system baselines (SNO), met name bij rollouts over lange termijn waarbij ANO aanzienlijke drift vertoonde.

2. Cilinderstroom Wiel (Ongestructureerd Mesh):

   • Resultaat: Identificeerde $d^*=1$ ondanks het feit dat het systeem wordt geparametriseerd door zowel viscositeit als inlaat-snelheid, aangezien de dynamica in het geteste Reynolds-getal regime wordt bepaald door een enkele dimensieloze groep ($Re$).
     er Prestaties: Toonde robuustheid onder schaarse supervisie (getraind op slechts 16 trajecten) en generalisatie naar ongeziene viscositeiten en inlaat-snelheden.
   • Fysische Consistentie: Herstelde correcte weerstandscoëfficiënten en Strouhal-getallen, terwijl autoregressieve baselines frequentie-drift en niet-fysisch weerstandsgedrag vertoonden.

3. FitzHugh–Nagumo Reactie-Diffusie Systeem:

   • Resultaat: Identificeerde correct $d^*=2$, passend bij de twee onafhankelijke sturende factoren ($k, \beta$).
   • Generalisatie: Demonstreerde zowel one-shot inferentie (het afleiden van $c$ uit een enkel traject) als zero-shot inferentie (het direct samplen van $c$ uit de geleerde latente ruimte). De latente ruimte organiseerde systeeminstanties in een gladde, ongeveer inverteerbare structuur die is uitgelijnd met de ware parameterruimte, wat extrapolatie buiten de trainingsomgeving mogelijk maakte.
   • Supervisie Geometrie: Toonde aan dat hiërarchische decoders (die meerdere tijdshorizonten superviseren) meer gestructureerde latente representaties en stabielere rollouts opleverden vergeleken met single-step autoregressieve decoders.

Betekenis en Claims

Het artikel vestigt een interpreteerbaar paradigma voor operator-leren in de afwezigheid van expliciete factor-supervisie. De auteurs beweren dat:

• Identificeerbaarheid: De geleerde latente ruimtes consistent uitlijnen met onderliggende sturende factoren, waarbij ze een gladde en ongeveer inverteerbare structuur (diffeomorfismen) vertonen met de ware factorruimte, ondanks dat ze zijn geleerd zonder parameterlabels.
• Generalisatie: De methode ondersteunt generalisatie naar voorheen onbekende systeeminstanties, inclusclusief zero-shot extrapolatie over regimes (bijv. onviskeuze limieten) en stabiele langetermijnvoorspelling.
• Efficiëntie: Door de latente dimensie te beperken tot de minimale noodzakelijke grootte, vermijdt het model de "structurele slack" die leidt tot foutenaccumulatie in hoogdimensionale latente ruimtes.
• Complementariteit: NOD biedt een schaalbaar alternatief voor symbolische regressie voor complexe, hoogdimensionale systemen waar gesloten-vorm vergelijkingen moeilijk te herstellen zijn, en een meer gestructureerd alternatief voor autoregressieve fundamentmodellen voor systemen met ongeobserveerde parameters.

De auteurs vermelden beperkingen, waaronder de huidige focus op continu variërende factoren in laagdimensionale Euclidische ruimtes, het gebruik van door simulatie gegenereerde gegevens, en de noodzaak voor verder onderzoek naar discrete systeemklassen, bifurcerende dynamica en de robuustheid tegen experimentele ruis.