Technische Samenvatting: Frequentiebias en OOD-Generalisatie in Neuronale Operatoren onder een Golfvergelijking met Variabele Coëfficiënten

1. Probleemstelling

Neuronale operatoren zijn ontworpen om afbeeldingen te leren tussen invoerfuncties en de oplossingen van partiële differentiaalvergelijkingen (PDV's), en fungeren als vervangers voor herhaalde numerieke simulaties. Hoewel architecturen zoals de Fourier-neurale operator (FNO) en het Deep Operator Network (DeepONet) sterke prestaties binnen de verdeling (in-distribution, ID) hebben aangetoond voor diverse PDV-taken, blijft hun gedrag onder gestructureerde verdelingsverschuivingen onvoldoende begrepen.

Dit artikel onderzoekt een specifiek gat: of sterke ID-prestaties stabiele extrapolatie garanderen wanneer de frequentie-inhoud van de invoer of de mediumstructuur (gladheid van de coëfficiënt) afwijkt van de trainingsverdeling. Dit is kritiek voor wetenschappelijke toepassingen in de praktijk, waar modellen moeten opereren op fysische systemen die systematisch verschillen van de trainingsdata. De studie richt zich op een operatorleertaak voor een eindtoestand, beheerst door een eendimensionale golfvergelijking met variabele coëfficiënten, een fundamenteel model voor golfvoortplanting in heterogene media.

2. Methodologie

2.1. Probleemformulering

De studie definieert een operator die afbeeldt $G: (u_0(x), c(x)) \mapsto u(x, T)$, waarbij:

• $u_0(x)$: Het initiële verplaatsingsveld.
• $c(x)$: De ruimtelijk variërende golfsnelheidscoëfficiënt (die de lokale voortplantingssnelheid bepaalt).
• $u(x, T)$: De golfsolutie op een vaste eindtijd $T$.
  De gebruikte vergelijking is de conservatieve golfvergelijking met variabele coëfficiënten: $u_{tt} = \partial_x(c(x)^2 u_x)$, met homogene Dirichlet-randvoorwaarden en een initiële snelheid van nul.

2.2. Vergelijkde Architecturen

Het artikel voert een gecontroleerde empirische vergelijking uit tussen twee representatieve architecturen met verschillende inductieve biases:

• Fourier-neurale operator (FNO): Gebruikt spectrale convolutie in de Fourier-ruimte. Het tilt invoer naar een latente ruimte en werkt deze bij via Fourier-lagen die transformaties leren binnen een vast, afgekapt stel van laagfrequente modi. Dit legt een bias op richting gladde structuren en veronderstelt dat dominante oplossingskenmerken in lage frequenties resideerden.
• Deep Operator Network (DeepONet): Maakt gebruik van een branch-trunk-decompositie. Het branch-netwerk encodeert invoerfuncties in coëfficiënten, terwijl het trunk-netwerk ruimtelijke coördinaten encodeert in basisfuncties. De uitvoer is een inproduct van deze twee, wat effectief een coördinaatafhankelijke expansie leert zonder expliciete vaste spectrale afkapping.

2.3. Experimenteel Ontwerp

Om architecturale effecten te isoleren, construeerden de auteurs gestructureerde Out-of-Distribution (OOD) scenario's terwijl andere factoren (modelschaal, vooropleiding) constant werden gehouden:

1. Frequentieverschuivingen: Initiële verplaatsingsvelden ($u_0$) met hogere frequentiecomponenten dan die tijdens de training werden gezien.
2. Gladheidsverschuivingen: Coëfficiëntvelden ($c(x)$) met variërende niveaus van ruimtelijke variabiliteit (glad, gemiddeld, ruw), waardoor de heterogeniteit van het medium wordt gewijzigd.

Data werd gegenereerd met behulp van een conservatieve finite-difference-oplosser. Evaluatiemetrics omvatten de relatieve $L_2$-fout, een energie-achtige diagnostische grootheid en spectrale-foutanalyse om de foutverdeling over Fourier-modi te onderzoeken.

3. Belangrijkste Bijdragen

1. Taakformulering: Definieerde een operatorleertaak voor een eindtoestand gebaseerd op een conservatieve golfvergelijking met variabele coëfficiënten, met gecontroleerde ID- en gestructureerde OOD-evaluatiescenario's.
2. Gecontroleerde Vergelijking: Biedt een directe, eerlijke vergelijking tussen FNO en DeepONet onder een unificerend experimenteel kader om architecturale effecten op generalisatie te beoordelen.
3. Mechanistisch Inzicht: Combineerde spectrale-foutanalyse met gestructureerde OOD-testen om te onthullen hoe verschillende operatorrepresentaties interageren met frequentiestructuur, en biedt empirische inzichten in generalisatiemechanismen in fysisch gebaseerde PDV-scenario's.

4. Resultaten en Analyse

4.1. Prestaties onder Gladheidsverschuivingen

Beide modellen behielden stabiele prestaties wanneer de gladheid van het coëfficiëntveld $c(x)$ veranderde. FNO behaalde in deze scenario's een lagere totale fout.

4.2. Prestaties onder Frequentieverschuivingen

Er werd een scherpe divergentie in gedrag waargenomen wanneer invoer ongezette hoogfrequente componenten bevatte:

• FNO: Vertoonde een scherpe toename van de fout. De degradatie was niet beperkt tot de hoogste frequenties, maar manifesteerde zich als verhoogde fouten over een reeks middel- tot hoogfrequente Fourier-modi. Spectrale analyse onthulde dat ongezette hoogfrequente invoer de geleerde spectrale relaties verstoorden, waardoor fouten zich verspreidden over meerdere frequentiebanden. Het verhogen van het aantal behouden Fourier-modi (spectrale capaciteit) mitigeerde dit niet; in feite nam de OOD-fout toe met meer modi, wat suggereert dat het probleem een kwestie van architecturale representatie is en niet van capaciteit.
• DeepONet: Toonde mildere degradatie, ondanks een hogere totale fout in ID-scenario's. De fouttoename was geleidelijk en ruimtelijk verdeeld. Spectrale analyse duidde op een meer uniforme foutverdeling zonder de geconcentreerde pieken die bij FNO werden waargenomen. Het model behield de algehele oscillatoire structuur (locaties van pieken en dalen) beter, en vermijdt de ernstige faseverschuivingen en lokale vervormingen die bij FNO werden waargenomen.

4.3. Ruimtelijk-Spectrale Correlatie

De studie vond een consistente relatie tussen ruimtelijke en spectrale fouten. Voor FNO kwamen gelokaliseerde ruimtelijke vervormingen onder OOD-frequentiecondities overeen met multi-modale spectrale afwijkingen. Voor DeepONet waren de fouten gelijkmatiger verdeeld, zonder de gestructureerde accumulatie over specifieke frequentiebanden.

5. Betekenis en Claims

Het artikel betoogt dat architecturale representatiebias een centrale rol speelt bij het bepalen van generalisatie onder verdelingsverschuivingen.

• Beperking van ID-metrics: Sterke prestaties binnen de verdeling leiden niet noodzakelijk tot stabiele extrapolatie wanneer de frequentiestructuur van de invoer verandert.
• Architecturale Bias: De scherpe degradatie van FNO onder frequentieverschuivingen wordt toegeschreven aan zijn afhankelijkheid van vaste spectrale afkapping en geleerde spectrale relaties die niet extrapoleren buiten het trainingsregime. Daarentegen staat de coördinaatafhankelijke basisexpansie van DeepONet toe voor een soepelere overgang bij het tegenkomen van ongezette frequenties, hoewel het mogelijk niet in staat is om fijne details binnen de trainingsverdeling zo nauwkeurig vast te leggen als FNO.
• Implicatie voor Betrouwbaarheid: Deze bevindingen onderstrepen de noodzaak van gestructureerde OOD-evaluatie en spectrale analyse om betrouwbaardere neuronale operatoren te ontwikkelen voor fysisch gebaseerde simulaties. De auteurs suggereren dat toekomstige architecturen expliciet moeten kunnen aanpassen aan de spectrale eigenschappen van invoerfuncties (bijvoorbeeld frequentiebewuste representaties) om robuustheid te verbeteren.

Het werk concludeert dat het begrijpen van de faalmodi van geleerde PDV-vervangers essentieel is voor hun veilige en betrouwbare inzet in wetenschappelijke en technische toepassingen waar fysische omstandigheden systematisch kunnen verschillen van de trainingsdata.