💻 computer science

Spectral bias mitigation in physics-informed neural surrogates for nonlinear structural dynamics: Fourier feature encoding versus Kolmogorov-Arnold representations

Deze studie toont aan dat hoewel Kolmogorov–Arnold-netwerken (KANs) inherent beter in staat zijn om spectrale bias te mitigeren dan standaard MLP's in niet-lineaire structurele dynamica, de toepassing van Fourier-feature encoding de dominante factor is voor nauwkeurigheid, waardoor Fourier-verbeterde MLP's superieur zijn aan zowel gewone KAN's als Fourier-verbeterde KAN's, die lijden onder prestatievermindering door gradiëntoscillaties die incompatibel zijn met natuurkundig geïnformeerde optimalisatie.

Oorspronkelijke auteurs: Salih Berkan Aydemir

Gepubliceerd 2026-07-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Salih Berkan Aydemir

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe een gebouw zwiept tijdens een aardbeving. Het gebouw wiebelt niet alleen maar zachtjes heen en weer in een traag, simpel ritme; het trilt met een complexe mix van langzame, zware schommelingen en snelle, nerveuze trillingen tegelijkertijd. Dit is de wereld van nietlineaire structurele dynamica, en voor een lange tijd hadden de standaard robotbreinen die deze problemen oplosten (genaamd MLP's of Multilayer Perceptrons) een grote blinde vlek.

Het Probleem: De "Spectrale Bias" Blinde Vlek

Denk aan deze standaard robotbreinen als een radio die alleen de bas oppikt. Ze zijn geweldig in het leren van de langzame, lage frequentiebewegingen (de diepe dreun van de aardbeving), maar ze negeren de hoogfrequente, snelle trillingen (het scherpe geratel) volledig. In de wetenschappelijke wereld wordt dit spectrale bias genoemd. Hoe lang je ze ook traint, ze kunnen de hoge tonen simpelweg niet horen, wat leidt tot voorspellingen die eruitzien als een platte lijn terwijl het gebouw in werkelijkheid heftig schudt.

De Pretendenten: Twee Nieuwe Manieren om de Radio te Repareren

De onderzoekers zetten een race op om te zien hoe dit gerepareerd kan worden. Ze testten vier verschillende robotbrein-ontwerpen, maar met een strikte regel: elk brein moest exact hetzelfde aantal "neuronen" hebben (ongeveer 16.400 parameters). Dit zorgde ervoor dat de race eerlijk was.

Ze testten twee hoofdideeën:

De "Fourier Feature" Upgrade: Dit is alsof je de robot een speciale bril geeft die de invoertijd vertaalt naar een hoogdimensionale kaart van sinus- en cosinusgolven. Het dwingt de robot om de hoge frequenties vanaf het begin te zien.
Het "KAN" Brein: Dit is een nieuwer type brein (Kolmogorov-Arnold Network) waarbij de verbindingen tussen neuronen niet vaststaan; het zijn leerbare, flexibele curven (specifiek gebruikmakend van Chebyshev-polynomen). Het is alsof je de robot een brein geeft dat zijn eigen interne bedrading kan hervormen om bij de vorm van de data te passen.

De Race: Vier Verschillende Aardbevingsscenario's

De robots werden getest op vier zeer verschillende uitdagingen:

Bouc–Wen: Een systeem dat zich gedraagt als een kleverig, plastisch materiaal dat buigt en niet perfect terugveert (hysteresisgedrag).
Duffing: Een systeem met een "dubbele-put" energievorm, zoals een bal die tussen twee heuvels rolt.
Van der Pol: Een systeem dat zijn eigen ritme creëert, zoals een hartslag of een flapperende vleugel.
3-DOF Gebouw: Een gebouw van drie verdiepingen dat op meerdere manieren tegelijk zwiept.

De Resultaten: Wie Won de Race?

De resultaten waren verrassend en zeer duidelijk.

1. De Bril Won de Race
De grootste ontdekking was dat de Fourier feature encoding (de speciale bril) de belangrijkste factor was. Wanneer de onderzoekers deze bril op het standaard MLP-brein zetten, werd het een superster.

In de Duffing- en Van der Pol-tests verminderde de "Fourier-MLP" de fout tot extreem lage niveaus, met een L2-fout onder de 0,001 (effectief bijna perfecte nauwkeurigheid voor deze benchmarks).
In de Bouc–Wen- en 3-DOF gebouw-tests verminderde het de fouten met 98,6% tot 99,7%.
Zonder deze bril faalde de standaard MLP volledig; hij voorspelde bijna nul beweging (fouten nabij de 1,0) voor de complexe gebouwen.

2. Het KAN-Brein: Goed, maar Alleen Zonder de Bril
Het KAN-alleen brein (zonder de Fourier-bril) was eigenlijk behoorlijk slim. In de Van der Pol-test was het 3,5 keer beter dan de gewone MLP, omdat de flexibele interne curven fungeerden als een ingebouwde frequentie-decoder. Het kon echter de Fourier-MLP niet evenaren.

3. De Paradox: Het Mengen Maakte Het Slechter
Hier is de wending die de onderzoekers fascinerend vonden. Toen ze probeerden de Fourier-bril te combineren met het KAN-brein (waardoor een "FPIKAN" ontstond), werd de prestatie slechter.

In de Duffing-test zorgde het toevoegen van de bril aan het KAN-brein er zelfs voor dat de fout met 201,7% toenam (het werd drie keer slechter dan het KAN-brein alleen).
In de Van der Pol-test nam de fout met 9,0% toe.

Waarom Faalde het Mengen?

De auteurs verklaren dit aan de hand van het concept van "gradient flow", oftewel hoe de robot leert van zijn fouten.

De Fourier-bril creëert een zeer glad, gemakkelijk pad voor de robot om te leren.
De interne curven van het KAN-brein (Chebyshev-polynomen) zijn erg grillig en complex. Wanneer je het KAN-brein dwingt om door de Fourier-bril te kijken, beginnen de "leersignalen" (gradiënten) wild te oscilleren. Het is alsof je een hoogwaardige racewagen (KAN) op een perfect glad circuit (Fourier) probeert te rijden, maar de ophanging van de auto is zo gevoelig voor de gladheid dat de auto zichzelf aan het trillen begint te krijgen. De wiskunde wordt te chaotisch voor de robot om de perfecte oplossing te vinden.

Het Eindoordeel

De studie concludeert dat voor het voorspellen van hoe structuren bewegen, de inputrepresentatie (de bril) belangrijker is dan de architectuur van het brein.

De Winnaar: De Fourier-MLP (Standaard brein + Fourier-bril). Het was het meest nauwkeurig, trainde het snelst en is de simpelste methode om te gebruiken.
De Runner-up: Het KAN-alleen brein. Het is een sterke tweede keuze als je het frequentiebereik vooraf niet weet, maar het is niet zo goed als de Fourier-MLP.
De Verliezer: De FPIKAN (KAN + Fourier). Het artikel betoogt expliciet dat het combineren van deze twee specifieke technologieën contraproductief is en vermeden moet worden in hun huidige vorm.

Kortom, als je wilt dat je robot trillingen in gebouwen voorspelt, bouw dan niet alleen een fancier brein; geef het de juiste bril om de hoogfrequente details te zien. En probeer niet de meest geavanceerde combinatie van brein en bril te maken, want dan kun je het hele systeem kapotmaken.

Technische Samenvatting: Mitigatie van Spectrale Bias in Physics-Informed Neural Surrogates voor Nietlineaire Structurele Dynamica

1. Probleemstelling

Standaard Multilayer Perceptrons (MLP's) die worden gebruikt in Physics-Informed Neural Networks (PINNs) lijden aan spectrale bias: een systematische neiging om laagfrequente componenten van een signaal te leren, terwijl ze er niet in slagen hoogfrequente modi te vangen. Deze beperking is cruciaal in de nietlineaire structurele dynamica, waar systeemresponsen inherent veelfrequente componenten bevatten (bijv. fundamentele modi en hogere harmonieken) die voortkomen uit modale interacties, hysteretisch gedrag en nietlineaire stijfheid.

Hoewel recente alternatieven zoals Kolmogorov–Arnold Networks (KANs) zijn voorgesteld om dit te mitigeren via leerbare rand-activaties, zijn bestaande vergelijkingen tussen KANs en MLP's vaak gebrekkig. Eerdere studies lijden frequent aan:

Ongelijke parameteraantallen.
Onjuiste inputnormalisatie (wat leidt tot verzadiging van de activatie).
Hardcoded nul-begincondities (ICs) zelfs voor niet-nul toestanden.
Inconsistente toepassing van physics-informed restricties.

Deze methodologische inconsistenties leiden tot misleidende conclusies over de effectiviteit van architecturale keuzes versus inputrepresentaties.

2. Methodologie

Deze studie vestigt een rigoureus, parameter-gematcht experimenteel kader om de effecten van inputrepresentatie en backbone-architectuur te isoleren.

2.1 Benchmark-problemen

Vier canonieke nietlineaire dynamica-problemen zijn geselecteerd, elk representatief voor een distincte dynamische klasse:

Bouc–Wen Hysteretische Oscillator: Snelheidsonafhankelijke hysteresis (data-gestuurd trainen).
Duffing Oscillator: Cubische geometrische stijfheid met quasi-periodiek gedrag (physics-informed).
Forced Van der Pol Oscillator: Zelf-geëxciteerde limietcyclus-oscillatie (physics-informed).
Three-DOF Shear Building: Lineaire multi-frequentie modale superpositie (data-gestuurd).

2.2 Architecturaal Ontwerp (2 × 2 Factorieel)

Vier modellen werden vergeleken, waarbij alle modellen beperkt zijn tot ~16.400 leerbare parameters om eerlijkheid te garanderen:

Plain MLP: Standaard MLP met genormaliseerde tijdinput ( $t/t_{max}$ ).
Fourier-MLP: MLP met Fourier-feature encoding ( $\Phi(t)$ ).
KAN-only: KAN met leerbare Chebyshev-polynoom activaties en genormaliseerde tijdinput.
FPIKAN (Fourier-enhanced KAN): KAN met Fourier-feature encoding.

Belangrijke Methodologische Controles:

Inputnormalisatie: Inputs voor Plain MLP en KAN-only werden genormaliseerd naar $[0, 1]$ om $\tanh$ -verzadiging te voorkomen; Fourier-modellen waren immuun vanwege de begrensde sinus/cosinus.
Begincondities: Expliciete handhaving van ware fysieke IC's ( $u(0), \dot{u}(0)$ ) in plaats van hardcoded nullen.
Verliesfunctie: Een verenigde loss bestaande uit data-getrouwheid ( $L_{data}$ ), beginconditie-restricties ( $L_{IC}, L_{vel}$ ), en physics-residuen ( $L_{phys}$ ) voor toepasbare benchmarks.
Training: Adam-optimizer met cosine annealing over 5.000 epochs.

2.3 Theoretische Analyse

De studie bevat een gradiëntstroomanalyse van KAN-lagen. Het stelt dat hoewel Chebyshev-polynomen fungeren als impliciete spectrale decompositoren, hun tweede-orde afgeleiden (vereist voor physics-informed loss in tweede-orde ODE's) oscillerende gradiënt-magnitudes produceren. Deze oscillaties creëren een incompatibele optimalisatielandschap wanneer ze gecombineerd worden met Fourier-gecodeerde inputs, wat het trainen potentieel destabiliseert.

3. Belangrijkste Bijdragen

Parameter-Gematchte Vergelijking: De eerste rigoureuze vergelijking van KAN en MLP-architecturen over vier nietlineaire benchmarks met strikt gelijke modelcapaciteit (~16,4k parameters).
Factoriële Ablatie-studie: Een systematisch $2 \times 2$ ontwerp dat de individuele bijdragen van Fourier-feature encoding en backbone-architectuur (MLP vs. KAN) isoleert.
Methodologische Correctie: Identificatie en correctie van zeven veelvoorkomende implementatie-"bugs" in de PINN-literatuur (bijv. ontbrekende snelheid-IC's, niet-genormaliseerde tijd, mismatched parameters) die voorheen de resultaten hadden vertekend.
Gradiënt-Incompatibiliteitsanalyse: Wiskundige demonstratie van waarom het combineren van Fourier-encoding met Chebyshev-gebaseerde KAN's de prestaties kan verslechteren door conflicterende gradiëntdynamiek.
Spectrale Getrouwheids Evaluatie: Frequentiedomein-analyse die aantoont dat foutmetingen in het tijdsdomein alleen onvoldoende zijn om spectrale bias te diagnosticeren.

4. Resultaten

4.1 Dominantie van Fourier Feature Encoding

De meest significante bevinding is dat Fourier feature encoding de dominante factor is in het mitigeren van spectrale bias.

Het toevoegen van Fourier-encoding aan een Plain MLP verminderde de relatieve $L_2$ -fouten met 98,6% tot 100% over alle benchmarks.
Fourier-MLP behaalde de laagste fout in alle vier de benchmarks ( $L_2 \le 0,014$ , met $L_2 < 10^{-3}$ voor Duffing en Van der Pol).
Zonder Fourier-encoding faalden zowel de Plain MLP als de KAN-only in het vangen van hoogfrequente dynamica in de Bouc–Wen en 3-DOF building benchmarks, met een $L_2 \approx 1,0$ (bijna-nul voorspelling).

4.2 KAN Prestaties Zonder Fourier Encoding

In de afwezigheid van Fourier-encoding presteerde KAN-only beter dan de Plain MLP in nietlineaire oscillerende systemen:

Duffing: KAN verminderde de fout met 1,9× ($0,074$ vs. $0,139$).
Van der Pol: KAN verminderde de fout met 3,5× ($0,164$ vs. $0,574$).
Dit bevestigt dat leerbare Chebyshev-activaties fungeren als impliciete spectrale decompositors, wat de bias in eenvoudigere frequentiegebieden gedeeltelijk mitigeert.

4.3 De "Paradox" van FPIKAN

In tegenstelling tot de verwachting dat het combineren van twee mitigatiestrategieën betere resultaten oplevert, presteerde FPIKAN consequent slechter dan Fourier-MLP.

In de Duffing-benchmark verhoogde het toevoegen van Fourier-encoding aan KAN de fout met 201,7% (van $0,074$ naar $0,224$).
In de Van der Pol-benchmark steeg de fout met 9,0%.
Oorzaak: De oscillerende gradiënt-magnitudes die inherent zijn aan hoog-graads Chebyshev-polynomen conflicteren met het gladde optimalisatielandschap dat vereist is voor tweede-orde physics-residuen, vooral wanneer deze gekoppeld worden aan Fourier-inputs.

4.4 Convergentie en Spectrale Analyse

Convergentie: Fourier-MLP convergeerde vloeiend naar $MSE < 10^{-7}$ . FPIKAN convergeerde aanvankelijk maar plateauerde op hogere foutniveaus ( $10^{-3}$ tot $10^{-5}$ ), consistent met de hypothese van gradiënt-instabiliteit.
Spectrale Getrouwheid: Fourier-MLP reconstrueerde het volledige frequentiespectrum accuraat. Non-Fourier modellen vertoonden een ernstige hoogfrequente attenuatie, waarbij ze effectief modi boven de 2–3 Hz wegfilterden.

5. Betekenis en Conclusies

Het paper concludeert dat voor physics-informed neurale surrogates in de nietlineaire structurele dynamica:

Inputrepresentatie is Cruciaal: Fourier feature encoding is de belangrijkste ontwerpkeuze, die effectief spectrale bias elimineert, ongeacht de backbone-architectuur.
Aanbevolen Architectuur: Fourier-MLP is de aanbevolen architectuur, die de laagste fout, de snelste training (~2× sneller dan KAN-alternatieven) en de eenvoudigste implementatie biedt.
Waarde van Standalone KAN: KANs bieden waarde wanneer Fourier-encoding niet haalbaar is (bijv. bij onbekende frequentiebereiken), aangezien ze MLPs met wel 3,5× kunnen verslaan door impliciete spectrale decompositie.
Contraproductiviteit van Hybridisatie: Het combineren van Fourier-encoding met Chebyshev-gebaseerde KANs (FPIKAN) is momenteel contraproductief vanwege gradiënt-incompatibiliteit. De auteurs suggereren toekomstige exploratie van B-spline of wavelet-gebaseerde KAN-varianten met begrensde afgeleiden om dit op te lossen.
Methodologische Rigor: De studie benadrukt dat eerdere vergelijkende literatuur mogelijk is aangetast door implementatiefouten. Het naleven van strikte parameter-matching, correcte normalisatie en correcte handhaving van begincondities is essentieel voor geldige wetenschappelijke conclusies in dit veld.