💻 computer science

Spectral bias mitigation in physics-informed neural surrogates for nonlinear structural dynamics: Fourier feature encoding versus Kolmogorov-Arnold representations

Diese Studie zeigt, dass Kolmogorov–Arnold-Netzwerke (KANs) zwar inhärent den Spectral Bias in der nichtlinearen Strukturmechanik besser mildern als Standard-MLPs, die Anwendung der Fourier-Feature-Kodierung jedoch der dominante Faktor für die Genauigkeit ist, was dazu führt, dass Fourier-erweiterte MLPs sowohl einfachen KANs als auch Fourier-erweiterten KANs überlegen sind, welche aufgrund von Gradientenoszillationen, die mit physikinformierter Optimierung inkompatibel sind, eine Leistungsdegradation erleiden.

Ursprüngliche Autoren: Salih Berkan Aydemir

Veröffentlicht 2026-07-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Salih Berkan Aydemir

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie ein Gebäude während eines Erdbebens schwankt. Das Gebäude wackelt nicht einfach nur in einem langsamen, einfachen Rhythmus vor und zurück; es vibriert mit einer komplexen Mischung aus langsamen, schweren Schwankungen und schnellen, zittrigen Erschütterungen gleichzeitig. Dies ist die Welt der nichtlinearen Strukturdynamik, und lange Zeit hatten die Standard-Robotergehirne, die diese Probleme lösen sollten (genannt MLPs oder Multilayer-Perzeptrone), einen massiven blinden Fleck.

Das Problem: Der „Spektrale Bias“-Blinde Fleck

Betrachten Sie diese Standard-Robotergehirne wie ein Radio, das nur die Bässe empfangen kann. Sie sind großartig darin, die langsamen, niederfrequenten Bewegungen zu lernen (den tiefen Wumms des Erdbebens), aber sie ignorieren die hochfrequenten, schnellen Vibrationen (das scharfe Klappern). In der wissenschaftlichen Welt wird dies als spektraler Bias bezeichnet. Egal wie lange man sie trainiert, sie können die hohen Töne nicht hören, was dazu führt, dass ihre Vorhersagen wie eine flache Linie aussehen, obwohl das Gebäude in Wirklichkeit heftig erschüttert wird.

Die Kontrahenten: Zwei neue Wege, um das Radio zu reparieren

Die Forscher in dieser Studie ließen ein Rennen laufen, um zu sehen, wie man das Problem behebt. Sie testeten vier verschiedene Robotergehirn-Designs, aber mit einer sehr strengen Regel: Jedes Gehirn musste exakt die gleiche Anzahl an „Neuronen“ haben (etwa 16.400 Parameter). Dies stellte sicher, dass das Rennen fair war.

Sie testeten zwei Hauptideen:

Das „Fourier-Feature“-Upgrade: Dies ist, als würde man dem Roboter eine spezielle Brille geben, die den Input der Zeit in eine hochdimensionale Karte aus Sinus- und Kosinuswellen übersetzt. Es zwingt den Roboter, die hohen Frequenzen von Anfang an zu sehen.
Das „KAN“-Gehirn: Dies ist eine neuere Art von Gehirn (Kolmogorov-Arnold-Network), bei dem die Verbindungen zwischen den Neuronen keine festen Werte sind, sondern lernbare, flexible Kurven (speziell unter Verwendung von Chebyshev-Polynomen). Es ist, als würde man dem Roboter ein Gehirn geben, das seine eigene interne Verdrahtung anpassen kann, um der Form der Daten zu entsprechen.

Das Rennen: Vier verschiedene Erdbebenszenarien

Die Roboter wurden vier sehr unterschiedlichen Herausforderungen gegenübergestellt:

Bouc–Wen: Ein System, das sich wie ein klebriges, plastisches Material verhält, das sich biegt und nicht perfekt in die Ursprungsform zurückspringt (hysteretisches Verhalten).
Duffing: Ein System mit einer „Doppelmulden“-Energieform, wie ein Ball, der zwischen zwei Hügeln hin und her rollt.
Van der Pol: Ein System, das seinen eigenen Rhythmus erzeugt, wie ein Herzschlag oder ein flatternder Flügel.
3-DOF-Gebäude: Ein dreistöckiges Gebäude, das in mehreren Moden gleichzeitig schwankt.

Die Ergebnisse: Wer hat gewonnen?

Die Ergebnisse waren überraschend und sehr eindeutig.

1. Die Brille gewann das Rennen
Die wichtigste Entdeckung war, dass das Fourier-Feature-Encoding (die spezielle Brille) der entscheidende Faktor war. Als die Forscher diese Brille auf das Standard-MLP-Gehirn setzten, wurde es zu einem Superstar.

In den Duffing- und Van-der-Pol-Tests reduzierte das „Fourier-MLP“ seinen Fehler auf extrem niedrige Werte und erreichte L2-Fehler unter 0,001 (was für diese Benchmarks einer nahezu perfekten Genauigkeit entspricht).
In den Bouc–Wen- und 3-DOF-Gebäude-Tests reduzierte es die Fehler um 98,6 % bis 99,7 %.
Ohne diese Brille versagte das Standard-MLP völlig und sagte fast gar keine Bewegung voraus (Fehler nahe 1,0) für die komplexen Gebäude.

2. Das KAN-Gehirn: Gut, aber nur ohne die Brille
Das KAN-only-Gehirn (ohne die Fourier-Brille) war tatsächlich recht clever. Im Van-der-Pol-Test war es 3,5-mal besser als das einfache MLP, da seine flexiblen internen Kurven wie ein eingebauter Frequenzdecoder wirkten. Dennoch konnte es das Fourier-MLP nicht erreichen.

3. Das Paradoxon: Die Kombination machte es schlechter
Hier ist der Twist, den die Arbeit faszinierend fand. Als sie versuchten, die Fourier-Brille mit dem KAN-Gehirn zu kombinieren (wodurch ein „FPIKAN“ entstand), verschlechterte sich die Leistung.

Im Duffing-Test führte das Hinzufügen der Brille zum KAN-Gehirn tatsächlich zu einer Erhöhung des Fehlers um 201,7 % (es wurde also dreimal schlechter als das KAN-Gehirn allein).
Im Van-der-Pol-Test erhöhte es den Fehler um 9,0 %.

Warum scheiterte die Kombination?

Die Autoren erklären dies mit dem Konzept des „Gradientenflusses“, also der Art und Weise, wie der Roboter aus seinen Fehlern lernt.

Die Fourier-Brille schafft einen sehr glatten, einfachen Pfad für den Roboter zum Lernen.
Die internen Kurven des KAN-Gehirns (Chebyshev-Polynome) sind sehr wendig und komplex. Wenn man den KAN-Roboter zwingt, durch die Fourier-Brille zu schauen, beginnen die „Lernsignale“ (Gradienten) wild zu oszillieren. Es ist, als würde man versuchen, ein Hochleistungs-Rennauto (KAN) auf einer perfekt glatten Rennstrecke (Fourier) zu fahren, aber die Aufhängung des Autos ist so sensibel auf die Glätte, dass es anfängt, sich selbst zu zerlegen. Die Mathematik wird zu chaotisch, damit der Roboter die perfekte Lösung findet.

Das abschließende Urteil

Die Studie kommt zu dem Schluss, dass für die Vorhersage von Gebäudebewegungen die Input-Repräsentation (die Brille) wichtiger ist als die Gehirn-Architektur.

Der Gewinner: Das Fourier-MLP (Standard-Gehirn + Fourier-Brille). Es war am genauesten, am schnellsten zu trainieren und am einfachsten zu verwenden.
Der Zweitplatzierte: Das KAN-only-Gehirn. Es ist eine starke zweite Wahl, wenn man den Frequenzbereich im Voraus nicht kennt, aber es ist nicht so gut wie das Fourier-MLP.
Der Verlierer: Das FPIKAN (KAN + Fourier). Die Arbeit argumentiert explizit, dass die Kombination dieser beiden spezifischen Technologien kontraproduktiv ist und in ihrer jetzigen Form vermieden werden sollte.

Kurz gesagt: Wenn Sie möchten, dass Ihr Roboter Gebäudevibrationen vorhersagt, bauen Sie nicht nur ein fancier Gehirn, sondern geben Sie ihm die richtige Brille, um die hochfrequenten Details zu sehen. Und versuchen Sie nicht, das fanciest Gehirn mit der Brille zu mischen, sonst könnten Sie das ganze System kaputt machen.

Technisches Resümee: Minderung des Spektral-Bias in physik-informierten neuronalen Surrogaten für nichtlineare Strukturmechanik

1. Problemstellung

Standardmäßige Multilayer-Perzeptrone (MLPs), die in physik-informierten neuronalen Netzen (PINNs) verwendet werden, leiden unter einem Spektral-Bias: einer systematischen Tendenz, niederfrequente Komponenten eines Signals zu erlernen, während hochfrequente Moden vernachlässigt werden. Diese Einschränkung ist in der nichtlinearen Strukturmechanik kritisch, da Systemantworten inhärent mehrfrequente Komponenten enthalten (z. B. Grundschwingungen und höhere Harmonische), die aus Modalkopplungen, hysteretischem Verhalten und nichtlinearer Steifigkeit resultieren.

Obwohl kürzlich entwickelte Alternativen wie Kolmogorov–Arnold-Netzwerke (KANs) zur Minderung dieses Effekts durch lernbare Kanten-Aktivierungen vorgeschlagen wurden, sind bestehende Vergleiche zwischen KANs und MLPs oft fehlerhaft. Vorangegangene Studien leiden häufig unter:

Ungleichen Parameteranzahlen.
Unangemessener Eingangsnormalisierung (die zur Sättigung der Aktivierung führt).
Hardcodierten Null-Anfangsbedingungen (ICs), selbst bei Nicht-Null-Zuständen.
Inkonsistenter Anwendung physikalischer Randbedingungen.

Diese methodischen Inkonsistenzen führen zu irreführenden Schlussfolgerungen hinsichtlich der Wirksamkeit architektonischer Entscheidungen gegenüber der Eingangsrepräsentation.

2. Methodik

Diese Studie etabliert ein rigoroses, parameter-angepasstes experimentelles Framework, um die Effekte der Eingangsrepräsentation und der Backbone-Architektur zu isolieren.

2.1 Benchmark-Probleme

Vier kanonische Probleme der nichtlinearen Dynamik wurden ausgewählt, die jeweils eine unterschiedliche dynamische Klasse repräsentieren:

Bouc–Wen-Hystereseschwingung: Ratunabhängige Hysterese (datengetriebenes Training).
Duffing-Oszillator: Kubische geometrische Steifigkeit mit quasiperiodischem Verhalten (physik-informiert).
Erzwungener Van-der-Pol-Oszillator: Selbstangeregte Grenzzyklus-Oszillation (physik-informiert).
Drei-DOF-Scherbaugebäude: Lineare Mehrfrequenz-Modenüberlagerung (datengetrieben).

2.2 Architekturentwurf (2 × 2 Faktoriell)

Vier Modelle wurden verglichen, die alle auf ~16.400 trainierbare Parameter begrenzt waren, um Fairness zu gewährleisten:

Einfaches MLP: Standard-MLP mit normalisiertem Zeiteingang ( $t/t_{max}$ ).
Fourier-MLP: MLP mit Fourier-Feature-Kodierung ( $\Phi(t)$ ).
Nur-KAN: KAN mit lernbaren Chebyshev-Polynom-Aktivierungen und normalisiertem Zeiteingang.
FPIKAN (Fourier-erweitertes KAN): KAN mit Fourier-Feature-Kodierung.

Wichtige methodische Kontrollen:

Eingangsnormalisierung: Eingänge für das einfache MLP und das Nur-KAN-Modell wurden auf $[0, 1]$ normalisiert, um die $\tanh$ -Sättigung zu verhindern; Fourier-Modelle waren aufgrund begrenzter Sinus-/Cosinusfunktionen immun dagegen.
Anfangsbedingungen: Explizite Durchsetzung der wahren physikalischen ICs ( $u(0), \dot{u}(0)$ ) anstelle von hardcodierten Nullen.
Verlustfunktion: Eine vereinheitlichte Verlustfunktion bestehend aus Datentreue ( $L_{data}$ ), Anfangsbedingungs-Constraints ( $L_{IC}, L_{vel}$ ) und physikalischen Residuen ( $L_{phys}$ ) für die anwendbaren Benchmarks.
Training: Adam-Optimizer mit Cosine Annealing über 5.000 Epochen.

2.3 Theoretische Analyse

Die Studie enthält eine Gradientenfluss-Analyse von KAN-Schichten. Sie postuliert, dass, während Chebyshev-Polynome als implizite Spektral-Dekomponierer fungieren, ihre zweiten Ableitungen (die für den physik-informierten Verlust in Differentialgleichungen zweiter Ordnung erforderlich sind) oszillierende Gradientenamplituden erzeugen. Diese Oszillationen erzeugen eine inkompatible Optimierungslandschaft, wenn sie mit Fourier-kodierten Eingängen kombiniert werden, was das Training destabilisieren kann.

3. Kernbeiträge

Parameter-angepasster Vergleich: Der erste rigorose Vergleich von KAN- und MLP-Architekturen über vier nichtlineare Benchmarks hinweg mit strikt gleicher Modellkapazität (~16,4k Parameter).
Faktorieller Ablationsstudie: Ein systematisches $2 \times 2$ Design zur Isolierung der Einzelbeiträge von Fourier-Feature-Kodierung und Backbone-Architektur (MLP vs. KAN).
Methodische Korrektur: Identifizierung und Korrektur von sieben häufigen Implementierungsfehlern ("Bugs") in der PINN-Literatur (z. B. fehlende Geschwindigkeits-ICs, unnormalisierte Zeit, gematchte Parameter), die zuvor die Ergebnisse verzerrt haben.
Gradienten-Inkompatibilitätsanalyse: Mathematische Demonstration, warum die Kombination von Fourier-Kodierung mit Chebyshev-basierten KANs die Leistung verschlechtern kann, bedingt durch konkurrierende Gradientendynamiken.
Bewertung der spektralen Treue: Frequenzbereichsanalyse, die zeigt, dass Zeitbereichs-Fehlermetriken allein nicht ausreichen, um den Spektral-Bias zu diagnostizieren.

4. Ergebnisse

4.1 Dominanz der Fourier-Feature-Kodierung

Die bedeutendste Erkenntnis ist, dass die Fourier-Feature-Kodierung der dominierende Faktor bei der Minderung des Spektral-Bias ist.

Das Hinzufügen der Fourier-Kodierung zu einem einfachen MLP reduzierte die relativen $L_2$ -Fehler über alle Benchmarks hinweg um 98,6 % bis 100 %.
Das Fourier-MLP erreichte in allen vier Benchmarks den niedrigsten Fehler ( $L_2 \le 0,014$ , mit $L_2 < 10^{-3}$ für Duffing und Van der Pol).
Ohne Fourier-Kodierung versagten sowohl das einfache MLP als auch das Nur-KAN-Modell darin, die hochfrequenten Dynamiken in den Bouc–Wen- und 3-DOF-Gebäude-Benchmarks zu erfassen, was zu einem $L_2 \approx 1,0$ (nahezu Null-Vorhersage) führte.

4.2 KAN-Leistung ohne Fourier-Kodierung

In Abwesenheit der Fourier-Kodierung übertraf das Nur-KAN-Modell das einfache MLP in nichtlinearen oszillatorischen Systemen:

Duffing: KAN reduzierte den Fehler um das 1,9-Fache ($0,074$ vs. $0,139$).
Van der Pol: KAN reduzierte den Fehler um das 3,5-Fache ($0,164$ vs. $0,574$).
Dies bestätigt, dass lernbare Chebyshev-Aktivierungen als implizite Spektral-Dekomponierer wirken und den Bias in einfacheren Frequenzregimen teilweise mildern.

4.3 Das „Paradoxon“ von FPIKAN

Entgegen der Erwartung, dass die Kombination zweier Minderungsstrategien zu besseren Ergebnissen führt, performte FPIKAN konsistent schlechter als Fourier-MLP.

Im Duffing-Benchmark erhöhte das Hinzufügen der Fourier-Kodierung zum KAN den Fehler um 201,7 % (von $0,074$ auf $0,224$).
Im Van-der-Pol-Benchmark stieg der Fehler um 9,0 %.
Ursache: Die inhärenten oszillierenden Gradientenamplituden der hochgradigen Chebyshev-Polynome kollidieren mit der glatten Optimierungslandschaft, die für physikalische Residuen zweiter Ordnung erforderlich ist, insbesondere wenn sie mit Fourier-Eingängen gekoppelt werden.

4.4 Konvergenz und Spektralanalyse

Konvergenz: Das Fourier-MLP konvergierte glatt zu $MSE < 10^{-7}$ . FPIKAN konvergierte zunächst, stagnierte jedoch auf höheren Fehlern ( $10^{-3}$ bis $10^{-5}$ ), was konsistent mit der Hypothese der Gradienteninstabilität ist.
Spektrale Treue: Das Fourier-MLP rekonstruierte das volle Frequenzspektrum akkurat. Nicht-Fourier-Modelle zeigten eine schwere Hochfrequenz-Dämpfung und filterten effektiv Moden oberhalb von 2–3 Hz heraus.

5. Bedeutung und Schlussfolgerungen

Die Arbeit kommt zu dem Schluss, dass für physik-informierte neuronale Surrogate in der nichtlinearen Strukturmechanik gilt:

Eingangsrepräsentation ist entscheidend: Die Fourier-Feature-Kodierung ist die wichtigste Designentscheidung, die den Spektral-Bias effektiv eliminiert, unabhängig von der Backbone-Architektur.
Empfohlene Architektur: Das Fourier-MLP ist die empfohlene Architektur, da es den niedrigsten Fehler, das schnellste Training (~2× schneller als KAN-Alternativen) und die einfachste Implementierung bietet.
Wert von Standalone-KAN: KANs bieten einen Mehrwert, wenn eine Fourier-Kodierung nicht praktikabel ist (z. B. unbekannte Frequenzbereiche), da sie MLPs durch implizite Spektral-Dekomposition um bis zu das 3,5-Fache übertreffen.
Kontraproduktive Hybridisierung: Die Kombination von Fourier-Kodierung mit Chebyshev-basierten KANs (FPIKAN) ist derzeit kontraproduktiv aufgrund von Gradienten-Inkompatibilität. Die Autoren schlagen die zukünftige Untersuchung von B-Spline- oder Wavelet-basierten KAN-Varianten mit beschränkten Ableitungen vor, um dies zu lösen.
Methodische Strenge: Die Studie betont, dass die bisherige Vergleichsliteratur durch Implementierungsfehler beeinträchtigt sein könnte. Die Einhaltung von striktem Parameter-Matching, korrekter Normalisierung und korrekter Durchsetzung der Anfangsbedingungen ist für valide wissenschaftliche Schlussfolgerungen in diesem Bereich essenziell.