Sintesi Tecnica: Mitigazione del Bias Spettrale in i Surrogati Neurali Physics-Informed per la Dinamica Strutturale Nonlineare

1. Definizione del Problema

I classici Perceptroni Multistrato (MLP) utilizzati nelle Reti Neurali Physics-Informed (PINN) soffrono di bias spettrale: una tendenza sistematica a apprendere le componenti a bassa frequenza di un segnale, fallendo nel catturare i modi ad alta frequenza. Questa limitazione è critica nella dinamica strutturale nonlineare, dove le risposte del sistema contengono intrinsecamente componenti multifrequenziali (ad esempio, modi fondamentali e armoniche superiori) derivanti da interazioni modali, comportamento isteretico e rigidezza nonlineare.

Sebbene siano state proposte recenti alternative come le Reti Kolmogorov–Arnold (KAN) per mitigare questo fenomeno tramite attivazioni dei bordi apprendibili, i confronti esistenti tra KAN e MLP sono spesso difettosi. Gli studi precedenti soffrono frequentemente di:

• Conteggi di parametri non uguali.
• Normalizzazione impropria degli input (che causa la saturazione delle attivazioni).
• Condizioni iniziali (IC) fissate a zero anche per stati non nulli.
• Applicazione inconsistente dei vincoli fisici.

Queste incongruenze metodologiche portano a conclusioni fuorvianti riguardo l'efficacia delle scelte architettoniche rispetto alle rappresentazioni degli input.

2. Metodologia

Questo studio stabilisce un framework sperimentale rigoroso e con accoppiamento di parametri per isolare gli effetti della rappresentazione dell'input e dell'architettura di base (backbone).

2.1 Problemi di Benchmark

Sono stati selezionati quattro problemi di dinamica nonlineare canonici, ognuno dei quali rappresenta una distinta classe dinamica:

1. Oscillatore Isteretico di Bouc–Wen: Isteresi indipendente dalla velocità (addestramento basato sui dati).
2. Oscillatore di Duffing: Rigidezza geometrica cubica con comportamento quasi-periodico (physics-informed).
3. Oscillatore di Van der Pol Forzato: Oscillazione a ciclo limite auto-eccitata (physics-informed).
4. Edificio a Tre Gradi di Libertà (3-DOF Shear Building): Sovrapposizione modale multifrequenziale lineare (basato sui dati).

2.2 Design Architetturale (2 × 2 Fattoriale)

Sono stati confrontati quattro modelli, tutti vincolati a circa 16.400 parametri addestrabili per garantire l'equità:

1. Plain MLP: MLP standard con input temporale normalizzato ($t/t_{max}$).
2. Fourier-MLP: MLP con codifica di caratteristiche di Fourier ($\Phi(t)$).
3. KAN-only: KAN con attivazioni polinomiali di Chebyshev apprendibili e input temporale normalizzato.
4. FPIKAN (KAN potenziata da Fourier): KAN con codifica di caratteristiche di Fourier.

Controlli Metodologici Chiave:

• Normalizzazione dell'Input: Gli input di Plain MLP e KAN-only sono stati normalizzati nell'intervallo $[0, 1]$ per prevenire la saturazione della $\tanh$; i modelli Fourier sono invece immuni grazie alla natura limitata di seno e coseno.
• Condizioni Iniziali: Applicazione esplicita delle vere condizioni iniziali fisiche ($u(0), \dot{u}(0)$) anziché l'uso di zeri predefiniti.
• Funzione di Perdita: Una perdita unificata composta da fedeltà ai dati ($L_{data}$), vincoli delle condizioni iniziali ($L_{IC}, L_{vel}$) e residui fisici ($L_{phys}$) per i benchmark applicabili.
• Addestramento: Ottimizzatore Adam con cosine annealing su 5.000 epoche.

2.3 Analisi Teorica

Lo studio include un'analisi del flusso del gradiente dei layer KAN. Si ipotizza che, sebbene i polinomi di Chebyshev agiscano come decompositori spettrali impliciti, le loro derivate di secondo ordine (necessarie per la perdita physics-informed in ODE del secondo ordine) producano magnitudo di gradiente oscillanti. Queste oscillazioni creano un panorama di ottimizzazione incompatibile quando combinate con input codificati tramite Fourier, potenzialmente destabilizzando l'addestramento.

3. Contributi Chiave

1. Confronto con Accoppiamento di Parametri: Il primo confronto rigoroso tra architetture KAN e MLP attraverso quattro benchmark non lineari con capacità di modello strettamente uguale (~16,4k parametri).
2. Studio di Ablazione Fattoriale: Un design $2 \times 2$ sistematico che isola i contributi individuali della codifica delle caratteristiche di Fourier e dell'architettura di base (MLP vs. KAN).
3. Correzione Metodologica: Identificazione e correzione di sette comuni "bug" di implementazione nella letteratura PINN (es. mancanza di velocità nelle IC, tempo non normalizzato, parametri disallineati) che precedentemente falsavano i risultati.
4. Analisi dell'Incompatibilità del Gradiente: Dimostrazione matematica del perché la combinazione di codifica Fourier con KAN basate su Chebyshev possa degradare le prestazioni a causa di dinamiche di gradiente conflittuali.
5. Valutazione della Fedeltà Spettrale: Analisi nel dominio della frequenza che dimostra come le metriche di errore nel dominio del tempo siano insufficienti per diagnosticare il bias spettrale.

4. Risultati

4.1 Dominanza della Codifica delle Caratteristiche di Fourier

Il risultato più significativo è che la codifica delle caratteristiche di Fourier è il fattore dominante nella mitigazione del bias spettrale.

• L'aggiunta della codifica di Fourier a un Plain MLP ha ridotto l'errore relativo $L_2$ dal 98,6% al 100% in tutti i benchmark.
• Fourier-MLP ha ottenuto l'erroso più basso in tutti e quattro i benchmark ($L_2 \le 0,014$, con $L_2 < 10^{-3}$ per Duffing e Van der Pol).
• Senza la codifica di Fourier, sia il Plain MLP che il KAN-only hanno fallito nel catturare la dinamica ad alta frequenza nei benchmark Bouc–Wen e 3-DOF building, producendo un $L_2 \approx 1,0$ (predizione prossima allo zero).

4.2 Prestazioni KAN Senza Codifica di Fourier

In assenza di codifica di Fourier, il KAN-only ha superato il Plain MLP nei sistemi oscillatori non lineari:

• Duffing: KAN ha ridotto l'errore di 1,9× ($0,074$ vs. $0,139$).
• Van der Pol: KAN ha ridotto l'errore di 3,5× ($0,164$ vs. $0,574$).
• Ciò conferma che le attivazioni di Chebyshev apprendibili agiscono come decompositori spettrali impliciti, mitigando parzialmente il bias in regimi di frequenza più semplici.

4.3 Il "Paradosso" di FPIKAN

Contrariamente all'aspettativa che la combinazione di due strategie di mitigazione produca risultati migliori, FPIKAN è costantemente stato inferiore a Fourier-MLP.

• Nel benchmark Duffing, l'aggiunta della codifica di Fourier a KAN ha aumentato l'errore del 201,7% (da $0,074$a$0,224$).
• Nel benchmark Van der Pol, l'errore è aumentato del 9,0%.
• Causa: Le magnitudo oscillanti del gradiente inerenti ai polinomi di Chebyshev ad alto grado confliggono con il panorama di ottimizzazione fluido richiesto dai residui fisici del secondo ordine, specialmente quando accoppiati con input Fourier.

4.4 Convergenza e Analisi Spettrale

• Convergenza: Fourier-MLP è convergito fluidamente a $MSE < 10^{-7}$. FPIKAN è convergito inizialmente ma si è stabilizzato su livelli di errore più elevati ($10^{-3}$ a $10^{-5}$), in linea con l'ipotesi di instabilità del gradiente.
• Fedeltà Spettrale: Fourier-MLP ha ricostruito accuratamente l'intero spettro di frequenza. I modelli senza Fourier hanno mostrato una severa attenuazione delle alte frequenze, filtrando efficacemente i modi sopra i 2–3 Hz.

5. Significato e Conclusioni

Il documento conclude che, per i surrogati neurali physics-informed nella dinamica strutturale non lineare:

1. La Rappresentazione dell'Input è Critica: La codifica delle caratteristiche di Fourier è la scelta di design più importante, eliminando efficacemente il bias spettrale indipendentemente dall'architettura di base.
2. Architettura Raccomandata: Fourier-MLP è l'architettura raccomandata, offrendo l'errore più basso, un addestramento più veloce (~2× rispetto alle alternative KAN) e una implementazione più semplice.
3. Valore del KAN Standalone: Le KAN forniscono valore quando la codifica di Fourier non è fattibile (ad esempio, intervalli di frequenza sconosciuti), poiché superano gli MLP fino a 3,5× attraverso la decomposizione spettrale implicita.
4. Controproduttività dell'Ibridazione: Combinare la codifica di Fourier con le KAN basate su Chebyshev (FPIKAN) è attualmente controproducente a causa dell'incompatibilità del gradiente. Gli autori suggeriscono l'esplorazione futura di varianti KAN basate su B-spline o wavelet con derivate limitate per risolvere il problema.
5. Rigore Metodologico: Lo studio sottolinea che la letteratura comparativa precedente potrebbe essere compromessa da difetti di implementazione. L'adesione a un rigoroso accoppiamento di parametri, una corretta normalizzazione e l'applicazione corretta delle condizioni iniziali è essenziale per trarre conclusioni scientifiche valide in questo campo.