An implication of activation functions for Physics-Informed Neural Networks (PINNs) to solve non-autonomous differential equations

Nel vasto panorama della scienza e dell'ingegneria moderna, prevedere come i sistemi cambiano nel tempo è una sfida fondamentale. Che si tratti di tracciare l'orbita di un satellite, modellare la diffusione di una malattia o simulare il flusso di calore attraverso un materiale, gli scienziati si affidano a un tipo specifico di regola matematica nota come equazione differenziale. Queste equazioni descrivono come una quantità cambi in relazione a se stessa e al proprio ambiente. Per decenni, risolvere queste equazioni è stato il dominio dei metodi numerici classici, che scompongono i problemi in piccoli passi gestibili. Sebbene affidabili, questi approcci tradizionali possono diventare computazionalmente costosi e faticare con problemi complessi e ad alta dimensionalità. Negli ultimi anni, un nuovo approccio è emerso, prendendo in prestito dal campo dell'intelligenza artificiale. I ricercatori hanno iniziato a utilizzare le reti neurali — sistemi informatici ispirati al cervello umano — per apprendere e approssimare le soluzioni di queste equazioni. Questi sistemi, noti come Reti Neurali Informate dalla Fisica (Physics-Informed Neural Networks), sono addestrati non solo sui dati, ma sulle leggi fisiche stesse, permettendo loro di trovare soluzioni che rispettino la scienza sottostante.

Tuttavia, affinché queste reti neurali possano funzionare, richiedono un meccanismo interno specifico per introdurre complessità e non linearità, molto simile a un interruttore che permette a un circuito di fare più di non limitarsi a far passare la corrente elettrica direttamente attraverso di esso. Questo meccanismo è chiamato funzione di attivazione. Essa determina come la rete elabora le informazioni ad ogni passaggio, plasmando la sua capacità di apprendere e approssimare la risposta corretta. Per molto tempo, la scelta di quale funzione di attivazione utilizzare in questi risolutori scientifici è stata in un certo senso una supposizione, con i ricercatori che spesso ne sceglievano una basandosi sull'abitudine piuttosto che sull'evidenza. Questa incertezza è importante perché la scelta sbagliata può portare a previsioni imprecise o a un sistema che non riesce ad apprendere la soluzione. La domanda rimane: quale tra le molte opzioni disponibili è davvero la migliore per risolvere le complesse equazioni dipendenti dal tempo che governano il nostro mondo fisico?

Un recente studio si è posto l'obiettivo di rispondere a questa domanda con un approccio sistematico e rigoroso. I ricercatori si sono concentrati su una classe specifica di problemi: le equazioni differenziali ordinarie non autonome. In termini semplici, si tratta di equazioni in cui le regole del cambiamento non sono statiche ma evolvono nel tempo, spesso guidate da fattori esterni come il tempo stesso o condizioni ambientali mutevoli. Per testare le loro teorie, il team ha costruito un'architettura di rete neurale standard e l'ha sottoposta a una batteria di dieci distinte sfide matematiche. Queste sfide includevano equazioni guidate dalla crescita esponenziale, curve polinomiali e onde trigonometriche, coprendo un ampio spettro di comportamenti presenti in natura. Fondamentalmente, i ricercatori hanno mantenuto identica ogni altra variabile nel loro esperimento. Hanno utilizzato la stessa struttura di rete, lo stesso numero di cicli di addestramento e gli stessi punti dati per ogni test. L'unica cosa che cambiava era la funzione di attivazione. Hanno testato nove delle funzioni più comuni utilizzate nel settore, che vanno dalla nota Sigmoide e ReLU a varianti più moderne come GELU, ELU e SiLU.

I risultati di questa estesa simulazione sono stati chiari e decisivi. Lo studio ha rilevato che nessuna funzione era perfetta per ogni singolo scenario, ma una si è distinta come la componente più affidabile in assoluto. La funzione di attivazione GELU è emersa come la scelta principale, fornendo le soluzioni più accurate nel sessanta per cento degli esperimenti. Ha prodotto costantemente gli errori più piccoli rispetto alle risposte esatte note per queste equazioni. A seguire da vicino sono arrivate altre due funzioni, ELU e SELU, che hanno anch'esse dimostrato forti capacità. Al contrario, alcune delle scelte più vecchie e tradizionali, specificamente la Sigmoide e la Softmax, hanno ottenuto scarse prestazioni. I ricercatori hanno attribuito questo fallimento a un fenomeno noto come saturazione, dove queste funzioni diventano così piatte in certe regioni da interrompere l'apprendimento efficace, causando il blocco della rete. Lo studio ha inoltre notato che, sebbene funzioni come la ReLU siano popolari nell'intelligenza artificiale generale, non erano la scelta migliore per questi compiti scientifici specifici, probabilmente perché la loro natura angolare e netta crea difficoltà nel calcolo delle derivate precise richieste dai risolutori basati sulla fisica.

Per garantire che questi risultati non fossero un caso fortuito, i ricercatori hanno ampliato i loro test includendo un secondo set di sei equazioni aggiuntive. I risultati si sono confermati. In questo gruppo esteso, GELU ha nuovamente occupato il primo posto in circa i due terzi dei casi, con ELU che ha preso la guida nel resto. Nessun'altra funzione è riuscita a conquistare la prima posizione in questo gruppo di validazione. Lo studio suggerisce che il successo di GELU ed ELU sia radicato nella loro fluidità matematica. A differenza delle funzioni con angoli acuti o plateau piatti, queste funzioni fluide permettono alla rete di calcolare variazioni e gradienti in modo più affidabile, il che è essenziale quando alla rete viene chiesto di soddisfare le rigide leggi della fisica incorporate nelle equazioni. Questa fluidità aiuta il processo di addestramento a convergere in modo più stabile, portando a risultati finali più accurati.

Le implicazioni di questo lavoro sono pratiche e immediate per gli scienziati e gli ingegneri che si affidano a questi strumenti computazionali. Lo studio fornisce una linea guida chiara e basata sull'evidenza per selezionare lo strumento giusto per il compito assegnato. Piuttosto che trattare la scelta della funzione di attivazione come un'impostazione casuale o universale, i ricercatori suggeriscono che la natura specifica del problema debba dettare la scelta. Per problemi generali dipendenti dal tempo, GELU appare come l'opzione predefinita più robusta. Per problemi che coinvolgono interazioni polinomiali, ELU offre un'alternativa valida. Nel frattempo, lo studio sconsiglia esplicitamente l'uso di funzioni saturanti come la Sigmoide per questo tipo di risolutori basati sui residui, poiché sono probabilmente a ostacolare le prestazioni. Identificando le funzioni di attivazione più efficaci, questa ricerca aiuta a perfezionare le capacità delle reti neurali, aprendo la strada a metodi più efficienti e accurati per risolvere le equazioni differenziali che descrivono il nostro universo. Il lavoro non pretende di aver risolto ogni problema nel campo, ma offre una solida base per sviluppi futuri, puntando verso un approccio più sistematico e informato per costruire la prossima generazione di strumenti di calcolo scientifico.