Single- to multi-fidelity history-dependent learning with uncertainty quantification and disentanglement: application to data-driven constitutive modeling

Immagina di dover insegnare a un robot come prevedere come un pezzo di metallo si piegherà, si allungherà o si spezzerà quando lo tiri. Non si tratta di una semplice regola del tipo "tira forte, si rompe"; il metallo ricorda ogni volta che lo hai tirato in precedenza. La sua storia cambia il modo in cui reagisce successivamente. Questo è il mondo della modellazione costitutiva, un termine altisonante per capire le regole che governano il comportamento dei materiali. Per insegnare queste regole a un robot, hai bisogno di dati. Ma ecco l'inghippo: ottenere i dati perfetti è come cercare di fotografare un colibrì in un uragano: richiede enormi quantità di tempo, denaro e potenza di calcolo. D'altro canto, ottenere dati veloci è facile, come scattare una foto sfuocata da lontano, ma sono pieni di errori e rumore. Gli scienziati sono stati a lungo intrappolati in un tiro alla fune: spendere una fortuna per dati perfetti, o risparmiare denaro e gestire dati disordinati e imprecisi?

Il saggio che stai per leggere affronta esattamente questo dilemma. Introduce un nuovo e intelligente modo per insegnare alle macchine utilizzando un mix di entrambi i tipi di dati, insegnando al contempo alla macchina a ammettere quando sta tirando a indovinare. Gli autori utilizzano un metodo chiamato apprendimento multi-fedeltà (multi-fidelity learning), che è come assumere un team di esperti dove hai alcuni consulenti super costosi e super accurati e una whole schiera di assistenti più economici, veloci, ma leggermente meno accurati. L'obiettivo è combinare le loro opinioni per ottenere la risposta migliore possibile senza mandare in bancarotta. Inoltre, il saggio affronta l'incertezza, distinguendo tra due tipi di "non sapere": l'incertezza aleatoria, ovvero la casualità naturale o il "rumore" nei dati (come la grana di sabbia in una foto), e l'incertezza epistemica, ovvero l'ignoranza del modello dovuta al fatto che non ha visto abbastanza esempi. Gli autori vogliono un sistema che non fornisca solo una risposta, ma che vi dica anche quanto si fida di quella risposta e quanta parte dell'errore derivi dai dati stessi rispetto alla mancanza di conoscenza del modello.

La grande idea del saggio: Un team intelligente di predittori

Gli autori, Jiaxiang Yi, Bernardo P. Ferreira e Miguel A. Bessa, propongono un nuovo framework flessibile che può apprendere da qualsiasi combinazione di questi tipi di dati. Hanno costruito un "coltellino svizzero" di modelli di machine learning che possono adattarsi a diversi scenari. Al cuore della loro invenzione c'è qualcosa che chiamano Reti Neurali Ricorrenti con stima della Varianza Bayesiana (VeBRNNs).

Pensa a una normale rete neurale come a uno studente che impara a memoria le risposte. Se gli poni una domanda che non ha mai visto prima, potrebbe semplicemente indovinare con sicurezza, anche se sbaglia. Una rete Bayesiana, invece, è come uno studente cauto che dice: "Penso che la risposta sia X, ma sono sicuro solo all'80%, ed ecco un intervallo di altre possibilità". La parte "Ricorrente" significa che questo studente ha memoria; ricorda la storia di ciò che è accaduto prima, il che è fondamentale per i materiali che cambiano in base al loro passato. La parte "stima della Varianza" è il ingrediente segreto: questo studente può anche guardare i dati disordinati e dire: "Ehi, questi dati sono rumorosi a causa dell'esperimento stesso, non perché io sia scarso in matematica". Questa capacità di separare il "rumore" dall' "ignoranza" è una grande scoperta.

I quattro scenari: Testare il team

Per dimostrare che il loro metodo funziona, gli autori hanno creato quattro diversi "campi di addestramento" utilizzando materiali simulati. Non hanno usato solo un tipo di dati; li hanno mescolati e accoppiati per vedere come il loro sistema gestiva diverse sfide:

1. Il solista rumoroso: Sono partiti con un solo tipo di dati che era veloce da generare ma pieno di rumore (come una foto sfuocata). Hanno addestrato la loro VeBRNN qui e hanno scoperto che poteva prevedere accuratamente il comportamento del materiale, riuscendo anche a capire esattamente quanto "rumore" ci fosse nei dati. Ha imparato a separare il segnale dal disturbo.
2. La coppia perfetta: Successivamente, hanno provato una configurazione classica: un mix di dati economici e meno accurati e dati costosi e altamente accurati (in questo caso specifico, nessuno dei due presentava rumore). Qui, hanno dimostrato che usando i dati economici per apprendere la forma generale del problema e i dati costosi per rifinire i dettagli, potevano ottenere risultati migliori rispetto all'uso dei soli dati costosi, specialmente quando non avevano molti dati costosi a disposizione.
3. Il doppio problema: Questo è stato il test più difficile. Sia i dati economici che quelli costosi erano rumorosi. È come cercare di imparare una canzone quando sia l'insegnante che il libro di testo hanno degli errori di battitura. Sorprendentemente, il loro modello multi-fedeltà ha comunque performato bene, specialmente nel prevedere ciò che sta al di fuori dei dati di addestramento (estrapolazione), superando un modello che guardava solo ai dati costosi.
4. L'eroe ibrido: Infine, hanno mescolato dati economici e rumorosi con dati costosi e perfetti. Questo è uno scenario molto comune nel mondo reale. Il loro sistema ha usato i dati rumorosi per farsi un'idea approssimativa e i dati perfetti per correggere gli errori. Hanno scoperto che anche se i dati economici erano un po' disordinati, usarli aiutava il modello a imparare più velocemente e con maggiore accuratezza rispetto al semplice attendere i dati costosi.

Cosa hanno scoperto: La magia del mix

I risultati sono stati molto incoraggianti. Gli autori hanno scoperto che il loro metodo è incredibilmente versatile. Può iniziare come un semplice modello deterministico (prevedere solo la media) e scalare fino a un complesso modello bayesiano che quantifica ogni tipo di incertezza.

Una delle scoperte più interessanti riguarda quanto dato economico serva. Se hai un budget limitato, non dovresti comprare solo un po' di dati costosi o solo un po' di dati economici. Gli autori suggeriscono che esiste un "punto ottimale" in cui si spende circa il 30% - 70% del budget per i dati più economici. Se spendi troppo poco per i dati economici, il modello non impara bene i pattern generali. Se spendi troppo poco per i dati costosi, il modello non riesce mai a centrare i dettagli. Ma se trovi questo equilibrio, l'approccio multi-fedeltà supera costantemente l'uso di un solo tipo di dato.

Hanno anche dimostrato che il loro metodo è particolarmente bravo nell'estrapolazione — ovvero prevedere cosa accadrà in situazioni che il modello non ha ancora visto. Quando al modello viene chiesto di indovinare al di fuori della sua zona di addestramento, un modello standard potrebbe dare una risposta errata con sicurezza. La VeBRNN, tuttavia, si rende conto di non sapere abbastanza e allarga il suo "intervallo di confidenza", dicendo essenzialmente: "Non sono sicuro di questa". Questa è una funzione di sicurezza cruciale per l'ingegneria, dove essere troppo sicuri di sé può portare a disastri.

In sintesi

Questo saggio non pretende di aver risolto ogni problema nella scienza dei materiali. Al contrario, offre un toolkit potente e adattabile. Dimostra che non è necessario scegliere tra velocità e accuratezza; si possono avere entrambe le cose unendo intelligentemente diversi livelli di qualità dei dati. Insegnando alle macchine a comprendere la propria incertezza e a separare il rumore dei dati dalla propria mancanza di conoscenza, gli autori hanno aperto la porta a progettazioni basate sui dati più affidabili. Che si tratti di progettare l'ala di un nuovo aeroplano o un ponte più sicuro, questo metodo suggerisce che possiamo costruire modelli migliori più velocemente, usando meno dati perfetti, mantenendo però un sano senso di scetticismo su ciò che non conosciamo ancora.