Evolutionary Extreme Learning Machine of ab-initio Energy Landscapes for Crystal Structure Prediction using Manta Ray Optimization with Levy Flight

Sintesi Tecnica: Macchina di Apprendimento Estremo Evolutiva per Paesaggi Energetici Ab-Initio nella Previsione di Strutture Cristalline mediante Ottimizzazione con Raggio Manta e Volo Lévy

Enunciato del Problema
La previsione della struttura cristallina di materiali basata sugli elementi costituenti è un compito computazionalmente intensivo, in particolare quando si utilizza la tradizionale Teoria del Funzionale della Densità (DFT) per determinare la configurazione atomica che minimizza l'energia totale. Sebbene l'Apprendimento Automatico (ML) offra una via per accelerare la ricerca strutturale e prevedere dati non visti con costi computazionali inferiori, le Macchine di Apprendimento Estremo (ELM) standard affrontano limitazioni specifiche. Sebbene le ELM siano più veloci dei metodi tradizionali di discesa del gradiente e offrano una migliore generalizzazione, spesso richiedono un elevato numero di neuroni nascosti e possono soffrire di problemi mal condizionati a causa della selezione casuale dei pesi di ingresso e dei bias nascosti. Inoltre, le ELM standard possono convergere verso minimi locali. Per affrontare questi problemi, vengono spesso impiegati approcci metaeuristici per ottimizzare i pesi di ingresso, tuttavia algoritmi esistenti come l'Ottimizzazione per Foraggiamento del Raggio Manta (MRFO) possono soffrire di una precisione di convergenza lenta e di una tendenza a rimanere intrappolati in ottimi locali.

Metodologia
Il documento propone una nuova metodologia ibrida denominata EELM-MRFO-LF Evolutiva, che integra una Macchina di Apprendimento Estremo (ELM) con un algoritmo modificato di Ottimizzazione per Foraggiamento del Raggio Manta potenziato dal Volo Lévy (LF).

• Dataset e Rappresentazione: Lo studio utilizza un dataset di circa 14.000 strutture cristalline Li-Ge generate tramite un Algoritmo Genetico per la Previsione di Strutture (GASP) e valutate utilizzando la DFT. I dati di ingresso sono rappresentati mediante Funzioni di Distribuzione Radiale Parziali (RDF) per catturare le distanze atomiche, mentre l'output target è l'energia di formazione (sia non rilassata che rilassata) rispetto ai componenti puri.
• Il Framework ELM: Il modello centrale è una Rete Feedforward a Singolo Strato (SLFN). L'ELM inizializza casualmente i pesi di ingresso e i bias nascosti. I pesi di output sono determinati analiticamente utilizzando l'inversa generalizzata di Moore–Penrose (MP) della matrice di output dello strato nascosto.
• Strategia di Ottimizzazione (MRFO-LF): Per superare gli svantaggi dell'inizializzazione casuale delle ELM standard, l'algoritmo MRFO viene utilizzato per selezionare i pesi di ingresso e i bias nascosti ottimali. Il MRFO imita tre comportamenti di foraggiamento: foraggiamento a catena, foraggiamento a ciclone e foraggiamento con capriola.
  • Integrazione del Volo Lévy: Una modifica chiave consiste nell'incorporare traiettorie di Volo Lévy specificamente durante la fase di foraggiamento con capriola. Ciò è progettato per aumentare la diversità della popolazione di agenti di ricerca (configurazioni ELM). Introducendo un cammino casuale basato su una distribuzione a coda pesante, l'algoritmo potenzia l'esplorazione globale e mitiga il rischio di una convergenza prematura verso ottimi locali.
• Processo di Addestramento: L'algoritmo aggiorna iterativamente la posizione dei "razzi manta" (che rappresentano i vettori di peso) per minimizzare l'Errore Quadratico Medio (RMSE) tra le energie previste e quelle calcolate con la DFT. La funzione di fitness è calcolata utilizzando i pesi di output analitici derivati dall'inversa MP.

Contributi Chiave

1. Nuovo Algoritmo Ibrido: Il documento introduce l'EELM-MRFO-LF, un'integrazione specifica del Volo Lévy nell'algoritmo MRFO adattata per l'addestramento delle ELM.
2. Esplorazione Potenziata: Applicando il Volo Lévy durante la fase di foraggiamento con capriola, il metodo mira esplicitamente alla diversificazione degli agenti di ricerca, cercando di sfuggire agli ottimi locali in modo più efficace rispetto al MRFO standard o ad altre metaeuristiche.
3. Applicazione alle Strutture Cristalline: La metodologia è applicata alla previsione delle energie di formazione in sistemi binari (specificamente Li-Ge), affrontando la sfida di prevedere sia gli stati energetici non rilassati che quelli rilassati rispetto alle strutture allo stato fondamentale.

Risultati
Le prestazioni dell'EELM-MRFO-LF sono state valutate rispetto a diverse tecniche all'avanguardia, tra cui ELM ottimizzata con Algoritmi Genetici (ELM-GA), Algoritmo di Ottimizzazione della Balena (ELM-WOA), Ottimizzazione Sciame di Particelle (ELM-PSO), MRFO tradizionale (ELM-MRFO) e ELM di base. La valutazione ha utilizzato la validazione incrociata a 5 fold su 20 esperimenti casuali con 300 nodi nascosti.

• Accuratezza: L'EELM-MRFO-LF proposta ha raggiunto le metriche di prestazione più elevate. Per la previsione dell'energia di formazione non rilassata, ha ottenuto un RMSE medio di 9,300 meV/atomo e un $R^2$ di 0,995. Per l'energia di formazione rilassata, ha raggiunto un RMSE di 9,100 meV/atomo e un $R^2$ di 0,996.
• Confronto: Questi risultati hanno superato l'ELM-PSO (9,350 meV/atomo per rilassata), l'ELM-MRFO (10,39 meV/atomo per rilassata) e hanno superato significativamente l'ELM di base (19,80 meV/atomo per rilassata).
• Generalizzazione: I risultati indicano che combinare il MRFO con il Volo Lévy migliora non solo le capacità di adattamento ai dati, ma anche le proprietà di generalizzazione dell'ELM, riducendo gli outlier nella previsione di dati non visti attraverso lo spazio composizionale.

Significato e Affermazioni
Il documento afferma che la strategia EELM-MRFO-LF fornisce prestazioni di test superiori rispetto al MRFO tradizionale e ad altre ELM basate su metaeuristiche. Il significato principale risiede nella capacità dell'algoritmo di migliorare iterativamente le capacità di esplorazione ed evitare gli ottimi locali attraverso la diversificazione fornita dal Volo Lévy, migliorando contemporaneamente le proprietà di convergenza dell'algoritmo MRFO. Gli autori affermano che questo approccio offre un compromesso equilibrato tra prestazioni di addestramento e di test, fornendo uno strumento di apprendimento automatico robusto per accelerare la ricerca di configurazioni energetiche nella scienza dei materiali senza il costo computazionale di calcoli DFT ripetuti. Si nota che il lavoro futuro si concentrerà sull'applicazione di questa strategia ad altri problemi di ottimizzazione ingegneristica nella scienza dei materiali e sullo sviluppo di nuove versioni ibride metaeuristiche del MRFO.