Evolutionary Extreme Learning Machine of ab-initio Energy Landscapes for Crystal Structure Prediction using Manta Ray Optimization with Levy Flight

Resumen Técnico: Máquina de Aprendizaje Extremo Evolutiva de Paisajes Energéticos Ab-Initio para la Predicción de Estructuras Cristalinas usando Optimización de Rayo Manta con Vuelo Lévy

Enunciado del Problema
Predecir la estructura cristalina de materiales basándose en sus elementos constituyentes es una tarea computacionalmente intensiva, particularmente al utilizar la Teoría del Funcional de la Densidad (DFT) tradicional para determinar la configuración atómica que minimiza la energía total. Si bien el Aprendizaje Automático (ML) ofrece una vía para acelerar la búsqueda de estructuras y predecir datos no vistos con menores costos computacionales, las Máquinas de Aprendizaje Extremo (ELM) estándar enfrentan limitaciones específicas. Aunque las ELM son más rápidas que los métodos tradicionales de descenso de gradiente y ofrecen una mejor generalización, a menudo requieren un alto número de neuronas ocultas y pueden sufrir de problemas mal condicionados debido a la selección aleatoria de pesos de entrada y sesgos ocultos. Además, las ELM estándar pueden converger a mínimos locales. Para abordar estos problemas, a menudo se emplean enfoques metaheurísticos para optimizar los pesos de entrada, sin embargo, algoritmos existentes como la Optimización de Forrajeo de Rayo Manta (MRFO) pueden sufrir de precisión lenta en la convergencia y una tendencia a quedar atrapados en óptimos locales.

Metodología
El artículo propone una metodología híbrida novedosa denominada EELM-MRFO-LF Evolutiva, que integra una Máquina de Aprendizaje Extremo (ELM) con un algoritmo modificado de Optimización de Forrajeo de Rayo Manta potenciado por Vuelo Lévy (LF).

• Conjunto de Datos y Representación: El estudio utiliza un conjunto de datos de aproximadamente 14,000 estructuras cristalinas Li-Ge generadas mediante un Algoritmo Genético para la Predicción de Estructuras (GASP) y evaluadas usando DFT. Los datos de entrada se representan mediante Funciones de Distribución Radial Parciales (RDF) para capturar las distancias atómicas, mientras que la salida objetivo es la energía de formación (tanto no relajada como relajada) relativa a los componentes puros.
• El Marco de la ELM: El modelo central es una Red de Alimentación Avanzada de Capa Única (SLFN). La ELM inicializa aleatoriamente los pesos de entrada y los sesgos ocultos. Los pesos de salida se determinan analíticamente utilizando la inversa generalizada de Moore–Penrose (MP) de la matriz de salida de la capa oculta.
• Estrategia de Optimización (MRFO-LF): Para superar las desventajas de la inicialización aleatoria de las ELM estándar, se utiliza el algoritmo MRFO para seleccionar los pesos de entrada y sesgos ocultos óptimos. MRFO imita tres comportamientos de forrajeo: forrajeo en cadena, forrajeo en ciclón y forrajeo con voltereta.
  • Integración del Vuelo Lévy: Una modificación clave implica incorporar trayectorias de Vuelo Lévy específicamente durante la fase de forrajeo con voltereta. Esto está diseñado para aumentar la diversidad de la población de agentes de búsqueda (configuraciones de ELM). Al introducir un paseo aleatorio basado en una distribución de cola pesada, el algoritmo mejora la exploración global y mitiga el riesgo de convergencia prematura a óptimos locales.
• Proceso de Entrenamiento: El algoritmo actualiza iterativamente la posición de los "rayos manta" (que representan vectores de pesos) para minimizar el Error Cuadrático Medio (RMSE) entre las energías predichas y las calculadas por DFT. La función de aptitud se calcula utilizando los pesos de salida analíticos derivados de la inversa MP.

Contribuciones Clave

1. Algoritmo Híbrido Novel: El artículo introduce EELM-MRFO-LF, una integración específica del Vuelo Lévy en el algoritmo MRFO adaptada para entrenar ELMs.
2. Exploración Mejorada: Al aplicar el Vuelo Lévy durante la etapa de forrajeo con voltereta, el método apunta explícitamente a la diversificación de los agentes de búsqueda, con el objetivo de escapar de los óptimos locales de manera más efectiva que el MRFO estándar u otras metaheurísticas.
3. Aplicación a Estructuras Cristalinas: La metodología se aplica a la predicción de energías de formación en sistemas binarios (específicamente Li-Ge), abordando el desafío de predecir tanto estados de energía no relajados como relajados en relación con las estructuras del estado fundamental.

Resultados
El rendimiento de EELM-MRFO-LF se evaluó frente a varias técnicas de vanguardia, incluyendo ELM optimizada por Algoritmos Genéticos (ELM-GA), Algoritmo de Optimización de Ballena (ELM-WOA), Optimización por Enjambre de Partículas (ELM-PSO), MRFO tradicional (ELM-MRFO) y ELM básica. La evaluación utilizó validación cruzada de 5 pliegues sobre 20 experimentos aleatorios con 300 nodos ocultos.

• Precisión: La EELM-MRFO-LF propuesta logró las métricas de rendimiento más altas. Para la predicción de energía de formación no relajada, alcanzó un RMSE promedio de 9.300 meV/átomo y un $R^2$ de 0.995. Para la energía de formación relajada, logró un RMSE de 9.100 meV/átomo y un $R^2$ de 0.996.
• Comparación: Estos resultados superaron a ELM-PSO (9.350 meV/átomo para relajada), ELM-MRFO (10.39 meV/átomo para relajada) y superaron significativamente a la ELM básica (19.80 meV/átomo para relajada).
• Generalización: Los resultados indican que combinar MRFO con Vuelo Lévy mejora no solo las capacidades de ajuste de datos, sino también las propiedades de generalización de la ELM, reduciendo los valores atípicos en la predicción de datos no vistos a través del espacio composicional.

Significado y Afirmaciones
El artículo afirma que la estrategia EELM-MRFO-LF proporciona un rendimiento de prueba superior en comparación con el MRFO tradicional y otras ELM basadas en metaheurísticas. El significado principal radica en la capacidad del algoritmo para mejorar iterativamente las capacidades de exploración y evitar óptimos locales a través de la diversificación proporcionada por el Vuelo Lévy, mientras mejora simultáneamente las propiedades de convergencia del algoritmo MRFO. Los autores afirman que este enfoque ofrece un equilibrio entre el rendimiento de entrenamiento y prueba, proporcionando una herramienta robusta de aprendizaje automático para acelerar la búsqueda de configuraciones energéticas en ciencia de materiales sin el costo computacional de cálculos DFT repetidos. Se señala que el trabajo futuro se centrará en aplicar esta estrategia a otros problemas de optimización de ingeniería en ciencia de materiales y en desarrollar nuevas versiones híbridas metaheurísticas de MRFO.