Evolutionary Extreme Learning Machine of ab-initio Energy Landscapes for Crystal Structure Prediction using Manta Ray Optimization with Levy Flight

기술 요약: 바다전갱이 최적화 및 레비 비행을 활용한 결정 구조 예측을 위한 원자력 에너지 지형의 진화적 극한 학습기

문제 제기
구성 원소를 기반으로 물질의 결정 구조를 예측하는 것은 계산 집약적인 작업이며, 특히 전통적인 밀도 범함수 이론 (DFT) 을 사용하여 총 에너지를 최소화하는 원자 배치를 결정할 때 더욱 그렇습니다. 머신러닝 (ML) 은 구조 탐색을 가속화하고 계산 비용을 낮추어 보지 못한 데이터를 예측할 수 있는 경로를 제공하지만, 표준 극한 학습기 (ELM) 는 특정 한계를 안고 있습니다. ELM 은 전통적인 경사 하강법보다 빠르고 향상된 일반화 능력을 제공하지만, 종종 많은 수의 은닉 뉴런을 필요로 하며 입력 가중치와 은닉 편향의 무작위 선택으로 인해 조건 불량 문제를 겪을 수 있습니다. 또한 표준 ELM 은 지역 최소값에 수렴할 수 있습니다. 이러한 문제를 해결하기 위해 메타휴리스틱 접근법이 입력 가중치를 최적화하는 데 자주 사용되지만, 기존 알고리즘인 바다전갱이 채식 최적화 (MRFO) 는 수렴 정밀도가 느리고 지역 최적점에 갇히는 경향이 있을 수 있습니다.

방법론
본 논문은 극한 학습기 (ELM) 와 레비 비행 (LF) 으로 강화된 수정된 바다전갱이 채식 최적화 알고리즘을 통합한 EELM-MRFO-LF라는 새로운 하이브리드 방법론을 제안합니다.

• 데이터셋 및 표현: 본 연구는 구조 예측을 위한 유전 알고리즘 (GASP) 을 통해 생성되고 DFT 로 평가된 약 14,000 개의 Li-Ge 결정 구조 데이터셋을 활용합니다. 입력 데이터는 원자 거리를 포착하기 위해 부분 방사 분포 함수 (RDF) 로 표현되며, 목표 출력은 순수 성분 대비 형성 에너지 (비완화 및 완화 상태 모두) 입니다.
• ELM 프레임워크: 핵심 모델은 단일 층 순방향 네트워크 (SLFN) 입니다. ELM 은 입력 가중치와 은닉 편향을 무작위로 초기화합니다. 출력 가중치는 은닉층 출력 행렬의 무어 - 펜로즈 (MP) 일반화 역행렬을 사용하여 분석적으로 결정됩니다.
• 최적화 전략 (MRFO-LF): 표준 ELM 의 무작위 초기화 단점을 극복하기 위해 MRFO 알고리즘을 사용하여 최적의 입력 가중치와 은닉 편향을 선택합니다. MRFO 는 연쇄 채식, 태풍 채식, somersault 채식이라는 세 가지 채식 행동을 모방합니다.
  • 레비 비행 통합: 주요 수정 사항은 somersault 채식 단계 동안 레비 비행 궤적을 통합하는 것입니다. 이는 검색 에이전트 (ELM 구성) 의 다양성을 증가하도록 설계되었습니다. 무거운 꼬리 분포에 기반한 무작위 보행을 도입함으로써 알고리즘은 전역 탐색을 강화하고 지역 최적점으로의 조기 수렴 위험을 완화합니다.
• 학습 과정: 알고리즘은 예측된 에너지와 DFT 계산된 에너지 간의 제곱평균제곱근 오차 (RMSE) 를 최소화하기 위해 "바다전갱이"(가중치 벡터를 나타냄) 의 위치를 반복적으로 업데이트합니다. 적합도 함수는 MP 역행렬에서 유도된 분석적 출력 가중치를 사용하여 계산됩니다.

주요 기여

1. 새로운 하이브리드 알고리즘: 본 논문은 ELM 훈련을 위해 맞춤화된 MRFO 알고리즘에 레비 비행을 통합한 EELM-MRFO-LF 를 소개합니다.
2. 향상된 탐색: somersault 채식 단계에 레비 비행을 적용함으로써, 이 방법은 검색 에이전트의 다양화를 명시적으로 목표로 하여 표준 MRFO 나 기타 메타휴리스틱보다 지역 최적점에서 더 효과적으로 탈출하는 것을 목표로 합니다.
3. 결정 구조에 대한 적용: 이 방법론은 이원계 (특히 Li-Ge) 의 형성 에너지 예측에 적용되어, 기저 상태 구조에 대한 비완화 및 완화 에너지 상태 모두를 예측하는 과제를 해결합니다.

결과
EELM-MRFO-LF 의 성능은 유전 알고리즘으로 최적화된 ELM(ELM-GA), 고래 최적화 알고리즘 (ELM-WOA), 입자 군집 최적화 (ELM-PSO), 전통적 MRFO(ELM-MRFO), 그리고 기본 ELM 을 포함한 여러 최첨단 기법과 비교 평가되었습니다. 평가는 300 개의 은닉 노드를 사용하여 20 개의 무작위 실험에 걸쳐 5-fold 교차 검증을 수행했습니다.

• 정확도: 제안된 EELM-MRFO-LF 는 최고의 성능 지표를 달성했습니다. 비완화 형성 에너지 예측의 경우 평균 RMSE 가 9.300 meV/atom이고 $R^2$가 0.995였습니다. 완화 형성 에너지의 경우 RMSE 는 9.100 meV/atom이고 $R^2$는 0.996이었습니다.
• 비교: 이러한 결과는 ELM-PSO(완화 기준 9.350 meV/atom), ELM-MRFO(완화 기준 10.39 meV/atom) 를 능가했으며, 기본 ELM(완화 기준 19.80 meV/atom) 보다 훨씬 우수한 성능을 보였습니다.
• 일반화: 결과는 MRFO 와 레비 비행을 결합하면 데이터 피팅 능력뿐만 아니라 ELM 의 일반화 특성도 향상시켜 조성 공간 전반에 걸쳐 보지 못한 데이터 예측 시 이상치를 줄인다는 것을 나타냅니다.

의의 및 주장
본 논문은 EELM-MRFO-LF 전략이 전통적인 MRFO 및 기타 메타휴리스틱 기반 ELM 에 비해 우수한 테스트 성능을 제공한다고 주장합니다. 주요 의의는 레비 비행을 통해 제공되는 다양화로 인해 지역 최적점을 피하면서 탐색 능력을 반복적으로 개선하고 MRFO 알고리즘의 수렴 특성을 동시에 향상시키는 알고리즘의 능력에 있습니다. 저자들은 이 접근 방식이 훈련과 테스트 성능 사이의 균형을 잡은 절충안을 제공하여, 반복적인 DFT 계산의 계산 비용 없이 재료 과학에서 에너지 구성 탐색을 가속화하는 강력한 머신러닝 도구를 제공한다고 주장합니다. 향후 작업은 이 전략을 재료 과학의 다른 공학 최적화 문제에 적용하고 MRFO 의 새로운 하이브리드 메타휴리스틱 버전을 개발하는 데 초점을 맞출 것으로 언급되었습니다.