🔬 applied physics

Fast and Accurate Foundation Models for Equivariant Machine-Learned Interatomic Potentials

이 논문은 최적화된 NequIP 및 Allegro 아키텍처를 통해 속도와 정확도 사이의 절충 관계를 극복함으로써 원자 간 포텐셜을 위한 빠르고 확장 가능하며 정확한 등변성 파운데이션 모델 제품군을 제시하며, 향후 재료 발견의 개선은 모델의 복잡성 자체보다 데이터셋의 다양성과 일관된 전이 금속 묘사에 더 달려 있음을 강조한다.

원저자: Seán R. Kavanagh, Chuin Wei Tan, Menghang Wang, Marc L. Descoteaux, Gabriel de Miranda Nascimento, Ulrik Unneberg, Laura Zichi, Francesco Libbi, Norma Rivano, Austin Glover, Vivek Bharadwaj, Anders Jo

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Seán R. Kavanagh, Chuin Wei Tan, Menghang Wang, Marc L. Descoteaux, Gabriel de Miranda Nascimento, Ulrik Unneberg, Laura Zichi, Francesco Libbi, Norma Rivano, Austin Glover, Vivek Bharadwaj, Anders Johansson, William C. Witt, Albert Musaelian, Boris Kozinsky

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 투명한 레고 성이 어떻게 움직일지 예측하려고 한다고 상상해 보세요. 흔들면 무너질까요? 열을 금속 팬처럼 잘 전달할까요, 아니면 울 스웨터처럼 단열할까요? 재료 과학의 세계에서 과학자들은 새로운 배터리, 의약품, 초강력 금속을 설계하기 위해 이 작은 구성 블록(원자)들을 시뮬레이션하는 데 슈퍼컴퓨터를 사용합니다. 하지만 문제가 하나 있습니다. 원자들이 어떻게 상호작용하는지 계산하는 가장 정확한 방법은 백만 조각짜리 퍼즐을 손으로 맞추는 것과 같아서, 시간이 엄청나게 오래 걸리고 컴퓨터 비용도 막대하게 듭니다. 이를 가속화하기 위해 과학자들은 "머신 러닝 기반 원자 간 포텐셜(MLIP)"을 만들었습니다. 이것을 아주 똑똑하고 빠르게 감기 기능이 있는 비디오 게임 엔진이라고 생각하면 됩니다. 모든 물리 법칙을 처음부터 일일이 계산하는 대신, 이 엔진은 수백만 번의 이전 계산을 통해 원자들이 보통 어떻게 행동하는지를 "학습"하여, 눈 깜짝할 사이에 결과를 추측할 수 있게 해줍니다. 최근 과학자들은 이 엔진들을 거대한 데이터셋으로 훈련시켜 "파운데이션 모델(foundation models)"을 만들기 시작했습니다. 이는 일종의 범용 치트키와 같아서 특정 작업에 맞춰 조정할 수 있습니다. 하지만 여기서 중요한 질문이 생깁니다. 우리는 이 치트키를 믿을 수 없을 정도로 빠르면서도 동시에 믿을 수 없을 정도로 정확하게 만들 수 있을까요, 아니면 둘 중 하나를 선택해야만 할까요?

이 논문은 바로 그 궁극의 치트키를 만들기로 결정한 한 팀의 이야기이며, 어느 한 쪽을 선택할 필요가 없다는 것을 증명합니다. 그들은 NequIP와 Allegro라는 두 가지 특정 아키텍처를 사용하여 새로운 계열의 "파운데이션 모델"을 개발했습니다. 이 모델들을 두 종류의 서로 다른 운동선수라고 상상해 보세요. 하나는 모든 각도를 꼼꼼히 체크하는 세심한 설계자(NequIP)이고, 다른 하나는 세부 사항에 얽매이지 않고 큰 그림을 보는 번개처럼 빠른 단거리 선수(Allegro)입니다. 연구진은 이 선수들을 1억 개 이상의 원자 구조가 담긴 거대한 라이브러리로 훈련시켰는데, 이는 이전 시스템으로는 훈련하는 데 몇 주가 걸렸을 만큼 방대한 데이터셋입니다. "그래프 컴파일(데이터를 경주 전에 정리하는 것)"과 "혼합 정밀도 수학(쉬운 부분에서는 약간 덜 상세한 계산기를 사용하는 것)"과 같은 영리한 소프트웨어 기법을 사용하여, 그들은 이 모델들을 이전보다 5~10배 더 빠르게 훈련시켰으며, 컴퓨팅 시간을 몇 주에서 단 몇 백 시간의 GPU 시간으로 대폭 줄였습니다.

결과는 혁신적입니다. 연구팀은 이 새로운 모델들이 단순히 빠를 뿐만 아니라, 재료가 어떻게 행동할지 예측하는 데 있어 역대 가장 정확하다는 것을 발견했습니다. 그들은 세 가지 주요 과제를 테스트했습니다: 새로운 재료의 가장 안정적인 형태 찾기(마치 완벽한 레고 구조를 찾는 것과 같음), 재료가 열을 얼마나 잘 전달하는지 예측하기(전자 제품에 매우 중요함), 그리고 재료가 늘어나거나 찌그러지는 정도를 계산하기입니다. 모델들은 이 과제들을 훌륭하게 통과했으며, 종종 이전 기록을 경신하기도 했습니다. 그러나 이 논문은 특정 "사각지대"도 지적합니다. 모델들이 일반적인 화학에는 능숙하지만, 전이 금속(철, 크롬, 망간 등)에 대해서는 여전히 다소 어려움을 겪는데, 이는 까다로운 원소들에 대한 훈련 데이터가 다소 일관되지 않기 때문입니다. 이는 마치 모델들이 대부분의 언어에는 유창하지만, 문법 규칙이 예상치 못하게 변하는 몇몇 방언 때문에 혼란을 느끼는 것과 같습니다.

저자들은 또한 이 모델들이 어떻게 확장되는지도 살펴보았습니다. 그들은 이 모델들이 수천 개의 컴퓨터 칩이 함께 작동하며 1억 개 이상의 원자를 가진 시스템을 시뮬레이션할 수 있음을 보여주었습니다. 이는 매우 중요한데, 이제 과학자들이 원자 단위의 정밀도로 모래 한 알이나 작은 액체 방울 전체를 시뮬레이션할 수 있음을 의미하며, 이는 이전에는 불가능했던 일입니다. 이 논문은 더 나은 재료의 미래가 단순히 더 큰 모델을 만드는 것이 아니라, 훈련 데이터를 정제하는 것(특히 까다로운 전이 금속에 대해)과 데이터를 생성하는 데 사용되는 "규칙"을 일관되게 만드는 것에 달려 있다고 제안합니다. 요컨대, 그들은 더 빠르고, 더 날카로우며, 더 신뢰할 수 있는 도구를 구축하여 소프트웨어 업그레이드만 있다면 속도와 정확성이라는 두 마리 토끼를 모두 잡을 수 있음을 증명했습니다.

기술 요약: 등변성 머신러닝 원자간 포텐셜을 위한 빠르고 정확한 파운데이션 모델

문제 정의
머신러닝 원자간 포텐셜(MLIP)은 대규모의 다양한 데이터셋(예: MPtrj, Alexandria, OMat24)을 기반으로 학습되어 다운스트림 미세 조정(fine-tuning)에 활용되는 "파운데이션 모델"로서 계산 재료 과학 분야에서 필수적인 요소가 되었습니다. 그러나 결정적인 병목 현상이 존재합니다: 분자 동역학(MD)과 같은 과학적 응용 분야는 높은 정확도와 높은 추론/학습 속도를 모두 요구합니다. 회전 및 반전과 같은 물리적 대칭성을 인코딩하는 등변성(equivariant) 아키텍처는 우수한 정확도와 데이터 효율성을 제공하지만, 초거대 데이터셋(수억 개의 구조)에 대해 이를 학습시키는 것은 역사적으로 계산 비용이 매우 높았으며, 종종 수 주의 학습 시간을 필요로 했습니다. 또한, 특히 데이터 효율성보다 순수 성능이 더 중요한 거대 데이터셋으로 확장할 때, 모델 크기, 추론 속도, 그리고 정확도 사이의 상충 관계를 어떻게 균형 있게 조절할 것인지에 대해서도 여전히 불분명합니다.

방법론
저자들은 점진적으로 커지는 무기 재료 데이터셋(DIRECT ~186k, MPtrj ~1.58M, MPA ~10.5M, OAM ~113M 구조)을 바탕으로 NequIP 및 Allegro 등변 그래프 신경망 아키텍처를 기반으로 한 일련의 파운데이션 포텐셜을 제시합니다.

주요 방법론적 발전 사항은 다음과 같습니다:

인프라 가속화: 본 연구는 torch.compile을 통한 학습 시간 그래프 컴파일, 다중 GPU 학습을 위한 분산 데이터 병렬(DDP) 전략, 그리고 최적화된 텐서 곱 커널(NequIP을 위한 OpenEquivariance, Allegro를 위한 cuEquivariance)을 포함한 최근의 Nequip 프레임워크 발전을 활용합니다.
혼합 정밀도 학습: 저자들은 임베딩에는 float64를, 텐서 곱에는 float32를 사용하고 중간 계산에는 자동 혼합 정밀도(automatic mixed precision)를 사용하는 혼합 정밀도 전략을 사용하여, 정확도의 유의미한 손실 없이 학습 속도를 최대 3배까지 가속화했습니다.
2단계 학습: 최적의 학습 프로토콜은 힘 오차(force error)에 높은 가중치를 두는 초기 실행 후, 에너지 오차 가중치를 높이고 학습률을 줄이며 완전 정밀도(full precision)를 사용하는 지속 실행(continuation run)을 포함합니다.
모델 변체: 매개변수 수, 정확도, 속도 사이의 트레이드오프를 탐색하기 위해 다양한 크기(Small, Medium, Large, Extra-Large)의 모델을 학습시켰습니다. OAM 데이터셋 학습에는 특정 프로토콜이 적용되었습니다: OMat24(비평형 기하 구조)에서 사전 학습을 수행한 후, Materials Project 설정과의 호환성을 보장하기 위해 MPA에서 미세 조정을 수행했습니다.

주요 기여

가속화된 학습 파이프라인: 그래프 컴파일 및 가속 커널의 통합을 통해, 이전의 수 주 단위 요구 사항에서 크게 단축된 약 100~750 GPU 시간(H100/H200 GPU 사용 시)이라는 적절한 계산 비용으로 1억 개 이상의 구조를 가진 고정확도 파운데이션 모델을 학습시킬 수 있습니다.
벤치마킹 스위트: 모델들은 다음을 포함하는 커뮤니티 벤치마크를 통해 엄격하게 평가되었습니다:
- 재료 발견: 기저 상태 기하 구조 및 볼록 외곽(convex hull) 에너지 예측 (Matbench Discovery).
- 열 전도도: 포논 힘 상수(phonon force constants)를 통한 비평형 특성 예측.
- 근평형 특성: 벌크/전단 탄성률, 열용량 및 힘 크기 비율 평가 (MatCalc).
확장성 분석: NequIP 아키텍처는 이전에는 반복적 메시지 패싱(iterative message-passing)으로 인해 제한적이었으나, 이제는 Kokkos 가속 ML-IAP 인터페이스를 통해 LAMMPS에서의 효율적인 다중 GPU 추론을 지원하여 최대 1,000만 개의 원자를 가진 시스템 시뮬레이션을 가능하게 합니다.

결과

정확도: Nequip-OAM-XL 모델은 벤치마크 전반에서 최첨단(SOTA) 성능을 달고하며, 볼록 외곽 에너지 MAE는 19.7 meV/atom, 열 전도도 대칭 상대 평균 오차( $\kappa_{SRME}$ )는 0.129를 달성했습니다.
스케일링 법칙 (Scaling Laws):
- 모델 크기: 정확도는 일반적으로 소형에서 대형 모델로 갈수록 모델 크기에 따라 멱법칙(power-law) 개선을 따릅니다. 그러나 XL 모델은 포화 징후를 보이는데, 이는 극단적인 규모에서 특정 아키텍처의 수익 체감(diminishing returns)을 시사합니다.
- 데이터셋 크기: 열 전도도 정확도는 데이터셋 크기에 따라 이상적으로 스케일링됩니다 (Nequip의 경우 멱법칙 지수 $\alpha \approx 0.24$ ). 이는 비평형 기하 구조의 가치를 확인시켜 줍니다. 반면, 재료 발견 정확도는 MPA에서 OAM으로 확장될 때 개선이 제한적입니다.
오차 분석: 재료 발견 정확도의 개선 부족은 조성적 다양성과 전이 금속 화합물의 일관되지 않은 기술 때문인 것으로 나타났습니다. 특히 다가(multi-valent) 제1로 전이 금속(V, Cr, Mn, Fe)과 악티늄족(Np, Pu)에서 오차가 현저히 높았습니다. 저자들은 이를 산화물/불화물에는 적용되었으나 금속에는 적용되지 않은 Hubbard $U$ 보정의 불일치된 적용과 상관 전자계(correlated electronic systems)의 내재적 복잡성 때문이라고 분석했습니다.
속도 대 정확도: 학습된 모델들은 정확도-속도 트레이드오프의 파레토 최적선(Pareto front)을 정의합니다. 예를 들어, Nequip-OAM-XL은 다른 선도적인 모델(예: eSEN-30M-OAM)과 대등한 결합 성능 점수를 달성하면서도 약 10배 더 빠른 추론 속도를 보여줍니다.
과도한 연화 (Over-softening): 다양한 데이터셋(비평형 구조 포함)으로 학습된 대형 모델은 "과도한 연화"(고에너지 상태에서 힘을 과소평가하는 현상)가 최소화되었으며, 힘 크기 비율( $f/f_{DFT}$ )은 0.98에 도달했습니다.

의의 및 주장
본 논문은 고정확도 파운데이션 포텐셜을 학습하는 데 있어 주요 장벽은 더 이상 계산 비용이 아니라 데이터의 품질과 다양성이라고 주장합니다. 저자들은 재료 발견 MLIP의 향후 발전이 모델의 규모를 키우는 것보다 다음 사항에 더 의존할 것이라고 주장합니다:

일관된 데이터: 학습 데이터셋 전반에서 발생하는 불일치한 계산 설정(예: Hubbard $U$ 적용 방식)으로 인한 계통 오차를 제거하는 것.
화학적 다양성: 이온 치환을 넘어 더 넓은 화학적 및 구조적 다양성, 특히 복잡한 전이 금속 시스템을 포함하도록 데이터셋을 확장하는 것.
아키텍처 적응성: 서로 다른 원소들의 이질적인 복잡성을 처리하기 위해 모델 용량을 일률적으로 팽창시키지 않고, 국부적 화학 환경에 따라 반경 및 각도 해상도를 동적으로 조정할 수 있는 모델을 개발하는 것.

이 연구는 현재의 인프라를 통해 개별 연구 그룹이 약 1억 개의 원자를 시뮬레이션할 수 있는 고충실도 대규모 원자 시뮬레이션을 수행할 수 있는 파운데이션 모델을 학습시키고 배포하는 것이 가능하다는 것을 입증합니다. 제공된 모델들은 특정 화학 공간을 대상으로 하는 미세 조정의 견고한 시작점 역할을 합니다.

유사한 논문