🔬 materials science

ADAPT: Lightweight, Long-Range Machine Learning Force Fields Without Graphs

이 논문은 기존의 GNN 기반 방법들의 한계를 극복하기 위해 모든 원자 쌍 간의 상호작용을 명시적으로 모델링하는 트랜스포머 아키텍처 기반의 경량 그래프 프리(graph-free) 머신 러닝 힘 필드인 ADAPT를 소개하며, 이를 통해 실리콘 점 결함에 대해 현저히 낮은 예측 오차와 계산 비용을 달성하였다.

원저자: Evan Dramko, Yihuang Xiong, Yizhi Zhu, Geoffroy Hautier, Thomas Reps, Christopher Jermaine, Anastasios Kyrillidis

게시일 2026-09-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Evan Dramko, Yihuang Xiong, Yizhi Zhu, Geoffroy Hautier, Thomas Reps, Christopher Jermaine, Anastasios Kyrillidis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

재료 과학자들은 종종 완벽한 결정(crystal)을 모든 건물과 거리가 정교하게 들어맞는, 동일한 벽돌로 지어진 도시와 같은 결점 없는 격자로 생각합니다. 하지만 실제 재료는 결코 완벽하지 않습니다. 원자 하나가 빠지거나, 위치가 바뀌거나, 다른 종류로 대체된 것과 같은 아주 작은 결함인 '점 결함(point defects)'을 포함하고 있습니다. 이러한 작은 불완전함들은 실제로 재료의 성질을 결정하는 가장 중요한 부분이며, 재료가 전기를 어떻게 전도하는지, 얼마나 강한지, 그리고 열에 어떻게 반응하는지를 결정합니다. 이러한 특성을 이해하기 위해 연구자들은 거대한 시뮬레이션 블록 내의 모든 원자에 작용하는 에너지와 힘을 계산해야 합니다. 수십 년 동안 이 작업을 수행하는 표준적인 방법은 전자의 행동을 모사하는 복잡한 물리학 방정식을 사용하는 것이었습니다. 이러한 계산은 정확하지만 매우 느리고 비용이 많이 들며, 단 몇 시간 동안 실행하는 데도 슈퍼컴퓨터를 필요로 합니다. 이러한 병목 현상은 더 나은 재료를 설계하는 데 필요한 방대한 양의 결함 조합을 연구하는 것을 어렵게 만들었습니다.

속도를 높이기 위해 과학자들은 머신러닝을 활용하여, 매번 무거운 물리학 방정식을 풀지 않고도 힘과 에너지를 예측하도록 컴퓨터 프로그램을 훈련시켜 왔습니다. 대부분의 프로그램은 원자를 사회적 네트워크의 노드처럼 취급하여, 서로 가까이 있는 원자들을 연결하는 방식으로 작동합니다. '그래프(graph)'라고 알려진 이 접근 방식은 단순하고 균일한 재료에는 잘 작동합니다. 그러나 결함이 존재할 경우 이 방식은 어려움을 겪는데, 결함이 재료 전체로 퍼져나가는 파동 효과를 만들기 때문입니다. '사회적 네트워크' 방식은 종종 이러한 장거리 파동을 완만하게 만들어 버려, 재료가 어떻게 작동하는지를 결정하는 미묘하지만 결정적인 변화를 놓치곤 합니다. 한 새로운 연구는 이 네트워크 개념을 완전히 버리는 다른 접근 방식을 소개합니다. 원자들을 그래프 상의 연결 관계로 다루는 대신, 연구진은 모든 원자를 하나의 리스트에 담긴 개별 항목으로 취급하여, 컴퓨터가 거리와 상관없이 모든 원자 쌍 사이의 관계를 한 번에 고려할 수 있도록 했습니다.

에반 드람코(Evan Dramko)와 동료들이 이끄는 연구진은 ADAPT라고 부르는 시스템을 개발했습니다. 그들은 이 시스템을 컴퓨터 칩에 사용되는 재료인 실리콘에 대한 데이터셋으로 테스트했으며, 특히 원자가 빠지거나 바뀐 복잡한 결함에 초점을 맞췄습니다. 이 설정에서 컴퓨터는 이웃을 찾거나 연결 지도를 만들지 않습니다. 대신, 시뮬레이션 내 모든 원자의 가공되지 않은 위치(x, y, z 좌표)와 화학적 정체성을 가져와 강력한 학습 엔진에 입력합니다. 인간의 언어를 이해하도록 돕는 기술에서 영감을 받은 이 엔진은 각 원자를 문장 속의 단어처럼 취급합니다. 엔진은 전체 원자 리스트를 동시에 읽으며, 각 원자가 다른 모든 원자에 어떻게 영향을 미치는지 주목합니다. 이를 통해 모델은 결함이 결정 전체를 어떻게 왜곡하는지에 대한 큰 그림을 볼 수 있으며, 단순히 주변부만을 보는 것이 아니라 전체 구조를 파악할 수 있습니다.

이 새로운 방법의 결과는 놀라웠습니다. 연구진이 그래프 기반 네트워크 접근 방식에 의존하는 기존의 가장 우수한 도구들과 ADAPT를 비교했을 때, ADAPT는 훨씬 적은 실수를 범했습니다. ADAPT는 기존의 선도적인 그래프 기반 모델보다 약 33% 적은 오차로 원자에 작용하는 힘을 예측하면서도, 훨씬 적은 컴퓨팅 자원을 사용했습니다. 이 시스템은 매우 효율적이어서, 기존 방식이 고성능 컴퓨터 클러스터를 사용하여 며칠 동안 실행되어야 했던 반면, AD-APT는 일반적인 워크스테이션 노트북에서도 훈련이 가능했습니다. 시간 측면에서 보면, 새로운 모델을 훈련하는 데는 강력한 컴퓨터 칩 하나에서 약 3시간이 걸린 반면, 동일한 데이터를 사용하여 기존 모델을 훈련하는 데는 여러 개의 칩에 분산되어 거의 700시간의 컴퓨팅 시간이 필요했습니다. 이러한 엄청난 속도와 비용의 차이는 이 새로운 방법이 이전에는 연구하기에 너무 비쌌던 재료들을 시뮬레이션하는 것을 실질적으로 가능하게 만들 수 있음을 시사합니다.

연구진은 또한 이 새로운 접근 방식이 결함의 특정 과제들을 훨씬 더 잘 처리한다는 것을 발견했습니다. 결정 내에 결함이 있으면, 결함에서 멀리 떨어진 원자들도 변화에 적응하기 위해 미세하게 움직입니다. 기존의 그래프 기반 모델들은 이러한 먼 거리의 움직임을 포착하지 못해 결함의 세부 사항을 흐릿하게 만드는 경우가 많았습니다. 모든 상호작용을 한꺼번에 고려하는 새로운 시스템은 이러한 장거리 효과를 보존했습니다. 연구진은 만약 새로운 모델이 기존의 그래프 방식처럼 인접한 원자들만 보도록 인위적으로 제한한다면 성능이 급격히 떨어진다는 것을 보여주었습니다. 이는 전체 구조를 한 번에 보는 능력이 성공의 핵심이었음을 확인시켜 주었습니다. 이 모델은 느리고 비용이 많이 드는 물리 계산과 일치하는 수준의 정확도로 결함이 있는 결정의 에너지와 각 원자에 가해지는 힘을 예측할 수 있었습니다.

이러한 성공에도 불구하고, 연구진은 자신들의 작업에 대한 한계를 명시하는 데 신중을 기했습니다. 이 시스템은 실리콘의 결함에 대해 구체적으로 훈련되었으며, 아직 다른 재료나 다른 유형의 구조적 문제에 대해 테스트되지 않았습니다. 또한 그들은 힘을 예측하는 프로그램과 에너지를 예측하는 두 개의 별도 프로그램을 사용했기 때문에, 시스템이 일반적으로 힘과 에너지 사이를 연결하는 물리 법칙을 엄격하게 따르지는 않는다는 점을 지적했습니다. 이러한 분리는 더 높은 속도와 유연성을 제공했지만, 이는 모델이 힘과 에너지 사이의 완벽한 물리적 균형을 요구하는 특정 유형의 시뮬레이션에는 사용될 수 없음을 의미합니다. 그러나 결함이 있는 재료의 안정적인 형태를 찾는 구체적인 목표를 위해서는 이 새로운 방법이 매우 효과적임이 입증되었습니다.

이 연구는 원자를 연결된 웹(web)이 아닌 개별 데이터 포인트의 집합으로 취급함으로써, 기존의 그래프 기반 사고방식에서 벗어나는 것이 재료 과학에 새로운 문을 열 수 있음을 시사합니다. 연구진은 원자를 연결된 네트워크가 아닌 개별 데이터의 집합으로 다룸으로써, 실제 재료가 작동하는 방식을 정의하는 복잡한 장거리 행동을 포착할 수 있었습니다. 이러한 관점의 전환은 현대 학습 도구의 효율성과 결합되어, 새로운 재료를 이전보다 더 빠르고 저렴하게 발견할 수 있는 유망한 경로를 제시합니다. 이 연구는 때때로 복잡한 시스템을 이해하는 가장 좋은 방법은 그 연결 관계를 지도화하는 것이 아니라, 컴퓨터가 한 번에 전체 그림을 보게 하는 것임을 보여줍니다.

기술 요약: ADAPT - 그래프를 사용하지 않는 경량형 장거리 머신러닝 포스 필드

1. 문제 정의

점 결함(Point defects)은 재료의 특성을 결정하는 핵심 요소이지만, 이를 모델링하는 것은 상당한 계산적 과제를 안겨줍니다. 밀도 범함수 이론(DFT)과 같은 제일원리 방법론은 정확하지만, 고처리량 스크리닝이나 대규모 슈퍼셀의 구조 완화(structural relaxation)를 수행하기에는 비용이 너무 많이 듭니다.

머신러닝 포스 필드(MLFF)는 계산 효율적인 대안을 제공하지만, 그래프 신경망(GNN) 기반의 최첨단 접근 방식들은 점 결함 적용 시 다음과 같은 특정 한계에 직면합니다:

오버스무딩(Oversmoothing): GNN은 결함의 구조 형성에 필수적인 장거리 상호작용을 표현하는 데 어려움을 겪는 경우가 많습니다.
국소적 편향(Local Bias): GNN 아키텍처는 본질적으로 국소적 상호작용에 집중하며, 대규모 슈퍼셀 전체로 정보를 전파하기 위해 깊은 메시 패싱(message-passing) 레이어가 필요합니다. 이는 "오버스쿼싱(over-squashing)"과 장거리 신호의 저하를 초축할 수 있습니다.
계산 비용: GNN의 메시 패싱 알고리즘은 대규모 주기적 슈퍼셀에서 계산 집약적이어서 확장성을 제한합니다.

2. 방법론: ADAPT 아키텍처

저자들은 그래프 표현 대신 트랜스포머(Transformer) 아키텍처를 이용한 직접적인 좌표 기반 정식화를 채택하여, 그래프를 탈피한 MLFF인 **ADAPT(Accelerated Deep Atomic Potential Transformer)**를 소개합니다.

2.1 핵심 설계 원칙

토큰화(Tokenization): 원자는 "토큰"으로 취급됩니다. $n$ 개의 원자로 구성된 구조는 $n$ 개 토큰의 시퀀스로 표현됩니다.
입력 특징(Input Features): 각 토큰은 데카르트 좌표( $x, y, z$ )와 원자 기술자(그룹, 주기, 전기 음성도, 공유 결합 반지름, 원자가 전자, 이온화 에너지, 전자 친화도, 원자 반지름, 몰 부피)를 포함하는 12차원 벡터입니다.
그래프 귀납적 편향 부재(No Graph Inductive Biases): 이 모델은 그래프 토폴로지나 명시적인 기하학적 사전 지식(결합 정의 등)을 배제하고, 원시 좌표로부터 관계를 학습하는 트랜스포머의 능력에 의존합니다.

2.2 아키텍처 구성 요소

시스템은 힘 예측을 위한 네트워크와 에너지 예측을 위한 네트워크, 두 개의 별도 네트워크를 사용합니다.

A. 힘 예측 (Transformer Encoder)

임베딩(Embedding): 다층 퍼셉트론(MLP)이 12차원 입력 토큰을 고차원 잠재 공간( $d_{model}$ )으로 매핑합니다.
트랜스포머 인코더(Transformer Encoder): 시퀀스는 $k$ $k$ 개의 인코더 블록을 통과하며, 각 블록은 다음을 포함합니다:
- 레이어 정규화(Layer Normalization, LN): 학습 안정성을 보장합니다.
- 멀티 헤드 스케일드 닷-프로덕트 어텐션(Multi-Head Scaled Dot-Product Attention): 토큰들이 상호작용하는 핵심 메커니즘입니다. GNN과 달리 **전체 비마스크 셀프 어텐션(full, unmasked self-attention)**을 사용하여 모든 원자가 단 한 단계 내에 서로 상호작용할 수 있게 함으로써, 깊이에 기반한 전파 없이도 장거리 의존성을 포착합니다.
- 피드 포워드 네트워크(FFN): 개별 토큰에 비선형 변환을 적용합니다.
힘 투영(Force Projection): 선형 투영을 통해 인코딩된 토큰을 3D 힘 벡터( $f_x, f_y, f_z$ )로 매핑합니다.

B. 에너지 예측 (MLP + Residual)

별도의 모델이 전체 구조의 형성 에너지를 예측합니다.
저자들은 세 가지 아키텍처(Decoder, MLP, MLP+Residual)를 테스트했으며, **잔차 연결이 있는 MLP(MLP with residual connections)**가 가장 우수한 성능을 보임을 확인했습니다.
입력 처리: MLP는 고정된 길이의 입력을 필요로 하므로, 구조는 최대 220개 원자(64개 원자의 Si 격자와 도펀트를 포함한 데이터셋 기준)까지 패딩(padding)됩니다.

2.3 손실 함수 및 학습 전략

중요도 가중 MSE(Importance-Weighted MSE): 결함 코어의 힘(높은 크기)과 벌크 격자(0에 가까운 크기) 사이의 규모 불균형을 해결하기 위해, 저자들은 특화된 손실 함수를 도입했습니다.
- 중요도 마스크 $m_i$ 가 결함 위치( $D$ )와의 근접성에 따라 원자에 가중치를 부여합니다.
- 가중치는 결함으로부터의 거리에 따라 멱법칙(power law)으로 감소합니다: $m_i = \prod_{j \in D} (1 + \frac{\lambda_1}{\|r_i - r_j\|^2 + \lambda_2})$ .
- 이를 통해 모델이 사소한 벌크 원자들의 오차를 최소화하기보다 중요한 결함 영역의 예측을 우선시하도록 합니다.
분리된 모델: 힘과 에너지는 별도의 모델로 예측됩니다. 이는 모듈형 배포와 독립적인 재학습을 가능하게 하지만, 저자들은 이로 인해 비보존적(non-conservative) 포스 필드가 되어(힘이 에너지 표면의 기울기로 보장되지 않음) 발생할 수 있음을 언급합니다.

3. 주요 기여

그래프 프리(Graph-Free) MLFF: ADAPT는 그래프 표현 없이 트랜스포머를 활용하여 고정밀 포스 필드를 구축할 수 있음을 입증하며, 글로벌 원자 상호작용을 직접 처리합니다.
명시적 장거리 모델링: 전체 셀프 어텐션을 사용함으로써, ADAPT는 모든 쌍별 원자 상호작용을 명시적으로 모델링하여 GNN의 고질적인 문제인 오버스무딩과 장거리 신호 저하 문제를 극복합니다.
계산 효율성: 아키텍처는 현대적 하드웨어(GPU)에 최적화된 조밀한 선형 대수(dense linear algebra)를 활용하여, GNN을 제한하는 희소 연산(sparse operations)을 피합니다.
특화된 손실 함수: 결함 시뮬레이션에 특화된 중요도 가중 손실 함수를 도입하여 표준 평균 제곱 오차(MSE) 대비 실용적 유용성을 높였습니다.

4. 결과

모델은 6,082개의 실리콘 결함 DFT 궤적(단순 및 복잡한 결함 포함) 데이터셋을 통해 평가되었습니다.

정확도:
- 힘(Forces): ADAPT는 0.0126 eV/Å(Small configuration)의 평균 절대 오차(MAE)를 달성하였으며, 이는 재학습된 MACE 모델 대비 약 33%의 오차 감소를 나타냅니다. 또한 사전 학습된 범용 모델인 MatterSim 5M보다 월등한 성능을 보였습니다.
- 에너지(Energy): ADAPT 에너지 예측기는 0.5782 eV의 MAE를 기록하며, 재학습된 MACE 및 MatterSim 5M을 능가했습니다.
계산 비용:
- 학습 시간: ADAPT 힘 모델 학습에는 3 컴퓨팅 시간(1대의 NVIDIA A100에서 80 에포크)이 소요되었습니다.
- 비교: MACE를 재학습하는 데는 680 컴퓨팅 시간(16대의 NVIDIA A00에서 300 에포크)이 필요했습니다. ADAPT는 힘 예측을 위해 227배 이상 빠르며, 에너지 모델을 포함한 전체 과정에서 138배 이상 빠릅니다.
하드웨어 접근성: 컴팩트한 설계 덕분에 GNN 기반 학습이 일반적으로 대규모 클러스터를 요구하는 것과 달리, 워크스테이션이나 소비자용 노트북을 포함한 일반적인 하드웨어에서도 학습이 가능합니다.

5. 의의 및 주장

본 논문은 ADAPT가 다음과 같은 방식으로 결정 결함 모델링의 패러다임 전환을 제공한다고 주장합니다:

DFT 완화 과정 우회: DFT 중단 기준(stopping criteria)인 ~0.01 eV/Å에 필적하는 힘 예측 정확도를 갖춘 ADAPT는 구조 완화 파이프라인을 가속화하기 위한 실행 가능한 대리 모델(surrogate) 역할을 할 수 있습니다.
확장성: 메시 패싱의 계산 오버헤드 없이 대규모 슈퍼셀을 효율적으로 처리할 수 있어, 고처리량 결함 데이터베이스 구축에 적합합니다.
귀납적 편향을 넘어서는 성능: 결과는 이 특정 도메인에서 (그래프와 같은) 강력한 기하학적 귀납적 편향의 필요성에 의문을 제기하며, 충분한 데이터와 글로벌 어텐션 메커니즘이 있다면 트랜스포머가 좌표로부터 물리적 불변성(치환, 이동, 회전)을 직접 학습할 수 있음을 시사합니다.

인정된 한계점:

현재 모델은 비보존적(non-conservative)입니다(힘과 에너지가 분리됨). 이는 엄격한 에너지 보존이 필요한 분자 동역학 시뮬레이션에서의 사용을 제한합니다.
대규모 데이터셋에 의존합니다. 데이터가 제한적인 경우 GNN에 비해 성능이 저하될 수 있습니다.
현재 검증은 실리콘 결함에 국한되어 있으며, 다양한 벌크 구조에 대한 적용 가능성은 향-후 과제로 남아 있습니다.