Score-based diffusion models for accurate crystal-structure inpainting and reconstruction of hydrogen positions

기술 요약: 정확한 결정 구조 인페인팅 및 수소 위치 재구성을 위한 스코어 기반 확산 모델

문제 정의
결정성 물질에서 수소 원자의 정확한 원자 위치를 결정하는 것은 계산 재료 과학 분야에서 여전히 중요한 과제로 남아 있다. 수소는 풍부하며 에너지 저장부터 반도체 산업에 이르기까지 다양한 응용 분야에서 매우 중요하지만, X선 및 전자 산란 능력이 낮아 표준 X선 회절법으로는 위치를 파악하기 어렵다. 결과적으로, 역사적인 결정학 데이터베이스(MC3D, COD, ICSD, MPDS로부터 유래된 것 포함)에는 수소 위치가 누락되었거나, 휴리스틱(heuristics)을 통해 삽입되었거나, 상당한 불확실성을 가지고 결정된 구조들이 포함되어 있는 경우가 많다. 양자 결정학(quantum crystallography)과 같은 실험적 발전이나 값비싼 중성자 산란을 통해 이러한 위치를 해결할 수 있지만, 기존 데이터베이스는 여전히 불완전하거나 근사적인 데이터에 크게 의존하고 있다. 핵심적으로 다루고자 하는 문제는 알려진 "호스트(host)" 결정 구조(수소를 제외한 골격)가 주어졌을 때, 누락된 수소 위치를 재구성하여 정확하고 안정적이며 완전한 결정 구조를 생성하는 것이다.

방법론
저자들은 스코어 기반 확산 모델(score-based diffusion models)과 컴퓨터 비전의 이미지 인페인팅(inpainting) 기술을 결합한 생성적 접근 방식을 제안한다.

1. 모델 아키텍처: 본 연구는 원래 새로운 결정 구조를 생성하도록 설계된 마이크로소프트의 사전 학습된 스코어 기반 확산 모델인 MatterGen을 활용한다. 저자들은 이 모델을 전체 생성(full generation)이 아닌 특정 작업인 인페인팅(누락된 데이터를 채우는 작업)을 위해 재학습시키고 적응시킨다.
2. 인페인팅 전략: 다음과 같은 여러 접근 방식을 벤치마킹한다:
   • MatterGen Baseline: 격자와 원자 유형을 고정한 상태에서 원래 모델을 적용한 방식.
   • pos-only: 격자와 원자 유형은 고정하고 원자 위치만을 디노이징(denoise)하도록 재학습된 모델.
   • pos-only-RePaint: 재학습된 모델에 RePaint 알고리즘을 결합하여, 인페인팅된 영역과 알려진 영역을 조화시키기 위해 알려진 영역을 반복적으로 재샘플링하는 방식.
   • pos-only-TD (Time-Dependent): 컴퓨터 비전의 TD-Paint 개념을 새롭게 적응시킨 모델. 이 모델은 단일 구조 내에서 가변적인 노이즈 수준을 처리하도록 훈련된다. 이 모델은 "깨끗한" 알려진 위치(노이즈 0)를 조건으로 디노이징 과정을 수행하는 동시에, 누락된 수소 사이트를 반복적으로 예측(높은 노이즈)한다. 이를 통해 모델은 알려진 호스트 구조에 노이즈를 추가하지 않고도 직접 활용할 수 있다.
3. 워크플로우:
   • 호스트 구조(수소 사이트가 제거된 상태)에서 시작한다.
   • 단위 격자(unit cell) 내에 $N_H$개의 수소 사이트를 무작위로 초기화한다.
   • $N_{steps}$번의 반복을 통해 pos-only-TD 확산 모델을 적용하여 수소 위치를 예측한다.
   • 머신러닝 원자간 포텐셜(MLIP), 구체적으로 Nequest를 사용하여 호스트 원자와 셀을 고정한 상태에서 수소 사이트의 **제한적 완화(constrained relaxation)**를 수행한다.
   • Nequest를 사용하여 모든 위치(호스트 원자 포함)에 대한 전체 완화를 수행한다.
4. 평가 지표: 성공 여부는 두 가지 방식으로 정의된다:
   • 구조적 일치(Structural Match): 예측된 구조가 pymatgen의 StructureMatcher 허용 오차 범위 내에서 참조 구조와 일치하는지 확인한다.
   • 낮은 에너지 또는 구조적(LES) 일치: 예측이 구조와 일치하거나, 혹은 참조 구조보다 에너지적으로 더 안정적인 구성(DFT 또는 MLIP 기준)을 찾아내는 것을 의미한다.

주요 결과
본 방법론은 MC3D 데이터베이스에서 추출한 두 가지 데이터셋에 대해 평가되었다:

• DFT 데이터셋: DFT를 통해 완화된 것으로 알려진 수소 위치를 가진 구조들.

• EXP 데이터셋: DFT 정제 전의 원래 실험 구조들.

• 성능 비교: pos-only-TD 모델은 baseline MatterGen, pos-only 모델, 그리고 pos-only-RePaint 방식보다 성능이 월등히 뛰어났다.

  • RePaint는 분산을 개선했으나, (~300 단계 대비 ~1000 단계가 필요하여) 계산 비용이 증가했으며 일치율을 크게 높이지는 못했다.
  • pos-only-TD 모델은 DFT 기반의 "핀볼(pinball)" 방식이 약 87%에 도달한 것과 유사한 수준의 구조적 일치율을 보였으나, 더 효율적인 글로벌 최적화 접근 방식을 취했다.

• 성공률:

  • 구조당 단일 샘플을 생성했을 때 높은 일치율을 달ert했다.
  • 여러 샘플(예: $k=10$ 또는 $k=30$)을 생성하고 가장 안정적인 구성을 선택함으로써, LES 일치율은 DFT+MLIP 데이터셋에서 97% 이상, EXP+MLIP 데이터셋에서 97.2%를 초과했다.
  • 소스 데이터베이스에서 "이론적(theoretical)"이라고 표시된 구조들을 제외했을 때, EXP 데이터셋에 대한 성공률은 99%를 넘어섰다.

• 안정성 및 일반화:

  • "일치하지 않는" 많은 예측값들이 실제로는 참조 구조보다 에너지적으로 더 안정적인 것으로 나타났는데, 이는 데이터베이스의 실험적 참조값이 최적이 아니거나 잘못되었음을 시사한다.
  • 모델은 최대 20개의 원자를 가진 구조로만 훈련되었음에도 불구하고, 최대 40개의 원자를 가진 단위 격자 구조에 대해 제로샷 일반화(zero-shot generalization) 능력을 보여주었다. 시스템 규모가 커짐에 따라 성능이 약간 저하되었으나, LES 일치율은 90% 이상을 유지했다.

• 계산 효율성: 확산 방식은 조합 폭발(combinatorial explosion)과 높은 계산 비용을 수반하는 DFT 기반 핀볼 방식보다 훨씬 빠르다.

의의 및 주장
본 논문은 이미지 인페이팅 기술(특히 TD-Paint)을 재료 과학으로 전이하는 것이 unconditioned diffusion 모델이나 전통적인 DFT 기반 접근 방식보다 더 빠르고 정확한 호스트 구조 완성을 가능하게 한다고 주장한다.

• 데이터베이스 큐레이션: 이 방법은 누락된 수소 위치를 신뢰성 있게 재구성함으로써, 수소를 포함하는 재료의 고속 스크리닝을 가능하게 하여 MC3D와 같은 재료 데이터베이스를 큐레이션하고 확장할 수 있는 강력한 도구를 제공한다.
• 안정적인 구성의 발견: 이 접근 방식은 단순히 알려진 구조를 재구성하는 데 그치지 않고, 종종 보고된 실험 데이터베이스보다 더 안정적인 구성을 식별해 낸다. 이는 역사적인 오류나 휴리스틱에 의한 삽입을 바로잡을 수 있음을 의미한다.
• 수소-무관 전이성(Hydrogen-Agnostic Transferability): 모델은 "수소-무관" 방식으로 훈련되었다. 저자들은 이 아키텍처가 재학습 없이도 양극재에 이온(예: Li, Na)을 삽입하거나 뮤온 정지 사이트(muon stopping sites)를 예측하는 등의 다른 인페인팅 작업으로 쉽게 전이될 수 있다고 주장한다.
• 미래 연구의 토대: 본 논문은 이 방법을 전체 재학습이 아닌, 더 큰 구조나 특정 응용 분야를 위해 미세 조정(fine-tuning)할 수 있는 기초로 자리매김한다.

저자들은 성공률의 정의에 구조적 회복뿐만 아니라 더 안정적인 구성의 발견을 포함시켰으며, 후자를 단순한 재구성 실패가 아닌 더 물리적으로 정확한 상태를 예측한 성공으로 규정한다.