Data-Efficient Training of Linear ACE Potentials through Leverage-Guided Subset Selection of ASSYST Structure Pools

기술 요약: 레버리지 가이드 서브셋 선택을 통한 선형 ACE 포텐셜의 데이터 효율적 학습

문제 정의
기계 학습 기반 원자 간 포텐셜(MLIP), 특히 원자 클러스터 확장(ACE) 기반 모델의 개발은 종종 대규모 밀도 범함수 이론(DFT) 학습 데이터셋을 생성하는 데 따르는 높은 계산 비용에 의해 제약을 받는다. ASSYST(Automated Small SYmmetric Structure Training)와 같은 프레임워크는 다양한 후보 구조 풀(종종 수만 개)을 체계적으로 생성할 수 있지만, 신뢰할 수 있는 정확도를 달로하기 위해 얼마나 많은 구성(configuration)에 DFT 라벨링을 수행해야 하는지는 여전히 미해결 과제로 남아 있다. 기존의 데이터 효율적 전략들은 능동 학습(반복적인 재학습 필요)이나 라벨 기반 휴리스틱(후보자의 순위를 매기기 위해 DFT 라벨 필요)에 의존하는 경우가 많으며, 이는 근본적으로 초기 라벨링 비용을 줄이지 못한다. 또한, 데이터 선택에 관한 이전 연구들은 학습 세트 크기를 줄이는 것이 결함 에너지론이나 합금 시스템과 같이 물리적으로 구별되는 영역으로의 포텐셜 전이성(transferability)을 저해하는지 여부를 철저히 조사하지 않았다.

방법론
저자들은 선형 ACE 포텐셜 학습을 위한 라벨이 필요 없는(label-free), 기하학 기반의 서브셋 선택 전략을 제안한다. 핵심 방법론은 양자 역학적 라벨(에너지 또는 힘)에 대한 접근 없이도 회귀 적합에 대한 특정 구성의 영향력을 정량화하는, ACE 디자인 행렬에서 유도된 **통계적 레버리지 점수(statistical leverage scores)**에 의존한다.

1. 데이터 생성: 본 연구는 원소 알루미늄(Al), 구리(Cu), Al–Cu 합금을 위해 사전 생성된 ASSYST 구조 풀을 활용한다. 이 풀은 무작위 결정 프로토타입을 샘플링하고, 이를 완화(relaxation)시킨 후, 제어된 섭동(perturbation)을 가하여 생성된 작은 주기적 셀(8–10개 원자)을 포함한다.
2. 모델 아키텍처: 사이트 에너지가 대칭 적응 기저 함수(symmetry-adapted basis functions)의 선형 결합으로 표현되는 선형 ACE 모델이 사용된다. 적합 문제는 티코노프 정규화(Tikhonov-regularized) 베이지안 선형 회귀로 정식화된다.
3. 레버리지 기반 선택:
   • 구성 수준 점수: 개별 관측치(예: 단일 힘 성분)를 선택하는 대신, 저자들은 행 수준(row-level) 레버리지 점수를 구성 수준 메트릭($L_R$)으로 집계한다. 이 점수는 오직 가중 디자인 행렬의 기하학적 구조와 정규화 사전 확률(prior)에만 의존한다.
   • 샘플링 전략: 두 가지 CUR 유형의 서브샘플링 모드가 구현된다:
     • Energy-CUR: 에너지 전용 특성 행렬에서 유도된 레버리지 점수를 기반으로 구성을 선택한다.
     • Block-CUR: 에너지 및 힘 데이터의 전체 블록으로부터 유도된 레버리지 점수를 기반으로 구성을 선택하며, 각 구성을 상관관계가 있는 행 블록으로 취급한다.
   • 베이스라인: 레버리지 가이드 방식은 무작위 샘플링, 에너지 기반 선택(DFT 에너지 잔차에 의한 순위 지정), 힘 기반 선택(DFT 힘 잔차에 의한 순위 지정)과 비교된다.
4. 검증 프로토콜: 반복적인 프로토콜을 사용하여 학습 세트를 풀의 10%로 초기화하고 확장한다. 성능은 홀드아웃(held-out) 테스트 세트와 벌크, 표면, 결정립계(grain boundary), 결함 구조를 포함하는 독립적인 DFT 검증 세트에서 평가된다.

주요 기여

• 라벨 프리 효율성: 본 논문은 레버리지 점수가 DFT 라벨링 이전에 계산될 수 있음을 보여주며, 이를 통해 전체 후보 풀에 대한 DFT 라벨링 계산 비용을 피할 수 있는 "필터링 후 라벨링(filter-then-label)" 워크플로우를 가능하게 한다.
• 전이성 보존: 단순한 적합 메트릭에만 집중했던 이전의 데이터 선택 연구들과 달리, 본 연구는 축소된 학습 세트가 결함 에너지론(공공, 결정립계) 및 합금 형성 에너지와 같은 분포 외(out-of-distribution) 특성에 대해 정확도를 유지하는지 명시적으로 검증한다.
• 체계적 비교: 고정된 ACE 아키텍처를 사용하여 원소 및 합금 시스템에 걸쳐 선택 전략을 통제된 비교를 제공함으로써, 하이퍼파라미터 튜닝으로부터 선택 전략의 영향을 분리한다.

결과

• 데이터 효율성: 원소 Al 및 Cu에 대해, 레버리지 가이드 서브셋(특히 block-CUR)은 무작위 샘플링에 필요한 라벨링 구성의 **30–40%**만을 사용하여 플래토(plateau) 수준의 에너지 및 힘 정확도를 달성한다. 이는 실질적인 2–3배의 DFT 라벨링 비용 감소에 해당한다.
• 수렴 동작: 레버리지 가이드 방식은 무작위 또는 잔차 기반 선택에 비해 더 낮은 실행 간 변동성을 보이며, 더 매끄럽고 재현 가능한 학습 곡선을 나타낸다. Block-CUR은 지속적으로 가장 낮은 힘 오차를 기록하며, 에너지 전용 또는 휴리스틱 베이스라인보다 더 빠르게 포화 상태에 도달한다.
• 결함 및 합금 성능:
  • Cu의 경우, 레버리지 기반 선택은 공공 형성 에너지 및 결정립계 에너지를 예측하는 데 있어 베이스라인보다 크게 우수한 성능을 보이며, 오차를 약 0.25 eV에서 약 0.04 eV로 줄인다.
  • Al–Cu 합금의 경우, 충분한 화학적 다양성이 확보되면 모든 전략이 규칙 격자간 화합물(ordered intermetallics)에 대해 유사하게 작동하지만, 레버리지 가이드 선택(특히 25% 데이터에서의 CUR)은 희박 영역(Al 내의 Cu)에서 우수한 정확도를 달성하며, 50% 베이스라인 모델에 비해 공공 형성 오차를 크게 줄인다.
• 독립 검증: 훈련 또는 선택에 사용되지 않은 독립적인 DFT 테스트 세트에 대한 검증은, 축소된 데이터 세트가 벌크, 표면 및 결함 구조에 대한 예측 충실도를 저하시지 않음을 확인시켜 준다.

의의 및 주장
저자들은 디스크립터 공간 가이드형, 라벨 프리 서브샘플링이 선형 ACE 포텐셜 개발에서 DFT 작업량을 줄이기 위한 실용적이고 통계적으로 근거 있는 전략이라고 주장한다. 본 논문은 다음과 같이 논증한다:

1. 데이터 효율성과 전이성은 상호 배타적이지 않다: 만약 선택이 스칼라 잔차가 아닌 디스크립터 공간의 기하학적 구조에 의해 유도된다면, 고품질의 전이 가능한 포텐셜을 상당히 작은 서브셋으로도 훈련할 수 있다.
2. 기하학이 선택을 주도한다: 디스크립터 공간을 포괄하는(높은 레버리지를 가진) 구성을 우선시함으로써, 이 방법은 무작위 또는 잔차 기반 방식에 의해 흔히 드물게 샘플링되는 깨진 대칭(broken-symmetry) 및 저배위 환경(결함에 결정적임)을 효과적으로 포착한다.
3. 워크플로우 최적화: 이 접근법은 "라벨링 후 필터링"에서 "필터링 후 라벨링"으로의 전환을 가능하게 하여, 생성된 방대한 후보 구조의 대다수에 대한 DFT 라벨링을 제거함으로써 MLIP 개발의 비용 구조를 근본적으로 변화시킨다.

본 논문은 비록 이 방법이 선형 ACE 모델에 대해 입증되었으나, 기하학 중심의 서브셋 선택 원칙이 체계적으로 생성된 구조 풀을 사용하는 MLIP의 데이터 효율성을 향상시키는 일반적인 경로를 제공한다고 결론짓는다.