SynCoTrain: A Dual Classifier PU-learning Framework for Synthesizability Prediction

기술 요약: SynCoTrain

문제 정의
새로운 물질의 발견은 합성 가능성(synthesizability)을 신뢰성 있게 예측할 수 없다는 점에 의해 저해됩니다. 열역학적 안정성 지표(예: 형성 에너지, 컨벡스 헐(convex hull)로부터의 거리)는 부분적인 통찰을 제공하지만, 물질이 실제로 구현될 수 있는지를 결정하는 운동학적 요인, 기술적 제약 및 특정 합성 조건을 설명하지 못합니다. 이 문제에 머신러닝을 적용하는 데 있어 핵심적인 병목 현상은 음성 데이터(negative data)의 부족입니다. 실패한 합성 시도는 공개된 데이터베이스에 거의 포함되지 않거나 발표되지 않습니다. 결과적으로, 표준 지도 학습 방식은 명시적인 '합성 불가능' 사례의 부재로 인해 어려움을 겪습니다. 또한, 단일 모델에 의존하는 것은 모델 자체의 구조적 편향을 도입하여, 특히 분포 외(out-of-distribution) 데이터에 대한 속성을 예측할 때 일반화 능력을 저해할 수 있습니다.

방법론
저자들은 산화물 결정의 합성 가능성을 예측하기 위해 설계된 준지도 학습 프레임워크인 SynCoTrain을 제안합니다. 이 프레임워크는 음성 레이블의 부재를 해결하고 모델 편향을 완화하기 위해 양성 및 미라벨(Positive and Unlabeled, PU) 학습과 코트레이닝(co-training) 전략을 통합합니다.

• 코트레이닝 프레임워크: SynCoTrain은 상호 보완적인 분류기로서 두 가지 서로 다른 그래프 합성 신경망(GCNN)을 사용합니다.

  • ALIGNN (Atomistic Line Graph Neural Network): 원자 결합과 결합 각도를 인코딩하여 "화학자의 관점"을 반영합니다.
  • SchNet: 연속적인 컨볼루션 필터를 사용하여 원자 구조를 인코딩하며, "물리학자의 관점"을 반영합니다.
  • 프레임워크는 두 개의 병렬 반복 시리즈를 실행합니다. 각 시리즈에서 분류기는 역할을 교대합니다. 한 분류기는 현재의 양성 집합과 음성으로 취급된 미라벨 데이터의 샘플링된 하위 집합을 대상으로 학습한 후, 나머지 미라벨 데이터에 대한 레이블을 예측합니다. 높은 신뢰도의 예측값은 다음 반복 단계에서 다른 분류기가 학습할 수 있도록 양성 클래스를 확장하는 데 사용됩니다. 이러한 지식 교환 과정을 통해 모델은 서로 다른 데이터 뷰(view)로부터 학습할 수 있습니다.

• PU 학습 구현: 각 반복 내에서 베이스 러너(base learners)는 Mordelet과 Vert의 방법에 기반한 배깅(bagging) 접근 방식(60회 실행)을 활용합니다. 각 실행에서 미라벨 데이터의 무작위 하위 집합이 음성 클래스 역할을 합니다. 각 데이터 포인트의 합성 가능성 점수는 이 60회 실행의 평균 확률입니다.

  • 임계값: 코트레이닝 반복 중에 양성 클래스를 확신 있게 확장하기 위해 0.75의 임계값이 사용됩니다. 최종 평균 점수에는 이진 레이블을 생성하기 위해 0.5의 임계값이 적용됩니다.

• 최종 예측기: 코트레이닝 과정이 완료되면(반복 2에서 최적임을 확인), 생성된 레이블은 최종 합성 가능성 예측기 학습에 사용됩니다. 저자들은 최종 단계로 SchNet을 선택하였으며, Materials Project 데이터 분포에 대한 과적합을 방지하기 위해 다음과 같은 규제 기술을 적용했습니다.

  • 레이블 노이즈 주입 (레이블의 5%를 반전).
  • 원자 위치의 가우시안 노이즈 섭동을 통한 데이터 증강.
  • 가중치 손실 함수 (0.45:0.55 비율).
  • 드롭아웃 레이어 및 Cosine Annealing with Warm Restarts를 이용한 학습률 스케줄링.

주요 결과

• 성능 지표: 모델은 내부 및 리브-아웃(leave-out) 테스트 세트에서 **95–97%**의 재현율(recall) 범위를 달로 달성했습니다. 최적의 반복 단계(반복 2)에서 모델은 미라벨 이론적 데이터의 약 **21%**를 합성 가능한 것으로 예측했습니다.
• 안정성 상관관계: 모델은 명시적인 안정성 레이블 학습 없이도 안정성과 합성 가능성 사이의 관계를 성공적으로 포착했습니다. 불안정한 결정(에너지 > 1 eV above the convex hull)은 합성 가능한 것으로 분류될 확률이 2.5배 낮았습니다. 그러나 모델은 안정성만으로는 불충분하다는 점도 정확히 식별해 냈는데, 에너지가 1 eV 미만인 결정 중 약 21%만이 합성 가능한 것으로 분류되었습니다.
• 일반화: 최종 예측기는 훈련에 사용되지 않은 외부 데이터셋에 대해 평가되었습니다.
  • OQMD: Materials Project 테스트 세트에 비해 합성 가능한 결정의 비율이 더 높게 나타났습니다.
  • WBM (무작위 샘플링): 인공적인 데이터의 특성을 반영하여 모호한 예측(점수 약 0.5)을 보였습니다.
  • iMatGen (생성형): 비현실적인 구조 생성을 반영하여 가장 낮은 합성 가능성 점수를 보였습니다.
• 그라운드 트루스(Ground Truth) 검증: 레이블이 알려진 안정성 예측 작업을 사용하여, 저자들은 동적 및 리브-아웃 테스트 세트에서 도출된 재현율 값이 그라운드 트루스 재현율에 밀접하게 근접함을 입증함으로써 평가 지표의 신뢰성을 검증했습니다.

의의 및 주장
본 논문은 코트레이닝을 활용하여 모델 편향을 줄이고 음성 데이터의 부족을 처리함으로써 합성 가능성 예측 문제를 해결하기 위한 확장 가능한 솔루션을 제공한다고 주장합니다. 실험 데이터가 풍부하고 잘 규명된 산화물 결정에 집중함으로써, 저자들은 코트레이닝이 데이터의 변동성과 계산 효율성을 균형 있게 유지하면서 높은 재현율을 달로 달성할 수 있음을 보여줍니다.

저자들은 이 도구를 고처리량 물질 발견(high-throughput materials discovery)의 초기 단계를 위한 자원으로 포지셔닝합니다. 이 모델이 합성 가능성을 완벽하게 예측한다고 주장하기보다는, 실제 물질이 될 가능성이 낮은 구조를 걸러내는 데 일차적인 유용성이 있다고 주장합니다. 심지어 합성 불가능한 후보의 절반이라도 제거할 수 있다면, 이 프레임워크는 시뮬레이션 및 실험적 합성 시도에 투입되는 상당한 자원을 절약하는 것을 목표로 합니다. 이 연구는 새로운 아키텍처를 처음부터 개발하기보다, 기존의 강력한 분류기들을 코트레이닝을 통해 결합함으로써 가용한 물질 데이터로부터 더 많은 가치를 추출할 수 있는 잠재력을 강조합니다.