aLLoyM: A large language model for alloy phase diagram prediction

본 논문은 합금 상도 데이터를 기반으로 미세 조정된 대규모 언어 모델인 aLLoyM 을 소개하며, 이는 다지선다형 질문의 예측 정확도를 크게 향상시키고 구성 요소 설명으로부터 상도도를 생성하는 새로운 능력을 입증함으로써 신소재 개발을 가속화합니다.

핵심

날씨를 예측하려고 한다고 상상해 보세요. 보통은 풍속, 습도, 기압, 그리고 과거의 패턴 등 방대한 양의 데이터가 필요합니다. 재료과학의 세계에서도 과학자들은 비슷한 일을 하지만, 날씨 대신 **상도 (phase diagram)**를 예측합니다.

상도를 금속 합금을 위한 **"레시피 카드"나 "지도"**로 생각하세요. 이 지도는 어떤 **재료 (원소)**를 섞고 얼마나 뜨겁게 가열하는지에 따라 금속이 어떤 상태 (고체, 액체, 또는 특정 결정 구조) 가 될지 정확히 알려줍니다.

수십 년 동안 이러한 지도를 만드는 것은 새로운 대륙의 지도를 그리는 동안 그 땅의 모든 인치를 걸어 다니는 것과 같았습니다. 이는 느리고 비싸며 무거운 장비가 필요했습니다.

등장한 aLLoyM: "수퍼 리더" 셰프

이 논문은 금속 합금의 대가 셰프가 되도록 설계된 새로운 유형의 인공지능 (AI) 인 aLLoyM을 소개합니다. 하지만 모든 요리를 맛보며 배우는 대신, aLLoyM 은 기존 레시피 카드의 거대한 도서관을 읽으며 배웠습니다.

연구자들이 이를 어떻게 구축했는지 간단한 비유로 설명해 보겠습니다.

1. 도서관 (학습 데이터)
연구자들은 새로운 물리학을 발명하지 않았습니다. 대신 CPDDB(Computational Phase Diagram Database, 계산 상도 데이터베이스) 라는 거대한 오픈 소스 디지털 도서관을 활용했습니다. 이 도서관에는 서로 다른 금속들이 섞이고 가열될 때 어떻게 행동하는지에 대한 수백만 개의 "사실"이 담겨 있습니다.

• 비유: 수백만 권의 책이 있는 도서관을 상상해 보세요. 모든 책에는 "철 50% 와 탄소 50% 를 1000 도에서 섞으면 강철이 된다"라고 적혀 있습니다.
• 과정: 연구자들은 이러한 사실들을 거대한 **질문과 답변 (Q&A)**게임으로 변환했습니다.
  • 질문: "구리와 아연을 400 도에서 섞으면 어떻게 됩니까?"
  • 답변: "알파 - 황동이라는 고체 합금이 생깁니다."

2. 학생 (모델)
연구자들은 언어와 과학에 대해 이미 많은 지식을 갖춘 일반적인 백과사전과 같은 매우 똑똑한 AI 인 Mistral을 가져와 "파인튜닝 (fine-tuning)"했습니다.

• 비유: Mistral 을 전 세계의 모든 책을 읽었지만 금속학을 특별히 공부하지 않은 천재 학생이라고 생각하세요. 연구자들은 이 학생에게 질문과 답변 쌍으로 된 거대한 플래시카드 뭉치를 주고 "금속 레시피에 관한 어떤 질문이든 즉시 답할 수 있을 때까지 이걸 공부하라"고 말했습니다.
• 결과: 이 학생이 바로 aLLoyM이 되었습니다.

얼마나 잘 작동할까요?

연구자들은 학생에게 두 가지 다른 유형의 시험을 치르듯 aLLoyM 을 두 가지 방법으로 테스트했습니다.

시험 1: 객관식 시험

• 과제: AI 에게 시나리오 (예: "이 금속들을 이 열에서 섞으세요") 가 주어지고 네 가지 옵션 중 정답을 고르도록 요청합니다.
• 결과: 특별한 훈련 없이 AI 는 기본적으로 추측을 했습니다 (공부하지 않은 학생처럼). 훈련 후 aLLoyM 은 거의 항상 정답을 맞췄습니다. 이는 AI 가 금속 레시피의 "규칙"을 배울 수 있음을 증명했습니다.

시험 2: 서술형 시험

• 과제: AI 에게 시나리오가 주어지고 옵션 없이 처음부터 답을 작성해야 합니다.
• 결과: 이것이 흥미로운 부분입니다. aLLoyM 은 단순히 정답을 고르는 것을 넘어, 실제 실험실에서 테스트된 적이 없는 금속에 대한 레시피를 상상할 수 있었습니다.
  • "시간 여행" 비유: AI 는 방사성 금속이나 극히 희귀한 금속, 혹은 니호늄 (Nihonium) 처럼 아직 발견되지 않은 금속의 행동을 예측하도록 요청받았습니다. 인간이 이러한 금속에 대한 지도를 만든 적이 없기 때문에, AI 는 학습한 패턴에 기반한 "상상력"을 사용하여 새로운 지도를 그려야 했습니다.
  • 결과: AI 는 이러한 "불가능한" 합금에 대한 지도를 성공적으로 그렸습니다. 때로는 완벽했고, 때로는 결정 모양을 잘못 추측하는 등 작은 실수를 하기도 했지만, 미지의 영역으로 나아갈 수 있음을 보여주었습니다.

한계점 (세부 사항)

이 논문은 AI 가 어디에서 어려움을 겪는지 솔직하게 인정합니다.

• 단순함 vs 복잡함: AI 는 간단한 혼합물 (두 가지 금속, 즉 이원계 합금) 을 예측하는 데 뛰어납니다. 하지만 레시피가 복잡해지면 (세 가지 이상의 금속을 섞는 경우) 혼란을 겪습니다. 이는 두 가지 재료로 만든 수프는 잘 만들지만 복잡한 스튜는 어려워하는 셰프와 비슷합니다.
• "중간" 문제: AI 는 가장자리 (순수 금속) 근처에서는 매우 정확하지만, 화학이 복잡하고 messy 해지는 혼합물의 "중간" 부분에서는 정확도가 떨어집니다.

주요 결론

이 논문은 aLLoyM 이 강력한 새로운 도구라고 결론지었습니다. 이는 실제 실험의 필요성을 대체하지는 않지만, 초고속 시뮬레이터처럼 작동합니다.

• 과거: 과학자들은 금속을 물리적으로 섞고 가열하여 어떤 일이 일어나는지 확인해야 했습니다.
• 현재: 그들은 aLLoyM 에게 "이 세 가지 희귀 원소를 섞으면 어떻게 됩니까?"라고 물어보면 즉시 예측된 지도를 얻을 수 있습니다.

이를 통해 과학자들은 지루하고 비싼 시행착오 단계를 건너뛰고 가장 유망한 새로운 재료에만 집중할 수 있습니다. 이는 본 적이 있는 나무들을 바탕으로 본 적이 없는 숲을 통과하는 경로를 제안하는 GPS 와 같습니다.

기술 요약

다음은 "aLLoyM: 합금 상도 예측을 위한 대규모 언어 모델" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

상도는 재료 과학의 핵심으로, 조성 및 온도 등 다양한 열역학적 조건에 따른 재료 상의 안정성을 매핑합니다. 그러나 이러한 상도를 실험적으로 결정하는 것은 자원 집약적이며 시간이 많이 소요되며, 기존 계산 기반 저장소들은 미탐색 시스템에 대한 포괄적인 커버리지가 부족한 경우가 많습니다.
전통적인 머신러닝 모델 (예: 신경망, 랜덤 포레스트) 은 유망한 결과를 보여주었으나, 종종 고립된 데이터셋에 특화되어 있으며 미지의 화학 시스템으로의 일반화에 어려움을 겪습니다. 저자들은 대규모 언어 모델 (LLM) 을 활용하여 이러한 한계를 극복하고자 합니다. 즉, 사전 학습된 열역학 원리 및 원소 특성에 대한 지식을 이용하여, 아직 실험적으로 특성 규명이 이루어지지 않은 것을 포함하여 이원 및 삼원 합금 시스템을 대상으로 상도를 예측하는 것입니다.

2. 방법론

데이터 큐레이션 및 생성

• 출처: 훈련 데이터는 열역학 데이터베이스 (TDB) 파일을 포함하는 NIMS 의 오픈소스 저장소인 계산 상도 데이터베이스 (CPDDB) 에서 파생되었습니다.
• 범위: 데이터셋에는 389 개의 이원 및 38 개의 삼원 상도가 포함됩니다.
• 생성 과정:
  • 상도는 CALPHAD(상도 계산) 평가를 통해 Pandat 소프트웨어를 사용하여 계산되었습니다.
  • 샘플링:
    • 이원 시스템: 조성은 0~100% 범위에서 2% 간격으로 샘플링; 온도는 200 K 에서 5000 K 까지 50 K 간격으로 변화.
    • 삼원 시스템: 조성은 유사하게 샘플링; 온도는 800 K 로 고정.
  • 총 데이터: 이러한 체계적인 샘플링을 통해 조성, 온도, 상명을 연결하는 837,475 개의 데이터 포인트가 생성되었습니다.
• 질문 - 답변 (Q&A) 구성: 이러한 데이터 포인트는 세 가지 고유한 작업 유형을 다루는 질문 - 답변 (Q&A) 쌍으로 변환되었습니다:
  1. 전체 상 정보: 입력 (조성, 온도) $\rightarrow$ 출력 (상명, 분율, 조성).
  2. 상명: 입력 (조성, 온도) $\rightarrow$ 출력 (상명만).
  3. 실험 조건: 입력 (원소, 목표 상) $\rightarrow$ 출력 (가능한 조성 및 온도).

모델 아키텍처 및 훈련

• 기반 모델: 저자들은 오픈소스 사전 학습 LLM 인 Mistral-Nemo-Instruct-2407을 미세 조정했습니다.
• 미세 조정 기법: 주시 (attention) 및 피드포워드 프로젝션을 대상으로 LoRA(저랭크 적응) 를 사용하였으며, 랭크는 16, 알파는 16 으로 설정했습니다.
• 훈련 구성:
  • 옵티마이저: bfloat16 정밀도를 사용하는 AdamW.
  • 단계: 15,000 단계; 학습률: $2 \times 10^{-4}$.
  • 배치 크기: 장치당 16, 4 단계의 그래디언트 누적.
• 통합 아키텍처: 세 가지 Q&A 작업 유형을 동시에 처리할 수 있도록 단일 모델을 훈련했습니다.

평가 전략

모델은 두 가지 다른 형식으로 평가되었습니다:

1. 다중 선택: 모델이 네 가지 옵션 (정답 하나, 오답 세 개) 중 정답을 선택합니다.
   • 분할: 데이터를 80/20 비율로 훈련 및 테스트 세트로 분할하는 두 가지 전략 사용:
     • 보간 (Interpolation): 시스템 간 무작위 분배 (새로운 조건에서 익숙한 시스템에 대한 성능 테스트).
     • 외삽 (Extrapolation): 테스트 시스템을 훈련에서 완전히 제외 (미지의 원소 조합에 대한 일반화 테스트).
2. 단답형: 모델이 사전 정의된 옵션 없이 텍스트 응답을 생성합니다.
   • 점수 측정 지표:
     • 전체 상: 완전 일치 필요 (0% 또는 100%).
     • 상명: 생성된 상 도메인 목록과 실제 (ground-truth) 목록 간의 자카드 유사도.
     • 실험 조건: 조성 정확도와 온도 정확도의 가중 평균.

3. 주요 기여

• aLLoyM 모델: 이원 및 삼원 시스템을 처리할 수 있는 합금 상도 예측을 위해 특별히 미세 조정된 최초의 LLM.
• 통합 멀티 태스크 학습: 단일 LLM 아키텍처가 순방향 예측 (조성 $\rightarrow$ 상) 과 역설계 (상 $\rightarrow$ 조건) 를 효과적으로 수행할 수 있음을 입증.
• 새로운 재료 발견: 실험 데이터가 전혀 없는 시스템(예: 우라늄 - 니호늄, 텅스텐 - 탄탈륨 - 오스뮴) 에 대해 성공적으로 상도를 생성하여 진정한 외삽 능력을 입증.
• 오픈소스 공개: Hugging Face 및 GitHub 에서 단답형 미세 조정 모델, 전체 벤치마킹 Q&A 데이터셋, 소스 코드를 공개적으로 출시.

4. 결과

다중 선택 성능

• 베이스라인 vs. 미세 조정: 베이스라인 Mistral 모델은 무작위 추측 수준 (<25% 정확도) 의 성능을 보였습니다. 반면, aLLoyM 은 상당한 개선을 보여주어 모든 작업에서 베이스라인을 크게 능가했습니다.
• 일반화:
  • 예상대로 보간 설정에서 외삽 설정보다 성능이 더 높았습니다.
  • 이원 시스템이 삼원 시스템보다 더 정확하게 예측되었습니다 (삼원 훈련 데이터의 양이 적기 때문).
  • 모델은 외삽 설정에서 미지의 시스템으로 성공적으로 일반화하여, 단순히 데이터를 암기하는 것이 아니라 근본적인 열역학적 관계를 학습했음을 입증했습니다.

단답형 성능

• 정확도 추세: 다중 선택과 유사하게 보간이 외삽보다 우세했습니다. 전체 상 정보를 예측하는 것이 가장 어려운 작업이었으며, 상명 예측은 외삽 하에서도 견고하게 유지되었습니다.
• 새로운 예측:
  • Th-Ac 시스템: 녹는점을 약 1400°C 로 예측 (실험값: 약 1050°C) 하였으며, HCP 구조를 잘못 예측했습니다 (실제: FCC).
  • U-Nh 시스템: 녹는점을 약 900°C 로 예측 (실제: 1135°C) 하였으며, HCP 를 잘못 예측했습니다 (실제: BCC). 오류에도 불구하고 훈련 데이터가 전혀 없는 시스템에 대해 유효한 상도를 생성했습니다.
  • W-Ta-Os 시스템: 800 K 에서의 삼원 등온 단면을 생성하여 3 상 공존을 예측하고 훈련 데이터에 없던 "WOLF" 상을 식별했습니다 (이는 사전 학습된 모델에 잠재된 지식이 있음을 시사).
  • 가상 시스템: 원소의 불안정성으로 인해 실험적으로 테스트할 수 없는 니호늄 - 우라늄 - 악티늄 시스템에 대해 성공적으로 상도를 생성했습니다.

5. 의의 및 향후 전망

• 발견 가속화: aLLoyM 은 광범위한 조성 공간을 스크리닝하고 현재 알려지지 않았거나 실험적으로 접근 불가능한 시스템에 대한 상도를 제안할 수 있는 합리적 재료 설계를 위한 강력한 도구 역할을 합니다.
• 일반화 능력: 이 모델은 LLM 이 단순한 패턴 매칭을 넘어 새로운 화학 조합에 열역학 원리를 인코딩하고 적용할 수 있음을 보여줍니다.
• 한계 및 향후 작업:
  • 현재 데이터 부족으로 인해 삼원 시스템의 성능이 낮습니다. 향후 작업은 고차원 시스템을 위한 훈련 데이터를 확장해야 합니다.
  • 모델은 때때로 잘못된 결정 구조 (예: HCP 대 FCC) 를 예측하므로, 추론 중 물리적 추론을 안내하기 위한 열역학 인식 프롬프트 엔지니어링이 필요합니다.
  • "WOLF" 상을 생성할 수 있는 능력은 모델이 사전 학습된 지식을 활용함을 나타내며, LLM 내의 잠재적 과학적 개념을 탐구할 수 있는 길을 열어줍니다.

결론적으로, aLLoyM은 생성형 AI 와 재료 과학을 통합하는 중요한 진전을 나타내며, 상 거동을 예측하고 새로운 합금 시스템의 발견을 가속화하기 위한 확장 가능하고 데이터 효율적인 접근 방식을 제공합니다.