Regression with Large Language Models for Materials and Molecular Property Prediction

이 논문은 분자 및 재료의 조성 기반 문자열 입력만으로 미세 조정된 LLaMA 3 모델이 기존 기계학습 모델과 경쟁 가능한 회귀 예측 성능을 보여주며, LLM 이 화학 및 재료 과학 분야에서 복잡한 물리 현상을 예측하는 데에도 활용될 수 있음을 입증했습니다.

핵심

이 논문은 **"거대 언어 모델 (LLM) 이 이제부터 과학자처럼 물질을 예측할 수 있을까?"**라는 흥미로운 질문에서 시작합니다.

기존에 LLM(예: 챗봇) 은 주로 글을 쓰거나 번역하는 일을 잘했습니다. 하지만 이 연구팀은 "이 모델들이 화학식이나 분자 구조를 텍스트로 입력받으면, 그 물질의 성질 (예: 에너지, 강도 등) 을 숫자로 예측할 수도 있지 않을까?"라고 생각했습니다.

이 복잡한 연구를 일반인이 이해하기 쉽게 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 비유: "요리 레시피만 보고 맛을 예측하는 천재 셰프"

전통적인 과학 모델들은 물질을 예측할 때 매우 정교한 도구를 사용했습니다. 마치 요리를 할 때 '재료의 무게, 온도, 습도, 칼로 자른 모양'까지 모두 재서 맛을 예측하는 것과 같습니다.

하지만 이 연구에서 사용한 LLaMA 3라는 모델은 조금 다릅니다. 이 모델은 **재료 이름만 적힌 '레시피 (화학식)'**를 보고 맛을 예측합니다.

• 입력: "알루미늄 2 개, 산소 3 개" (Al2O3) 같은 텍스트.
• 출력: "이 물질의 녹는점은 2000 도입니다" 같은 숫자.

연구팀은 이 모델에게 수만 개의 레시피와 그 결과 (성질) 를 보여주며 훈련시켰습니다. 결과는 놀라웠습니다. 단순히 레시피 이름만 보고도, 기존에 개발된 복잡한 기계 학습 모델들과 비슷한 수준의 예측을 해냈습니다.

2. 비유: "신입 사원 vs 베테랑 전문가"

물론 이 모델이 완벽한 것은 아닙니다. 연구팀은 LLaMA 3 의 성능을 두 가지 기준과 비교했습니다.

• 신입 사원 (랜덤 포레스트 등 기존 모델):
  • 데이터가 적을 때는 LLaMA 3 가 오히려 더 잘하거나 비슷하게 잘했습니다.
  • 마치 경험이 적은 신입 사원이 간단한 업무를 처리할 때, 복잡한 규칙을 적용하는 베테랑과 비슷하게 일하는 것과 같습니다.
• 베테랑 전문가 (최첨단 AI 모델):
  • 하지만 데이터가 매우 많거나, 분자의 **정밀한 3D 구조 (원자의 위치)**까지 알려주면, LLaMA 3 는 전문가보다 5~10 배 정도 예측 오차가 컸습니다.
  • 이유는 LLaMA 3 가 "재료 이름"만 보고 추측하기 때문에, "정밀한 구조"를 아는 전문가에게는 밀릴 수밖에 없기 때문입니다.

핵심 결론: LLaMA 3 는 "정밀한 구조"를 몰라도, "이름"만으로도 꽤 쓸모 있는 예측을 해냅니다. 하지만 최정밀 작업에는 아직 한계가 있습니다.

3. 비유: "입력 방식의 중요성 (SMILES vs InChI)"

모델에게 정보를 줄 때, 어떤 언어로 말하느냐가 중요하다는 것도 발견했습니다.

• SMILES: 분자를 나타내는 짧은 코드 (예: CCO = 에탄올).
• InChI: 분자를 나타내는 긴 코드.

연구 결과, 짧고 간결한 SMILES 코드로 가르쳤을 때 모델이 훨씬 더 잘 배웠습니다. 이는 마치 학생에게 복잡한 설명서 (InChI) 보다 핵심 요약본 (SMILES) 을 줬을 때 더 빠르게 이해하는 것과 같습니다.

---

🌟 이 연구가 왜 중요한가요?

1. 편의성: 이제부터 과학자들은 복잡한 물리 법칙이나 구조 데이터를 직접 만들어 넣을 필요 없이, 단순히 화학식 (텍스트) 만 입력하면 성질을 예측할 수 있는 도구를 가질 수 있게 되었습니다.
2. 범용성: 이 모델은 화학뿐만 아니라 재료 과학, 약학 등 다양한 분야에서 "텍스트를 숫자로 변환하는" 만능 도구로 쓰일 가능성이 열렸습니다.
3. 미래 지향: 아직은 최첨단 모델보다 정확도가 낮지만, **오픈 소스 (무료)**이고 훈련이 쉬워, 앞으로 더 발전하면 과학 연구의 속도를 획기적으로 높일 수 있을 것으로 기대됩니다.

요약하자면?

이 논문은 **"거대 언어 모델이 이제부터 과학 실험실에서도 일할 수 있다"**는 것을 보여줍니다. 비록 아직은 정밀한 수술용 칼 (최첨단 모델) 만큼 날카롭지는 않지만, **일상적인 요리 (일반적인 예측)**에는 충분히 쓸모 있는, 그리고 앞으로 더 발전할 잠재력이 큰 '유망한 신인'을 발견한 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

기존 대규모 언어 모델 (LLM) 은 주로 텍스트 생성, 번역, 감정 분석 등 자연어 처리 (NLP) 작업에 국한되어 사용되었습니다. 그러나 최근 화학 및 재료 과학 분야에서 LLM 의 잠재력이 주목받고 있습니다. 기존 연구들은 LLM 을 분자 표현 학습, 촉매 행동 예측, 화학 반응 예측 등에 적용해 왔으나, 단순한 조성 (composition) 기반 텍스트 입력 (예: 무기물의 화학식, 유기물의 SMILES 문자열) 만으로 물성 값을 직접 회귀 (regression) 예측할 수 있는지는 명확히 규명되지 않았습니다.

이 연구는 다음과 같은 핵심 질문을 던집니다:

1. LLM 을 텍스트 프롬프트 (조성 또는 분자 문자열) 를 기반으로 한 물성 회귀 작업에 훈련시킬 수 있는가?
2. 기존 최첨단 (SOTA) 모델이나 표준 회귀 방법 (예: 랜덤 포레스트) 과 비교하여 LLM 의 성능은 어떠한가?
3. LLM 의 종류 (LLaMA 3 vs GPT) 와 입력 특징 (SMILES vs InChI vs 원자 좌표) 이 회귀 성능에 어떤 영향을 미치는가?

2. 방법론 (Methodology)

저자들은 LLM 을 물성 예측을 위한 회귀 모델로 활용하기 위해 다음과 같은 실험을 수행했습니다.

• 데이터셋:
  • 분자 특성: QM9 데이터셋 (형성 에너지, HOMO, LUMO, HOMO-LUMO 갭 등). 총 133,885 개의 분자 중 10,000 개를 테스트용으로 고정하고, 1,000 / 10,000 / 110,000 개의 데이터로 훈련했습니다.
  • 재료 특성: 실험 및 계산 데이터를 포함한 28 가지의 다양한 재료 특성 (기계적, 열역학적, 전자적 특성 등). 데이터 크기는 137 개 (페로브스카이트 열팽창 계수) 에서 643,916 개 (OQMD 형성 에너지) 까지 다양합니다.
• 입력 특징 (Input Features):
  • 분자: SMILES 문자열, InChI 문자열, 명시적 원자 좌표 및 원소 유형 (XYZ 파일 형식).
  • 재료: 화합물의 화학 조성 문자열 (예: "Al2O3").
• 모델 및 훈련:
  • 모델: LLaMA 3 (8B), GPT-3.5, GPT-4o.
  • 훈련 방식: 생성 손실 (Generative Cross-Entropy Loss) 만을 최소화하도록 미세 조정 (Fine-tuning) 을 수행했습니다. 즉, 별도의 회귀 헤드를 추가하거나 MSE(평균 제곱 오차) 를 직접 손실 함수로 사용하지 않았습니다.
  • 구현: Unsloth 및 HuggingFace 라이브러리를 사용하여 LLaMA 3 를 4-bit 정밀도와 LoRA(Low-Rank Adaptation) 로 미세 조정했습니다.

3. 주요 결과 (Key Results)

A. 분자 특성 예측 (QM9 데이터셋)

• 성능: SMILES 문자열로 미세 조정된 LLaMA 3 는 QM9 데이터셋에서 유용한 회귀 결과를 보여주었습니다. 훈련 데이터가 110,000 개일 때 형성 에너지의 평균 절대 오차 (MAE) 는 0.100 eV까지 감소했습니다.
• 비교 (SOTA vs LLM):
  • LLaMA 3 의 오차는 원자 좌표 정보를 활용한 최첨단 그래프 신경망 (PAMNet) 보다 약 5~10 배 높았습니다 (예: 형성 에너지 MAE 0.100 eV vs 0.0059 eV). 이는 LLM 이 상세한 구조 정보를 직접 활용하지 않기 때문입니다.
  • 그러나 SMILES 만을 사용하여 분자 특징을 추출한 기존 신경망 모델 (Pinheiro et al.) 과는 유사한 성능을 보였습니다.
• 입력 형식 비교: SMILES 입력이 InChI 입력보다 평균적으로 약 25% 낮은 오차를 보였습니다. 명시적 원자 좌표를 추가한 실험에서는 SMILES 만 사용한 경우와 오차 차이가 미미하여 추가적인 성능 향상을 얻지 못했습니다.
• 제로샷 (Zero-shot) 성능: 미세 조정 없이 LLaMA 3 를 직접 적용하면 대부분의 응답이 공백이거나 비물리적인 값을 출력하여 회귀 능력이 없음을 확인했습니다.

B. 재료 특성 예측 (28 가지 특성)

• 랜덤 포레스트 (RF) 와의 비교: 28 가지 재료 특성 중 8 개에서는 LLaMA 3 가 RF 보다 우수했고, 7 개에서는 동등했으며, 8 개에서는 RF 가 더 좋았습니다. 전체적으로 LLaMA 3 는 RF 와 비교 가능한 성능을 보였으나, 평균 오차는 RF 보다 약 8.6% 높았습니다.
• 대규모 데이터셋 (OQMD): OQMD 형성 에너지 데이터 (약 634k 개) 에서는 LLaMA 3 가 RF(0.067 eV) 보다 우수한 0.054 eV의 MAE 를 기록했습니다. 이는 완전 연결 신경망 (ElemNet) 과 유사한 수준이었으나, 구조 정보를 활용한 최첨단 모델 (RoosT, 0.024 eV) 보다는 여전히 낮았습니다.
• AtomGPT 와의 비교: 기존 연구 (Choudhary et al.) 의 AtomGPT 와 비교했을 때, LLaMA 3 는 일부 특성에서 더 좋은 성능을 보였으며, 모델 수정 없이 적용 가능한 단순성 측면에서 유리했습니다.

C. 모델 및 입력의 영향

• 모델 선택: LLaMA 3 는 GPT-3.5 및 GPT-4o 보다 우수한 성능을 보였습니다. 이는 GPT 모델의 미세 조정 하이퍼파라미터 제한과 아키텍처 차이 때문으로 추정됩니다.
• 입력 특징: SMILES 가 InChI 보다 성능이 좋았으며, 입력 표현 방식이 통계적으로 유의미한 오차 차이 (15-20%) 를 발생시킵니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. LLM 의 새로운 적용 분야: LLM 이 자연어 처리를 넘어, 복잡한 물리 현상 (재료 및 분자 특성) 의 회귀 문제 해결에 유효함을 입증했습니다. 특히 생성 손실 (Generative Loss) 만을 최적화하여 회귀 문제를 해결할 수 있다는 점은 직관적이지 않았으나 중요한 발견입니다.
2. 특징 공학 (Featurization) 의 불필요성: LLM 은 별도의 복잡한 특징 추출 과정 없이도, 단순한 화학 조성 문자열이나 SMILES 만으로 효과적인 내부 특징 표현을 학습하여 물성을 예측할 수 있음을 보였습니다. 이는 데이터가 부족하거나 특징 추출이 어려운 경우에 유용합니다.
3. 성능 한계와 기회: 현재 LLM 은 상세한 구조 정보 (원자 좌표) 를 활용하는 SOTA 모델보다는 정확도가 낮지만, 기존 전통적 머신러닝 (랜덤 포레스트) 과는 경쟁력 있는 성능을 보입니다. 이는 LLM 이 재료 과학 분야에서 범용 회귀 도구로서의 잠재력을 가짐을 시사합니다.
4. 향후 연구 방향: 입력 표현 (SMILES, InChI, SELFIES 등) 의 최적화, 구조 정보의 효과적인 통합 방법, 그리고 멀티태스크 학습 등을 통해 성능을 SOTA 수준으로 끌어올릴 수 있는 가능성이 열렸습니다.

5. 결론

이 연구는 LLaMA 3 와 같은 LLM 이 화학 및 재료 과학 분야에서 분자 및 재료의 물성 예측을 위한 강력한 회귀 모델이 될 수 있음을 보여줍니다. 비록 최첨단 구조 기반 모델만큼 정밀하지는 않지만, 입력 특징을 위한 별도의 공학적 노력 없이 텍스트 기반 입력만으로 경쟁력 있는 예측을 가능하게 합니다. 이는 재료 발견 및 설계 분야에서 LLM 기반 접근법의 새로운 가능성을 제시하며, 향후 더 정교한 구조 정보 통합 및 모델 최적화를 통해 그 성능이 더욱 향상될 것으로 기대됩니다.