🔬 materials science

Probing out-of-distribution generalization in machine learning for materials

이 연구는 재료 과학 머신러닝에서 흔히 쓰이는 휴리스틱 평가들이 주로 훈련 도메인 내에서의 보간을 테스트할 뿐 진정한 분포 외 외삽, 즉 데이터나 모델의 크기를 키울수록 수익이 감소하거나 부정적인 결과를 낳는 상황을 테스트하지 못하기 때문에 일반화 가능성과 신경망 스케일링의 이점을 과대평가한다는 것을 밝혀낸다.

원저자: Kangming Li, Andre Niyongabo Rubungo, Xiangyun Lei, Daniel Persaud, Kamal Choudhary, Brian DeCost, Adji Bousso Dieng, Jason Hattrick-Simpers

게시일 2026-08-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kangming Li, Andre Niyongabo Rubungo, Xiangyun Lei, Daniel Persaud, Kamal Choudhary, Brian DeCost, Adji Bousso Dieng, Jason Hattrick-Simpers

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

새로운 물질을 발견하려는 탐구 과정에서, 과학자들은 과정을 가속화하기 위해 인공지능에 점점 더 의존하고 있습니다. 각각 강도, 전도성, 또는 형성하는 데 드는 에너지와 같은 고유한 특성을 가진 수백만 개의 서로 다른 물질 레시피가 담긴 거대한 도서관을 상상해 보십시오. 전통적으로 새로운 물질을 찾는 것은 실험실에서 하나의 레시피를 테스트한 뒤 다음 것을 테스트하는 방식이었으며, 이는 느리고 비용이 많이 드는 일이었습니다. 머신러닝은 지름길을 제공합니다. 기존의 도서관을 학습함으로써 컴퓨터는 화학의 법칙을 배우고, 이전에 본 적 없는 물질의 특성을 예측할 수 있습니다. 궁극적인 목표는 진정으로 일반적인 모델을 구축하는 것입니다. 즉, 이미 학습한 것과 유사한 것뿐만 아니라 완전히 새로운 유형의 물질에 대해서도 정확한 예측을 할 수 있는 모델을 만드는 것입니다. 이러한 미지의 영역을 다루는 능력은 더 나은 배터리를 만들거나 더 효율적인 태양광 패널을 설계하는 것과 같은 글로벌 과제를 해결하는 데 매우 중요합니다. 그러나 이러한 디지털 도구들이 정말로 낯선 상황에 직면했을 때 얼마나 잘 작동하는지에 대해서는 여전히 의문이 남아 있습니다.

한 연구팀은 재료 과학 분야에서 이러한 머신러닝 모델의 한계를 테스트하기 위해 나섰습니다. 그들은 모델이 진정으로 자연의 심오한 법칙을 배우고 있는지, 아니면 단순히 새로운 발견처럼 보이는 패턴을 암기하고 있는 것인지를 알고 싶었습니다. 이를 위해 그들은 700개가 넘는 서로 다른 도전 과제를 포함하는 대규모 실험을 설계했습니다. 각 도전 과제에서, 그들은 알려진 물질의 대규모 컬렉션으로 컴퓨터 모델을 훈련시킨 다음, 훈련 데이터에는 전혀 존재하지 않는 특정 물질 그룹의 특성을 예측하도록 요청했습니다. 이 그룹들은 "특정 원소를 포함하는 모든 물질" 또는 "특정 결정 구조를 가진 모든 물질"과 같은 구체적인 규칙에 의해 정의되었습니다. 연구진은 단순하고 확립된 알고리즘부터 인간의 뇌를 모방한 복잡하고 현대적인 신경망에 이르기까지 다양한 모델을 테스트했습니다.

결과는 놀라웠습니다. 700개의 도전 과제 중 대다수에서 모델들은 훈련 중에 접해보지 못한 원소나 구조를 포함하고 있음에도 불구하고 매우 뛰어난 성능을 보였습니다. 기본적인 의사결정 규칙을 사용하는 단순한 모델들도 가장 정교한 딥러닝 시스템만큼이나 잘 수행되는 경우가 많았습니다. 이러한 높은 성공률은 모델이 이전에 생각했던 것만큼 새로운 화학적 성질로 일반화하는 데 어려움을 겪고 있지 않음을 시사했습니다. 그러나 연구진은 왜 이런 현상이 발생하는지 이해하기 위해 더 깊이 파고들었습니다. 그들은 이 테스트에서 '새롭다'는 정의가 종종 오해의 소지가 있다는 것을 발견했습니다. 테스트 대상 물질들이 화학적 성분 측면에서는 기술적으로 다르지만, 모델이 물질을 이해하는 데 사용하는 수학적 공간 내에서는 종종 동일한 일반적 영역 안에 위치하고 있었습니다. 즉, 모델들이 진정으로 미지의 영역으로 나아간 것이 아니라, 이미 알고 있는 것들 사이의 간극을 메우고 있었던 것입니다.

이를 증명하기 위해 연구팀은 물질들이 존재하는 수학적 지형을 매핑했습니다. 그들은 모델이 성공한 작업들의 경우, 새로운 물질들이 실제로 훈련 데이터에 의해 둘러싸여 있어 모델이 주변 사례를 바탕으로 안전한 추측을 할 수 있었다는 것을 발견했습니다. 하지만 모델이 실패한 몇몇 과제들을 살펴보았을 때, 테스트 물질들은 모델이 본 적이 없는 데이터로부터 멀리 떨어진 채 완전히 고립되어 있었습니다. 이 차이는 이 분야가 성공을 측정하는 방식에 중대한 결함이 있음을 드러냈습니다. 모델의 능력을 입증하는 것으로 칭송받았던 많은 테스트가 실제로는 보간(interpolation), 즉 알려진 지점들 사이의 중간 값을 추측하는 능력을 테스트한 것에 불과했습니다. 모델들은 화학적 공간의 먼 곳까지 외삽(extrapolate)하는 마법 같은 능력을 보여준 것이 아니라, 이미 이해하고 있는 영역 안에서 점들을 연결하고 있었을 뿐입니다.

이 연구는 또한 스케일링(scaling)이라고 불리는 인공지능의 대중적인 아이디어에 도전했습니다. 훈련 데이터셋을 더 크게 만들거나 모델을 더 오래 훈련시키면 일반화 능력이 항상 향상될 것이라는 믿음이 지배적입니다. 연구진은 점점 더 많은 데이터를 모델에 입력하며 이를 테스트했습니다. 새로운 물질이 기존 물질과 가까운 쉬운 작업의 경우, 데이터가 많아질수록 성능이 향려되었습니다. 하지만 물질이 훈련 영역 밖에 멀리 떨어져 있는 진정으로 어려운 작업의 경우, 데이터를 추가하거나 훈련 시간을 늘리는 것이 도움이 되지 않았습니다. 어떤 경우에는 모델이 알려진 데이터에 과적합(overfit)되어 미지의 것에 대해 올바르게 추측하는 능력을 잃게 함으로써 오히려 성능을 악화시키기도 했습니다. 이는 모든 일반화 문제를 해결하기 위해 규모를 키우는 것이 만능이라는 약속이 진정으로 새로운 물질에 대해서는 과장되었을 수 있음을 시사합니다.

연구진은 이 분야가 일반화를 정의하고 테스트하는 방식에 더 주의를 기울여야 한다고 결론지었습니다. 훈련 데이터와 테스트 데이터를 단순한 규칙으로 분리하는 데 의존하는 현재의 방식은 종종 성공의 환상을 만들어냅니다. 이러한 방식은 모델이 잘하는 것에 대해서는 잘한다고 보여주지만, 미래의 과학적 돌파구를 이끌어낼 진정으로 어렵고 보이지 않는 도전 과제들을 다룰 수 있다는 것을 반드시 증명하는 것은 아닙니다. 이 연구는 머신러닝이 실패하고 있다고 말하는 것이 아니라, 우리가 잘못된 질문을 던지고 있다고 제안합니다. 우리의 '어려운' 테스트 중 상당수가 모델에게는 사실 꽤 쉽다는 것을 인식함으로써, 과학자들은 이제 진정으로 어려운 도전 과제를 설계하는 데 집중할 수 있습니다. 이러한 전환은 실질적인 격차를 식서히 파악하고, 재료 과학의 미개척 영역을 진정으로 항해할 수 있는 모델의 발전을 이끌 것입니다.

기술 요약: 재료 과학을 위한 머신러닝의 분포 외(Out-of-Distribution) 일반화 탐색

문제 정의

과학적 머신러닝(Scientific ML)은 광범위한 적용 가능성을 가진 일반화된 모델을 개발하는 것을 목표로 하며, 특히 기초 딥러닝 모델이 전례 없는 분포 외(OOD) 일반화를 달erd할 것이라는 기대가 높은 재료 과학 분야에서 그러하다. 그러나 이러한 일반화 능력에 대한 평가는 특정 원소나 구조적 대칭성을 학습 데이터에서 제외하는 것과 같은 휴리스틱(heuristics)에 의존하는 경우가 많으며, 이는 심각한 편향을 초래할 수 있다. 이러한 휴리스틱 기반 평가 방식은 보간(interpolation, 학습 도메인 내 예측)과 진정한 외삽(extrapolation, 학습 도메인 외부 예측)을 빈번하게 혼동한다. 결과적으로, OOD 테스트 세트가 학습 분포를 진정으로 벗어나 있지 않다면, 최첨단 아키텍처의 우수성이나 신경 스케일링(모델 크기, 데이터셋 크기 또는 연산량 증가)의 이점에 대한 결론은 과장될 수 있다.

방법론

저자들은 세 가지 대규모 재료 데이터베이스인 JARVIS(Joint Automated Repository for Various Integrated Simulations), Materials Project(MP), Open Quantum Materials Database(OQMD)를 사용하여 700개 이상의 OOD 태스크를 체계적으로 평가하였다.

평가 설정:

OOD 기준: OOD 테스트 세트를 정의하기 위해 여섯 가지 특정 기준이 사용되었다: (1) 특정 원소 X를 포함하는 재료, (2) 주기 X에 속하는 모든 원소를 포함하는 재료, (3) 그룹 X에 속하는 모든 원소를 포함하는 재료, (4) 공간군 X의 재료, (5) 점군 X의 재료, (6) 결정계 X의 재료. 테스트 샘플이 200개 미만인 태스크는 제외되었다.
모델: 다양한 아키텍처와 입력 표현을 포괄하는 대표적인 ML 모델 세트가 평가되었다:
- 트리 앙상블: Matminer 디스크립터(조성 및 구조적 특징)를 사용하는 Random Forest(RF) 및 XGBoost(XGB).
- 신경망: 전자 밀도에 대한 Gaussian Multipole(GMP) 확장.
- 그래프 신경망: 원자 선형 그래프 신경망(ALIGNN).
- 대규모 언어 모델: 결정 텍스트 설명을 사용하는 LLM-Prop.
지표: 성능은 평균 절대 오차(MAE)와 결정 계수( $R^2$ )로 측정되었다.

분석 기법:

SHAP 분석: 성능이 낮은 태스크에서 조성적(compositional) 원인과 구조적(structural) 원인의 편향을 구분하기 위해, 기본 모델의 예측 오차를 수정하도록 하는 이차 모델을 학습시켰다. SHapley Additive exPlanations(SHAP) 값을 사용하여 이러한 보정에 대한 조성적 특징 대 구조적 특징의 기여도를 정량화하였다.
표현 공간 분석: Uniform Manifold Approximation and Projection(UMAP)을 사용하여 고차원 재료 표현(딥러닝의 임베딩, 트리 모델의 디스크립터)을 2D로 투영하였다. 학습 데이터에 커널 밀도 추정(Kernel density estimation)을 적용하여 테스트 지점을 표현론적 분포 내(In-Distribution, ID)(고밀도) 또는 표현론적 분포 외(OOD)(저밀도)로 분류하였다.
스케일링 법칙: 학습 시간(epoch)과 학습 세트 크기를 변화시키며 학습 곡선을 생성하여, 이들이 OOD 성능에 미치는 영향, 특히 표현론적 ID 태스크와 표현론적 OOD 태스크 간의 차이를 관찰하였다.

주요 결과

1. 대부분의 휴리스틱 OOD 태스크에서의 견고한 일반화
OOD 태스크가 본질적으로 어렵다는 가정과 달리, 대부분의 태스크(leave-one-element-out, leave-one-period-out, leave-one-group-out 포함)는 단순 부스팅 트리(XGB)를 포함한 모든 모델에서 높은 성능( $R^2 > 0.95$ )을 보였다.

화학 기반 태스크: ALIGNN의 경우 leave-one-element-out 태스크의 85%, XGB의 경우 68%가 $R^2 > 0.95$ 를 달성했다. 낮은 성능은 주로 비금속(H, F, O)에서 관찰되었는데, 이는 완전한 트렌드 예측 실패라기보다는 체계적인 편향(예: 생성 에너지의 과대평가) 때문이었다.
구조 기반 태스크: 성능은 더욱 높았으며, leave-one-space-group-out 태스크의 88%가 $R^2 > 0.98$ 을 달성했다. 구조적 비유사성을 보장하기 위해 "프로토타입 유사" 그룹화 방식을 사용했을 때도 딥러닝 모델은 높은 정확도를 유지했다.

2. 보간(Interpolation)과 외삽(Extrapolation)의 구분
표현 공간 분석 결과, 대부분의 "까다로운" 휴리스틱 OOD 태스크는 실제로는 테스트 데이터가 학습 분포의 고밀도 영역 내에 존재한다는 것이 밝혀졌다(표현론적 ID).

예를 들어, Mg에 대한 leave-one-element-out 태스크에서 테스트 구조의 76%가 표현론적으로 ID였다.
반대로, 낮은 성능을 보인 태스크(예: leave-O-out)는 높은 비율의 표현론적 OOD 데이터를 포함하고 있었다(테스트 데이터의 87%가 저밀도 추정치와 거의 0에 가까운 $R^2$ 를 가짐).
5개 이상의 원소를 포함하는 재료를 예측하는 "창발적 능력(emergent capability)"은 상당 부분 보간임이 밝혀졌는데, 이는 해당 테스트 데이터의 92%가 학습 도메인의 표현 범위 내에 있었기 때문이다.

3. 상이한 스케일링 동작
본 연구는 신경 스케일링 법칙(데이터나 연산량을 늘려 성능을 개선하는 것)이 OOD 일반화에 보편적으로 적용되지 않는다는 것을 발견했다:

표현론적 ID 태스크: 학습 세트 크기나 학습 시간을 늘리면 성능이 일관되게 향상되어 표준 스케일링 법칙을 따랐다.
표현론적 OOD 태스크: 학습 세트 크기나 학습 시간을 늘려도 성능 개선이 미미하거나 오히려 성능이 저하되는 경우가 빈번했다. 예를 들어, leave-H-out 태스크에서는 학습 세트 크기를 $10^4$ 에서 $10^6$ 구조로 늘렸을 때, 더 많은 학습 데이터에 의해 강화된 체계적 과대평가 편향으로 인해 OOD MAE가 5배 증가했다.

4. 모델 성능의 미묘한 차이

트리 앙상블 vs 딥러닝: 단순한 트리 모델(XGB, RF)은 화학 기반 OOD 태스크, 특히 H, F, O와 같은 어려운 원소에 대해 복잡한 딥러닝 모델(ALIGNN, GMP)만큼 혹은 그보다 더 나은 성능을 보이는 경우가 많았다.
LLM의 한계: LLM-Prop은 양호한 분포 내(in-distribution) 성능에도 불구하고, 대부분의 leave-one-element-out 태스크에서 저조한 성능을 보였다. 이는 원소를 화학적으로 연관된 개체가 아닌 이산적인 텍스트 토큰으로 취급함에 따라 발생하는 유도 편향(inductive bias)의 부족 때문일 가능성이 있다.

의의 및 주장

본 논문은 현재 재료 과학의 ML 일반화 평가 방식이 결함이 있다고 주장한다. 왜냐하면 많은 휴리스틱 정의 OOD 테스트가 진정으로 어려운 것이 아니라, 주로 보간 능력을 평가하기 때문이다.

일반화 가능성의 재평가: 저자들은 거대 파운데이션 모델에 부여된 "창발적" 일반화 능력이 과장되었을 수 있다고 주장한다. 테스트 세트가 종종 학습 도메인의 표현 범위 내에 있기 때문이다.
스케일링에 대한 오해: 규모를 키우는 것(모델 및 데이터셋 확대)이 OOD 일반화를 자동으로 해결할 것이라는 가설에 의문을 제기한다. 진정으로 도전적인 태스크(표현론적 OOD)의 경우, 스케일링은 효과가 없거나 오히려 해로울 수 있다.
엄격한 벤치마킹 촉구: 저자들은 OOD 태스크가 정의되고 평가되는 방식의 변화를 촉구한다. 미래의 벤치마크는 통계적 OOD(속성 분포의 차이)와 표현론적 OOD(학습 매니폴드 외부)를 반드시 구분해야 하며, 이를 통해 진정한 외삽 능력을 테스트하고 신경 스케일링의 이점을 과대평가하는 것을 피해야 한다고 제안한다.

요약하자면, 본 논문은 ML 모델이 화학적 및 구조적 그룹 전반에 걸쳐 놀라운 전이성을 보이지만, 이는 대개 "보이지 않는" 데이터가 모델의 표현 공간에서는 실제로 보이지 않는 것이 아니기 때문이라고 단언한다. 진정한 외삽은 여전히 큰 도전 과제이며, 스케일링 법칙이 성립하지 않을 수 있으므로, 진정으로 일반화 가능한 과학적 ML 모델 개발을 가이드하기 위해서는 더욱 엄격한 테스트 시나리오가 필요하다.

기술 요약: 재료 과학을 위한 머신러닝의 분포 외(Out-of-Distribution) 일반화 탐색

문제 정의

방법론

주요 결과

의의 및 주장

유사한 논문