How good are universal MLIPs for alloys? A benchmark is only as trustworthy as its controls

과학자들이 실험실에서 금속을 단 한 조각도 녹이지 않고도 제트 엔진용 초강력 합금이나 초고효율 배터리를 설계할 수 있는 새로운 세상을 상상해 보십시오. 대신 그들은 원자들이 어떻게 행동할지 예측하기 위해 강력한 컴퓨터 시뮬레이션을 사용합니다. 이러한 예측의 표준은 밀도 범함수 이론(Density Functional Theory, DFT)이라고 불리는 복잡한 수학적 방법입니다. DFT를 어떤 재료에 대해서도 완벽한 레시피를 만들어낼 수 있는 마스터 셰프로 생각해보십시오. 하지만 요리 한 접시를 준비하는 데 몇 시간이 걸립니다. 정확하긴 하지만, 너무나 느립니다.

이 속도를 높이기 위해 연구자들은 "기계 학습 기반 원자 간 포텐셜(machine-learned interatomic potentials, MLIP)"을 만들어냈습니다. 여러분은 이것을 수셰프(sous-chef)라고 생각할 수 있습니다. 그들은 마스터 셰프의 레시피를 매우 철저하게 공부했기 때문에, 거의 같은 맛을 내면서도 순식간에 식사를 차려낼 수 있습니다. 이 AI 모델들은 점점 더 좋아지고 있으며, 과학자들은 어떤 모델이 최고인지 알아내기 위해 경주를 벌이고 있습니다. 그들은 보통 점수판을 보고 모델을 판단합니다. 에너지를 예측할 때 실수를 가장 적게 하는 모델이 1위를 차지합니다. 하지만 여기에는 함정이 있습니다. 만약 그 점수판 자체가 조작되었다면 어떨까요? 만약 그 "실수"가 수셰프가 요리를 못해서가 아니라, 그들이 심판과 다른 계량컵을 사용하고 있기 때문이라면 어떨까요?

이것이 바로 거스 하트(Gus-Hart)와 제이콥 퍼슬리(Jacob Pursley)의 새로운 연구가 다루는 퍼즐입니다. 그들은 단순히 리더보드를 액면 그대로 받아들이는 것을 멈추고 탐정처럼 행동하기로 했습니다. 그들은 가장 인기 있는 14개의 AI 모델을 모아 특정 유형의 재료인 금속 합금에 대해 테스트했습니다. 하지만 단순히 일반적인 기준값에 대비하여 에너지 점수를 확인하는 대신, 실험 결과의 신뢰성을 확인하기 위해 과학자가 자신의 장비를 점검하는 것과 같은 일련의 "대조군(controls)"을 도입했습니다. 그들은 이 모델들이 실제로 원자의 물리학을 배우고 있는 것인지, 아니면 단지 훈련된 데이터베이스의 특정 규칙과 관례를 암기하고 있는 것인지를 물었습니다.

결과는 다소 충격적이었습니다. 논문은 현재 이러한 AI 모델들을 순위 매기는 방식이 매우 결함이 있다고 지적합니다. 공공 리더보드에서 "승자"가 되는 모델들은 종-종 더 똑똑해서 이기는 것이 아니라, 그들이 테스트 대상인 데이터베이스와 동일한 측정 관례를 상속받았기 때문에 승리하는 것입니다. 저자들이 이러한 인위적인 이점들을 제거했을 때, 순위는 극적으로 변했습니다. 실패한 것처럼 보였던 일부 모델들은 알고 보니 꽤 훌륭했고, "챔피언"들의 리드는 눈에 띄게 줄어들었습니다.

다음은 조사 과정의 이야기로 풀어낸 연구의 실제 발견 내용입니다.

"계량컵" 문제
베이킹 대회 심사를 맡았다고 상상해 보십시오. 심판이 "우승자는 케이크 무게가 가장 가벼운 사람"이라고 말합니다. 하지만 알고 보니 심판의 저울은 실제보다 50g 더 무겁게 표시되도록 설정되어 있었습니다. 만약 어떤 제빵사가 우연히 같은 저울을 사용했다면, 그 케이크는 완벽해 보일 것입니다. 만약 다른 제빵사가 다른 저울을 사용했다면, 비록 케이크 크기는 같더라도 그 케이크는 엉망처럼 보일 것입니다.

원자의 세계에서 "무게"는 재료의 에너지입니다. 연구는 많은 AI 모델이 특정 규칙을 사용하는 데이터베이스(예: Materials Project)에서 훈련되었다는 것을 발견했습니다. 연구진이 이 모델들을 완전히 독립적인 다른 데이터베이스(AFLOW라고 불리는)로 테스트했을 때, 모델들은 형편없어 보였습니다. 하지만 연구진이 모델들을 "재교정(re-calibrate)"했을 때—즉, 그들에게 "이봐, 새로운 심판과 같은 계량컵을 사용해"라고 말했을 때—오차는 사라졌습니다.

예를 들어, CHGNet이라는 모델은 엄청난 실수(원자당 약 126 meV)를 하는 것처럼 보였습니다. 하지만 연구진이 "계량컵" 불일치를 해결하자, 오차는 73 meV/atom으로 떨어졌습니다. 그 "실패"의 절반 이상은 기술의 부족이 아니라 단순한 회계 처리 방식의 차이였습니다.

"이완(Relaxation)"의 함정
테스트에는 또 다른 트릭이 있었습니다. 모델에게 원자 배열의 모양을 예측하도록 요청했을 때, 어떤 모델들은 "이완"(원자들이 가장 편안한 위치를 찾도록 움직이는 것)이 허용되었지만, 다른 모델들은 심판이 준 위치에 그대로 머물러야 했습니다. eqV2라는 모델은 심판의 마음을 읽는 능력이 너무 뛰어나서 거의 움직이지 않았습니다. 이 모델은 일을 거의 하지 않았기 때문에 높은 점수를 받았습니다.

연구진은 이것이 불공평하다는 것을 깨달았습니다. 그들은 모든 모델이 동일한 지점에서 시작하여 동일한 양의 일을 하도록 테스트를 다시 실행했습니다. 이렇게 하자 "승자"의 리드는 절반으로 줄어들었습니다. 결국 상위 모델이 반드시 물리학에 더 뛰어난 것이 아니라, 테스트 설정 덕분에 유리한 출발을 했을 뿐이라는 사실이 드러났습니다.

"노이즈 플로어(Noise Floor)"의 현실 점검
저자들은 또한 근본적인 질문을 던졌습니다. 모델이 도대체 얼마나 좋아질 수 있을까요? 그들은 세 가지 서로 다른 독립적인 "완벽한" 계산 데이터베이스(AFLOW, Alexandria, OQMD)를 비교했습니다. 그들은 이 완벽한 데이터베이스들조차 서로 완벽하게 일치하지 않는다는 것을 발견했습니다. 일반적인 구조에서 약 68 meV/atom 정도 차이가 나며, 상황이 복잡해지면 2428 meV/atom까지 차이가 납니다.

이는 "노이즈 플로어"가 존재함을 의미합니다. 아무리 똑똑한 AI라도 두 명의 인간이 만든 완벽한 계산 사이의 불일치보다 더 정확할 수는 없습니다. 연구는 최고의 모델들이 이미 이 지점에 도달하고 있음을 발견했습니다. 그들은 참조 데이터가 허용하는 만큼 충분히 정확합니다. 하지만 논문은 우리가 이보다 더 미세하게 모델을 순위 매길 수 없다고 경고합니다. 만약 두 모델의 차이가 아주 작은 meV 단위라면, 그것은 실제 품질의 차이가 아니라 단순한 노이즈일 수 있습니다.

"잘못된 참조 데이터"의 미스터리
가장 놀라운 발견 중 하나는 "나쁜" 데이터와 관련되었습니다. 연구진은 약 15,000개의 구조에 대해 AI 모델들이 엄청나게 틀린 것처럼 보이며, 목표치를 크게 놓치고 있다는 것을 발견했습니다. 이는 모델들이 처참하게 실패하고 있는 것처럼 보였습니다.

하지만 자세히 살펴보니, 모델들이 틀린 것이 아니라 "심판"(참조 데이터베이스)이 틀렸다는 것을 깨달았습니다. 모델들은 모두 서로 동의하고 있었지만, 참조 데이터베이스가 예외적인 값을 가지고 있었던 것입니다. "합의 탐지기(consensus detector)"(모델들에게 의견을 묻고 심판과 일치하는지 확인하는 방식)를 사용하여, 그들은 대부분의 이러한 "실패"가 모델의 오류가 아니라 참조 데이터의 오류임을 발견했습니다. 일단 이들을 걸러내자, "나쁜 참조 데이터"의 수는 15,000개에서 1,700개로 급감했습니다.

진정한 승자와 패자
이 모든 대조군(계량컵 수정, 시작 위치 균등화, 잘못된 데이터 필터링)을 적용한 후, 리더보드는 매우 다른 모습을 보여주었습니다.

• 더 새롭고 큰 데이터셋(OMat 세대)으로 훈련된 모델들은 일반적으로 더 좋은 성능을 보였으며, 본 적 없는 새로운 구조에도 잘 일반화되었습니다.
• 오래된 데이터(MP 세대)로 훈련된 모델들은 더 고전했지만, MACE-MPA와 같은 일부 모델은 "계량컵" 편향을 제거했을 때 안정성을 예측하는 데 상당히 뛰어난 성능을 보였습니다.
• 순수 에너지 점수에서 "승자"였던 eqV2는 여전히 잘 수행했지만, 그 리드는 처음 생각만큼 압도적이지 않았습니다. 실제로 탄성(elasticity)이나 구조적 안정성 예측과 같은 다른 중요한 특성을 살펴보았을 때, 순위는 완전히 뒤바뀌었습니다.

핵-테이크(The Takeaway)
논문은 벤치마크는 그 대조군만큼만 신뢰할 수 있다고 결론짓습니다. 단 하나의 숫자만 보고 승자를 선언해서는 안 됩니다. "최고"의 모델은 무엇을 측정하느냐에 따라 전적으로 달라집니다. 에너지를 예측하는 데 가장 좋은 모델을 알고 싶다면 특정 모델이 이길 것이고, 안정성을 예측하는 데 가장 좋은 모델을 알고 싶다면 다른 모델이 이길 것입니다.

저자들은 분야가 단 하나의 "최고" 모델을 쫓는 것을 멈추고, 전체 이야기를 들려줄 수 있는 다양한 지표의 "벡터(vector)"를 사용해야 한다고 주장합니다. 또한 차세대 모델들은 단순히 낮은 오차 수치를 얻으려고 노력하는 것이 아니라, 독립적인 데이터에 대해 테스트되어야 하고, 인간의 계산이 가진 "노이즈 플로어"에 맞춰 교정되어야 하며, 훈련 데이터의 반복이 아닌 복잡하고 실제적인 화학적 현상을 다룰 수 있는지 검증받아야 한다고 제안합니다.

요컨대, AI 모델들은 믿기 힘들 정도로 좋아지고 있습니다. 인간의 계산 능력의 한계에 부딪힐 정도로 말입니다. 하지만 누가 진정으로 최고인지 알기 위해서는, 계량컵을 가지고 속임수를 쓰는 것을 멈추고 전체 그림을 바라봐야 합니다.