Comparative study of ensemble-based uncertainty quantification methods for neural network interatomic potentials

개요: 컴퓨터에게 원자의 행동을 예측하는 법 가르치기

당신이 컴퓨터에게 어떤 물질(예: 다이아몬드나 흑연)이 어떻게 행동할지 예측하도록 가르치려 한다고 상상해 보세요. 이를 위해 컴퓨터에는 **원자 간 포텐셜(Interatomic Potential)**이라는 이름의 '규칙집'이 필요합니다.

전통적으로 과학자들은 두 가지 유형의 규칙집을 사용해 왔습니다:

1. "초정밀" 규칙집 (양자 역학): 매우 정밀하지만, 단 몇 개의 원자를 계산하는 데도 슈퍼컴퓨터로 수년이 걸립니다. 규모가 큰 프로젝트를 수행하기에는 너무 느립니다.
2. "빠르고 단순한" 규칙집 (고전 역학): 매우 빠르지만, 너무 단순해서 실수를 저지르는 경우가 많습니다.

**머신러닝(ML)**은 이 사이의 새로운 절충안입니다. 이는 마치 '초정밀' 규칙집을 수천 번 읽고 나서, 그와 거의 비슷하면서도 몇 초 만에 실행될 수 있는 자신만의 '빠르고 단순한' 버전을 써 내려가는 학생과 같습니다. 이것들을 **머신러닝 원자 간 포텐셜(MLIPs)**이라고 부릅니다.

문제점: "자신만만한 바보"

이 논문이 다루는 주요 문제는 바로 신뢰입니다.

학생(AI)이 교과서로부터 학습할 때, 학생은 교과서에 나온 것과 똑같이 생긴 질문에는 대답을 아주 잘합니다. 이를 "분포 내(In-Distribution, ID)" 상태라고 합니다. 만약 "실온에서 다이아몬드 원자의 에너지는 얼마인가?"라고 물었을 때, AI가 이를 학습 데이터에서 보았다면 아마도 정답을 맞힐 것입니다.

하지만 만약 AI가 한 번도 본 적 없는 질문을 던진다면 어떻게 될까요? 예를 들어, 극심한 압력 하에 있는 다이아몬드나, 한 번도 접해보지 못한 이상한 모양에 대해 묻는다면 어떨까요? 이를 "분포 외(Out-of-Distribution, OOD)" 상태라고 합니다.

이 논문은 다음과 같이 질문합니다: AI가 자신이 추측하고 있다는 사실을 우리에게 알려줄 수 있을까?

AI의 세계에서는 **불확실성(Uncertainty)**을 "신뢰도 측정기"로 사용합니다.

• 높은 불확실성: "이 답은 잘 모르겠습니다. 틀릴 수도 있습니다." (이는 좋은 신호입니다! 우리에게 주의를 주는 것이니까요.)
• 낮은 불확실성: "저는 100% 확신합니다!" (답이 맞다면 좋겠지만, 틀렸을 경우에는 위험합니다.)

이 논문의 목표는 AI가 생소하고 이상한 데이터에 대해 억지로 추측해야 할 때, AI의 "신뢰도 측정기"가 실제로 작동하는지 확인하는 것입니다.

실험: "스터디 그룹" 비유

이를 테스트하기 위해 연구진은 단 하나의 AI만 훈련시킨 것이 아닙니다. 그들은 동일한 AI의 100가지 서로 다른 버전을 훈련시켰습니다. 이것을 하나의 스터디 그룹이라고 생각하세요. 100명의 학생이 모두 같은 교과서로 공부했지만, 각자 필기하는 방식이 달랐기 때문에 서로 조금씩 다르게 배웠다고 가정하는 것입니다.

연구진은 이 "스터디 그룹(앙상블)"을 만드는 네 가지 방법을 사용했습니다:

1. 부트스트랩(Bootstrap): 각 학생에게 약간씩 다른 연습 문제 세트를 제공함 (데이터 재샘플링).
2. 드롭아웃(Dropout): 테스트 중에 무작위로 일부 학생들에게 "입 다물고 있어(지식의 일부를 무시해)"라고 말하여, 그룹이 다양한 아이디어에 의존하게 함.
3. 무작위 초기화(Random Initialization): 공부를 시작하기도 전에 각 학생에게 서로 다른 '뇌 구조'(무작위 가중치)를 부여함.
4. 스냅샷(Snapshots): 한 학생의 뇌가 공부하는 과정 중 서로 다른 시점의 사진을 찍어, 그 사진들을 각각 다른 학생인 것처럼 취급함.

그 후 연구진은 100명의 학생에게 세 가지 형태의 탄소 원자(다이아몬드, 흑연, 그래핀)의 거동을 예측하도록 요청했습니다.

결과: "자신만만한 바보"의 등장

연구 결과는 다음과 같으며, 이해하기 쉽게 나누어 설명합니다.

1. AI가 "편안한 구역"에 있을 때 (In-Distribution)

질문이 AI가 공부했던 내용과 유사할 때, "신뢰도 측정기"는 어느 정도 작동했습니다. AI가 확신이 없었다면, 그것은 실제로 문제가 어려웠기 때문인 경우가 많았습니다. 또한 AI가 확신을 가졌을 때는 대개 정답을 맞혔습니다. 이때는 서로 다른 스터디 그룹(앙상블)들의 성능도 비슷했습니다.

2. AI가 "한계"로 내몰릴 때 (Out-of-Distribution)

이 부분이 기괴하고 위험해지는 지점입니다. 연구진은 재료를 극한으로 늘리거나 압축했을 때(예: 다이아몬드를 아주 작게 찌그러뜨릴 때) 어떤 일이 일어나는지 예측하도록 AI에게 요청했습니다.

• AI는 답을 틀렸습니다. (예측값이 실제와 일치하지 않았습니다).
• 그런데 AI는 "나는 내가 맞다고 100% 확신한다!"라고 말했습니다. (불확실도 측정기가 낮게 유지되었습니다).

이것이 바로 "자신만만한 바보" 문제입니다. AI가 자신만만하게 사실을 지어내고 있는 것입니다.

3. 역설적인 반전

보통 AI가 자신이 아는 영역에서 멀어질수록, "신뢰도 측정기"는 올라가야 한다고 기대합니다(즉, "와, 이거 이상하다, 잘 모르겠다!"라고 말해야 합니다).

하지만 논문은 그 반대의 결과를 발견했습니다.
AI가 미지의 영역(극한의 인장이나 압축)으로 더 깊이 밀려 들어갈수록, AI의 신뢰도는 올라가지 않았습니다. 오히려 때로는 낮아지거나 평평하게 유지되었습니다.

• 비유: 직선 도로만 운전해 본 운전자를 상상해 보세요. 갑자기 그 운전자에게 가파르고 빙판이 가득한 산길을 운전하라고 한다면, 똑똑한 운전자는 "이건 못 하겠어요!"라고 말할 것입니다.
• AI 운전자: 하지만 AI 운전자는 "나는 전문가다!"라고 외치며, 사고가 나기 직전인데도 시속 100마일로 계속 달립니다. 상황이 위험해질수록 오히려 "불확실성"은 줄어들었습니다.

왜 이런 일이 발생할까요?

연구진은 왜 AI가 틀렸을 때도 자신만만해지는지 알아내기 위해 몇 가지 이론을 검토했습니다.

• "포화된 뇌" (Saturated Brain): AI는 수학적 함수(완전히 '켜짐' 혹은 '꺼짐'만 가능한 스위치와 같은 것)를 사용합니다. 입력값이 너무 극단적으로 변하면, 이 스위치는 그냥 '켜짐' 상태에 고정되어 버립니다. 이 때문에 AI는 정답을 알고 있는 것이 아니라 그저 추측하고 있음에도 불구하고, 완벽하게 답을 알고 있다고 착각하게 됩니다.
• "집단 사고" 효과 (Groupthink Effect): 비록 100개의 서로 다른 AI 모델을 사용했지만, 완전히 새로운 상황에 직면하자 그들은 모두 똑같이 틀린 답을 내놓기 시작했습니다. 그들이 서로 동의했기 때문에, 시스템은 "우리 100명이 모두 동의하니, 우리가 맞을 거야!"라고 생각하게 된 것입니다.

결론

이 논문은 AI가 본 적 없는 것에 대해 예측할 때, 우리는 AI의 "신뢰도 측정기"를 맹목적으로 믿어서는 안 된다고 결론짓습니다.

• 만약 AI가 "잘 모르겠다"라고 한다면, 그것은 좋은 경고일 수 있습니다.
• 하지만 AI가 "100% 확신한다"라고 말한다면, 그것은 거짓말일 수도 있습니다. AI는 완전히 틀린 것을 아주 자신만만하게 예측하고 있는 것일 수 있습니다.

저자들은 과학자들이 거대한 새로운 실험을 할 때 이러한 AI 도구를 사용할 경우 매우 주의해야 한다고 경고합니다. 컴퓨터가 정확하다고 말한다고 해서 반드시 정확한 것은 아닙니다. 특히 컴퓨터가 훈련받지 않은 일을 수행하고 있을 때는 더욱 그렇습니다.

핵심 요점: 머티리얼즈 사이언스(재료 과학)의 AI 세계에서, 정밀도(Confidence)가 곧 정확도(Truth)는 아닙니다. 당신은 매우 정밀하면서도 동시에 완전히 틀릴 수 있습니다.