Measuring trainable degrees of freedom in materials graph neural networks: a random-subspace intrinsic dimension analysis

더 나은 재료를 설계하려는 탐구 과정에서, 과학자들은 물질의 보이지 않는 구조를 "볼" 수 있는 강력한 새로운 도구인 인공지능으로 눈을 돌렸습니다. 그래프 신경망(graph neural networks)이라고 알려진 이 시스템은 재료를 하나의 단단한 덩어리가 아니라, 마치 역이 원자이고 선로가 화학적 결합인 지하철 노선도처럼 원자들이 결합으로 연결된 지도로 취급합니다. 이러한 지도를 연구함으로써, 컴퓨터는 재료가 어떻게 행동할지—전기를 전도할지, 얼마나 부서지기 어려운지, 혹은 어떻게 진동할지 등을 예측하는 법을 배웁니다. 수년 동안, 이러한 AI 모델 중 하나가 우수한지를 판단하는 유일한 방법은 그 최종 점수, 즉 모델의 예측값이 실험실에서 측정된 실제 값과 얼마나 가까운지를 보는 것이었습니다. 오차가 작다면 그 모델은 성공적인 것으로 간주되었습니다. 하지만 이 단 하나의 숫자는 중요한 미스터리를 숨기고 있습니다. 그것은 모델이 실제로 어떻게 정답을 찾아냈는지, 또는 정답에 도달하기 위해 모델 자체의 내부적 "두뇌 능력"을 얼마나 사용했는지는 알려주지 않습니다.

카우스텝(King Abdullah University of Science and Technology)의 연구팀은 커튼 뒤를 들여다보기로 했습니다. 그들은 단순히 최종 결과뿐만 아니라, 모델이 그 결과에 도달하기 위해 걸어간 경로를 이해하고자 했습니다. 학생이 시험을 치는 상황을 상상해 보십시오. 두 학생 모두 A를 받았다면, 우리는 그들이 똑같이 똑똑하다고 가정합니다. 하지만 한 학생은 교과서의 모든 사실을 통째로 암기해야만 그 A를 받은 것이고, 다른 학생은 몇 가지 핵심 개념만을 이해함으로써 그 A를 받은 것이라면 어떨까요? 첫 번째 학생은 취약합니다. 만약 교과서에서 몇 페이지를 빼버린다면 그 학생은 낙제할 것입니다. 두 번째 학생은 강건합니다. 그 학생은 훨씬 더 작은 책을 가지고 있어도 여전히 통과할 수 있습니다. 연구진은 현재의 재료용 AI 모델들이 종종 첫 번째 학생처럼 취급되고 있다는 점을 깨달았습니다. 우리는 그들이 정답을 맞히는 것은 알지만, 그들이 방대한 복잡한 연결망에 의존하고 있는지, 아니면 훨씬 더 단순한 마음으로 문제를 해결할 수 있는지를 알지 못합니다. 이를 알아내기 위해, 그들은 학습 능력을 의도적으로 제한함으로써 이 모델들을 테스트하는 새로운 방법을 개발했습니다.

연구팀은 재료의 특성을 예측하는 데 사용되는 세 가지 대중적인 AI 모델을 가져와, 가용한 "사고 공간"의 아주 작은 부분만을 사용하여 학습하도록 강제했습니다. 보통 이러한 모델들은 예측을 개선하기 위해 돌릴 수 있는 수십만 개의 조절 가능한 노브(knobs)를 가지고 있습니다. 연구진은 이 노브들의 대부분을 고정해 두고, 모델이 아주 적은 양의 무작위 선택된 노브들만을 조정할 수 있도록 허용했습니다. 그들은 매우 작은 선택 범위, 즉 전체 가용 공간의 아주 작은 조각에서 시작하여 모델의 성능이 어떻게 변하는지 관찰했습니다. 그런 다음, 모델에게 더 많은 자유를 주어 더 많은 노브를 하나씩 해제하며 모델이 전체 용량에 도달할 때까지 과정을 지켜보았습니다. 모델이 이러한 자유를 되찾음에 따라 성능이 어떻게 향상되는지를 측정함으로써, 연구진은 각 과업에 대한 "회복 곡선(recovery curve)"을 그려낼 수 있었습니다. 이 곡선은 숨겨진 진실을 드러냈습니다. 어떤 재료의 특성은 배우기 쉽고 매우 적은 정신적 노력이 필요한 반면, 어떤 특성은 믿기 힘들 정도로 어려우며 모델의 전체 두뇌 능력을 요구한다는 사실입니다.

결과는 재료들이 놀라울 정도로 서로 다르게 행동한다는 것을 보여주었습니다. 금속이 자성을 띠는지 예측하거나 벌크 강성(bulk stiffness)을 계산하는 것은 비교적 간단한 것으로 나타났습니다. 이 모델들은 전체 조절 가능한 파라미터의 약 5~10%만을 사용하도록 허용되었을 때도 거의 완벽한 정확도를 회복할 수 있었습니다. 이는 마치 이러한 과업들이 작고 집중된 규칙 세트로 해결될 수 있는 것처럼 보였습니다. 그러나 재료를 형성하는 데 필요한 에너지를 예측하거나 전자 밴드 갭(electronic band gap)의 크기를 예측하는 것은 훨씬 더 어려웠습니다. 이러한 과업들은 AI 모델의 특정 설계에 강하게 의존하는 모습을 보였습니다. ALIGNN라고 불리는 한 모델은 15%의 용량만으로 형성 에너지 문제를 해결할 수 있었던 반면, 나머지 두 모델은 동일한 수준의 정확도에 도달하기 위해 파라미터의 절반을 해제해야 했습니다. 이는 특정 과업에 있어서는 모델이 어떻게 구축되었는지가 매우 중요하다는 점과, 모델의 최종 점수만으로는 그 효율성의 전체 이야기를 말해주지 않는다는 점을 시사했습니다.

가장 눈에 띄는 발견은 재료의 진동, 즉 포논(phonon) 예측 연구에서 나왔습니다. 이 과업은 학습의 자유를 제한했을 때 가장 민감하게 반응했습니다. 연구진이 모델의 파라미터를 더 많이 잠글수록, 모델의 성능은 일반적으로 크게 저하되었습니다. 그러나 그 동작은 아키텍처마다 달랐습니다. DimeNet++라는 모델은 최고 성능을 보이는 ALIMENT 모델보다 절대적인 정확도는 낮았지만, 차원 스윕(dimensional sweep) 과정에서 평균적인 성능 저하가 덜 뚜렷하게 나타났습니다. 이러한 대조는 트레이드오프(trade-off)를 강조했습니다. 즉, 가장 낮은 최종 오차를 기록한 모델이 반드시 제약 조건 하에서 가장 적게 저하되는 모델은 아니라는 점입니다. 이는 진동을 예측하는 것이 모델의 파라미터 전체에 걸친 고도로 조율된 노력을 필요로 한다는 것을 나타냅니다. 이것은 몇 가지 영리한 기술만으로 해결할 수 있는 과업이 아닙니다. 그것은 모델의 전체 최적화 공간에 대한 완전하고 방해받지 않는 접근을 요구합니다. 더욱이, 연구진은 이러한 민감도가 모델이 학습한 데이터의 양에 따라 달라진다는 것을 발견했습니다. 밴드 갭을 예측하는 경우, 데이터를 더 많이 추가하는 것이 오히려 모델이 제한된 자원으로 과업을 해결하는 것을 더 어렵게 만들었으며, 동일한 정확도를 달Ы하기 위해 더 많은 비율의 파라미터를 요구했습니다. 이는 데이터가 더 복잡해짐에 따라, 모델이 새로운 정보를 처리하기 위해 더 많은 내부 기계 장치를 가동해야 함을 시사합니다.

이 연구는 이러한 모델들이 어떻게 확장되는지에 대한 일반적인 가정에도 도전했습니다. 연구진이 모델의 크기를 키워 규모를 확장했을 때, 문제를 해결하는 데 필요한 절대적인 파라미터의 수는 모델의 크기에 직접 비례하여 증가한다는 것을 발견했습니다. 12배 더 큰 모델은 자신의 잠재력을 발휘하기 위해 대략 12배 더 많은 조절 가능한 노브를 필요로 했습니다. 이는 단순히 모델을 크게 만드는 것이 자동으로 더 효율적이게 만드는 것이 아니라, 단지 모델이 끌어다 쓸 수 있는 자원의 풀(pool)을 넓혀줄 뿐이라는 것을 의미합니다. 문제를 해결하는 데 필요한 모델의 비율은 대략 일정하게 유지되었지만, 요구되는 총 "두뇌 능력"은 증가했습니다. 이 발견은 과업의 복잡성이 모델 자체의 고정된 속성이라기보다는 모델이 구축되는 구체적인 방식과 연관되어 있음을 시사합니다.

궁극적으로, 이 연구는 과학 분야에서의 인공지능을 이해하기 위한 새로운 렌즈를 제공합니다. 이는 높은 점수가 모델의 품질을 측정하는 유일한 척도가 아님을 보여줍니다. 가용 자원의 거의 전부를 사용하여 높은 점수에 도달한 모델은, 그 점수에 도달한 방식이 근본적으로 다릅니다. 전자는 취약하며 새로운 데이터나 약간 다른 데이터에 직면했을 때 어려움을 겪을 수 있는 반면, 후자는 강건하고 효율적입니다. 재료의 다양한 특성을 학습하는 데 모델이 얼마나 많은 자유를 필요로 하는지 매핑함으로써, 과학자들은 이제 적절한 도구를 선택하고, 더 나은 데이터셋을 설계하며, 그들이 시뮬레이션하려는 물리적 세계의 진정한 복잡성을 이해할 수 있습니다. 최종 점수는 모델이 무엇을 할 수 있는지를 알려주지만, 이 새로운 방법은 모델이 그것을 어떻게 하는지를 알려주며, 학습의 숨겨진 구조를 드러냅니다.