Kolmogorov-Arnold Networks Applied to Materials Property Prediction

당신이 특정 재료가 어떻게 행동할지, 예를 들어 새로운 종류의 강철이 얼마나 강할지, 혹은 배터리가 전하를 얼마나 잘 유지할지를 예측하려고 한다고 상상해 보십시오. 과학자들은 이 퍼즐을 풀기 위해 오랫동안 "신경망"(일종의 컴퓨터 두뇌)을 사용해 왔습니다. 이러한 컴퓨터 두뇌의 가장 흔한 형태는 MLP(Multilayer Perceptron)라고 불립니다. MLP를 단순한 일을 수행하는 팀(숫자를 더하고 곱하는 일)을 가진 일꾼들의 팀이라고 생각하십시오. 그들은 결과를 다음 팀으로 전달합니다. 이는 신뢰할 수 있지만, 다소 경직되어 있으며 완벽하게 작업을 수행하기 위해 많은 일꾼(파라미터)이 필요할 수 있습니다.

최근에는 KAN(Kolmogorov-Arnold Network)이라 불리는 새로운 유형의 컴퓨터 두뇌가 제안되었습니다. 만약 MLP가 똑같은 단순한 수학을 수행하는 일꾼들의 팀이라면, KAN은 어떻게 그림을 그릴지 결정할 수 있는 예술가들의 팀과 같습니다. 단순히 숫자를 더하는 대신, KAN은 데이터에 적합한 곡선의 최적의 형태를 학습합니다. KAN의 약속은 더 효율적이며(더 적은 일꾼이 필요함), 이해하기 쉽다(그들이 어떻게 결정을 내렸는지 정확히 볼 수 있음)는 것입니다.

이 논문은 저자들이 이 새로운 KAN을 실제 재료 과학 문제 33가지에 적용하여, 이것이 정말로 기존의 표준들보다 더 나은 성능을 보이는지 확인하는 "현장 테스트"와 같습니다.

다음은 이 내용을 쉽게 설명한 결과입니다.

1. "기성품" 테스트: KAN vs. 구세대 모델

먼저, 저자들은 KAN을 원래 제작자가 설계한 방식 그대로(표준 2계층 설정) 가져와서 재료의 특성을 예측하도록 했습니다. 그리고 이를 데이터 과학의 "워크호스(일꾼)" 방법인 **랜덤 포레스트(Random Forests)**와 비교했습니다. 랜덤 포레스트는 데이터에 대한 답을 내기 위해 전문가들이 투표하는 것과 같으며, 매우 신뢰할 수 있고 별도의 미세 조정 없이도 잘 작동합니다.

• 결과: KAN을 "박스에서 꺼낸 그대로" 사용했을 때, 평균적으로 랜덤 포레스트보다 성능이 떨어졌습니다.
• 비유: 당신이 멋져 보이지만 아직 튜닝되지 않은 최첨단 스포츠카(KAN)를 샀다고 상상해 보십시오. 당신은 이 차를 신뢰할 수 있는 오래된 픽업트럭(랜덤 포레스트)과 함께 경주 트랙에 올렸습니다. 픽업트럭은 안정적이고 운전하기 쉬운 반 만큼이나 더 자주 승리합니다. 반면 스포츠카는 전문 정비사 없이는 제어하기 어렵고 다루기 까다롭습니다.
• 통계: KAN은 약 35%의 경우에 랜덤 포레스트보다 못했고, 약 60%의 경우에는 비슷했으며, 단 5%의 경우에만 더 뛰어났습니다. 또한 KAN은 "취약(brittle)"했는데, 이는 수치적 오류로 인해 가끔 시스템이 충돌하거나 엉뚱하고 잘못된 답을 내놓기도 했음을 의미합니다。

2. "튜닝" 테스트: KAN에게 정비사를 붙여주다

저자들은 스포츠카에 튜닝이 필요한 것처럼, KAN 역시 계층(layers)과 노드(nodes)의 수를 조정하는 미세 조정이 필요하다는 것을 깨달았습니다. 그들은 아키텍처를 수동으로 조정했을 뿐만 아니라, 자동화 도구인 Optuna를 사용하여 최적의 설정을 찾았습니다.

• 결과: KAN을 튜닝하자 성능이 훨씬 좋아졌습니다. 오차율이 약 10%에서 20% 감소했습니다.
• 비유: 정비사가 스포츠카를 튜닝한 후, 차는 훨씬 더 부드럽게 달리기 시작했습니다. 반드시 픽업트럭을 모든 경주에서 이기는 것은 아니었지만, 매우 경쟁력 있게 변했습니다. 실제로 튜닝 후 KAN은 평균적으로 랜덤 포레스트만큼 잘 작동했습니다.
• 주의점: 튜닝에는 노력이 필요했습니다. 저자들은 KAN이 설정을 어떻게 하느냐에 따라 민감하기 때문에 랜덤 포레스트보다 맞추기가 더 어렵다고 언급했습니다.

3. "특별 임무": 원자로 압력 용기(RPV)

KAN의 특별한 초능력(효율성과 해석 가능성)을 진정으로 테스트하기 위해, 저자들은 하나의 구체적이고 어려운 문제, 즉 핵 원자로의 강철이 시간이 지남에 따라 어떻게 취성(brittleness)을 갖게 되는지를 예측하는 문제에 집중했습니다.

• 과제: 보통 과학자들은 이 문제를 해결하기 위해 두 가지 유형의 모델을 사용합니다.
  1. 수동 튜닝 모델: 물리 지식을 사용하여 특정 공식을 작성하는 전문가들에 의해 만들어집니다. 이 모델들은 단순하고 읽기 쉽지만, 만들기가 어렵습니다.
  2. 딥러닝 모델: 수백만 개의 파라미터를 가진 거대한 컴퓨터 두뇌입니다. 매우 정확하지만, "블랙박스"와 같아서 아무도 그들이 어떻게 답을 얻었는지 알 수 없습니다.
• KAN의 솔루션: 저자들은 이 문제를 위해 KAN을 구축했습니다.
  • 효율성: 저자들은 거대한 딥러닝 모델보다 100배 더 작은(파라미터가 적은) KAN이 동일한 정확도를 가진다는 것을 발견했습니다.
  • 단순성: 심지어 50개 미만의 파라미터를 가진 "Tiny KAN"을 만들었습니다. 이 아주 작은 모델은 인간 전문가들이 수년간 연구하여 만든 모델만큼이나 잘 작동했습니다.
  • 해석 가능성: KAN은 매우 단순하기 때문에, 내부의 수학적 구조를 폐쇄형 방정식(closed-form equation), 즉 읽을 수 있는 공식으로 바꿀 수 있었습니다. 이 공식은 인간 전문가들이 오랜 시간 동안 만든 공식만큼 정확하면서도, KAN은 깊은 물리 지식 없이 오직 데이터만을 사용하여 단 몇 시간 만에 찾아냈습니다.

결론

이 논문은 KAN이 유망한 새로운 도구이지만, 모든 것을 즉각적으로 이겨내는 마법의 탄환은 아니라고 결론짓습니다.

• 빠르고 신뢰할 수 있는 답을 원한다면: 기존의 "워크호스"인 랜덤 포레스트를 계속 사용하십시오.
• 효율적이고, 해석 가능하며, 충분한 튜닝을 거쳤을 때 잠재적으로 더 정확한 모델을 원한다면: KAN을 탐구해 볼 가치가 있습니다.

저자들은 KAN이 현재 기존 방식들보다 설정하는 데 더 많은 노력이 필요하지만, 복잡한 데이터로부터 단순하고 이해 가능한 공식을 만들어내는 능력 덕분에, 예측 자체만큼이나 왜 그런 예측이 나왔는지 이해하는 것이 중요한 문제에서 과학자의 도구 상자에 귀중한 추가 도구가 될 것이라고 제안합니다.