The Illusion of Chemical Continuity Limits Machine Learning Generalization

당신이 로봇에게 날씨를 예측하는 법을 가르치려 한다고 상상해 보십시오. 당신은 로봇에게 백만 년 치의 날씨 데이터를 주면, 로봇이 결국 내일 하늘이 어떻게 될지 정확히 말해줄 수 있는 완벽한 공식을 배우게 될 것이라고 생각할지도 모릅니다. 이것은 과학자들이 방대한 양의 데이터와 강력한 컴퓨터 두뇌(머신러닝)를 사용하여 새로운 재료가 어떻게 행동할지 예측하는 분야인 '재료 정보학(materials informatics)'의 꿈입니다. 핵심 아이디어인 '스케일링 가설(Scaling Hypothesis)'은 화학의 세계가 매끄럽고 연속적인 언덕과 같다는 것입니다. 만약 한 지점의 언덕 모양을 알고 있다면, 충분한 데이터 포인트를 관찰함으로써 다른 모든 곳의 모양도 추측할 수 있다는 뜻입니다. 이는 분자를 만드는 데 드는 에너지를 예측하는 것과 같은 일부 작업에서는 매우 아름답게 작동합니다. 하지만 '밴드갭(bandgap)'이라 불리는 특정 성질에 있어서는 로봇들이 벽에 부딪히고 맙니다. 밴드갭은 재료가 도체인지, 절연체인지, 혹은 반도체(당신의 휴대폰에 들어있는 실리콘처럼)인지 결정하는 일종의 마법 스위치입니다. 하지만 로봇들은 아무리 많은 데이터를 입력받아도 예측이 빗나가는 경우가 많으며, 때로는 0.4에서 0.5 전자볼트(eV)만큼 차이가 나기도 합니다. 가시광선이 약 1 eV의 범위를 차지한다는 점을 고려하면 이 오차는 엄청난 것입니다. 이는 마치 라디오 채널을 맞추려는데 노래 대신 잡음만 들리는 것과 같습니다.

이 논문은 왜 로봇들이 이 특정 작업에서 실패하는지를 조사합니다. 토론토 대학교와 다른 기관의 연구진으로 구성된 저자들은 문제가 로봇이 충분히 똑똑하지 않거나 충분한 데이터를 보지 못해서가 아니라고 주장합니다. 대신 그들은 밴드갭을 위한 '매끄러운 언덕'이 실제로 존재하지 않는다고 제안합니다. 그들은 밴드갭을 위한 화학적 공간이 실제로는 조각조각 떨어진 섬들의 파편화된 모자이크와 같다는 것을 발견했습니다. 연구진이 서로 다른 유형의 결정 구조(예: 암염 구조 vs 징크블렌드 구조)에 대해 모델을 훈련시켰을 때, 데이터를 더 많이 추가하는 것은 도움이 되지 않았습니다. 오히려 예측을 더 악화시켰습니다. 그들은 원자와 전자의 근본적인 본성이 단순한 수학으로는 매끄럽게 다듬을 수 없는 급격하고 갑작스러운 변화를 만들어낸다는 것을 발견했습니다. 이 논문은 이 문제를 해결하기 위해 단순히 문제에 더 많은 데이터를 던져주는 것이 아니라, 로봇에게 패턴을 바탕으로 추측하게 하는 대신 이러한 급격한 변화를 지배하는 실제 양자 역학 법칙(해밀토니언, Hamiltonian)을 가르쳐야 한다고 제안합니다.

매끄러운 언덕이라는 환상

오랫동안 과학자들은 화학의 세계가 거대하고 연속적인 풍경이라고 믿어 왔습니다. 한 지점의 높이를 알면 몇 걸음 떨어진 곳의 높이를 쉽게 추측할 수 있는 매끄럽고 완만한 언덕을 상상해 보십시오. '스케일링 가설'이라 불리는 이 아이디어는 현대 재료 발견의 기초입니다. 믿음은 우리가 충분한 데이터 포인트, 즉 수백만 개의 결정 구조와 그 성질을 수집하기만 하면, 인공지능(AI) 모델이 이 언덕을 완벽하게 걸을 수 있게 될 것이라는 것이었습니다. AI는 이전에 본 적 없는 새로운 재료가 어떻게 행동할지를 그 이웃들을 살펴봄으로써 예측할 수 있을 것이라 믿었습니다.

이 전략은 일부 성질에 대해서는 큰 성공을 거두었습니다. 예를 들어, '형성 에너지(formation energy, 재료를 처음부터 만드는 데 드는 에너지)'를 예측하는 것은 매끄럽고 잘 포장된 길을 걷는 것과 같습니다. AI 모델은 가장 복잡한 물리 시뮬레이션 결과와 일치할 정도로 거의 완벽한 정확도로 이를 수행할 수 있습니다. 하지만 밴드갭을 예측하는 데 있어서 AI는 벽에 부딪힙니다. 밴드갭은 재료가 빛 및 전기와 어떻게 상호작용하는지를 결정하는 중요한 성질입니다. 그것은 전기를 차단하는 재료(절연체), 전기를 자유롭게 통과시키는 재료(금속), 그리고 켜고 끌 수 있는 재료(반도체) 사이의 차이를 결정합니다.

10년 동안 모델에 방대한 데이터셋을 입력하며 시도했음에도 불구하고, 밴드갭 예측 오차는 0.4에서 0.5 eV 주변에 머물며 완고하게 높은 수준을 유지하고 있습니다. 이를 설명하자면, 우리 눈으로 볼 수 있는 전체 색상의 범위가 약 1 eV 폭이라는 점을 고려할 때, 0.5 eV의 오차는 AI가 투명한 재료를 불투명하다고 예측하거나, 파란색이어야 할 재료가 붉은색으로 빛난다고 예측할 수 있음을 의미합니다. 이 논문이 던지는 질문은 간단합니다. 왜 AI는 다른 모든 것에는 그렇게 능숙하면서 이 특정 작업에서는 이토록 형편없이 실패하는가?

조각난 모자이크

저자들은 언덕이 매끄럽다고 가정하는 것을 멈추고 현미경으로 지면을 관찰하기로 했습니다. 그들은 이원계 반도체(두 가지 원소로 만들어진 재료)의 포괄적인 데이터셋과 최첨단 AI 모델을 사용하여 지형을 그려보았습니다. 그들이 발견한 것은 충격적이었습니다. 밴드갭을 위한 지형은 매끄러운 언덕이 아니었습니다. 그것은 서로 떨어진 섬들의 집합이었습니다.

당신이 로봇에게 '돌'과 '깃털'의 차이를 인식하도록 가르치려 한다고 상상해 보십시오. 만약 백만 개의 돌과 백만 개의 깃털을 보여준다면 로봇은 패턴을 배울 것입니다. 하지만 갑자기 '돌-깃털' 혼합체를 보여준다면 어떻게 될까요? 로봇이 순수한 돌과 순수한 깃털만을 보았다면 혼란에 빠질 수 있습니다. 저자들은 서로 다른 결정 구조(원자의 배열 방식)가 이러한 서로 다른 섬들과 같다는 것을 발견했습니다. 그들은 '징크블렌드'와 같은 한 유형의 구조로 훈련된 모델이, 화학적 성분은 같더라도 '암염'과 같은 다른 유형의 구조에 대한 성질을 예측하라고 요청받았을 때 처참하게 실패한다는 것을 발견했습니다.

사실, 다른 구조로부터 데이터를 더 많이 추가하는 것은 도움이 되지 않았습니다. 오히려 상황을 악화시켰습니다. 이것은 '부정적 학습(negative learning)'이라고 불립니다. 이는 학생에게 대수학, 기하학, 미적분을 설명 없이 한꺼번에 섞어서 가르치며 수학 문제를 풀게 하는 것과 같습니다. 학생은 혼란에 빠지고 모든 것을 틀리기 시작합니다. 논문은 서로 다른 결정 구조의 데이터를 섞으면 AI가 이들을 평균화하려고 시도하며, 결국 모두에게 틀린 예측을 만들어낸다는 것을 보여줍니다. AI의 뇌 속에 구축된 내부 지도인 '잠재 공간(latent space)'은 이러한 구조들이 완전히 분리되어 겹치지 않는 영역을 차지하고 있음을 보여줍니다. 이들을 연결하는 매끄러운 경로는 존재하지 않습니다.

양자 절벽

왜 지형이 이렇게 깨져 있는 것일까요? 논문은 이 문제의 원인을 전자의 근본적인 본성으로 돌립니다. 양자 세계에서 전자는 특정한 '궤도(orbitals)'(사다리의 발판과 같은)에 거주합니다. 두 발판 사이의 중간 지점에 서 있을 수는 없습니다. 재료의 성분을 아주 조금만 바꾸더라도, 이 전자의 에너지 준위는 매끄럽게 미끄러지는 것이 아니라 도약합니다.

저자들은 한 원소를 다른 원소로 천천히 바꾸는 시뮬레이션(알케미컬 인터폴레이션, alchemical interpolation이라 불리는 과정)을 실행했습니다. 그들은 재료의 총 에너지와 밴드갭 사이에서 어떤 일이 일어나는지 관찰했습니다. 총 에너지는 원자가 변함에 따라 부드럽게 변화하며 매끄러운 슬라이드처럼 행동했습니다. 하지만 밴드갭은 어떠했을까요? 그것은 절벽처럼 행동했습니다. 전자 수가 아주 조금만 변해도 밴드갭은 갑자기 붕괴하거나 완전히 다른 값으로 뛰어올랐습니다. 이는 전자가 새로운 별개의 에너지 준위로 재배열되어야 하기 때문이며, 이러한 재배열이 데이터에 날카로운 '커스프(cusp)' 또는 단절을 만들어냅니다.

이러한 급격한 변화 때문에 주기율표(모든 원소의 표)는 밴드갭에 대해 매끄러운 구배가 아닙니다. 그것은 고립된 영역들의 집합입니다. 논문은 할로겐 화합물이나 칼코겐 화합물과 같은 단일 원소 그룹 내에서도 트렌드가 무질서하고 예측 불가능하다는 것을 보여줍니다. 예를 들어, 나트륨(Na) 화합물의 밴드갭은 파트너 원소를 바꿈에 따라 매끄럽게 감소할 수 있지만, 마그네슘(Mg) 화합물은 완전히 다른 행동을 보이며 패턴을 깨뜨릴 수 있습니다. 패턴을 찾아 예측을 수행하는 AI는 붙잡을 수 있는 것이 아무것도 없습니다.

연속성의 환상

이 논문의 핵심 논거는 '빅데이터' 접근 방식이 한계에 부딪혔다는 것입니다. 지배적인 믿음은 충분한 데이터를 모으기만 하면 AI가 결국 물리학을 이해하게 될 것이라는 것이었습니다. 그러나 저자들은 양자 불연속성의 문제를 통계적 연속성의 문제로 해결할 수 없다고 주장합니다. AI는 실제로 서로 연결되지 않은 서로 다른 섬들 위에 놓인 점들을 통과하는 매끄러운 선을 그리려고 애쓰고 있습니다. 아무리 많은 점을 추가하더라도, 섬들이 서로 닿지 않는다면 그 선은 항상 틀릴 수밖에 없습니다.

논문은 이 문제가 단순히 데이터의 부족이나 모델 복잡도의 부족 때문이라는 생각을 명시적으로 배제합니다. 그들은 가장 진보된 모델들(coGN 및 CGCNN 등)을 사용하고 방대한 데이터셋으로 훈련시켜 이를 테스트했습니다. 결과는 동일했습니다. 오차 하한선은 여전히 높았습니다. 또한 그들은 문제의 원인이 단순히 결정 구조의 복잡성 때문도 아님을 밝혔습니다. 구조를 단순화하여 '감마 포인트(gamma point, 에너지 맵의 특정 지점)'만을 보도록 했을 때도 오차는 지속되었습니다.

저자들은 해결책이 데이터를 더 수집하는 것이 아니라 질문 자체를 바꾸는 것이라고 제안합니다. 밴드갭(날카롭고 불연속적인 성질)을 직접 예측하라고 요구하는 대신, 밴드갭을 만드는 근본적인 물리학을 예측하도록 AI에게 요구해야 합니다. 그들은 AI가 밴드갭을 직접 예측하는 것이 아니라, 그 밴드갭을 만드는 '해밀토니언(Hamiltonian, 양자 시스템의 수학적 기술)'을 직접 학습하도록 가르쳐야 한다고 제안합니다. 만약 AI가 전자가 어떻게 상호작용하는지에 대한 매끄럽고 연속적인 규칙을 배울 수 있다면, 그 규칙으로부터 밴드갭을 계산해낼 수 있을 것입니다. 이는 일 년의 모든 날씨 예보를 암기하려 노력하는 것과, 날씨를 실제로 일으키는 열역학 법칙을 배우는 것의 차이와 같습니다.

결론: 새로운 길

이 논문은 재료 과학 분야에 대한 현실적인 점검 역할을 합니다. 이는 밴드갭과 같은 전자적 성질에 있어, 어떤 재료의 어떤 성질도 예측할 수 있는 보편적인 데이터 기반 모델이라는 꿈이 결함이 있음을 시사합니다. '화학적 연속성의 환상'은 말 그대로 환상일 뿐입니다. 양자 세계는 불연속적이며, 이를 매끄럽고 연속적인 풍경으로 취급하는 우리의 현재 방식은 근본적으로 맞지 않습니다.

저자들은 아직 이 문제를 해결했다고 주장하는 것이 아닙니다. 대신 그들은 경계 조건을 식별했습니다. 즉, 원자 좌표에 대한 단순 회귀는 고유값 현상(eigenvalue phenomena)의 본질적인 불연속성을 해결할 수 없다는 것입니다. 그들은 미래의 분야가 머신러닝에 양자 역학을 더 깊이 통합하는 데 있다고 제안하며, 아마도 AI가 최종적인 성질 대신 연속적인 해밀토니언 행렬 요소를 예측하도록 하는 방식이 될 것이라고 말합니다. 그렇게 하기 전까지 AI는 아무리 많은 데이터를 쏟아부어도 양자 세계의 날카롭고 울퉁불퉁한 가장자리에서 계속 고전할 것입니다. 논문은 명확한 메시지로 끝을 맺습니다. 우리는 절벽을 매끄럽게 만들려고 노력하는 것을 멈추고, 그 절벽을 오르는 법을 배우기 시작해야 합니다.