Tensor-Network Finite Elements for Analytic Operator Equations

우주를 아주 복잡한 지침들에 의해 돌아가는 거대하고 보이지 않는 기계라고 상상해 보십시오. 이 지침들은 영어로나 코드로 쓰여 있는 것이 아니라, 사물이 어떻게 변화하고, 움직이고, 상호작용하는지를 설명하는 수학적 레시피인 "연산자 방정식(operator equations)"으로 작성되어 있습니다. 이 레시피들은 금속 막대를 통해 열이 어떻게 퍼지는지, 군중 속에서 바이러스가 어떻게 확산되는지, 혹은 양자 입자가 어떻게 춤을 추는지를 알려줍니다. 문제는 이 레시피들이 종종 너무 얽히고 비선형적이어서 손으로 풀기가 불가능하다는 점입니다. 수십 년 동안 과학자들은 이 거대한 퍼즐을 작고 다루기 쉬운 레고 블록처럼 나누는 "유한 요소법(Finite Elements)"이라는 방법을 사용해 왔습니다. 그들은 각 블록에 대한 수학을 풀고 나서 그것들을 다시 결합하려고 시도합니다. 하지만 시스템이 거대해지거나 상호작용이 복잡해지면, 블록의 수가 폭발적으로 늘어나 데이터의 무게 때문에 컴퓨터가 멈춰버립니다.

여기 "텐서 네트워크(Tensor Networks)"가 등장합니다. 이는 원래 물리학자들이 양자 시스템 내의 입자들이 어떻게 서로 "얽혀(entangled)" 있거나 연결되어 있는지를 이해하기 위해 발명한 도구입니다. 텐서 네트워크를 레고 블록 더미가 아니라, 모든 개별적인 것을 다 저장할 필요 없이 가장 중요한 연결 고리들을 붙잡을 수 있는 영리하고 유연한 그물이라고 생각하십시오. 이것은 마치 거대하고 붐비는 파티를 묘사하는 것과 같습니다. 모든 사람 사이의 모든 대화를 일일이 나열하는 대신(그러면 시간이 너무 오래 걸릴 것입니다), 주요 그룹이 무엇인지, 그리고 그들이 이웃들과 어떻게 소통하는지를 지도화하는 것과 같습니다. 이 논문은 다음과 같은 대담한 질문을 던집니다. 만약 우리가 이 "그물"을 단순히 최종 답을 압축하는 데만 사용하는 것이 아니라, 퍼즐 자체를 만드는 데 사용한다면 어떻게 될까?

MIT 연구진인 저자들은 이 두 세계를 융합하는 새로운 프레임워크를 개발했습니다. 그들은 "레고 블록(유한 요소)"과 "그물(텐서 네트워크)"을 별개의 단계로 취급하는 대신, 처음부터 이 둘을 하나로 엮었습니다. 그들은 연산 방정식의 수학적 구성 요소들을 텐서 네트워크의 관점으로 바라봄으로써, 수렴하는 급수로 확장 가능한 해석적(analytic) 연산 방정식을 훨씬 더 단순한 선형 행렬 방정식으로 바꿀 수 있음을 보여주었습니다. 시뮬레이션에서 그들은 이를 1차원 확산 문제(잉크 방울이 물속에서 퍼지는 상황이지만, 퍼지는 속도가 이미 존재하는 잉크의 양에 따라 달라지는 변형된 상황)에 테스트했습니다. 그들은 이 방법이 표준적이고 신뢰할 수 있는 해답을 높은 정확도로 재현하면서도, 가장자리를 매끄럽게 유지하고 경계 조건을 정확하게 지키며, 전통적인 컴퓨터가 필요로 하는 메모리의 아주 작은 부분만을 사용한다는 것을 발견했습니다. 이는 우리가 단순히 숫자의 더미가 아닌, 서로 연결된 네트워크로서 일부 복잡한 방정식들을 해결할 수 있음을 시사하는 개념 증명입니다.

핵심 아이디어: 혼돈을 직선으로 바꾸기

이 논문의 핵심은 마술과 같습니다. 바로 지저도하고 비선형적인 방정식을 깨끗하고 곧은 직선으로 바꾸는 것입니다. 수학의 세계에서 "비선형(non-linear)"은 적입니다. 이는 입력값을 두 배로 늘린다고 해서 출력이 단순히 두 배가 되는 것이 아니라, 제곱이나 세제곱, 혹은 완전히 예상치 못한 결과가 나올 수 있음을 의미합니다. 이러한 방정식은 풀기가 매우 까다롭기로 유명합니다. 저자들의 목표는 이러한 혼돈스러운 방정식들을 "선형 행렬 방정식"으로 변환하는 것이었습니다. 선형 행렬 방정식은 수학적으로 곧고 걷기 쉬운 길과 같습니다.

이를 위해 그들은 문제를 바라보는 방식을 바꾸어야 했습니다. 보통 과학자들이 유한 요소법(FEM)을 사용할 때는 영역(금속 조각이나 유체 등)을 작은 조각들로 나눕니다. 그들은 각 조각에서의 값을 구하고, 각 조각이 방정식의 수학을 통해 서로 소통할 뿐 대부분은 독립적이라고 가정합니다. 저자들은 이 접근 방식이 "상관관계(correlations)", 즉 서로 다른 조각들 사이의 깊고 숨겨진 연결 고리를 놓치고 있다는 점을 깨달았습니다.

그들은 새로운 사고방식을 제안했습니다. 솔루션을 각 조각에 대한 숫자 목록으로 취급하는 대신, 조각들이 깊게 연결된 거대한 다차원 객체(텐서)로 취급하는 것입니다. 그리고 이 객체를 "텐서 네트워크"로 표현했습니다. 텐서 네트워크를 종이 접기(origami)의 연속적인 접기로 생각하십시오. 만약 당신에게 거대한 종이 한 장(전체 솔루션 공간)이 있다면, 이를 특정 모양(네트워크)으로 접음으로써 방 전체를 차지하지 않고도 손 안에 담을 수 있게 됩니다.

"포크 공간(Fock Space)" 업그레이드

여기서 비유가 약간 공상과학처럼 변합니다. 저자들은 선형 문제의 경우 표준적인 "힐베르트 공간(Hilbert space, 벡터의 놀이터라는 멋진 수학 용어)"을 사용할 수 있다고 설명합니다. 하지만 사물들이 서로 곱해지고 상호작용하는 비선형 문제의 경우, 그 놀이터는 충분히 크지 않습니다. 그들은 "포크 공간(Fock space)"으로 업그레이드해야 했습니다.

힐베르트 공간을 한 명의 사람이 있을 수 있는 단일 방이라고 상상해 보십시오. 포크 공간은 한 명, 두 명, 세 명, 혹은 아예 군중 전체가 동시에 존재할 수 있는 무한한 방들이 있는 건물과 같습니다. 그들의 수학에서, 이는 함수의 "곱셈"(예: $u \times u$)을 사람들이 방 사이를 이동하는 단순하고 선형적인 움직임으로 표현할 수 있게 해줍니다. 복잡하게 들리겠지만, 결과는 강력합니다. 이는 비선형적인 악몽을 컴퓨터가 훨씬 더 쉽게 처리할 수 있는 일련의 선형 규칙으로 바꿔놓습니다.

퍼즐을 하나로 묶어주는 "그물"

이 논문의 진정한 혁신은 텐서 네트워크를 사용하는 방식에 있습니다. 전통적인 방식에서는 높은 정확도를 얻기 위해 수백만 개의 "자유도(degrees of freedom, 변수)"가 필요합니다. 이는 데이터의 폭발을 야기합니다. 저자들의 방법은 텐서 네트워크를 "변분적 표현(variational representation)"으로 사용합니다.

이렇게 생각해 보십시오. 만약 당신이 복잡한 그림을 묘사하려 한다면, 모든 픽셀의 색상을 일일이 나열할 수도 있습니다(전통적인 방식). 그것은 엄청난 양의 데이터입니다. 또는, 그림을 일련의 붓터치와 그들이 어떻게 겹쳐져 있는지로 묘사할 수도 있습니다(텐서 네트워크 방식). 저자들은 유한 요소 계수들을 네트워크 구조(1차원 문제에 적합한 특정 유형의 네트워크인 행렬 곱 상태, MPS)로 조직함으로써, 수백만 개의 추가 숫자를 저장하지 않고도 요소들 사이의 필수적인 "상관관계"를 포착할 수 있음을 보여주었습니다.

그들은 이를 비선형 확산 방정식에 대해 테스트했습니다. 이 시나리오에서 "잉크"가 물속에서 퍼지는 현상은 이미 존재하는 잉크의 양에 따라 행동이 변합니다.

• 테스트: 그들은 다양한 수준의 비선형성을 적용하여 이를 시뮬레이션했습니다.
• 설정: 그들은 10개 또는 11개의 유한 요소로 나뉜 1차원 영역(선)을 사용했습니다. 각 요소에는 곡선을 근사하는 데 사용되는 수학적 형태인 4개의 기저 함수(basis functions)가 있었습니다.
• 결과: 매우 작은 값인 "본드 차원(bond dimension)" 1(매우 단순한 네트워크를 의미함)을 가진 텐서 네트워크를 사용하여, 그들은 기존의 고성능 컴퓨터 시뮬레이션과 거의 동일한 결과를 얻었습니다. 차이는 원래 진폭의 2% 미만이었습니다.

왜 이것이 중요한가 (그리고 무엇을 하지 못하는가)

저자들은 이것이 "원리 증명(proof of principle)"임을 명확히 밝히고 있습니다. 그들은 모든 방정식을 해결했다고 주장하는 것이 아닙니다. 그들은 이 프레임워크가 작동한다는 것을 보여주고 있습니다. 그들은 문제를 재구성함으로써, 양자 물리학에서 유명한 알고리즘(DMRG 등)을 사용하여 고전적인 공학 문제를 해결할 수 있음을 입증했습니다.

그들은 텐서 네트워크가 이미 계산된 솔루션을 위한 단순한 "압축 도구"라는 생각을 명시적으로 배제했습니다. 대신, 그들은 텐서 네트워크가 처음부터 방정식이 작성되는 언어가 되어야 한다고 주장합니다. 이것은 미묘하지만 결정적인 변화입니다. 이는 수학 자체가 더 효율적으로 변한다는 것을 의미하며, 단순히 답을 저장하는 방식만 바뀌는 것이 아닙니다.

또한 이 논문은 이 방법이 상관관계가 "국소적(local)"일 때 가장 잘 작동한다는 점을 강조합니다. 즉, 한 조각에서 일어나는 일이 주로 그 이웃에게 영향을 미칠 때입니다. 만약 시스템이 혼돈스럽거나 멀리 떨어진 곳까지 영향을 미치는 거친 연결을 가지고 있다면, 네트워크는 더 커지고 복잡해져야 할 것입니다. 하지만 많은 표준적인 물리 및 공학 문제에서 이러한 "국소적" 가정은 유효합니다.

요점

간단히 말해, 저자들은 두 가지 서로 다른 수학의 세계, 즉 사물을 조각으로 나누는 세계(유한 요소)와 그물로 연결하는 세계(텐서 네트워크) 사이에 다리를 놓았습니다. 이 다리를 건너면서, 그들은 가장 까다로운 비선형 해석적 방정식을 더 풀기 쉬운 선형 방정식으로 바꾸는 방법을 찾아냈습니다.

그들은 1차원 확산이라는 특정 유형의 문제에 대해, 이 새로운 사고방식이 계산 비용을 낮게 유지하면서도 정확한 결과를 만들어낸다는 것을 보여주었습니다. 이것은 마치 루빅스 큐브를 무작위로 돌려서 푸는 것이 아니라, 전체가 사실은 특정한 순서대로 풀어내기만 하면 되는 하나의 유연한 루프라는 사실을 깨닫는 것과 같습니다. 아직 모든 퍼즐을 푼 것은 아니지만, 그들은 우리에게 매우 강력한 새로운 도구를 건네주었습니다.