Computing with traceable tensor networks

새로운 조각을 하나씩 추가할 때마다 전체를 배열하는 방법의 수가 폭발적으로 늘어나는 퍼즐을 풀려고 노력한다고 상상해 보십시오. 이것이 과학과 공학에서 발생하는 "고차원(high-dimensional)" 문제의 악몽입니다. 복잡한 재료를 통해 열이 어떻게 퍼지는지 모델링하거나, 유체 속 입자의 움직임을 예측하거나, 양자 시스템의 거동을 시뮬레이션하든, 수학은 빠르게 엉망이 됩니다. 변수가 몇 개뿐이라면 노트북으로도 해결할 수 있습니다. 하지만 변수가 10개, 20개, 혹은 100개가 되면, 저장해야 할 데이터의 양이 너무 방대해져서 세계에서 가장 큰 슈퍼컴퓨터조차 첫 단계를 마치기도 전에 메모리가 바닥날 것입니다. 이는 당신이 그림을 그리는 속도보다 더 빠르게 새로운 거리가 계속 추가되는 도시의 모든 가능한 경로를 지도에 그리려는 것과 같습니다.

이를 해결하기 위해 과학자들은 "텐서 네트워크(tensor networks)"라고 불리는 영리한 기술을 사용합니다. 텐서를 거대한 다차원 스프레드시트라고 생각하십시오. 이 전체 스프레드시트를 모두 저장하는 것이 불가능하기 때문에, 이 방법들은 데이터를 서로 연결된 작은 덩어리들로 나눕니다. 마치 팀원들이 서로에게 쪽지를 전달하는 것과 같습니다. 지금까지 가장 인기 있는 팀 구성은 직선 형태(이를 "텐서 트레인(Tensor Train)"이라 부름)나 트리 형태(이를 "계층적 턱커(Hierarchical Tucker)"라 부름)였습니다. 이 팀들은 데이터를 작게 유지하는 데는 뛰어나지만, 경직되어 있습니다. 이들은 오직 특정한 형태 내에서만 작동할 수 있습니다. 만약 해결하려는 문제가 자연스럽게 다른 형태(예: 원, 루프 또는 복잡한 웹)에 적합하다면, 이를 직선이나 트리 형태로 강제하는 것은 둥근 못을 사각 구멍에 끼워 넣으려는 것과 같습니다. 작동은 하겠지만, 많은 공간과 에너지를 낭비하게 됩니다.

여기서 캘리포니아 대학교 산타크루즈 캠퍼스의 사라 엘바인(Sarah Ellwein)과 다니엘 벤트리(Daniele Venturi)가 진행한 새로운 연구가 등장합니다. 그들은 이러한 데이터 팀이 효율성을 잃지 않으면서도 루프나 복잡한 웹을 포함한 어떠한 형태에서도 작업할 수 있는 방법을 발명했습니다. 그들은 이 방법을 "그래프 텐서 네트워크(Graph Tensor Networks, GTN)"라고 부릅니다. 논문에서 그들은 데이터가 더 자연스러운 원형 패턴으로 흐르게 함으로써, 기존 방식보다 훨씬 적은 자원으로 어려운 수학 문제를 해결할 수 있음을 보여주었습니다. 그들은 입자가 어떻게 이동하고 퍼지는지를 설명하는 방정식(포커-플랑크 방정식)을 포함하여 매우 까다로운 방정식들을 테스트했으며, 새로운 "그래프" 접근 방식이 기존의 직선형이나 트리 형태의 접근 방식보다 종종 훨씬 빠르고 메모리를 현저히 적게 사용하면서도 답변의 정확도는 그대로 유지한다는 것을 발견했습니다.

형태가 변하는 퍼즐 이야기

당신이 수백만 개의 작은 레고 브릭으로 만들어진 거대하고 정교한 3D 조각품을 묘사하려고 한다고 상상해 보십시오. 만약 모든 브릭의 위치를 하나하나 나열하려고 한다면, 그 목록은 인터넷 전체의 길이보다 길어질 것입니다. 이것이 고차원 데이터의 문제입니다. 이를 해결하기 위해 과학자들은 "저계수(low-rank)" 전략을 사용합니다. 즉, 모든 브릭을 일일이 나열하는 대신, 조각품을 서로 결합되는 더 작고 단순한 블록들의 집합으로 묘사하는 것입니다.

오랫동안 이 블록들을 결합하는 유일한 방법은 직선(기차처럼)이나 가지를 치는 트리 형태뿐이었습니다. 이러한 형태는 관리하기 쉽지만, 항상 최선의 선택은 아닙니다. 때때로 데이터는 원을 그리거나 복잡한 웹 형태를 띠고 싶어 합니다. 데이터를 원형 문제에 맞춰 직선으로 강제하는 것은 긴 직선 막대를 잡은 채로 원을 그리며 걷는 것과 같습니다. 결국 당신은 매우 비효율적인 걸음을 내딛게 될 것입니다.

엘바인과 벤트리는 간단한 질문을 던졌습니다. 만약 우리가 연결 방식에 대한 지도만 가지고 있다면, 블록들을 우리가 원하는 어떤 모양으로든 결합할 수 있다면 어떨까?

그들은 GTN-SVD라고 불리는 새로운 알고-리즘을 개발했습니다. 이것을 거대하고 엉망인 데이터 블록을 당신이 선택한 형태(직선, 고리, 별 모양, 또는 이상하게 출렁이는 덩어리 등)의 작은 조각 네트워크로 분해하는 범용 번역기라고 생각하십시오. 핵심은 "계수 인접 행렬(rank adjacency matrix)"인데, 이는 어떤 조각들이 서로 연결되어 있는지를 그리는 세련된 방식의 지도입니다. 만약 두 조각이 연결되어 있지 않다면, 지도는 "연결 없음"이라고 말하며, 알고리즘은 그 연결을 무시하여 공간을 절약합니다.

하지만 데이터를 분해하는 것은 싸움의 절반에 불과합니다. 시간이 지남에 따라 변화하는 문제(예: 흐르는 유체)를 해결하려면, 새로운 정보를 계속 추가하면서 동시에 데이터를 작게 유지하기 위해 "정리"하는 과정이 필요합니다. 여기서 논문은 정말 영리해집니다.

기존의 "직선" 방식에서는 새로운 정보를 추가하는 것이 쉬웠습니다. 그냥 기존 블록 옆에 새 블록을 붙이면 되기 때문입니다. 하지만 원형이나 웹 형태의 네트워크에서는 새로운 블록을 추가하면 연결이 엉키고 거대해져서, 전체 크기가 다시 폭발적으로 늘어날 수 있습니다. 저자들은 만약 네트워크에 "추적 가능한 경로(traceable path)"—즉, 루프에 갇히지 않고 모든 블록을 정확히 한 번씩 방문하는 경로—가 있다면, 정리하는 목적에 한해서는 네트워크를 기차처럼 취급할 수 있다는 점을 깨달았습니다.

그들은 새로운 "라운딩(rounding)" 절차를 발명했습니다. 헝클어진 실타래의 웹을 상상해 보십시오. 만약 특정 순서(그 추적 가능한 경로를 따르는 순서)에 따라 실을 잡아당긴다면, 웹을 끊지 않고도 매듭을 조이고 느슨한 끝부분을 잘라낼 수 있습니다. 그들의 방법은 정확히 이와 같습니다. 네트워크를 훑으며 연결을 조이고 불필ot한 데이터를 잘라내어, 크기는 작게 유지하면서 정확도는 높게 유지합니다.

결과: 더 똑똑하고, 빠르고, 가볍게

그들의 아이디어가 실제로 효과가 있는지 확인하기 위해 저자들은 몇 가지 테스트를 수행했습니다. 그들은 단순히 추측한 것이 아니라 실제 상황을 시뮬레이션했습니다.

먼저, 매우 복잡하고 꿈틀거리는 수학 함수들을 근사화해 보았습니다. 그들은 새로운 "바벨(Barbell)" 형태(두 개의 루프가 다리로 연결된 그래프 형태)를 기존의 직선 및 트리 방식과 비교했습니다. 결과는 놀라웠습니다. 동일한 수준의 정확도를 얻기 위해, 새로운 그래프 방식은 한 단계의 정밀도에서 직선 방식보다 382배 적은 "자유도"(데이터 조각의 세련된 표현)가 필요했으며, 더 높은 정밀도에서는 498배 더 적은 데이터가 필요했습니다. 쉽게 말해, 새로운 방식은 동일한 양의 정보를 저장하는 데 있어 기존 방식보다 수백 배 더 효율적이었습니다.

다음으로, 그들은 유명한 물리학 문제인 **포커-플랑크 방정식(Fokker–Planck equation)**을 다루었습니다. 이 방정식은 잉크가 물에 떨어졌을 때처럼 입자 구름이 시간이 지남에 따라 어떻게 이동하고 퍼지는지를 설명합니다. 그들은 4차원 공간(시각화하기 어렵지만, 매우 복잡한 버전의 방이라고 생각하십시오)에서 이를 시뮬레이션했습니다.

그들은 단계별로 시뮬레이션을 장시간 실행했습니다.

• "바람이 없는" 시나리오(입자가 무작위로 확산하는 경우)에서, 새로운 그래프 방식은 시작 시 직선 방식보다 166배 적은 메모리를 사용했습니다. 시뮬레이션이 진행됨에 따라 그래프 방식은 효율성을 유지한 반면, 기존 방식은 어려움을 겪었습니다. 그래프 방식은 전체 시뮬레이션을 1,460초 만에 마쳤으나, 직선 방식은 2,737초가 걸렸습니다. 이는 거의 두 배 가까이 빠른 속도입니다.
• "바람이 부는" 시나리오(입자가 복잡한 흐름에 의해 밀려가는 경우)에서도, 그래프 방식은 직선 방식보다 10배 이상의 메모리를 적게 사용했습니다. 시간 차이는 더 컸습니다. 그래프 방식은 단계당 약 1.16초가 걸린 반면, 직선 방식은 13.6초가 걸렸습니다.

저자들은 자신의 방법이 모든 것을 완벽하게 해결하는 마법의 지팡이는 아니라는 점을 주의 깊게 명시했습니다. "바람이 부는" 테스트에서 직선 방식이 결과적으로 약간 더 정확했으나, 훨씬 더 느리고 훨씬 더 많은 메모리를 사용했습니다. 저자들은 어떤 문제들에 대해서는 기존 방식이 여전히 더 나을 수도 있지만, 많은 다른 문제들에 대해서는 새로운 그래프 접근 방식이 엄청난 승리라고 제안합니다.

이것이 왜 중요한가

핵-심은 우리가 더 이상 데이터를 직선 형태로 강제할 필요가 없다는 것입니다. 데이터가 문제의 형태(루프나 웹 등)와 일치하도록 흐르게 함으로써, 이전에는 비용이나 속도 문제로 다루기 힘들었던 고차원 퍼즐을 해결할 수 있습니다.

저자들은 이러한 유연한 그래프 형태를 사용함으로써, 기존 방식만큼 좋은 답을 얻으면서도 훨씬 적은 컴퓨터 자원을 사용할 수 있음을 보여주었습니다. 이는 마치 A 지점에서 B 지점으로 가기 위해 길고 구불구불한 도로를 만들 필요가 없다는 것을 깨닫는 것과 같습니다. 때로는 직통 다리나 원형 경로가 훨씬 더 빠르고 아스팔트도 적게 사용합니다. 이는 물리, 화학, 공학 분야에서 더 복잡한 시스템을 시뮬레이션할 수 있는 문을 열어주며, 도시 크기의 슈퍼컴퓨터 없이도 약물이 체내에서 어떻게 이동하는지부터 별이 어떻게 탄생하는지에 이르기까지 모든 것을 이해하는 데 도움을 줄 수 있습니다.