Approximation and composition of functions in quantized tensor trains via orthogonal polynomial expansions

현대 과학과 공학의 세계에서 연구자들은 종종 daunting한 문제에 직면합니다. 그것은 바로 수백 또는 수천 개의 움직이는 부품을 가진 시스템을 데이터에 파묻히지 않고 어떻게 설명할 것인가 하는 문제입니다. 모래사장의 모든 모래알 하나하나를 지도에 그려 넣으려 한다고 상상해 보십시오. 정보의 엄청난 양은 어떤 컴퓨터라도 빠르게 압도할 것입니다. 이를 해결하기 위해 수학자와 물리학자들은 필수적인 형태는 유지하면서 불필요한 세부 사항은 제거하여 이 정보를 압축하는 방법들을 개발해 왔습니다. 이를 위한 강력한 방법 중 하나는 텐서 트레인(tensor train)이라 불리는데, 이는 거대하고 복잡한 객체를 작고 관리 가능한 조각들의 사슬로 분해하는 기술입니다. 이러한 조각들이 특정한 층 구조로 배치될 때, 이를 양자화된 텐서 트레인(quantized tensor train)이라고 합니다. 이 구조는 매우 효율적이어서, 컴퓨터가 양자 입자의 거동을 시뮬레이션하거나 고차원 공간에서의 복잡한 방정식을 푸는 것과 같이 기존에는 불가능했을 문제들을 처리할 수 있게 해줍니다. 그러나 지속적인 과제가 남아 있습니다. 어떻게 하면 매끄럽고 연속적인 함수—곡선이나 곡면에 대한 수학적 기술—를 정확도나 안정성을 잃지 않고 이 압축된 형식으로 변환할 수 있을까요?

마드리드 기초물리연구소(Institute of Fundamental Physics in Madrid)의 연구팀은 이 질문에 답할 수 있는 새로운 방법을 개발했습니다. 그들은 직교 다항식(orthogonal polynomials)이라는 특정 유형의 수학적 구성 요소를 사용하여 매끄럽고 연속적인 함수를 이러한 압축된 텐서 형식으로 변환하는 구성적 알고리즘을 만들었습니다. 이 다항식들을 거의 모든 매끄러운 모양을 재현하기 위해 서로 혼합될 수 있는 일련의 표준적이고 잘 다듬어진 곡선이라고 생각하십시오. 연구진은 함수를 이러한 곡선들의 합으로 전개한 다음, 그 합을 텐서 형식으로 신중하게 변환함으로써 매우 정확한 근사치를 생성할 수 있다는 것을 발견했습니다. 그들의 방법은 특히 매끄럽고 날카롭거나 울퉁불퉁한 가장자리가 없는 함수에 효과적입니다. 이 방법은 계산에 수천 개의 변수가 포함되더라도 오류가 쌓이는 것을 방지하는 안정적인 수학적 레시피를 사용하여 단계별로 솔루션을 구축함으로써 작동합니다.

연구팀은 단순한 종 모양의 곡선부터 복잡하게 진동하는 파동에 이르기까지 다양한 수학적 함수를 대상으로 그들의 접근 방식을 테스트했습니다. 그들은 매끄러운 함수의 경우, 그들의 방법이 빠르게 수렴한다는 것, 즉 비교적 적은 계산 단계만으로도 높은 수준의 정확도에 도달한다는 것을 발견했습니다. 단일 변수를 가진 일변수 함수에 대한 테스트에서, 그들의 기술은 다른 대중적인 방법들과 동일한 정밀도를 달도 달성하기 위해 훨씬 더 적은 데이터 포인트를 필요로 했습니다. 함수의 모양을 추측하기 위해 함수에서 무작위로 점을 샘플링하는 데 의존하는 다른 기술들과 달리, 이 새로운 방법은 함수의 알려진 수학적 구조를 사용하여 직접 솔루션을 구축합니다. 이러한 결정론적 접근 방식은 결과가 안정적이고 재현 가능함을 보장합니다. 또한 연구진은 단일 변수의 단순한 근사치들을 사슬처럼 연결함으로써, 여러 변수가 동시에 관여하는 다변수 함수를 다룰 수 있음을 입증했습니다. 이를 통해 그들은 200개의 변수, 즉 1조 개 이상의 가능한 상태를 나타내는 시스템을 다룰 수 있었으며, 이는 전통적인 비압축 방식으로는 도저히 도달할 수 없는 규모입니다.

이 새로운 알고리즘의 핵심 강점 중 하나는 문제의 복잡성이 커짐에 따라 안정성을 유지하는 능력입니다. 많은 수치 해석 방법에서 변수의 수를 늘리거나 계산의 정밀도를 높이면, 미세한 오류가 증폭되어 결과를 망치는 정확도 저하 현상이 발생할 수 있습니다. 연구진은 직교 다항식의 사용이 클렌쇼 재귀(Clenshaw recurrence)라고 알려진 특정 평가 기술과 결합되어 이러한 오류를 억제한다는 것을 보여주었습니다. 그들은 이 방법이 효율적으로 확장된다는 것, 즉 문제를 해결하는 데 필요한 시간과 메모리가 기하급수적으로 폭발하는 것이 아니라 관리 가능한 속도로 증가한다는 것을 관찰했습니다. 이는 복잡한 물리 시스템을 표준 컴퓨터보다 훨씬 큰 규모로 시뮬레이션하는 것을 목표로 하는 양자 영감 컴퓨팅(quantum-inspired computing) 분야에서 매우 중요합니다. 연구진은 자신들의 결과를 텐서 크로스 보간(tensor cross-interpolation)과 같은 기존의 최첨단 기술들과 비교하였으며, 그들의 방법이 모든 유형의 문제에 대해 항상 가장 빠른 것은 아닐지라도, 매끄럽고 고차 미분 가능한 함수를 다룰 때 매우 견고하고 신뢰할 수 있는 대안을 제공한다는 것을 발견했습니다.

이 연구는 또한 컴퓨터 메모리 내에 데이터가 어떻게 조직되는지가 중요하다는 점을 강조합니다. 연구진은 계산에서 변수를 정렬하는 다양한 방법을 탐구하였으며, 특정 유형의 복잡한 비선형 모델의 경우 스크램블되거나 인터리브(interleaved)된 배열보다 '직렬 순서(serial order)'라고 부르는 특정 배치가 더 성능이 좋다는 것을 발견했습니다. 이 발견은 우리가 수학적 모델을 해결하기 위해 사용하는 알고리즘만큼이나 모델을 구조화하는 방식 또한 중요하다는 것을 시사합니다. 연산의 순서와 다항식 전개의 유형을 신중하게 선택함으로써, 연구진은 밀집된 상호작용과 강한 상관관계를 가진 시스템을 다루며, 이는 일반적으로 다른 방법들을 실패하게 만드는 한계를 뛰어넘을 수 있었습니다.

궁극적으로, 이 연구는 이러한 압축된 형식 내에서 함수를 합성하기 위한 일반적인 프레임워크를 제공합니다. 이는 과학자들이 알려진 함수를 이미 압축된 상태에 있는 다른 함수에 적용할 수 있게 하여, 전체의 방대한 형태로 확장하지 않고도 복잡하고 층이 있는 모델을 구축할 수 있게 해줍니다. 이러한 능력은 비선형 방정식을 풀고 복잡한 물리적 과정을 이전에는 도달할 수 없었던 수준의 효율성으로 시뮬레이션할 수 있는 문을 열어줍니다. 이 연구에서 개발된 알고리즘은 이제 오픈 소스 소프트웨어로 제공되어, 다른 연구자들이 자신의 문제에 이 기술을 적용할 수 있도록 하고 있습니다. 고차원 데이터라는 추상적인 과제를 구체적이고 해결 가능한 과정으로 바꿈으로써, 이 연구는 현대 과학 계산의 광대하고 복잡한 지형을 항해하기 위한 새로운 도구를 제공합니다.