Pushing beyond the memory barrier in propagation algorithms with randomization

이 연구자들의 업적을 이해하려면 먼저 현대 양자 과학의 핵심에 자리 잡은 긴장 상태를 파악해야 한다. 양자 컴퓨터는 오늘날의 기계로는 불가능한 문제들을 해결할 것을 약속하지만, 우리가 이를 신뢰하기 전에는 반드시 검증 과정을 거쳐야 한다. 이를 위해서는 우리의 익숙한 실리콘 기반 기계인 고전 컴퓨터가 양자 장치가 어떻게 작동해야 하는지를 시뮬레이션해야 한다. 문제는 양자 시스템이 믿기 힘들 정도로 복잡하다는 점이다. 양자 회로가 더 많은 단계와 연결을 가지며 깊어질수록, 이를 설명하는 데 필요한 정보량은 폭발적으로 증가한다. 이는 마치 여행자가 한 블록을 지날 때마다 도시의 크기가 두 배로 커지는 도시 속에서, 여행자가 갈 수 있는 모든 가능한 경로를 추적하려는 것과 같다. 가장 흥러운 양자 실험 중 다수는 이를 완벽하게 시뮬레이션하는 데 필요한 메모리가 현존하는 가장 거대한 슈퍼컴퓨터의 용량을 초과한다. 이는 단단한 벽을 만든다. 만약 시뮬레이션에 필요한 메모리가 존재하는 양보다 많다면, 그 시뮬레이션은 단순히 실행될 수 없다.

스위스 로잔 연방 공과대학교에서 연구하는 이 연구진은 이 벽을 넘어설 방법을 찾아냈다. 그들은 메모리를 고정된 한계가 아닌 유연한 예산으로 취급하는 새로운 양자 회로 시뮬레이션 방법을 개발했다. 그들이 '무작위 파울리 전파(randomized Pauli propagation)'라고 부르는 이 접근 방식은, 그렇지 않았다면 가용 메모리보다 수백 배 더 많은 메모리를 필요로 했을 회로들을 시뮬레이션할 수 있게 해준다. 이 방법은 양자 상태의 모든 세부 사항을 저장하려고 시도하다가 공간이 금방 바닥나는 대신, 가장 중요한 정보 조각들의 적절한 수를 유지한다. 메모리가 가득 차면, 컴퓨터는 전체적인 그림이 여전히 정확하도록 특정 수학적 전략을 사용하여 어떤 조각을 남기고 어떤 조각을 버릴지에 대해 계산된 추측을 한다. 이 과정을 서로 다른 프로세서에서 여러 번 실행하고 결과를 평균함으로써, 훨씬 더 크고 비싼 시뮬레이션이 만들어냈을 법한 매우 정밀한 답을 재구성할 수 있다.

그들의 발견의 핵심은 가능성의 폭발을 어떻게 다루느냐에 있다. 표준적인 시뮬레이션에서는 양자 게이트가 시스템에 작용할 때마다 잠재적 상태의 수가 두 배로 늘어날 수 있다. 결국 이 상태들의 목록은 메모리에 담기에 너무 길어진다. 새로운 방법은 모든 것을 보유할 수 없다는 사실을 받아들인다. 대신, 그들은 '리샘플링(resampling)'이라 불리는 기술을 사용한다. 수천 개의 항목 중 일부는 매우 무겁고 일부는 매우 가볍다고 가정해 보자. 만약 당신이 몇 개만 들 수 있다면, 아마도 가장 무거운 것들을 집을 것이다. 하지만 단순히 가장 무거운 것들만 집는 것은 편향(bias), 즉 체계적인 오류를 유발하는데, 왜냐하면 여전히 중요할 수 있는 가벼운 것들을 무시하기 때문이다. 연구진은 '콤 리샘플링(comb resampling)'이라 부르는 특정 유형의 리샘플링이 무작위 추측보다 훨씬 우월하다는 것을 발견했다. 이 방법은 가능성 목록 위에 규칙적인 격자를 펼치고 격자선이 떨어지는 위치에 따라 항목을 선택한다. 이는 선택이 공정하게 이루어지도록 보장하며, 덜 중요한 것들의 영향력을 포착하면서도 가장 중요한 항목들이 높은 확률로 유지되도록 한다.

결정적으로, 팀은 의도적으로 작고 통제된 수준의 편향을 도입함으로써 시뮬레이션의 정확도를 높일 수 있다는 것을 발견했다. 과거에 과학자들은 시뮬레이션이 한 결과에 치우치지 않도록 완벽하게 편향되지 않은 상태를 유지하려 노력했다. 즉, 어떤 결과도 선호하지 않는 추측을 하지 않는 것을 의미했다. 그러나 연구진은 제한된 메모리 상황에서 완벽하게 편향되지 않는 것이 오히려 불확실성(분산)을 너무 크게 만들어 더 나쁜 결과를 초ら한다는 것을 발견했다. 가장 작고 덜 중요한 세부 사항들을 신중하게 잘라내고 작은 오차를 받아들이는 대가로, 그들은 불확실성을 충분히 낮게 유지하여 명확한 답을 얻을 수 있었다. 이러한 트레이드오프(trade-off) 덕분에 그들은 이전보다 훨씬 더 깊은 회로를 시뮬레이션할 수 있었다. 그들은 이를 무질서한 자기 시스템(disordered magnetic system) 모델에 테스트했는데, 이는 시뮬레이션하기 까다롭기로 유명한 시나리오다. 그들의 결과는 이 방법이 두 자릿수(100배) 더 많은 메모리를 요구하는 결정론적 계산의 결과를 재현할 수 있음을 보여주었다. 실질적인 관점에서 이는 엄청난 양의 RAM을 가진 슈퍼컴퓨터를 필요로 했을 시뮬레이션을, 작업을 여러 개의 작고 독립적인 작업으로 나누어 표준 컴퓨터에서 실행할 수 있음을 의미한다.

이 새로운 프레임워크의 성능은 놀랍다. 연구진은 이 방법을 오픈 소스 소프트웨어 패키지에 구현하여 표준 컴퓨터 프로세서에서 테스트했다. 그들은 약 10억 개의 항목을 포함하는 목록에 양자 게이트를 적용하고 리샘플링하는 데 약 1초가 걸린다는 것을 발견했다. 이 속도는 이 방법을 실제 사용에 적합하게 만들 만큼 빠르다. 더 중요한 것은, 이 방법이 가용 프로세서의 수에 따라 잘 확장된다는 점이다. 서로 다른 실행 과정들이 독립적이기 때문에, 이들은 지속적인 통신 없이도 많은 컴퓨터나 그래피카 카드에 분산될 수 있다. 이는 메모리 문제를 속도의 문제로 전환한다. 만약 연구자가 더 많은 시간과 더 많은 컴퓨터를 가지고 있다면, 더 정밀한 답을 얻기 위해 단순히 더 많은 반복 실행을 할 수 있으며, 이는 아무리 시간을 들여도 도움을 줄 수 없는 '단단한 벽'에 부딪히는 상황과는 다르다.

연구진은 또한 최근의 양자 컴퓨터 실험에도 이 방법을 적용했다. 그들은 8x8 격자로 배열된 64개의 큐비트 시스템의 동작을 시뮬레이션했지만, 특히 시스템이 초기 조건을 기억하는 상태에서 무작위 상태로 전이되는 과정을 이해하기 위해 격자 중앙의 3x3 큐비트 패치를 분석했다. 그들의 시뮬레이션은 실제 양자 하드웨어에서 보고된 결과가 오류에 대해 과도하게 보정되어, 값이 너무 낮게 측정되었을 수 있음을 시사했다. 이 발견은 양자 장치를 벤치마킹하기 위한 신뢰할 수 있는 고전적 도구를 갖추는 것이 얼마나 중요한지를 강조한다. 이러한 도구가 없다면, 양자 컴퓨터가 실제로 문제를 풀고 있는 것인지, 아니면 그 결과가 단지 노이즈와 오류의 산물인지 알기 어렵다. 복잡한 시스템을 높은 정확도와 낮은 메모리 사용량으로 시뮬레이션하는 방법을 제공함으로써, 이 연구는 양자 기술의 발전을 검증하는 새로운 길을 제시한다.

이 접근 방식의 성공은 여러 요인의 세심한 균형에 달려 있다. 연구진은 단순히 무작위 샘플링 규칙을 선택하는 것만으로는 부족하며, 방법이 특정 문제에 맞춰 조정되어야 한다는 것을 보여주었다. 그들은 리샘플링하기 전에 메모리에 최대한 많은 항목을 유지하는 것이 너무 공격적으로 목록을 너무 빨리 줄이는 것보다 낫다는 것을 발견했다. 또한 목록에서 동일한 항목들을 병합하는 것이 메모리 사용량을 낮게 유지하는 데 필수적이라는 것을 입증했다. 이러한 통찰력은 제어된 편향과 결합되어 다양한 양자 회로에 적용될 수 있는 완전한 프로토콜을 형성한다. 이 작업이 양자 시뮬레이션의 문제를 완전히 해결하는 것은 아니다. 왜냐AV 아직 시뮬레이션할 수 있는 회로의 깊이에는 여전히 한계가 있기 때문이다. 그러나 이 작업은 그 한계를 이전보다 훨씬 더 멀리 밀어내며, 단단한 장벽을 관리 가능한 제약 조건으로 바꾸어 놓았다.

양자 컴퓨팅의 더 넓은 맥락에서, 이 발전은 중요한 진전이다. 이는 더 큰 고전 컴퓨터를 구축할 필요 없이 양자 장치를 테스트하고 검증할 수 있는 방법을 제공한다. 양자 하드웨어가 계속 개선됨에 따라, 이를 정확하게 시뮬레이션하는 능력은 디버깅과 최적화를 위해 점점 더 중요해질 것이다. 연구진의 방법은 무작위성을 수용하고 메모리를 신중하게 관리함으로써, 이전에 도달할 수 없었던 양자 현상을 탐구할 수 있다는 실질적인 경로를 보여준다. 이 연구는 양자 시뮬레이션의 미래가 무한한 메모리를 가진 기계를 만드는 것에 달려 있는 것이 아니라, 우리가 가진 메모리를 더 스마트하게 사용하는 방법을 개발하는 것에 달려 있을 수 있음을 시사한다.