Variational decision diagrams for quantum-inspired machine learning applications

본 논문은 양자 상태를 표현하기 위해 결정 다이어그램의 효율성과 변분 적응성을 결합한 새로운 그래프 구조인 변분 결정 다이어그램 (VDD) 을 소개하며, barren plateaus 에 시달리지 않고 바닥 상태 추정을 위해 학습 가능함을 입증합니다.

핵심

인간이 한 번도 본 적이 없는 매우 복잡하고 다층적인 케이크를 설명하려 한다고 상상해 보세요. 모든 부스러기, 층, 맛을 긴 직선으로 나열하려 한다면 설명은 불가능할 정도로 길어지고 관리하기 어려워집니다. 이는 과학자들이 일반 고전 컴퓨터에서 양자 컴퓨터를 시뮬레이션하려 할 때 직면하는 문제와 유사합니다. '큐비트'(비트의 양자 버전) 를 더 추가할수록 시스템을 설명하는 데 필요한 정보의 양은 기하급수적으로 폭발합니다. 마치 케이크에 부스러기를 하나 추가할 때마다 그 크기가 두 배로 커지는 것과 같습니다.

이 논문은 이러한 문제를 해결하기 위한 새로운 도구인 **변분 결정 다이어그램 (Variational Decision Diagrams, VDDs)**을 소개합니다. 간단한 비유를 통해 그 작동 원리를 설명하겠습니다.

1. 지도 대신 영토

일반적으로 양자 시스템을 시뮬레이션하려면 과학자들은 시스템의 전체 '상태'를 한 번에 기록하려 합니다. 이는 마치 케이크 전체를 머릿속에 담으려 하는 것과 같습니다.

저자들은 **결정 다이어그램 (Decision Diagrams, DDs)**을 사용することを 제안합니다. 결정 다이어그램을 선택형 모험 소설이나 흐름도로 생각하세요.

• 가능한 모든 결과를 나열하는 대신, 상단 (루트) 에서 시작합니다.
• 각 단계에서 간단한 질문을 던집니다: "이 부분은 0 인가 1 인가?"
• 0 이라면 왼쪽 경로로, 1 이라면 오른쪽 경로로 이동합니다.
• 끝점에 도달할 때까지 경로를 따라갑니다.

이 방법의 마법은 여러 다른 경로가 다시 하나로 합쳐질 수 있다는 점에 있습니다. 케이크의 두 부분이 정확히 동일하다면, 이를 두 번 설명할 필요가 없습니다. 같은 설명을 가리키기만 하면 됩니다. 이는 막대한 공간과 시간을 절약해 줍니다.

2. 지도를 '유연하게' 만들기 (변분 부분)

일반 흐름도의 문제는 경직되어 있다는 점입니다. 이미 알려진 것을 설명하는 데는 좋지만, 새로운 문제에 대한 최선의 해법을 찾도록 학습하거나 적응하는 것은 어렵습니다.

저자들은 **변분 결정 다이어그램 (VDDs)**을 만들었습니다. 흐름도의 화살표가 단순한 선이 아니라 다이얼이나 노브라고 상상해 보세요.

• 각 화살표에는 '볼륨 노브'(진폭) 와 '위상 노브'(타이밍) 가 있습니다.
• 이러한 노브를 돌려 시스템의 동작을 변경할 수 있습니다.
• 목표는 이러한 노브를 비틀어 흐름도가 양자 시스템의 '바닥 상태 (ground state)'를 완벽하게 설명하도록 만드는 것입니다. 물리학에서 '바닥 상태'는 시스템의 가장 안정적이고 에너지가 가장 낮은 버전입니다. 언덕진 풍경에서 공이 가장 편안하게 휴식하는 위치라고 생각하면 됩니다.

3. '아코디언' 설계

이 아이디어가 작동하는지 테스트하기 위해 저자들은 **'아코디언 Ansatz'**라고 불리는 흐름도의 특정 모양을 구축했습니다.

• 아코디언 악기를 상상해 보세요. 그것은 확장되고 수축합니다.
• 그들의 설계에서 흐름도는 하나의 노드와 두 개의 노드가 번갈아 나타나는 층으로 구성되어 있으며, 이는 아코디언의 주름과 같습니다.
• 이 구조는 효율적이기 위해 단순하면서도 흥미로운 양자 행동을 포착할 만큼 복잡합니다.

4. '메마른 대평원 (Barren Plateau)' 문제

양자 머신러닝 세계에는 **'메마른 대평원 (Barren Plateau)'**이라는 유명한 문제가 있습니다.

• 비유: 광활하고 평평한 사막에서 가장 낮은 지점을 찾으려 한다고 상상해 보세요. 만약 땅이 어디든 완벽하게 평평하다면, 나침반 (기울기) 은 어느 방향이 아래인지 알려주지 않습니다. 당신은 갇히게 되며, 아무리 움직이려 해도 바닥을 찾을 수 없습니다.
• 논문의 주장: 많은 양자 학습 방법은 시스템이 너무 커지면 이러한 평평한 사막에 갇히게 됩니다. 저자들은 그들의 '아코디언' VDD 를 테스트한 결과, 그들은 갇히지 않는다는 것을 발견했습니다. 그들의 나침반은 여전히 작동합니다! 흐름도의 '노브'는 시스템이 커짐에 따라 최선의 해법을 찾기 위해 어느 방향으로 돌려야 하는지에 대한 명확한 신호를 여전히 제공합니다.

5. 그들은 실제로 무엇을 했는가?

저자들은 이론에 그치지 않고 컴퓨터에서 실험을 수행하여 VDD 가 실제로 물리학 문제를 해결할 수 있는지 확인했습니다.

• 그들은 VDD 를 사용하여 세 가지 다른 유형의 양자 모델 (이징 모델과 하이젠베르크 모델 등) 에 대한 '바닥 상태'(가장 안정된 에너지) 를 찾았습니다.
• 그들은 VDD 를 성공적으로 훈련시켜 이러한 상태를 근사화했습니다.
• 그들은 신호가 사라지지 않고 (메마른 대평원이 발생하지 않고) '노브'(매개변수) 를 효과적으로 조정할 수 있음을 확인했습니다.

요약

간단히 말해, 이 논문은 일반 컴퓨터에서 양자 시스템을 시뮬레이션하는 새로운 방법을 제시합니다. 거대한 양자 케이크 전체를 머릿속에 담으려 하는 대신, 그들은 아코디언처럼 접었다 펴는 **지능형 조절 가능 흐름도 (VDD)**를 구축했습니다. 그들은 이 흐름도가 평평하고 도움이 되지 않는 풍경에 빠지지 않고 양자 시스템의 가장 안정된 상태를 찾도록 '훈련'될 수 있음을 증명했습니다.

한계점에 대한 중요 참고사항:
이 논문은 '아코디언' 설계가 잘 작동하지만 특정 모양이라는 점을 인정합니다. 만약 양자 시스템이 매우 복잡하고 장거리 연결을 가진 경우 (예를 들어, 케이크의 최상층이 어떤 식으로든 기이한 방식으로 최하층과 연결된 경우), 이 특정 흐름도는 이를 완벽하게 설명하는 데 어려움을 겪을 수 있습니다. 저자들은 향후 작업이 이러한 더 복잡한 '케이크'를 처리하기 위해 다른 모양의 흐름도를 설계해야 할 것이라고 제안합니다.

또한 그들은 이 도구가 **분류 (데이터 분류)**나 **생성 모델링 (새로운 데이터 패턴 생성)**과 같은 다른 작업에도 잠재적으로 사용될 수 있다고 언급합니다. 단, 문제가 최상의 확률 분포를 찾는 것으로 표현될 수 있어야 합니다. 그러나 그들의 현재 작업의 핵심은 물리학 모델에서 바닥 상태를 찾는 데 이 방법이 작동함을 증명하는 데 엄격히 초점을 맞추고 있습니다.

기술 요약

기술 요약: 양자 영감을 받은 머신러닝 응용을 위한 변분 결정 다이어그램

문제 제기
고전 컴퓨터에서의 양자 회로 시뮬레이션은 양자 화학 및 응집 물질 물리학 등의 분야에서 알고리즘을 개발하고 검증하는 데 필수적입니다. 그러나 양자 상태 공간이 큐비트 수에 따라 급격히 증가하기 때문에 일반적인 양자 회로를 시뮬레이션하는 것은 지수적으로 어렵습니다. 데이터 중복성을 활용하여 양자 회로 시뮬레이션 및 알고리즘 검증을 위해 결정 다이어그램 (DDs) 이 효과적임이 입증되었으나, 이를 양자 머신러닝 (QML) 을 위한 변분 안사츠 (variational ansätze) 로 활용하는 것은 아직 탐구되지 않았습니다. 반면, 변분 양자 회로는 유망하지만 종종 '황무지 평야 (barren plateaus)'라는 현상에 시달리는데, 이는 큐비트 수에 따라 기울기 분산이 지수적으로 소멸하여 대규모 시스템의 학습을 불가능하게 만듭니다. 본 논문은 황무지 평야에 빠지지 않고 양자 상태를 표현할 수 있는 학습 가능한 양자 영감을 받은 프레임워크로서 DDs 를 활용하는 간극을 해소합니다.

방법론
저자들은 DDs 의 컴팩트함과 변분 방법의 적응성을 결합한 새로운 그래프 구조인 **변분 결정 다이어그램 (VDDs)**을 소개합니다.

• 구조: VDD 는 이진 방향 비순환 다중 그래프 (BDAMG) 로 정의됩니다. 이는 루트 노드, 터미널 노드, 그리고 큐비트 인덱스를 나타내는 중간 노드로 구성됩니다. 간선은 순차적인 큐비트 ($q_i$에서 $q_{i+1}$) 에 해당하는 노드를 연결하며 복소 확률 진폭을 운반합니다.
• 매개변수화: 표준 DD 와 달리 VDD 는 변분적입니다. 간선의 확률 진폭은 노드당 세 개의 실수 $(r, \omega, \phi)$로 매개변수화됩니다. 구체적으로, 노드에 대해 $|0\rangle$에 해당하는 간선은 진폭 $r e^{i\omega}$를 가지며, $|1\rangle$에 해당하는 간선은 진폭 $\sqrt{1-r^2} e^{i\phi}$를 가집니다. 이 구성은 모든 노드에서 정규화 제약을 본질적으로 강제하여 전체 파동 함수가 1 로 정규화되도록 보장합니다.
• 아코디언 안사츠 (Accordion Ansatz): 학습 가능성을 조사하기 위해 저자들은 '아코디언 안사츠'라고 불리는 특정 VDD 위상을 제안합니다. 이 구조는 1 개 노드 레벨과 2 개 노드 레벨을 번갈아 가며 배치합니다. 이는 이량체화된 곱 상태 (예: $|\psi_{1,2}\rangle \otimes |\psi_{3,4}\rangle \dots$) 를 효과적으로 매개변수화하여 표현력을 단거리 상관관계로 제한하지만, 황무지 평야를 초래하는 복잡성을 피할 가능성을 제공합니다.
• 최적화: 연구는 VDD 매개변수 $\theta$에 대한 해밀토니안 $H$의 기대값을 최소화하는 바닥 상태 추정 문제에 초점을 맞춥니다: $\min_\theta \langle \psi_\theta | H | \psi_\theta \rangle$. 기울기는 소규모 시스템 (약 10 개 큐비트까지) 의 경우 명시적 상태 벡터에 대해 자동 미분 (PyTorch/JAX 를 통해) 으로 계산하고, 확장성을 위해 변분 몬테카를로 (VMC) 를 통해 계산합니다.

주요 기여

1. VDD 제안: 본 논문은 DD 의 구조적 효율성과 변분 최적화를 결합한 양자 상태를 표현하는 최초의 양자 영감을 받은 매개변수화 구조로서 VDD 를 제안합니다.
2. 학습 가능성 분석: 저자들은 아코디언 안사츠가 황무지 평야 현상을 나타내지 않음을 입증합니다. 기울기 구성 요소의 분산을 분석함으로써, 테스트된 해밀토니안에 대해 분산이 큐비트 수에 따라 지수적으로 감소하지 않음을 보여줍니다.
3. 검증: 횡단 자기장 이징 모델 (TFIM) 과 하이젠베르크 모델을 포함한 다양한 물리 모델에 대한 바닥 상태를 성공적으로 근사함으로써 프레임워크가 검증되었습니다.

결과

• 기울기 분산: $Z_1Z_2$, 하이젠베르크 모델, 그리고 TFIM (정렬, 갭 없음, 무질서 위상 전반에 걸쳐) 과 같은 해밀토니안에 대한 수치 실험은 아코디언 안사츠의 기울기 분산이 지수적으로 스케일링되지 않음을 보여줍니다. 이는 이러한 특정 구조에 대한 접근법의 학습 가능성을 확인합니다.
• 바닥 상태 근사: 10 개 큐비트 시스템의 경우, VDD 는 $Z_1Z_2$ 및 하이젠베르크 모델에 대해 에너지 오차를 성공적으로 최소화합니다.
• 무질서 위상에서의 한계: 강한 횡단 자기장 ($g=10$) 을 가진 TFIM 에서 VDD 는 $|+, \dots, +\rangle$ 상태로 수렴하지만, 무질서 위상에서 중간 정도의 자기장 세기에 대해 실제 바닥 상태 에너지를 정확하게 근사하는 데 어려움을 겪습니다. 저자들은 이것이 해당 영역에서 $ZZ$항에 의해 유도된 특정 단거리 상관관계를 포착하지 못하는 아코디언 안사츠 (이량체화된 곱 상태) 의 제한된 표현력에 기인한다고 설명합니다. 그러나 횡단 자기장 세기가 더 증가함에 따라 실제 상태가 완전히 분리 가능한$|+, \dots, +\rangle$ 상태에 가까워지므로 정확도는 향상됩니다.

의의 및 주장
본 논문은 VDD 가 텐서 네트워크 (예: MPS) 및 신경망 양자 상태 (NQS) 와 같은 기존 방법들에 대한 유망한 대안을 제공한다고 주장합니다.

• 정규화: 정규화 강요에 어려움을 겪는 많은 비자기회귀적 NQS 아키텍처와 달리, VDD 는 간선 매개변수화를 통해 자연스럽게 정규화 제약을 부과합니다.
• 효율성: VDD 는 명시적 텐서 분해가 아닌 경로를 통해 진폭 상관관계를 포착하여 특정 구조에 대해 더 컴팩트한 표현을 제공할 가능성을 가집니다.
• 학습 가능성: 아코디언 안사츠에서 황무지 평야가 부재하다는 점은 전통적인 변분 양자 회로가 기울기 소멸로 인해 실패하는 문제들에 대해 VDD 를 고전 컴퓨터에서 효율적으로 학습할 수 있음을 시사합니다.
• 미래 범위: 현재 작업은 바닥 상태 추정에 초점을 맞추고 있지만, 저자들은 손실 함수가 비트 문자열 확률의 평가를 허용한다면 VDD 를 분류, 회귀, 생성 모델링 (예: 포트폴리오 최적화) 과 같은 다른 QML 작업에 적용할 수 있다고 지적합니다.

저자들은 안사츠의 설계가 중요하며 현재 구현은 장거리 얽힘에 대한 유연성이 부족할 수 있지만, VDD 는 양자 시스템의 효율적인 고전 시뮬레이션과 변분 양자 시뮬레이션을 위한 다목적 플랫폼을 향한 중요한 단계라고 결론지었습니다.