Numerical Optimization Strategies for the Variational Hamiltonian Ansatz in Noisy Quantum Environments

당신이 완벽한 초콜릿 케이크를 구우려고 노력하고 있다고 상상해 보세요. 하지만 당신이 있는 주방은 조명이 격렬하게 깜빡거리고, 오븐 온도는 위아래로 요동치며, 반죽을 맛볼 때마다 스푼이 매번 조금씩 다른 수치를 보여주는 곳입니다. 이것이 바로 오늘날의 양자 컴퓨팅 세계입니다. 과학자들은 일반적인 컴퓨터로는 불가능한 문제들, 예를 들어 새로운 의약품이나 재료를 만들기 위해 분자들이 어떻게 상호작용하는지 시뮬레이션하는 문제를 해결할 수 있는 기계를 만들고 있습니다. 하지만 이 기계들은 현재 "노이즈(noise)"가 많습니다. 즉, 실수를 저지르고 모호한 답을 내놓는다는 뜻입니다. 유용한 결과를 얻기 위해 연구자들은 **변분 양자 고유값 계산기(Variational Quantum Eigensolver, VQE)**라는 영리한 기술을 사용합니다. 이것은 레시피를 가지고 하는 "뜨겁다 차갑다(hot and cold)" 게임과 같습니다. 당신에게는 조절할 수 있는 수많은 노브(knob)가 달린 디지털 레시피(양자 회로)가 있습니다. 당신은 케이크(분자)가 정확히 완벽한 맛(최저 에너지)을 낼 때까지 노브를 돌려야 합니다. 하지만 주방이 소란스럽기 때문에, 맛을 확인할 때마다 결과가 조금씩 뒤섞여 나타납니다.

이 뒤섞인 맛을 고치기 위해, 당신은 고전적 최적화 알고리즘(classical optimizer)—즉, 똑똑한 부주방장 역할을 하는 컴퓨터 프로그램—이 필요합니다. 이 프로그램의 임무는 노이즈가 섞인 맛 테스트 결과를 보고, 다음에는 어떤 방향으로 노브를 돌려야 완벽한 케이크에 더 가까워질지 결정하는 것입니다. 오랫동안 과학자들은 가장 좋은 부주방장은 (마치 정밀한 지도를 사용하는 등산가처럼) 맛의 곡선에서 정확한 기울기를 계산할 수 있는 자들(경사 기반 방법, gradient-based methods)이라고 가정해 왔습니다. 하지만 이 논문은 아주 중요한 질문을 던집니다. 만약 지도가 안개로 뒤덮이고 땅이 흔들리고 있다면 어떻게 될까요? 정밀한 지도를 가진 등산가가 여전히 승리할까요, 아니면 길을 잃게 될까요? 이 연구의 저자들은 이 노이즈 가득한 양자 주방에서 어떤 "부주파장" 알고리즘이 가장 견고하여, 이 연약한 기계들로부터 실제로 좋은 결과를 얻어낼 수 있는지 알아보고자 했습니다.

---

노이즈 가득한 주방에서의 위대한 최적화 알고리즘 대결

이 연구에서 연구자들은 8가지의 서로 다른 "부주방장" 알고리즘을 테스트하기 위해 거대한 디지털 시뮬레이션을 설정했습니다. 그들은 단 하나의 레시피만 테스트한 것이 아니라, 네 가지 서로 다른 분자 "케이크"를 대상으로 실험했습니다: 단순한 수소 분자($H_2$), 4개의 수소 사슬($H_4$), 그리고 리튬 하이드라이드($LiH$)의 완전한 형태와 단순화된 형태입니다. 그들은 **절단된 변분 해밀토니안 안사츠(truncated Variational Hamiltonian Ansatz, tVHA)**라고 불리는 특정하고 효율적인 레시피 설계를 사용했는데, 이는 시간을 절약하고 오류를 줄이기 위해 불필요한 단계를 건너뛰는 간소화된 버전의 복잡한 레시피와 같습니다.

연구팀은 1,280회의 독립적인 시뮬레이션을 실행했습니다. 그들은 각 알고리즘을 두 가지 조건에서 테스트했습니다: 완벽하고 노이즈가 없는 세상(완벽한 조명과 일정한 오븐이 있는 주방 같은 곳)과, "유한 샷 샘플링(finite-shot sampling)"을 시뮬레이션해야 하는 현실적이고 노이즈가 많은 세상입니다. 양자 역학적 관점에서 "유한 샷 샘플링"이란 에너지를 완벽하게 측정할 수 없으며, 제한된 횟수의 샘 샘플(예: 반죽을 6,144번 맛보는 것)을 채취하여 평균을 내야 함을 의미합니다. 이 평균화 과정은 통계적 노이즈를 유발하여 에너지 측정값이 흔들리게 만듭니다.

반전: 지도가 거짓말을 하다

결과는 놀라웠으며 과학자들이 예상했던 것을 완전히 뒤집었습니다. 노이즈가 없는 완벽한 시뮬레이션에서는 경사 기반 방법(BFGS 및 SLSQP와 같은)이 명확한 승자였습니다. 그들은 빠르고 정밀했으며, 기계적인 정확도로 $10^{-14}$ Hartree(에너지 단위)만큼 작은 오차까지 도달하며 최저 에너지 레벨을 찾아냈습니다. 그들은 마치 완벽한 GPS를 가진 등산가처럼 골짜기 바닥을 향해 직진했습니다.

하지만 연구진이 샘플링 노이즈(흔들리는 주방)를 도입하자, 순위가 완전히 역전되었습니다. 정밀한 기울기를 계산하는 데 의존했던 경사 기반 방법들은 혼란에 빠졌습니다. 노이즈 때문에 "기울기"가 잘못된 방향으로 가고 있는 것처럼 보이거나, 실제로는 경사가 있음에도 땅이 평평한 것처럼 보이게 만들었습니다.

• 깨끗한 세상의 챔피언이었던 BFGS는 노이즈가 있는 세상에서 최악의 성능을 보이는 알고리즘 중 하나가 되었으며, 오차는 거의 $4 \times 10^{-3}$ Hartree까지 치솟았습니다.
• SLSQP는 가장 작은 분자인 $H_2$에 대해서조차 안정적으로 수렴하는 데 실패하며 사실상 포기했습니다.
• 노이즈는 너무나 기만적이어서, 때때로 알고리즘들이 완벽한 상태보다 더 나은 케이크를 찾았다고 착각하게 만들었습니다(이는 최저 에너지보다 더 낮은 에너지를 얻을 수 없다는 "변분 원리"를 위반하는 것입니다). 이것은 실제 개선이 아니라 노이즈로 인한 통계적 착시, 즉 운 좋은 추측에 불und였습니다.

새로운 영웅들: 탐험가들

노이즈가 있는 환경에서 승자는 집단 기반 및 확률적 방법, 구체적으로 CMA-ES, PSO(입자 군집 최적화), 그리고 SPSA였습니다.

• CMA-ES(공분산 행렬 적응 진화 전략)가 가장 견고한 모델로 등장했습니다. 단일한 정밀한 경로를 따르는 대신, 이 알고리즘은 탐험가 무리처럼 행동했습니다. 이는 후보 해(solution)들의 전체 집단을 유지하며 그들의 집단적 경험으로부터 학습합니다. 개별적인 경로가 엉망처럼 보일 때조차, 집단의 평균은 오류를 매끄럽게 다듬어 줍니다.
• $H_2$ 분자의 경우, CMA-ES는 $5 \times 10^{-4}$ Hartree 미만의 보정된 오차를 달로했습니다.
• 더 복잡한 $LiH$ 분자의 경우, CMA-ES는 오차를 $10^{-2}$ Hartree 미만으로 유지하며, 어려움을 겪었던 경사 기반 방법들(오차 $2 \times 10^{-2}$ Hartree 미만 유지가 힘듦)을 훨씬 압도했습니다.

연구는 경사 기반 방법들이 작고 깨끗한 문제에는 훌륭하지만, 지형이 울퉁불퉁하고 노이즈가 많아지면 무너진다는 것을 발견했습니다. 반면, CMA-ES와 같은 집단 기반 접근 방식은 단 하나의 흔들리는 나침반에 의존하지 않고, 집단의 지혜를 사용하여 길을 찾는 산맥의 탐험대와 같습니다.

"하이 샷(High-Shot)"의 현실 점검

알고리즘들이 실제 바닥 상태(ground state)보다 더 낮은 에너지를 찾아낸 것처럼 보였던 그 "마법 같은" 결과들에 대한 가장 흥러운 발견 중 하나는, 이것이 노이즈로 인한 환상이라는 점입니다. 노이즈가 높을 때, 무작위적인 변동은 나쁜 추측을 훌륭한 것으로 보이게 만들 수 있습니다.

이를 해결하기 위해 연구자들은 **하이 샷 재평가(high-shot reevaluation)**라는 기술을 사용했습니다. 최적화 알고리즘이 "좋은" 해를 찾은 후, 연구자들은 엄청난 횟수의 샘플($10^5$ 샷)을 사용하여 이를 다시 측정함으로써 매우 정밀한 값을 얻었습니다.

• 이는 많은 "개선"이 단지 노이즈에 의한 인공물(artifact)이었음을 드러냈습니다.
• 그러나 집단 기반 방법들(CMA-ES와 같은)은 재평가 전에도 이미 진짜 최선의 해를 찾는 데 더 뛰어났는데, 이는 그들의 평균화 메커니즘이 자연스럽게 노이즈를 매끄럽게 처리했기 때문입니다.
• 이 연구는 노이즈가 많은 양자 환경에서 목표가 단순히 "최솟값을 찾는 것"에서 "에너지를 신뢰할 수 있게 추정하는 것"으로 변화해야 함을 시사합니다. 최선의 전략은 견고한 최적화 도구인 CMA-ES를 사용하고, 그 다음 추가적인 시간(더 많은 샷)을 들여 최종 답안을 검증하는 것입니다. 정밀한 경사 기반 방법을 안개 속에서 억지로 작동시키려 애쓰는 것보다 훨씬 효과적입니다.

미래를 위한 시사점

이 논문은 오늘날의 노이즈 섞인 양자 컴퓨터를 사용하려는 모든 이들을 위한 명확한 가이드를 제시하며 결론을 맺습니다. 만약 노이즈가 거의 없는 작고 단순한 문제를 다루고 있다면 빠른 경사 기반 방법을 사용할 수 있습니다. 하지만 더 큰 분자로 넘어가거나 현실적인 노이즈가 있는 하드웨어를 다루게 된다면, 반드시 CMA-ES, PSO, SPSA와 같은 집단 기반 최적화 도구로 전환해야 합니다.

저자들은 또한 "화학적으로 동기 부여된" 추측(Hartree-Fock 초기화 사용)을 사용하는 것이 작은 시스템에서는 도움이 되지만, 문제가 커질수록 탐색 공간이 매우 방대하기 때문에 때로는 무작위 시작점이 더 잘 작동할 수도 있다고 언급했습니다. 무작위성이 더 많은 영역을 탐색하는 데 도움을 주기 때문입니다.

궁극적으로 이 연구는 오늘날의 노이즈가 많은 양자 기계로부터 최대한의 성과를 얻으려면, 우리가 이 기계들을 고전 컴퓨터처럼 정밀하게 만들려고 강요하는 것을 멈추고, 대신 견고하고 탐색적이며 혼돈을 평균화하는 데 능숙한 알고리즘을 사용해야 한다는 점을 시사합니다. 폭풍 속에서는 "완벽한" 지도가 무용지물입니다. 대신 함께 길을 찾아낼 수 있는 탐험대 팀이 필요합니다.