Modeling quantum neural network gradient with reinforcement learning

양자 컴퓨팅이라는 신흥 분야에서 과학자들은 오늘날의 슈퍼컴퓨터가 도달할 수 없는 범위를 넘어서는 문제를 해결할 수 있는 기계를 만들기 위해 노력하고 있습니다. 이 노력의 핵심 도구는 양자 신경망으로, 이는 아원자 입자의 기묘한 물리학과 인공지능의 학습 능력을 결합한 하이브리드 시스템입니다. 이러한 네트워크는 사진 속 얼굴을 인식하거나 언어를 번역하는 소프트웨어와 마찬가지로 데이터에서 패턴을 찾아내도록 설계되었습니다. 그러나 이러한 양자 시스템을 훈련하는 과정은 난관에 봉착했습니다. 연구자들이 더 어려운 문제를 처리하기 위해 회로에 더 많은 양자 비트, 즉 큐비트를 추가함에 따라, 기계를 가르치는 데 사용되는 신호가 종종 허무하게 사라져 버립니다. '배런 플레이토(barren plateau, 불모지)'라고 알려진 이 현상은 네트워크가 어떻게 개선해야 할지 알 수 없게 만들며, 필요한 업데이트를 계산하는 데 필요한 순수 계산 능력 또한 너무 커져서 현재의 하드웨어로는 실행이 불가능해집니다.

이 장벽을 깨기 위해 한 연구팀은 이러한 기계를 가르치는 전통적인 방식을 우회하는 새로운 접근법을 개발했습니다. 연구진은 양자 회로를 통해 학습 경로의 정확한 수학적 기울기를 계산하려고 시도하는 대신(이 과정은 시스템이 커질수록 기하급수적으로 어려워지고 메모리 집약적이 됩니다), 별도의 고전 컴퓨터 프로그램을 사용하여 다음 단계를 추측하도록 했습니다. 강화 학습이라는 기술로 구축된 이 프로그램은 노련한 코치처럼 작동합니다. 이 프로그램은 양자 네트워크의 성능을 관찰하며, 현재의 오류와 과거의 움직임을 기록한 다음, 네트워크의 설정에 대한 직접적인 업데이트를 제안합니다. 연구진은 이 방법이 사라지는 신호 문제를 피할 뿐만 아니라, 표준 기술보다 수천 배 더 빠르고 훨씬 적은 메모리를 사용한다는 것을 발견했습니다.

베트남과 일본의 연구진이 이끄는 팀은 RLQ-Grad라고 명명한 새로운 옵티마이저를 단 2개의 큐비트부터 20개에 이르는 다양한 시뮬레이션 양자 회로에 테스트했습니다. 양자 컴퓨팅의 세계에서 20 큐비트는 상당한 규모로, 실제 응용 분야에 적합할 만큼 크면서도 강력한 고전 컴퓨터로 시뮬레이션할 수 있을 만큼 작은 규모를 나타냅니다. 결과는 놀라웠습니다. 연구진이 자신들의 방법을 역전파(backpropagation), 파라미터 시프트(parameter-shift), 어드조인트 미분(adjoint differentiation)이라는 세 가지 표준 업데이트 계산 방식과 비교했을 때, RLQ-Grad는 회로의 크기에 관계없이 학습 신호를 일정하고 강력하게 유지했습니다. 반면, 전통적인 방식들은 큐비트 수가 증가함에 따라 학습 신호가 몇 자릿수나 급격히 떨어졌으며, 사실상 학습을 중단시켰습니다.

효율성 측면의 이득 또한 극적으로 나타났습니다. 표준 컴퓨터 프로세서에서 이 새로운 방법은 가장 큰 20 큐비트 회로에 대해서도 각 훈련 단계를 0.1초도 채 걸리지 않아 완료했습니다. 이와 대조적으로 전통적인 역전파 방식은 동일한 작업에 거의 200초가 걸렸습니다. 메모리 사용량 측면에서의 차이는 더욱 심대했습니다. 표준 역전파 방식이 20 큐비트 회로를 처리하기 위해 6,000MB 이상의 메모리를 필요로 했던 반면, 새로운 방법은 2MB 미만의 메모리만을 필요로 했습니다. 이러한 자원 요구량의 감소는 연구자들이 훨씬 더 겸손한 사양의 하드웨어에서도 이러한 복잡한 모델을 훈련할 수 있게 하여, 양자 머신러닝 연구에 대한 접근성을 민주화할 수 있음을 의미합니다.

연구진은 또한 이 시스템이 실제로 데이터를 얼마나 잘 분류하는지 조사했습니다. 그들은 손글로 쓴 숫자 이미지와 유방암 관련 의료 데이터를 포함한 네 가지 서로 다른 데이터셋을 테스트했습니다. 모든 경우에서 RLQ-Grad 옵티마이저는 전통적인 경사 기반 방식들을 능가했습니다. 더 단순한 데이터셋의 경우, 양자 네트워크의 정확도를 최대 10%까지 향상시켰습니다. 회로가 커짐에 따라 전통적인 방식들이 어려움을 겪기 시작한 더 복적인 이미지 데이터셋에서도, 새로운 방법은 계속해서 성능을 개선하며 배런 플레이토 문제를 해결하기 위해 특별히 설계된 전문 기술들과 대등한 성능을 보였습니다. 결정적으로, 이 방법은 그러한 전문 기술들이 보통 요구하는 막대한 계산 오버헤드 없이 이를 달-성했습니다.

이 연구의 가장 중요한 측면 중 하나는 무엇을 배제했느냐 하는 것입니다. 연구진은 자연 선택을 모방한 진화 알고리즘이나 시행착오 방식의 무경사(gradient-free) 방법과 같은 다른 유형의 최적화가 문제를 해결할 수 있는지 명시적으로 테스트했습니다. 그들은 이러한 대안적 접근 방식들이 동일한 20 큐비트 회로에 직면했을 때 무작위 확률 수준으로 무너져 내려, 유용한 학습을 전혀 하지 못한다는 것을 발견했습니다. 이는 해결책이 단순히 기울기 계산을 피하는 것이 아니라, 업데이트를 안내하기 위해 학습된 지능적인 정책을 사용하는 것에 있음을 시사합니다. 또한 이 연구는 이 방법이 사라지는 신호와 높은 메모리 비용 문제는 해결하지만, 양자 학습의 모든 문제를 마법처럼 해결해 주는 것은 아니라는 점을 분명히 합니다. 만약 양자 회로가 너무 작거나 문제가 너무 단순하다면 네트워크는 여전히 좋지 않은 해답에 갇힐 수 있으며, 이 방법은 아직 노이즈와 오류가 존재하는 실제 물리적 양자 하드웨어에서는 작동하지 않습니다.

연구진은 그들의 접근 방식이 작동하는 이유를 수학적으로 증명했는데, 이는 '코치' 프로그램이 양자 회로와 분리되어 완전히 고전 컴퓨터 상에서 작동하기 때문입니다. 이 코치는 복잡한 양자 방정식을 미분할 필요가 없으므로, 전통적인 방식들을 괴롭히는 것과 같은 기하급수적인 쇠퇴를 겪지 않습니다. 연구진은 큐비트를 추가함에 따라 학습 신호의 분산이 평탄하고 안정적으로 유지되는 반면, 다른 방식들의 신호는 급격히 감소하는 것을 보여줌으로써 이를 검증했습니다. 이러한 구조적 이점 덕분에 이 방법은 양자 시스템의 크기에 따라 기하급수적으로 늘어나는 것이 아니라, 매개변수의 수에 따라 선형적으로만 증가하며 효율적으로 확장될 수 있습니다.

이 연구는 전적으로 시뮬레이션 상에서 수행되었지만, 양자 컴퓨팅의 미래에 미치는 영향은 매우 큽니다. 훈련 비용을 수천 배 줄임으로써, 이 방법은 과학자들이 이전에는 가능하다고 생각했던 것보다 훨씬 더 크고 복잡한 양자 신경망을 탐구할 수 있게 해줄 수 있습니다. 이는 이러한 시스템의 훈련을 가로막던 실질적인 한계와 싸워온 분야에 새로운 길을 제시합니다. 연구진은 다음 단계가 이 접근 방식을 실제 양자 하드웨어에서 테스트하고, 학습된 정책이 다른 유형의 문제들로 전이될 수 있는지 확인하여, 잠재적으로 미래의 양자 기계를 훈련하기 위한 보편적인 도구를 만드는 것이라고 언급했습니다. 현재로서는, 이 연구가 우리가 이 기계들을 가르치는 방식을 바꿈으로써, 그 발전을 가로막았던 가파른 절벽을 극복할 수 있다는 것을 보여주는 증거로 남아 있습니다.