Scalable On-Hardware Training of Quantum Neural Networks and Application to Clinical Data Imputation

이 논문은 공동 설계된 아키텍처와 병렬화된 파라미터 시프트 규칙을 통해 그래디언트 추정 비용을 이차 복잡도에서 로그 복잡도로 줄임으로써 양자 신경망을 위한 확장 가능한 훈련 프레임워크를 소개하며, 임상 데이터 결측치 보충 및 환자 생존 예측을 위해 16-큐비트 IonQ 하드웨어에서 성공적인 실용적 고성능 훈련을 입증하였다.

핵심

당신은 아주 특별하고 매우 빠른 로봇에게 퍼즐의 빈 조각을 채우는 법을 가르치려 한다고 상상해 보세요. 이 로봇은 **양자 신경망(Quantum Neural Network, QNN)**입니다. 이 로봇은 환자의 건강 기록(예: 생체 신호)에서 누락된 숫자를 보고 그 숫자가 무엇이었을지 추측하도록 설계되었습니다. 만약 로봇이 잘 추측한다면, 의사들은 환자의 생존 여부를 더 잘 예측할 수 있습니다.

하지만 엄청난 문제가 있습니다. 이 로봇을 가르치는 것은 매우 비싸고 느립니다.

문제점: "택시" 병목 현상

보통 양자 로봇을 가르치려면, 개선 방법을 알아내기 위해 특정 테스트를 반복해서 실행하도록 로봇에게 요청해야 합니다. 이 논문에 따르면, 설정값(파라미터)이 많은 로봇의 경우, 필요한 테스트 횟수는 **이차적(quadratically)**으로 증가합니다.

이렇게 생각해보세요: 만약 설정값이 10개라면, 100번의 택시를 타야 합니다. 만로 설정값이 100개라면, 10,000번의 택시를 타야 합니다! 실제 양자 컴퓨터(대여 비용이 비싸고 느린)에서 10,000번의 주행을 요청하는 것은 불가능합니다. 너무 오래 걸리고 비용도 너무 많이 듭니다. 이것이 바로 양자 컴퓨터가 큰 작업을 학습하는 것을 막아온 "병목 현상"입니다.

해결책: "나비"와 "팀"

저자들은 비용을 "이차적" 수준에서 "로그(logarithmic)" 수준으로 대폭 줄이는 새로운 학습 프레임워크를 만들었습니다. 쉽게 말해, 로봇의 설정값이 많더라도 아주 적은 수의 택시 주행만으로도 학습할 수 있도록 과정을 매우 효율적으로 만든 것입니다.

그들은 세 가지 영리한 기술을 사용했습니다:

1. 나비 구조 (효율적인 공장):
   엉키고 설킨 복잡한 연결망을 만드는 대신, 그들은 "나비(Butterfly)"라고 불리는 특정한 패턴으로 로봇의 두뇌를 구축했습니다. 마치 공장의 조립 라인에서 일꾼들이 (나비의 날개처럼) 특정한 대칭 패턴으로 배치되어 있는 것과 같습니다.

   • 도움이 되는 이유: 이 구조는 얕고(너무 깊지 않음) 조직적입니다. 즉, 로봇이 수백만 번의 단계를 거칠 필요 없이 정보를 빠르게 혼합할 수 있습니다. 이는 로봇이 배워야 할 설정값의 수를 방대한 숫자에서 훨씬 작고 관리 가능한 숫자로 줄여줍니다.

2. 계층별 학습 (팀 접근 방식):
   로봇 전체를 한꺼번에 가르치려고 시도하는 대신(이는 너무 벅찬 일입니다), 한 번에 한 계층(layer)씩 가르칩니다.

   • 비유: 합창단을 가르친다고 상상해 보세요. 100명의 가수가 노래를 한꺼번에 완벽하게 배우도록 하는 대신, 먼저 베이스 파트를 가르칩니다. 그들이 자기 파트를 익히면, 그들을 고정시키고(움직이지 말라고 지시하고) 테너 파트를 가르칩니다. 그다음 모두를 고정시키고 소프라노 파트를 가르칩니다.
   • 도움이 되는 이유: 한 번에 하나의 작은 "계층"에만 집중함으로써 컴퓨터가 과부하에 걸리지 않게 합니다. 이는 학습 과정을 안정적이고 빠르게 유지해 줍니다.

3. 병렬 파라미터 시프트 (그룹 테스트):
   이것이 시간을 가장 많이 아껴주는 마법 같은 기술입니다. 보통 어떤 설정이 좋은지 확인하려면 하나씩 테스트해야 합니다. 하지만 "나비" 구조 덕분에, 한 계층 내의 설정들은 서로 간섭하지 않습니다.

   • 비유: 선생님이 모든 학생이 정답을 알고 있는지 확인하려는 교실을 상명해 보세요. 일반적인 교실에서는 선생님이 학생 한 명 한 명을 개별적으로 불러야 합니다. 하지만 이 특별한 교실에서는 학생들이 서로 방해하지 않는 방식으로 앉아 있기 때문에, 선생님은 한 줄 전체에 질문을 던져 동시에 모든 답을 즉시 얻을 수 있습니다.
   • 도움이 되는 되는 이유: 100개의 설정을 위해 100번의 테스트를 실행하는 대신, 단 몇 번의 실행만으로 모든 답을 얻을 수 있습니다.

실제 적용 테스트: 누락된 의료 데이터 채우기

저자들은 이 새로운 방법을 실제 문제인 **의료 데이터 임퓨테이션(Medical Data Imputation)**에 테스트했습니다.

• 과업: 그들은 데이터의 30%가 무작위로 삭제된 환자 기록(MIMIC-III) 데이터셋을 사용했습니다. 목표는 빈칸을 채워 컴퓨터가 환자의 생존 여부를 예측할 수 있도록 하는 것이었습니다.
• 하드웨어: 그들은 16-큐비트 버전의 로봇을 실제 양자 컴퓨터인 IonQ Forte(트랩 이온 방식)에서 직접 훈련시켰습니다.
• 결과:
  • 지연 없음: 실제 노이즈가 있는 양자 하드웨어에서 훈련된 로봇은 완벽한 시뮬레이터에서 훈련했을 때와 마찬가지로 잘 작동했습니다.
  • 더 나은 안정성: 양자 모델은 표준 클래식 컴퓨터 모델보다 실제로 더 일관성이 있었습니다. 학습을 다시 시작할 때 변동이 훨씬 적었습니다.
  • 확장성: 그들은 더 큰 버전(32 큐비트)을 시뮬레이션하고, 이것이 작동하는지 확인하기 위해 실제 하드웨어에서 실행했습니다. 결과는 성공적이었으며 성능 저하도 없었습니다.

핵심 요약

이 논문은 양자 로봇의 두뇌를 "나비"처럼 구성하고 "그룹 테스트" 방식을 사용하여 계층별로 가르침으로써, 우리가 드디어 이러한 기계들을 실제 하드웨어에서 훈련할 수 있음을 증명합니다.

그들은 이 특정 의료 작업에 대해, 약 128 큐비트 정도의 로봇이 최고의 클래식 컴퓨터와 대등해질 수 있는 "최적의 지점(sweet spot)"이라는 것을 발견했습니다. 우리는 아직 그 단계에 도달하지 못했지만, 이 새로운 학습 방법은 양자 컴퓨터가 결국 환자의 건강 기록과 같은 실제 데이터를 분석하는 데 있어 신뢰할 수 있는 도구가 될 수 있다는 명확하고 실질적인 경로를 보여줍니다.

기술 요약

기술 요약: 양자 신경망의 확장 가능한 온-하드웨어(On-Hardware) 학습 및 임상 데이터 결측치 보정 적용

1. 문제 정의

근사 중기(near-term) 양자 하드웨어에서 양자 신경망(QNN)을 학습시키는 것은 그래디언트 추정(gradient estimation)의 과도한 비용으로 인해 현재 병목 현상을 겪고 있다. 표준 파라미터 시프트 규칙(parameter-shift rules)은 학습 가능한 파라미터 수($n$)에 대해 $O(n^2)$의 회로 실행 횟수를 요구한다. $O(n^2)$개의 파라미터를 가진 일반적인 아키텍처의 경우, 이는 유한한 샷 예산(shot budget), 결맞음 시간(coherence times) 및 실제 소요 시간(wall-clock time) 제약으로 인해 소규모 시스템 규모를 넘어선 하드웨어 기반 최적화를 불가능하게 만든다.

또한, QNN은 시스템 크기나 회로 깊이에 따라 그래디언트가 지수적으로 소멸하는 "바렌 플래토(barren plateaus)" 문제에 직면해 있다. 구조화된 아키텍처(예: 해밍 가중치 보존 회로)는 바렌 플래토를 완화할 수는 있지만, 그래디언트 추정의 스케일링 문제를 본질적으로 해결하지는 못한다. **임상 데이터 결측치 보정(clinical data imputation)**이라는 특정 응용 분야는 이러한 도전 과제에 대한 엄격한 테스트베드를 제공한다. 이 분야는 노이즈와 제한된 데이터 하에서도 안정성을 유지하면서, 중간 정도의 고차원 공간에서 복잡하고 비선형적인 조건부 관계를 학습해야 하기 때문이다.

2. 방법론

저자들은 그래디언트 추정 비용을 최적화 단계당 $O(n^2)$에서 $O(\log n)$으로 줄이는 공동 설계된 학습 프레임워크를 소개한다. 이 프레임워크는 세 가지 핵심 구성 요소를 통합한다.

A. 구조화된 아키텍처: 버터플라이 회로(Butterfly Circuit)

QNN은 해밍 가중치를 보존하는 2-큐비트 게이트(재구성 가능한 빔 스플리터 또는 RBS 게이트)로 구성된 버터플라이 아키텍처를 채택한다.

• 상태 초기화: 회로는 "매직 스테이트 로더(magic-state loader)" 프로토콜을 사용하여 비가우시안(non-Gaussian) 상태 준비로 시작하며, 이를 통해 얽힌 4-큐비트 블록($|0011\rangle + |1100\rangle$)을 생성한다. 이는 회로가 클래식하게 시뮬레이션 가능한 가우시안 영역 외부에서 작동하도록 보장한다.
• 데이터 로딩: 클래식 특징들은 단일 큐비트 $R_Y$ 회전을 통해 각도 인코딩되며, 이 과정에서 비가우시안 특성이 보존된다.
• 구조: 학습 가능한 코어는 $O(\log n)$ 층의 RBS 게이트로 구성된다. 각 층 내에서 게이트는 서로 분리된 큐비트 쌍에 작용한다. 이 구조는 전체 파라미터 수를 $O(n^2)$에서 $O(n \log n)$으로 줄여주며, 얕은 깊이에서도 전역적인 정보 혼합을 가능하게 한다.

B. 계층별 학습 전략 (Layer-Wise Training Strategy)

모든 파라미터를 동시에 최적화하는 대신, 프레임워크는 계층별(greedy) 학습 프로토콜을 채택한다.

1. 크기가 $n/2$인 두 개의 독립적인 서브 회로를 학습시키고(클래식 방식 또는 시뮬레이션을 통해), 그 파라미터를 고정한다.
2. 서브 회로들을 연결하기 위해 $n/2$개의 RBS 게이트를 포함하는 새로운 결합 층(coupling layer)을 추가한다.
3. 이 과정에서 새로 도입된 층의 파라미터만을 양자 하드웨어에서 최적화한다.
   이 프로세스는 반복되며, 이를 통해 각 단계에서 하드웨어 최적화를 작고 잘 구조화된 파라미터 집합에 국한시킨다.

C. 병렬화된 파라미터 시프트 규칙

프레임워크는 각 버터플라이 층 내의 **가환 구조(commuting structure)**를 활용한다. 단일 층 내의 게이트들은 서로 분리된 큐비트 쌍에 작용하므로, 그 생성자(generators)들은 상호 가환한다.

• 이를 통해 층 내의 모든 파라미터를 동시에 시프트할 수 있다.
• 특정 병렬화된 파라미터 시프트 규칙을 사용하면, 층의 크기와 무관하게 일정한 횟수의 회로 실행만으로 층 내 모든 파라미터의 그래디언트를 추출할 수 있다.
• $O(\log n)$의 깊이와 결합하여, 최적화 단계당 총 고유 회로 실행 횟수는 $O(\log n)$으로 스케일링된다.

3. 응용: 임상 데이터 결측치 보정

프레임워크는 결측된 임상 수치를 보정하는 벤치마크인 MIMIC-III 전자 건강 기록 데이터셋을 통해 검증되었다.

• 과업: 환자 생존 예측(AUC 지표)은 결측치 보정 품질을 나타내는 다운스트림 대리 지표 역할을 한다.
• 프로토콜: 하이브리드 클래식-양자 파이프라인이 사용된다. QNN은 반복적 보정 체계 내에서 학습 가능한 조건부 추정기로 작동한다. 구체적으로, "단일 특징 보정(one-feature imputation)" 프로토콜이 사용되는데, 여기서 QNN은 하나의 타겟 특징(Gini 중요도에 의해 선택됨)을 예측하고 나머지 특징들은 클래식 방식(MissForest)을 통해 보정된다.
• 베이스라인: 하이브리드 모델은 통계적 베이스라인(평균/제로 보정) 및 강력한 반복/모델 기반 클래식 방법들(KNN, MICE, MissForest, Deep MICE)과 비교된다.

4. 주요 결과

실험은 IonQ Forte Enterprise 트랩드 이온(trapped-ion) 하드웨어와 텐서 네트워크(MPS) 시뮬레이션을 통해 수행되었다.

• 하드웨어 학습 가능성 (16 큐비트):

  • 16-큐비트 QNN이 병렬 파라미터 시프트 규칙을 사용하여 IonQ 하드웨어에서 직접 학습되었다.
  • 하드웨어에서 학습된 모델은 평균 0.7147의 AUC를 달elle 성, 가장 강력한 클래식 베이스라인(Deep MICE, AUC 0.7176)의 성능과 일치했다.
  • 결정적으로, 하이브리드 모델은 클래식 Deep MICE에 비해 무작위 시드에 따른 분산이 더 낮게 나타났으며, 이는 최적화 안정성이 향상되었음을 시사한다.
  • 이상적인 시뮬레이터, 노이즈가 있는 시뮬레이터, 그리고 실제 하드웨어 간의 비교에서 성능 저하가 관찰되지 않았다.

• 스케일링 및 추론 (32 큐비트):

  • 32-큐비트 모델 학습은 MPS 시뮬레이션을 통해 수행되었으나, 추론은 IonQ 하드웨어에서 직접 실행되었다.
  • 32-큐비트 하이브리드 모델은 완전히 클래식한 32-노드 신경망의 성능과 일치하였으며, 이는 32-큐비트 회로가 하드웨어와 호환되며 추론 시 성능 페널티를 부여하지 않음을 확인시켜 준다.

• 용량 분석:

  • 클래식 네트워크 너비에 대한 절제 연구(ablation study) 결과, 성능은 128개 은닉 유닛에서 포화되는 것으로 나타났다.
  • 저자들은 이 특정 과업에 대해 최적의 클래식 베이스라인과 완전히 일치하는 표현력을 갖추기 위해 필요한 목표 규모를 128 큐비트로 식별하였다.

5. 의의 및 주장

본 논문은 그래디언트 추정 비용의 스케일링을 근본적으로 변경함으로써, 근기 중기 하드웨어에서 QNN을 학습시키는 실용적이고 확장 가능한 경로를 입증했다고 주장한다.

• 주요 기여: 회로 실행 복잡도를 $O(n^2)$에서 $O(\log n)$으로 줄임으로써, 그래디언트 프루닝(pruning), 영차 근사(zero-order approximation), 또는 시뮬레이션 폴백(fallback)에 의존하지 않고도 현재의 하드웨어에서 직접적인 그래디언트 기반 최적화를 가능하게 했다.
• 강건성: 제안된 프레임워크는 실제 하드웨어 노이즈에 강건한 모델을 생성하며, 클래식 신경망 베이스라인에 비해 감소된 분산을 보여준다.
• 하드웨어 호환성: 본 연구는 구조화되고 얕은 깊이의 회로(Butterfly)가 트랩드 이온 프로세서와 같은 장거리 연결성 플랫폼에 적합함을 검증한다.
• 제한적 범위: 저자들은 현재의 실험 설정이 완전한 최적화된 생산 시스템이라기보다 "통제된 진단 벤치마크(controlled diagnostic benchmark)"임을 명시한다(단일 특징 보정). 핵심 주장은 제안된 프레임워크가 실질적인 학습을 가능하게 한다는 것이며, 하드웨어가 성숙함에 따라 목표 규모(128 큐비트)에서의 전체 데이터셋 보정을 달성하는 것은 향데의 이정표로 남겨두었다.