QuFeX: Quantum feature extraction module for hybrid quantum-classical deep neural networks

기술 요약: QuFeX 및 Qu-Net

문제 정의
고전적 합성곱 신경망(CNN)은 머신러닝 분야에서 상당한 성공을 거두었으나, 복잡한 데이터를 학습하기 위한 대규모 모델의 자원 요구량이 급증하는 문제에 직면해 있다. 양자 머신러닝(QML)은 잠재적인 효율성 이득을 제공하지만, 기존의 양자 아키텍처는 뚜렷한 한계점을 가진다. 양자 합성곱 신경神经网络(QCNN)은 CNN의 이동 불변성(translational invariance)을 모방하지만, 순차적 처리 방식으로 인해 대규모 입력을 처리할 때 비효율적이라는 "입력 문제(input problem)"를 겪는 경우가 많다. 반대로, QuanNN은 국소 패치(local patches)를 독립적으로 처리함으로써 입력 문제를 해결하지만, 필터의 수를 $k$, 입력 크기를 $N$이라 할 때 $O(kN)$만큼의 양자 실험 횟수가 필요하여 높은 계산 비용과 고전적 대응 모델 대비 낮은 효율성을 보인다. 나아가, 심층 고전 네트워크에 양자 레이어를 통합하려면 근미래 양자 장치의 제약 조건과 양자 이점 사이의 균형을 맞추는 체계적인 배치 및 설계 방식이 필요하다.

방법론
저자들은 QCNN과 QuanNN의 한계를 극복하기 위해 설계된 새로운 하이브리드 양자-고전 모듈인 **QuFeX (Quantum Feature Extraction)**를 소개한다.

• 아키텍처 설계: QuFeX는 QCNN의 계층적 데이터 분석 구조와 QuanNN의 데이터 파이프라인을 결합한다. 제어 큐비트를 폐기하여 차원을 축소하고 정보를 손실할 수 있는 QCNN과 달리, QuFeX는 제어 큐비트를 유지하며 그 출력을 특징 맵(feature map)의 일부로 취급한다. 패치를 순차적으로 처리하는 QuanNN과 달리, QuFeX는 양자 임베딩 전에 서로 다른 채널의 입력 특징 맵을 병렬로 혼합한다.
• 효效率 메커니즘: $k$개의 입력 특징 맵을 $O(kN)$번의 실행이 아닌 단일 양자 회로 실행(또는 상수 번의 실행)으로 처리함으로써, QuFeX는 필요한 병렬 평가 횟수를 크게 줄인다. 이 모듈은 축소된 차원의 공간에서 특징을 추출하는 학습 가능한 양자 필터 역할을 한다.
• 하이브리드 통합 (Qu-Net): 개념 증명으로서, 저자들은 고전적 U-Net의 병목(bottleneck) 구간에 QuFeX를 통합하는 하이브리드 아키텍처인 Qu-Net을 제안한다. U-Net은 이미지 분할에 사용되는 표준 인코더-디코더 아키텍처이다. Qu-Net에서는 고전적 병목 레이어가 QuFeX 모듈로 대체된다. 정보 손실을 완화하고 학습을 안정화하기 위해, 저자들은 양자 레이어를 우회하는 잔차 연결(residual connections, ResNet에서 영감을 받음)을 도입하여 모델이 고전적 또는 양자 처리를 통해 최적의 경로를 학습할 수 있도록 한다.
• 구현 세부 사항: 양자 회로는 매개변수화된 유니터리 변환($U_j$)과 측정 결과에 따라 결정되는 고정 유니터리 연산($V_j$)을 활용한다. 고전적 입력은 회전 각도(예: $R_Y$ 또는 $R_Z$ 게이트)로 인코딩된다. 출력은 파울리-Z 관측량(Pauli-Z observables)의 기대값으로부터 도출된다.

주요 기여

1. 새로운 모듈 (QuFeX): 얕은 회로 깊이를 유지하면서 축소된 차원의 공간에서 특징 추출을 가능하게 하는 새로운 양자 특징 추출 레이어이다. 이는 QCNN의 큐비트 폐기와 관련된 정보 손실 및 QuanNN의 패치 단위 평가에 따른 높은 계산 비용을 방지한다.
2. 하이브리드 아키텍처 (Qu-Net): 양자 레이어를 병목 지점에 전략적으로 배치하여 하이브리드 임베딩 공간을 생성하는 U-Net 프레임워크 내의 구체적인 구현 사례이다.
3. 잔차 통합 (Residual Integration): 특징 전파를 보존하고 하이브리드 설정에서의 학습을 안정화하기 위해 양자 레이어 상에 잔차 연결을 포함하였다.
4. 경험적 검증: 세 가지 서로 다른 이미지 분할 데이터셋인 FruitSeg30(과일 분할), PH2(피부 병변 분할), ISBI-2012 EM(세포막 분할)에 대한 광범적인 수치 테스트를 수행하였다.

결과
저자들은 Qu-Net을 완전 고전적 U-Net 베이스라인과 비교 평가하기 위해 PennyLane을 사용하여 클래식 하드웨어에서 수치 시뮬레이션을 수행하였다.

• FruitSeg30 데이터셋: 세 가지 모델 규모(tiny, small, medium) 전반에서, 학습 가능한 파라미터 수가 증가함에 따라 Qu-Net 변형 모델들이 일반적으로 고전적 베이스라인보다 우수한 성능을 보였다. 특히, 중간 규모 모델(~40,000 파라미터)에서 Qu-Net은 U-Net에 비해 더 높은 중앙값 IoU 점수와 데이터셋 분할 간의 낮은 변동성을 달성했다.
• PH2 데이터셋: 이 의료 영상 데이터셋에서 특정 Qu-Net 구성(예: Qu-Net 6-1-2 및 Qu-Net 12-1-1)은 약 0.68의 평균 IoU를 달성하였으며, 이는 베이스라인 U-Net(0.58) 대비 약 10%의 향상을 나타낸다. 이러한 모델들은 또한 교차 검증 폴드 전반에서 감소된 표준 편차와 더 높은 안정성을 보여주었다.
• ISBI-2012 EM 데이터셋: Qu-Net 모델은 훨씬 적은 파라미터로 우수한 성능을 달了. 가장 성능이 좋은 변형인 Qu-Net 12-2-1은 약 250,000개의 파라미터만을 사용하여 0.8257의 IoU를 달성했는데, 이는 150만 개 이상의 파라미터를 필요로 했던 베이스라인 U-Net의 IoU 0.7545와 비교된다. 질적 분석 결과, Qu-Net 모델은 특히 경계가 모호한 영역에서 더 연속적이고 해부학적으로 일관된 막(membrane) 윤곽을 생성함을 보여주었다.
• 학습 역학 (Training Dynamics): 양자 강화 모델은 일반적으로 고전적 베이스라인에 비해 더 빠른 수렴 속도와 더 낮은 이진 교차 엔트로피(BCE) 손실 궤적을 보였다.

의의 및 주장
본 논문은 QuFeX가 현재의 양자 기술적 제약 하에서도 딥 뉴럴 네트워크를 향상시킬 수 있는 실행 가능한 경로를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 효율성: 하이브리드 모델은 순수 고전 모델보다 훨씬 적은 학습 파라미터로도 우수한 분할 성능을 달성할 수 있다.
• 확장성: QuFeX 설계는 학습 가능한 파라미터 수를 큐비트 수와 독립적으로 유지함으로써 모델 용량을 하드웨어 제한으로부터 분리하여 유리한 스케일링을 가능하게 한다.
• 강건성: 병목 지점에 양자 레이어를 통합하고 잔차 연결을 결합함으로써, 정밀한 특징 추출이 필요한 실제 응용 분야를 위한 강력한 프레임워크를 구축한다.
• 개념 증명: 본 연구는 실제 이미지 분할 작업에 양자 강화 딥 뉴럴 네트워크를 적용한 첫 번째 사례 중 하나로서, 하이브리드 컴퓨팅 패러다임의 잠재력을 입증한다.

저자들은 현재 기술 수준에 대해 겸허한 태도를 유지하며, 자신들의 결과가 이상적인 양자 시뮬레이션에 기반하고 있음을 인정한다. 이들은 실제 양자 하드웨어 배포 전, 노이즈가 성능을 저하시킬 수 있음을 언급하며 제로 노이즈 외삽(Zero-Noise Extrapolation) 및 동적 디커플링(Dynamical Decoupling)과 같은 노이즈 완화 기술이 향후 연구가 필요한 중요한 분야임을 명시하였다.