Image classification via a quantum-inspired strategy involving a mixture of experts

기술 요약: 양자 영감을 받은 전문가 혼합 모델을 통한 이미지 분류

문제 정의
물리적 이미지 처리에서의 패턴 인식은 저장 공간과 처리 시간이 제한된 방대한 데이터셋에서 관련 특징(feature)을 추출하는 것을 필요로 합니다. 표준 합성곱 신경망(CNN)은 데이터를 다운샘플링하기 위해 확산 기반의 흐림(diffusion-based smearing) 및 블록 단위 풀링(block-wise pooling)을 통해 이를 수행합니다. 그러나 이러한 고전적 메커니즘은 본질적으로 손실이 발생하며(lossy), 계산 복잡도를 줄이기 위해 미세한 구조적 세부 정보를 저하시킵니다. 양자 알고리즘은 잠재적인 효율성 이득을 제공할 수 있지만, 상당한 이점은 대개 실제 양자 데이터 입력이 필요합니다. 본 연구는 표준 이미지 데이터셋에 대해 특징 추출 및 분류 효율성을 개선하기 위해, 다운샘플링 과정 중 정보 손실을 최소화하는 하이브리드 고전-양자 프레임워크를 제안함으로써 이 과제를 해결합니다.

방법론
저자들은 양자 영감을 받은 서브루틴이 표준 CNN의 특정 구성 요소를 대체하고, 이후 최종 분류를 위해 고전적 완전 연결 신경망(FCL)이 뒤따르는 하이브리드 시스템으로 구현된 양자 전문가 혼합(Quantum Mixture of Experts, QMoE) 프레임워크를 제안합니다. 방법론은 다섯 가지 주요 단계로 구성됩니다:

1. 상태 인코딩 (State Encoding):

   • 입력 이미지(원래 28×28인 MNIST 및 Fashion-MNIST)는 32×32로 패딩되며 $\pm 1$의 이진 값($c_{x,y} = \pm 1$)으로 임계화됩니다.
   • 이미지는 **진폭 인코딩(amplitude encoding)**을 통해 10-큐비트 양자 상태로 임베딩됩니다: $|\psi\rangle = \frac{1}{32} \sum c_{x,y} |x, y\rangle$. 이는 공간적 자원 요구 사항을 기하급적으로 줄여, 후속 연산이 원시 픽셀이 아닌 인코딩된 상태에 작용할 수 있도록 합니다.

2. 합성곱 흐림 (Unitary vs. Diffusion):

   • 고전적 베이스라인: 반복적 확산을 위해 이산 라플라시안 연산자를 사용합니다: $X^{t+1}_{i,j} = (1-\alpha)X^t_{i,j} + \frac{\alpha}{4}\sum X^t_{neighbors}$. 이는 정보 손실이 발생하는 과정입니다.
   • 양자 전략: 확산을 **비손실 유니터리 흐림(non-lossy unitary smearing)**으로 대체합니다. 이미지 그리드는 짝수 및 홀수 서브셋(체커보드 패턴)으로 분할됩니다. 로컬 유니터리 연산자($U_o, U_e$)는 파울리 행렬에서 유도된 해밀토니안 블록을 사용하여 기본 사각형의 모서리에서 진폭을 혼합합니다. 이 혼합은 훈련 중에 최적화되는 파라미터 $s = \sin \theta$에 의해 제어됩니다.

3. 전문가 혼합 (Mixture of Experts, MoE):

   • 다수의 "전문가"는 유니터리 흐림에 사용되는 서로 다른 파라미터 값($\theta_i$)에 의해 정의됩니다.
   • 독립적 전략: 각 전문가는 이미지를 처리하며, 예측값은 다수결 투표를 통해 결합됩니다.
   • 결합 전략: 모든 전문가에 의해 추출된 특징들은 하나로 결합되어 분류기에 의해 함께 처리됩니다. 본 논문은 이 결합 접근 방식을 강조합니다.

4. 블록 단위 풀링 (Block-wise Pooling, Stabilizer Codes):

   • 고전적 베이스라인: 3×3 윈도우의 가중 평균을 통해 이미지 해상도를 감소시킵니다 (32×32 $\to$ 16×16 $\to$ 8×8 $\to$ 4×4).
   • 양자 전략: **[[5,1,3]] 완벽한 비퇴화 안정기 코드(perfect nondegenerate stabilizer code)**를 활용합니다. 픽셀 좌표가 축당 5개의 큐비트에 인코딩되므로, 코드는 교환 가능한 생성자(commuting generators)의 기대값(신드롬)을 추출하여 축당 16개의 뚜렷한 특징을 생성합니다. 이는 비가역적인 다운샘플링을 특정 구조적 정보를 보존하는 결정론적 신드롬 추출로 대체합니다.

5. 분류 (Classification):

   • 추출된 특징(전문가당 16개 특징, 레이어당 16개)은 퍼널(funnel) 구조(512 $\to$ 256 $\to$ 128 $\to$ 10)를 가진 표준 완전 연결 신경망(FCL)에 입력됩니다.
   • 시스템은 PyTorch를 사용하여 GPU 워크스테이션에서 CrossEntropyLoss(레이블 스무딩 포함)와 함께 Adam 옵티마이저를 사용하여 훈련됩니다.

주요 기여

• 하이브리드 프레임워크: 고전적 확산이 유니터리 합성곱으로 대체되고, 고전적 풀링이 양자 안정기 코드 신드롬 추출로 대체되는 구체적인 아키텍처를 도입했습니다.
• 전문가 혼합: 서로 다른 흐림 파라미터를 사용하는 여러 전문가 간의 결합된 의사결정 과정이 독립적인 전문가 투표 및 단일 전문가 고전 베이스라인보다 성능이 훨씬 뛰어나다는 것을 입증했습니다.
• 효율적인 특징 추출: 진폭 인코딩과 안정기 코드를 활용함으로써, 방법론은 고전적인 손실성 다운샘플링보다 더 많은 관련 정보를 유지하면서 입력 차원을 784 픽셀에서 16개 특징($MoE$의 경우$16 \times N_{exp} \times N_{lyr}$)으로 줄입니다.
• 실제 구현: 알고리즘은 "양자 영감을 받은" 방식(양자 상태를 시뮬레이션하는 텐서 연산)을 사용하여 전체적으로 고전 GPU 하드웨어에서 구현되었으므로, 실제 양자 하드웨어가 필요 없이 즉시 배포 가능합니다.

결과
프레임워크는 MNIST 및 Fashion-MNIST 데이터셋에 대해 고전적 확산 베이스라인과 벤치마킹되었습니다:

• MNIST 데이터셋:
  • 고전적 베이스라인(최적 $\alpha=1.5$)은 **95.02%**의 테스트 정확도를 달em했습니다.
  • 양자 결합 전문가 전략(16명의 전문가, 16개 레이어)은 **97.63%**의 테스트 정확도를 달성했습니다.
  • 이는 고전적 방법과 비교하여 실패율을 약 2배 감소시킨 것입니다.
• Fashion-MNIST 데이터셋:
  • 형태적 모호함으로 인해 고전적 베이스라인은 **76.80%**에서 정점을 찍었습니다.
  • 양자 결합 전문가 전략(18명의 전문가, 16개 레이어)은 **86.20%**를 달성했습니다.
  • 마찬가지로, 실패율이 약 2배 감소했습니다.
• 계산 오버헤드: 결합 전문가 양자 영감 모델의 에포크당 시간은 고전적 베이스라인에 비해 완만한 증가만을 보여, 이 접근 방식이 현재의 GPU 워크스테이션에서 계산적으로 실용적임을 나타냈습니다.

의의 및 주장
본 논문은 제안된 양자 영감 전략이 이미지 분류 작업, 특히 Fashion-MNIST와 같이 복잡한 구조적 특징을 가진 데이터셋에서 명확한 이점을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 유니터리 합성곱은 손실이 발생하는 고전적 확산보다 더 많은 이미지 정보를 유지합니다.
2. 안정기 코드 기반 신드롬 추출은 표준 풀링보다 뛰어난 강건한 특징 감소 방법을 제공합니다.
3. 결합된 전문가 분석은 독립적인 분석보다 더 관련성 높은 특징을 추출하며, 이는 양자 영감 맥락 내에서 "전문가 혼합" 접근 방식의 타당성을 입증합니다.

저자들은 현재 구현이 (시뮬레이션된 대로) 고전적이지만, 프레임워크가 양자 프로세서에서 실행 가능하도록 설계되었음을 언급하며(부록에 상세 기술됨), 이는 향후 머신러닝 작업을 위한 하이브리드 고전-양자 프로세서로 가는 실행 가능한 경로를 시사한다고 결론지었습니다. 그들은 이 전략이 모든 고전적 방법을 대체하기보다는, 적절한 오버헤드를 가진 기존 고전적 체계에 대한 실용적인 대안임을 겸허히 밝히고 있습니다.