WTHaar-Net: a Hybrid Quantum-Classical Approach

이 논문은 기존 하이브리드 아키텍처의 하다마르 변환을 공간적 국소성과 다중 해상도 표현을 제공하는 헤어 웨이블릿 변환으로 대체하여 파라미터 효율성을 높이고 Tiny-ImageNet 에서 기존 모델보다 우수한 성능을 보이며 IBM 양자 하드웨어에서 검증된 WTHaar-Net 을 제안합니다.

핵심

🌟 핵심 아이디어: "전체 사진보다 '세부 묘사'가 더 중요해요"

기존의 AI 모델 (특히 양자 컴퓨팅과 결합된 모델들) 은 이미지를 분석할 때 마치 전체 사진을 한 번에 뒤섞어서 보는 방식을 썼습니다. 이를 '하드마드 변환 (Hadamard Transform)'이라고 하는데, 비유하자면 모든 픽셀을 섞어 만든 스무디를 마시는 것과 비슷합니다. 전체적인 맛은 알 수 있지만, "여기에는 딸기가, 저기에는 바나나가 들어있다"는 구체적인 위치 정보는 사라집니다.

하지만 이 논문에서 제안한 WTHaar-Net은 **하르 웨이블릿 변환 (Haar Wavelet Transform)**이라는 새로운 안경을 씁니다.

• 비유: 이 안경을 쓰면 사진을 **거친 스케치 (전체적인 윤곽)**와 **세부적인 그림 (눈, 코, 입의 위치)**으로 나누어 볼 수 있습니다.
• 장점: AI 가 "이게 고양이인가?"를 판단할 때, 전체적인 색감만 보는 게 아니라 "귀가 어디에 있고, 눈이 어떻게 생겼는지"라는 공간적 위치 정보를 훨씬 잘 파악할 수 있게 됩니다.

🤖 왜 양자 컴퓨터를 쓸까요? (효율의 마법)

양자 컴퓨터는 아직 초기 단계라 매우 작고 민감합니다. 하지만 이 모델은 매우 얇고 간단한 양자 회로만 사용합니다.

• 비유: 기존 방식은 거대한 도서관의 모든 책을 한 번에 뒤집어보려 했다면, 이 방식은 필요한 책장 (세부 정보) 만 정확히 찾아서 빠르게 훑어보는 것입니다.
• 결과: 컴퓨터가 해야 할 계산량 (파라미터) 을 약 26~44%나 줄이면서도, 오히려 정확도는 유지하거나 더 높였습니다. 마치 더 적은 연료로 더 멀리 가는 차를 만든 것과 같습니다.

🧪 실험 결과: 실제로 잘 작동할까요?

연구팀은 두 가지 유명한 이미지 데이터 (CIFAR-10, Tiny-ImageNet) 로 실험을 했습니다.

1. 작은 이미지 (CIFAR-10): 기존 모델들과 거의 같은 성능을 내면서, 모델의 크기는 훨씬 작게 만들었습니다.
2. 더 복잡한 이미지 (Tiny-ImageNet): 여기서 WTHaar-Net 이 압도적으로 이겼습니다. 더 높은 해상도의 이미지일수록 '세부 묘사 (위치 정보)'가 중요하기 때문입니다.
3. 소음에 대한 강인함: 이미지가 흐릿해지거나 (블러) 점들이 튀는 (소금-후추 노이즈) 상황에서도 기존 모델보다 더 잘 견뎌냈습니다.

⚛️ 실제 양자 컴퓨터에서의 검증

이론만 있는 게 아닙니다. 연구팀은 IBM 의 실제 양자 클라우드 컴퓨터에 이 기술을 적용해 보았습니다.

• 상황: 양자 컴퓨터는 아직 완벽하지 않아서, 작은 이미지 조각 (4x4 픽셀) 만 처리했습니다.
• 결과: 고전 컴퓨터가 계산한 결과와 양자 컴퓨터가 계산한 결과가 거의 똑같았습니다. 이는 가까운 미래에 실제 양자 컴퓨터를 AI 에 쓸 수 있다는 희망을 보여줍니다.

🚧 아직 해결해야 할 문제 (한계점)

양자 컴퓨터는 측정할 때 부호 (양수/음수) 정보가 사라지는 문제가 있습니다.

• 비유: 양자 컴퓨터가 "이곳에 무언가가 있다"는 건 알지만, "그게 위로 솟아있는지 (양수) 아래로 꺼져있는지 (음수)"는 헷갈려 하는 상황입니다.
• 해결: 연구팀은 이 문제를 고전적인 컴퓨터 알고리즘으로 보정해 해결했지만, 더 완벽한 해결책을 찾기 위해 계속 연구 중입니다.

💡 한 줄 요약

"WTHaar-Net 은 양자 컴퓨터의 빠른 계산 능력과, 이미지의 '세부 위치'를 잘 파악하는 웨이블릿 기술을 결합하여, 더 작고 빠르면서도 똑똑한 AI 를 만든 혁신적인 연구입니다."

이 기술이 발전하면, 스마트폰이나 자율주행차 같은 기기에서 양자 컴퓨터의 힘을 빌려 훨씬 더 똑똑하고 빠른 이미지 인식이 가능해질 것입니다.

기술 요약

WTHaar-Net: 하이브리드 양자 - 고전적 접근법 기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 양자 컴퓨팅의 한계: 최근 양자 하드웨어의 발전으로 머신러닝 파이프라인의 일부 구성 요소를 양자 프로세서에서 실행하는 것이 가능해졌으나, 완전한 합성곱 층 (Convolutional Layers) 을 구현하려면 입력 차원에 비례하여 수천 개의 큐비트가 필요하여 현재 장치의 능력을 초과합니다.
• 기존 하이브리드 모델의 결함: 기존 연구들은 하이브리드 양자 - 고전적 접근법으로 **Hadamard 변환 (HT)**을 사용했습니다. 그러나 Hadamard 변환은 입력의 모든 성분을 전역적으로 (globally) 혼합하여, 시각 작업의 핵심인 **공간적 국소성 (spatial locality)**과 다중 해상도 (multi-resolution) 특성을 반영하지 못합니다. 이는 시각적 인덕티브 바이어스 (inductive biases) 와 잘 맞지 않습니다.
• 목표: 양자 하드웨어의 효율성을 유지하면서 시각 작업에 더 적합한 공간적 국소성을 제공하는 새로운 하이브리드 아키텍처 개발.

2. 제안된 방법론 (Methodology)

저자들은 WTHaar-Net이라는 새로운 합성곱 신경망 (CNN) 을 제안하며, 기존 Hadamard 변환을 **Haar 웨이블릿 변환 (Haar Wavelet Transform, HWT)**으로 대체합니다.

• Haar 웨이블릿 변환 (HWT) 의 도입:

  • HWT 는 공간적으로 국소화된 다중 해상도 표현을 제공하여 시각 작업의 특성에 더 부합합니다.
  • HWT 행렬은 직교 (orthogonal) 성질을 가지며, 단순한 합과 차 (sum-difference) 연산으로 구성되어 양자 회로 구현에 적합합니다.
  • 2 차원 Haar 행렬은 Hadamard 행렬과 동일하므로, 구조화된 Hadamard 게이트를 사용하여 양자 회로로 효율적으로 분해할 수 있습니다.

• WTHaar-Net 아키텍처 (HWT-Perceptron):

  • 변환 도메인 표현: 입력 텐서에 대해 채널별로 분리 가능한 2D Haar 변환을 적용합니다.
  • 멀티-패스 필터링: 여러 개의 병렬 경로 (P-path) 를 통해 변환 도메인에서 가중치 행렬 ($A_i$) 과 채널별 1x1 합성곱 ($V_i$) 을 수행합니다.
  • 소프트-스레싱 (Soft-thresholding) 비선형성: ReLU 대신 $sign(Z) \circ (|Z| - T)_+$ 형태의 소프트-스레싱을 사용하여 변환 도메인에서의 부호 정보를 보존합니다.
  • 역변환 및 집계: 모든 경로의 출력을 합산한 후 역 Haar 변환을 통해 공간 도메인으로 복원합니다.

• 양자 알고리즘 구현:

  • 4x4 이미지 패치의 픽셀 값을 4 큐비트 양자 상태의 진폭으로 인코딩합니다.
  • 제어된 Hadamard 게이트 (Controlled-Hadamard), Pauli-X 게이트, SWAP 게이트 등을 조합하여 고전적인 2D Haar 변환과 동일한 연산을 수행하는 양자 회로를 설계합니다.
  • 이 회로는 깊이 (depth) 가 얕아 (O(1)) 현재의 NISQ (Noisy Intermediate-Scale Quantum) 장치에서 실행 가능합니다.

3. 주요 기여 (Key Contributions)

1. HWT 기반 하이브리드 파이프라인: 하이브리드 양자 - 고전적 CNN 의 프론트엔드로 Haar 웨이블릿 변환을 통합하여, Hadamard 변환의 전역 혼합 문제를 해결했습니다.
2. 양자 친화적 구현: 구조화된 Hadamard 게이트를 이용한 HWT 의 양자 분해를 제시하여, 근미래 양자 하드웨어 제약 조건에 부합하는 회로를 설계했습니다.
3. 효율성과 정확도 향상: CIFAR-10 및 Tiny-ImageNet 실험에서 표준 CNN 대비 최대 44% 의 MAC(Multiply-Accumulate) 연산 감소를 달성하면서도 정확도를 유지하거나 향상시켰습니다.
4. 하드웨어 검증: IBM Quantum 클라우드 장치 (ibm_brisbane) 에서 MNIST 패치 기반 실험을 수행하여 실제 양자 하드웨어에서의 호환성을 입증했습니다.

4. 실험 결과 (Results)

• Tiny-ImageNet:
  • WTHaar-Net 은 ResNet 베이스라인 및 Hadamard 기반 (WHT) 모델보다 **상위 1 위 정확도 (Top-1 Accuracy) 70.84%**를 기록하며 가장 우수한 성능을 보였습니다.
  • 파라미터 수는 12.4% 감소했습니다.
• CIFAR-10:
  • 3-path WTHaar-ResNet-20 은 **91.28%**의 정확도를 달성하여 ResNet-20 베이스라인 (91.66%) 과 Hadamard 기반 모델 (91.29%) 과 유사한 성능을 보였습니다.
  • 파라미터는 26.64% 감소했습니다.
• 노이즈 강건성 (Robustness):
  • 가우시안 블러 (Gaussian Blur): WTHaar 가 WHT 보다 일관되게 높은 정확도를 유지하여 저주파 성분 손실에 강건함을 보였습니다.
  • 소금 - 후추 노이즈 (Salt-and-Pepper Noise): 낮은 노이즈 수준에서는 WTHaar 가 우세했으나, 노이즈 강도가 높아지면 WHT 가 더 강건한 경향을 보였습니다. 이는 각 변환이 서로 다른 주파수 대역의 왜곡에 민감함을 시사합니다.
• 양자 하드웨어 검증:
  • IBM Quantum 장치에서 4x4 패치에 대한 변환을 수행했습니다.
  • 측정 잡음과 부호 (sign) 모호성에도 불구하고, 고전적 Haar 변환 결과와 비교하여 MSE 0.023의 낮은 오차를 보이며 양자 구현의 타당성을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 시각 작업에 적합한 양자 - 고전 하이브리드: WTHaar-Net 은 Hadamard 변환의 전역적 특성을 극복하고, 시각 데이터의 공간적 국소성과 다중 해상도 특성을 효과적으로 활용하는 새로운 패러다임을 제시했습니다.
• 실용적 효율성: 파라미터와 연산량을 크게 줄이면서도 높은 정확도를 유지하여, 제한된 양자 자원을 가진 근미래 양자 컴퓨팅 환경에서 실용적인 딥러닝 모델 구축 가능성을 보여줍니다.
• 한계 및 향후 과제: 현재 패치 기반 접근법으로 인해 공간 수용 영역 (receptive field) 이 제한적이고, 양자 측정으로 인한 부호 정보 손실 (sign ambiguity) 이 존재합니다. 향후 위상 추정 (phase estimation) 기술을 통한 부호 복원 및 더 큰 패치 크기로의 확장이 필요하다고 결론지었습니다.

이 연구는 웨이블릿 기반 CNN 과 하이브리드 양자 - 고전적 비전 모델을 연결하는 중요한 가교 역할을 하며, 양자 컴퓨팅이 실제 컴퓨터 비전 과제에 적용될 수 있는 구체적인 경로를 제시합니다.