Layer-wise QUBO-Based Training of CNN Classifiers for Quantum Annealing

이 논문은 컨볼루션 필터를 고정하고 완전 연결 레이어만 이터레이티브 QUBO 기반 양자 어닐링으로 훈련하는 CNN 분류기 프레임워크를 제안하여, 변분 양자 회로의 barren plateau 문제를 우회하면서도 여러 이미지 분류 벤치마크에서 기존 경사 하강법과 경쟁력 있는 성능을 달성함을 보였다.

핵심

이 논문은 **"양자 컴퓨터를 이용해 AI(인공지능) 가 사진을 더 잘 구별하도록 가르치는 새로운 방법"**을 소개합니다.

기존의 AI 학습 방식은 마치 복잡한 미로를 하나하나 헤매며 길을 찾는 것처럼, 모든 수치를 미세하게 조정하며 학습합니다. 하지만 양자 컴퓨터를 쓸 때는 이 방식이 잘 맞지 않습니다. 이 논문은 그 문제를 해결하기 위해 **"고정된 렌즈 + 양자 퍼즐"**이라는 독특한 방식을 제안합니다.

이해하기 쉽게 4 가지 핵심 비유로 설명해 드릴게요.

---

1. 문제: 양자 AI 는 왜 학습이 어려울까요?

일반적인 AI 학습은 **'경사 하강법'**이라는 방식을 씁니다. 언덕 위에서 아래로 내려가듯, 실수가 줄어들的方向으로 수치를 조금씩 조정하는 거죠.

하지만 양자 컴퓨터 (특히 '양자 어닐링' 방식) 는 이 '경사'를 계산하는 게 어렵습니다. 마치 안개가 자욱한 산에서 어디가 아래인지 방향을 잃어버리는 것과 비슷합니다. 이를 '메마른 대지 (Barren Plateaus)' 현상이라고 부릅니다. 그래서 기존 양자 AI 는 학습이 잘 안 되거나, 데이터가 조금만 많아져도 계산이 폭발해버리는 문제가 있었습니다.

2. 해결책 1: "렌즈는 고정하고, 초점만 맞춘다" (ELM 방식)

이 연구팀은 AI 의 두 부분을 나눕니다.

• 이미지 인식부 (렌즈): 사진에서 '고양이 귀'나 '바퀴' 같은 특징을 찾아내는 부분입니다.
• 판단부 (머리): 찾아낸 특징을 보고 "이건 고양이구나"라고 결론 내리는 부분입니다.

보통은 두 부분 모두를 학습시킵니다. 하지만 이 논문은 렌즈 부분을 처음에 무작위로 만들고, 절대 건드리지 않습니다 (고정). 대신, 판단부 (머리) 만 양자 컴퓨터로 학습시킵니다.

비유: 카메라의 렌즈는 이미 좋은 것을 사서 고정해두고, 우리가 조절하는 건 '초점 (포커스)' 버튼 하나만 조절하는 것과 같습니다. 이렇게 하면 학습할 게 훨씬 줄어들어 양자 컴퓨터가 처리하기 훨씬 쉬워집니다.

3. 해결책 2: "복잡한 수학 문제를 양자 퍼즐로 바꾼다" (QUBO)

AI 가 학습할 때 쓰는 수학 공식 (손실 함수) 은 양자 컴퓨터가 이해하기 너무 복잡합니다.
연구팀은 이 복잡한 공식을 양자 컴퓨터가 가장 잘 푸는 **'QUBO(이차 무제약 이진 최적화)'**라는 퍼즐 형태로 바꿨습니다.

비유: 원래는 "이 복잡한 미로를 빠져나가세요"라고 하는 대신, **"이 퍼즐 조각을 맞춰서 가장 낮은 골짜기를 찾으세요"**라고 바꾸는 것입니다. 양자 컴퓨터는 이 '골짜기 찾기'를 매우 잘합니다.

4. 해결책 3: "한 번에 다 하지 말고, 나누어 해결하자" (분해)

사진을 10 가지 종류 (0~9 숫자 등) 로 분류해야 한다면, 보통은 한 번에 모든 것을 결정하려 합니다. 하지만 이 논문은 10 가지 종류를 10 개의 작은 문제로 쪼갭니다.
각각의 문제 (예: "이게 0 일 확률이 높은가?") 를 독립적으로 양자 컴퓨터에 맡깁니다.

비유: 10 명을 뽑는 시험을 한 번에 치르는 대신, 10 개의 작은 시험지를 만들어 각각 따로 채점하는 방식입니다. 이렇게 하면 양자 컴퓨터의 메모리 (큐비트) 한도를 넘지 않습니다.

---

실험 결과: 얼마나 잘할까요?

연구팀은 이 방법을 6 가지 이미지 데이터셋 (숫자, 옷, 사물 등) 으로 테스트했습니다.

1. 정밀도 (Bit Precision) 의 중요성:
   양자 컴퓨터는 숫자를 얼마나 정밀하게 표현하느냐 (비트 수) 가 중요합니다.

   • 5 비트: 너무 뭉개져서 그림이 흐릿함 (학습 실패).
   • 10~20 비트: 선명한 그림 (학습 성공).
   • 결론: 최소 10 비트 이상은 되어야 제 기능을 합니다.

2. 성능:

   • MNIST(숫자) 데이터: 기존 컴퓨터 (클래식) 가 79.8% 를 맞췄다면, 이 양자 방식은 **81.5%**를 맞춰 더 잘했습니다.
   • 복잡한 데이터 (옷, 사물): 기존 컴퓨터와 비슷하거나 약간 뒤처지기도 했지만, 양자 컴퓨터의 한계 내에서 매우 경쟁력 있는 결과를 냈습니다.

3. 현재의 한계:
   아직은 실제 양자 컴퓨터 (D-Wave 등) 에 바로 넣기엔 데이터가 너무 커서, 연구팀은 **'시뮬레이션 (가상 양자 컴퓨터)'**으로 실험했습니다. 하지만 이 방식은 실제 양자 하드웨어에 바로 적용할 수 있도록 설계되었습니다.

---

요약: 이 연구가 왜 중요할까요?

이 논문은 **"양자 컴퓨터로 AI 를 학습시킬 때, 무작정 모든 것을 양자화할 필요는 없다"**는 것을 보여줍니다.

• 기존 방식: AI 전체를 양자 컴퓨터에 맡기려다 실패.
• 이 논문: AI 의 '눈 (렌즈)'은 기존 컴퓨터로, '머리 (판단)'만 양자 컴퓨터로 맡기는 하이브리드 방식.

이는 마치 고성능 엔진 (양자 컴퓨터) 을 달기 위해 차체 (AI 구조) 를 가볍게 개조한 것과 같습니다. 현재 양자 컴퓨터의 기술 수준 (큐비트 수) 에 맞춰 AI 학습 방식을 재설계한, 매우 실용적인 첫걸음이라고 볼 수 있습니다.

한 줄 결론:

"AI 의 눈은 고정하고, 양자 컴퓨터로 '결정'만 빠르게 내리게 하여, 기존 컴퓨터 못지않게 사진을 잘 구별하게 만든 새로운 학습법!"

기술 요약

논문 제목: Layer-wise QUBO-Based Training of CNN Classifiers for Quantum Annealing (양자 어닐링을 위한 CNN 분류기 계층별 QUBO 기반 학습)
저자: Mostafa Atallah, Rebekah Herrman (University of Tennessee, Cairo University)
요약: 본 논문은 이미지 분류를 위한 합성곱 신경망 (CNN) 의 분류기 헤드를 양자 어닐링 (Quantum Annealing) 을 통해 학습하기 위한 반복적 프레임워크를 제안합니다. 기존 변분 양자 회로 (VQC) 의 '황무지 대지 (barren plateaus)' 문제와 양자 커널 방법의 확장성 한계를 극복하기 위해, QUBO(Quadratic Unconstrained Binary Optimization) 기반의 접근법을 사용합니다.

---

1. 문제 정의 (Problem)

양자 기계 학습 (QML) 의 이미지 분류 작업에서 기존 접근법들은 다음과 같은 근본적인 한계를 겪고 있습니다:

• 변분 양자 회로 (VQC): 파라미터화된 양자 회로의 기울기 (gradient) 가 큐비트 수가 증가함에 따라 지수적으로 소멸하는 '황무지 대지 (barren plateaus)' 현상으로 인해 최적화가 불가능해집니다.
• 양자 커널 방법: 커널 행렬 계산이 훈련 샘플 수 $N$에 대해 $O(N^2)$으로 스케일링되어 대규모 데이터셋에 적용하기 어렵습니다.
• 기존 QUBO 기반 NN 학습: 신경망 손실 함수는 비볼록 (non-convex) 이며, SVM 기반 QUBO 는 훈련 샘플 수에 비례하여 문제 크기가 커져 대규모 이미지 분류에는 부적합합니다.

2. 방법론 (Methodology)

저자들은 CNN 의 **분류기 헤드 (Fully Connected Layer)**만 학습하고, **합성곱 필터 (Convolutional Filters) 는 무작위로 초기화 후 고정 (Frozen)**하는 '극한 학습기 (Extreme Learning Machine, ELM)' 패러다임을 따릅니다.

• 이차 서브레이트 (Quadratic Surrogate):
  • 비선형인 교차 엔트로피 손실 함수를 대신하여, 현재 가중치 주변의 손실 지형을 근사하는 볼록 이차 함수 (Convex Quadratic Surrogate) 를 사용합니다.
  • 이 함수는 **그람 행렬 (Gram Matrix, $G = \frac{1}{N}X^T X$)**을 곡률 (curvature) 프록시로 사용하여 유도됩니다. 그람 행렬은 특징 (Feature) 만 의존하므로 고정된 필터 하에서 반복 학습 동안 일정하게 유지됩니다.
  • 손실 함수 $f(\theta)$ 대신 $q(u) = \frac{1}{2}u^T G u + g^T u$ 형태의 QUBO 문제를 최적화합니다. 여기서 $u$는 가중치 업데이트 벡터입니다.
• 이진 인코딩 (Binary Encoding):
  • 연속적인 가중치 업데이트를 양자 어닐링이 처리할 수 있는 이진 변수로 변환하기 위해 **대칭 부호 인코딩 (Symmetric Signed Encoding)**을 사용합니다.
  • 각 파라미터는 $K$ 비트의 정밀도로 표현되며, 업데이트 범위는 $[-\delta_{max}, +\delta_{max}]$로 제한됩니다.
• 계층별 및 출력별 분해 (Layer-wise & Per-Output Decomposition):
  • $C$개의 클래스 분류 문제를 $C$개의 독립적인 QUBO 문제로 분해합니다.
  • 각 QUBO 의 크기는 $(d+1)K$ (여기서 $d$는 특징 차원, $K$는 비트 정밀도) 로, 훈련 데이터 샘플 수 $N$에 의존하지 않고 모델 크기에만 의존합니다.
  • 이를 통해 데이터셋 크기가 커져도 QUBO 문제 크기는 일정하게 유지됩니다.

3. 주요 기여 (Key Contributions)

1. 반복적 그람 행렬 QUBO 서브레이트: 비선형 교차 엔트로피 손실을 양자 어닐링에 적합한 볼록 이차 함수로 대체하여, 무작위 초기화 상태에서도 신경망 학습이 가능하도록 했습니다.
2. 출력별 분해 (Per-Output Decomposition): 단일 거대 QUBO 대신 $C$개의 독립적인 QUBO 로 분해하여 문제 크기를 훈련 데이터 크기가 아닌 모델 크기에 비례하도록 축소했습니다.
3. 정밀도 민감도 연구: 효과적인 QUBO 기반 학습을 위한 최소 비트 정밀도 ($K \ge 10$) 를 실증적으로 규명했습니다.
4. 다중 데이터셋 벤치마크: 6 개의 이미지 분류 작업 (sklearn digits, MNIST, Fashion-MNIST 등) 에서 고정된 특징 추출기 하에서 방법론을 검증했습니다.

4. 실험 결과 (Experimental Results)

모든 실험은 실제 양자 하드웨어 대신 **시뮬레이션 어닐링 (Simulated Annealing, SA)**을 사용하여 수행되었으며, 이는 향후 양자 하드웨어 배포를 위한 기준선 (Baseline) 을 설정합니다.

• 정밀도 영향: 비트 정밀도가 증가함에 따라 정확도가 단조 증가합니다.
  • 5 비트: 학습이 수렴하지 않음 (약 33% 정확도).
  • 10 비트 이상: 경쟁력 있는 결과 도출.
  • 20 비트: MNIST, Fashion-MNIST, EMNIST 에서 고전적 확률적 경사 하강법 (SGD) 과 동등하거나 더 나은 성능을 보였습니다.
• 성능 비교 (sklearn Digits, 8x8 이미지):
  • QUBO 20-bit: 테스트 정확도 81.5% (최종 손실 0.671).
  • 고전적 FC (SGD): 테스트 정확도 79.8% (최종 손실 0.872).
  • QUBO 20-bit 은 500 번째 반복 시 고전적 방법보다 높은 정확도에 도달했습니다.
• 다중 데이터셋 벤치마크:
  • MNIST: QUBO 20-bit 이 고전적 기준선보다 3.1% 높은 테스트 정확도 달성.
  • Fashion-MNIST: 1.3% 향상.
  • CIFAR-10, KMNIST: 8x8 다운샘플링의 표현 병목 현상으로 인해 정확도가 낮았으나, 고전적 방법과 경쟁 가능한 수준 유지.
• 하드웨어 호환성:
  • 20 비트 정밀도 (380 논리 큐비트) 는 D-Wave Advantage 의 큐비트 수 (5,640) 내에는 포함되나, 완전 연결 (Dense) 구조로 인해 물리적 큐플러 (Coupler) 제한 (40,484) 을 초과할 수 있어 임베딩 오버헤드가 발생합니다.
  • 15 비트 (285 변수) 는 현재 D-Wave Advantage 의 토폴로지 제한 내에서 더 실용적인 구성으로 평가됩니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 기울기 기반 최적화 제거: 양자 어닐링은 에너지 지형에서 터널링을 통해 국소 최소값을 탈출하므로, VQC 의 '황무지 대지' 문제를 완전히 회피합니다.
  • 확장성: 문제 크기가 데이터셋 크기 ($N$) 가 아닌 모델 차원 ($d$) 에 의존하므로 대규모 데이터셋에 적용 가능합니다.
  • 실용성: 현재 양자 하드웨어의 제한 내에서 실행 가능한 QUBO 크기를 설계했습니다.
• 한계 및 향후 과제:
  • 연산 속도: 시뮬레이션 어닐링을 사용할 경우 고전적 SGD 보다 100~400 배 느립니다. 실제 양자 어닐링 하드웨어에서의 속도 향상 여부는 향후 연구 과제입니다.
  • 하드웨어 제약: 완전 연결 QUBO 행렬은 D-Wave 의 희소 연결 토폴로지에 임베딩할 때 많은 물리적 큐비트 소모가 필요합니다.
  • 학습 범위: 현재는 분류기 헤드 (FC Layer) 만 학습하며, 합성곱 레이어는 고정되어 있습니다. 향후 그람 행렬 서브레이트를 합성곱 레이어로 확장하여 엔드 - 투 - 엔드 학습이 가능할지 연구가 필요합니다.

결론

본 논문은 양자 어닐링을 활용한 CNN 분류기 학습을 위한 새로운 QUBO 프레임워크를 제시했습니다. 고정된 특징 추출기와 반복적 QUBO 최적화를 결합하여, 기존 양자 기계 학습 방법론의 확장성 및 최적화 문제를 해결하고, 고전적 학습 방법과 경쟁 가능한 성능을 입증했습니다. 이는 양자 하드웨어의 발전과 함께 실제 양자 어닐링을 활용한 머신러닝 파이프라인 구축을 위한 중요한 기반을 마련했습니다.