Investigating Quantum-Embedded Transformers on Classical Datasets for Cross-Modality Classification

기술 요약: 교차 모달리티 분류를 위한 고전적 데이터셋 기반 양자 임베디드 트랜스포머 조사

문제 정의
하이브리드 양자-고전 모델은 현재의 하드웨어에서 양자 기계 학습(QML)을 연구하기 위한 주요 수단이지만, 양자 구성 요소(일반적으로 매개변수화된 양자 회로, PQC)가 고전적 대안에 비해 진정한 이점을 제공하는지는 여전히 불분ci합니다. 이 분야의 중요한 과제는 양자 모듈을 동일한 인터페이스 차원을 가진 고전적 대리물(surrogate)과 격리하여 교체할 수 있는 통제된 비교 방식이 부족하다는 점입니다. 이러한 통제 장치가 없다면, 하이브리드 모델의 성능 향상을 양자 레이어가 아닌 고전적 백본, 디코더 또는 학습 역학의 결과로 단정 지을 수 없습니다. 본 논문은 PQC가 고전적 맵(map)보다 측정 가능한 이점을 제공한다는 가설을 테스트하며, 현대적인 하이브리드 아키텍처 내에 PQC가 삽입되었을 때 정확도나 시드 간 안정성(seed-to-seed stability)을 개선하는지 조사합니다.

방법론
저자는 **양자 임베디드 어텐션(Quantum-Embedded Attention, QEA)**이라 불리는 아키텍처를 제안합니다. 파이프라인은 네 단계로 구성됩니다:

1. 고전적 백본(Classical Backbone): 모달리티별 인코더(예: 이미지/오디오를 위한 ResNeXt-50, 정형 데이터를 위한 MLP, 텍스트를 위한 MiniLM)가 특징 벡터를 추출합니다.
2. 학습 가능한 프로젝터(Learnable Projector): 2층 신경망이 백본의 특징을 $n_q$ 차원의 각도 벡터 $\xi$로 압축하며, 여기서 $n_q$는 큐비트 수입니다.
3. 양자 임베딩(Quantum Embedding): 얕은 PQC가 $n_q$-큐비트 바닥 상태(ground state)에 데이터 의존적 유니터리 $U(\xi; \omega)$를 적용합니다. 회로는 피처 맵(데이터 인코딩)과 하드웨어 효율적 안사츠(trainable rotations 및 CNOT)로 구성됩니다.
4. 리드아웃 및 디코더(Readout and Decoder): 전체 확률 리드아웃 대신, 모델은 1체 및 2체 파울리 기댓값($Z_i$ 및 $Z_i Z_j$)을 측정하여 벡터 $m$을 생성합니다. 고전적 어텐션 디코더는 이 측정값을 처리하여 클래스 로짓(logits)을 생성합니다.

양자 기여도를 테스트하기 위해, 저자는 Breast Cancer Wisconsin (BCW) 데이터셋에 대해 **인터페이스가 일치하는 2×2 요인 설계(2×2 factorial design)**를 채택했습니다. 이 설계는 다음 두 가지 구성 요소를 독립적으로 교체합니다:

• 스위치 A (임베딩): PQC를 동일한 입출력 차원을 가진 고전적 맵($\tanh(W\xi + b)$)으로 대체합니다.
• 스위치 B (디코더): 어텐션 디코더를 선형 헤드(linear head)로 대체합니다.

이를 통해 네 가지 모델 변형이 생성됩니다: QEA (PQC + Attention), Hybrid QNN (PQC + Linear), Classical + Attention, 그리고 Classical + Linear. 본 연구는 프로젝터, 리드아웃 인터페이스, 학습 예산을 고정된 상태로 유지하기 위해 각 셀당 5개의 쌍을 이룬 무작위 시드(paired random seeds)를 사용하여 시드 내 성능 차이를 계산합니다. 또한, 기술적 맥락을 제공하기 위해 5개의 데이터셋(AG News, BCW, BirdCLEF, CIFAR-10, SUSY)에 걸쳐 잔차 변형(residual variant, QEA-R)을 평가하는 더 넓은 비통제형 "교차 모달리티 그리드"를 수행합니다.

주요 기여

1. 자기 완결적 아키텍처 명세: 본 논문은 QEA를 수학적으로 정의하여 큐비트 수 $n_q$를 원시 입력 차원으로부터 분리하고, 정확한 파울리 리드아웃 및 어텐션 디코더 메커니즘을 명시합니다.
2. 인터페이스 일치 요인 통제: 전체 파이프라인을 변경했던 이전 연구들과 달리, 본 연구는 동일한 차원의 고전적 대리물로 양자 레이어를 교체함으로써 양자 레이어를 격리했습니다. 저자는 중첩된 한계 구간(marginal intervals)으로부터 동등성을 추론하는 대신, 쌍을 이룬 효과 구간(paired effect intervals)을 보고합니다.
3. 포괄적 계정: 저자는 계획된 모든 정준 실행(canonical runs)을 보고하며, 기존의 확률 리드아웃 실험과 현재의 파울리 리드아웃 결과를 구분하고, 실패한 실행, 붕괴율(collapse rates) 및 불완전한 예산(incomplete budgets)을 명시적으로 기록합니다.

결과

• BCW 요인 설계 (통제됨): $n_q=4$에서 QEA 모델은 어텐션 디코더를 가진 고전적 대리물 대비 +1.63 퍼센티지 포인트의 개선을 보였습니다(95% CI [0.34, 2.92]). 그러나 이 효과는 $n_q=8$에서 부호가 반전되었으며(-0.70 포인트), 테스트된 4가지 대조군 전체에 대한 다중 비교 보정(multiplicity correction)을 통과하지 못했습니다. 나머지 세 가지 대조군은 95% 신뢰 구간에 0을 포함했습니다. 데이터는 일관된 PQC 기여를 뒷받피하지 않으며, 작은 표본 크기(5개 시드)와 포화된 작업 성능으로 인해 동등성을 확립하지도 못했습니다.
• 교차 모달리티 그리드 (탐색적): AG News, BCW, BirdCLEF에서 QEA-R 변형은 고전적 베이스라인과 유사한 정확도를 달성했습니다. 그러나 CIFAR-10에서는 QEA-R가 고전적 모델(~84%)에 비해 현저히 낮은 성능(40.28% 정확도)을 보이며 실패했습니다. SUSY에서도 양자 모델은 고전적 어텐션 베이스라인보다 성능이 낮았습니다.
• 안정성: Hybrid QNN (PQC + Linear)은 어텐션 기반 모델에 비해 더 높은 붕괴율(21개 실행 중 3개)을 보였으나, 저자는 이것이 고유한 불안정성보다는 구현상의 특성 때문일 가능성이 높다고 언급했습니다.

의의 및 주장
본 논문은 결과가 양자 우위를 확립하지 못함을 명시적으로 밝힙니다. 주요 의의는 방법론적입니다: 본 연구는 엄격하게 인터페이스가 일치하는 통제가 없다면, 하이브리드 모델의 성능을 양자 레이어의 공로로 돌릴 수 없음을 보여줍니다. $n_q=4$에서 관찰된 "긍정적" 결과는 안정적인 양자 효과라기보다 잠재적인 위양성(false positive) 또는 최적화 노이즈로 취급됩니다.

저자는 PQC의 기여가 테스트된 설정(두 가지 너비, 두 가지 디코더, 하나의 데이터셋)에서 재현되지 않는다고 결론짓습니다. 저자는 향후 하이브리드 모델의 평가는 프로젝터, 리드아웃 인터페이스, 디코더 및 학습 예산을 보존하는 쌍을 이룬 시드와 통제를 우선시해야 한다고 주장합니다. 본 논문은 엄격한 구성 요소 귀속 없이 하이브리드 모델의 성공을 양자 구성 요소의 덕분으로 돌리는 것에 대해 경종을 울리는 사례 역할을 하며, 현재의 증거는 이러한 맥락에서 얕은 PQC가 고전적 맵보다 정확도나 안정성을 개선한다는 주장을 뒷받침하지 못함을 강조합니다.