QKT: Quantum Kernel Transformer for High-Dimensional Classification Across Modalities

기술 요약: QKT – 다양한 모달리티를 위한 고차원 분류용 양자 커널 트랜스포머(Quantum Kernel Transformer)

문제 정의
노이즈가 있는 중간 규모 양자(NISQ) 시대에, 고차원 데이터를 양자 기계 학습(QML)에 직접 적용하는 것은 두 가지 주요 장애물에 직면해 있습니다. 하나는 고차원의 원시 입력을 거대한 양자 상태로 로드하는 것의 어려움이며, 다른 하나는 깊은 매개변수화된 양자 회로(PQC)와 관련된 훈련 불안정성(바렌 플래토, barren plateaus)입니다. 하이브리드 양자-고전 모델은 양자 구성 요소를 작은 PQC로 국한함으로써 배포 가능한 대안을 제공하지만, 기존 방식들은 양자 출력을 디코딩할 때 안정성이 떨어지거나 다양한 데이터 모달리티에 걸쳐 고전적 베이스라인 대비 일관된 우위를 입증하는 데 어려움을 겪는 경우가 많습니다.

방법론
본 논문은 클래식 백본과 어텐션 기반 분류 헤드 사이에 학습 가능한 양자 레이어를 삽입하도록 설계된 하이브리드 아키텍처인 **양자 커널 트랜스포머(QKT)**를 소개합니다. 이 아키텍처는 네 가지 뚜렷한 단계로 작동합니다:

1. 클래식 인코딩: 모달리티별 백본(예: 이미지/오디오를 위한 ResNeXt-50, 정형 데이터를 위한 MLP, 또는 텍스트를 위한 MiniLM)이 원시 입력 $x$를 특징 벡터 $h$로 압축합니다.
2. 투영(Projection): 학습 가능한 MLP 투영기 $g_\phi$가 $h$를 큐비트 수 $n_q$와 일치하는 저차원 벡터 $\xi$로 압축합니다. 결정적으로, $n_q$는 원시 입력 차원과 분리되어 있어, 동일한 양자 인터페이스가 다양한 모달리티를 처리할 수 있도록 합니다.
3. 양자 임베딩: 벡터 $\xi$는 특징 맵 $F$(예: ZZFeatureMap)를 통해 양자 상태로 인코딩되며, 얕은 변분 안사츠(variational ansatz) $A$(예: RealAmplitudes 또는 EfficientSU2)에 의해 변환됩니다. 이를 통해 PQC $U(\xi; \omega)$가 형성됩니다.
4. 분포-어텐션 헤드(Distribution-Attention Head): 양자 출력의 측정 확률을 단순한 평면적 특징 벡터로 펼치는 표준 하이브리드 모델과 달리, QKT는 $2^{n_q}$ 기저 상태 확률을 토큰으로 취급합니다. 이는 확률들 사이의 상호작용을 학습하기 위해 멀티 헤드 셀프 어텐션 메커니즘을 적용하며, 이후 정규화된 가중치를 사용하여 이들을 풀링함으로써 최종 분류 로짓(logit)을 생성합니다.

모델은 파라미터 시프트 규칙(parameter-shift rule)을 이용한 양자 그래디언트 계산과 Adam 최 оптими제이션을 사용하여 엔드 투 엔드(end-to-end)로 훈련됩니다.

주요 기여

1. 모달리티 불가지론적 아키텍처: 큐비트 수가 원시 차원과 독립적인 튜너블 병목 지점 역할을 하여 텍스트, 정형, 오디오, 이미지 및 고에너지 물리학 데이터에 적용 가능한 통합 파이프라인을 제공합니다.
2. 분포-어텐션 메커니즘: 양자 출력을 평면적인 특징 벡터가 아닌 확률 분포로 처리하는 새로운 헤드를 도입하여, 선형 Hybrid-QNN 베이스라인과 차별화합니다.
3. 통제된 비교 연구: QKT를 클래식, 클래식+어텐션, 그리고 선형 Hybrid-QNN 베이스라인과 비교하여 다섯 가지 벤치마크(AG News, Breast Cancer Wisconsin, BirdCLEF, CIFAR-10, SUSY)에 대해 엄격하게 평가했습니다.
4. 재현성 프레임워크: 시드 실행(seeded runs), 모든 실험 셀에 대한 YAML 기반 설정, 메모리 압박 관리를 위한 직렬화된 GPU 실행을 포함하는 완전한 재현 가능 워크스테이션 규모 프로토콜을 갖추었습니다. 모든 코드와 산출물은 오픈 소스로 공개되었습니다.

결과
정확한 노이즈 없는 시뮬레이터에서 수행된 평가는 복합적이지만 통찰력 있는 결과를 보여줍니다:

• 경쟁력 있는 성능: 텍스트(AG News) 및 정형 데이터(Breast Cancer Wisconsin) 작업에서 QKT는 강력한 클래식 베이스라인과 경쟁할 만한 수준이며, 선형 Hybrid-QNN보다 우수한 성능을 보입니다.
• 강건성: 생물 음향 데이터(BirdCLEF)에서 QKT는 가장 높은 평균 정확도를 달s합니다. 고에너지 물리학 데이터(SUSY)에서 QKT는 선형 Hybrid-QNN 베이스라인에서 관찰되는 심각한 불안정성과 성능 붕괴(정확도 약 54%로 하락)를 피하고, 클래식 베이스라인(~69%) 근처의 성능을 유지합니다.
• 실패 모드: 이미지 분류(CIFAR-10)에서 QKT는 클래식 및 클래식-어텐션 베이스라인 모두보다 현저히 낮은 성능을 보이며(40.28% 대 84.11%), 현재의 양자 병목 구조가 고변동성 이미지 특징에는 부적합하다는 특정 실패 모드를 식별했습니다.
• 절제 연구(Ablation) 통찰: 큐비트 수($n_q$)와 어텐션 메커니즘을 변화시키는 실험 결과, 분포 어텐션이 매우 작은 회로 폭(예: AG News에서의 $n_q=1$)에서 가장 큰 이점을 제공하며, 선형 헤드와 비교했을 때 15 퍼센트 포인트 이상의 정확도를 회복함을 보여주었습니다.

의의 및 주장
본 논문은 명시적으로 보편적인 양자 우위를 주장하지 않습니다. 대신, QKT를 학습 가능한 양자-커널 병목 구조와 분포 어텐션이 효과적인 특정 니치(niche)를 식별하는 견고한 하이브리드 아키텍처로 포지셔닝합니다. 주요 의의는 다음과 같습니다:

1. 양자 구성 요소를 고차원 파이프라인에 통합할 때, 거대한 양자 상태로 원시 입력을 로드할 필요가 없음을 보여줍니다.
2. 디코더의 선택(분포 어텐션 vs 선형 헤드)이 특히 저큐비트 영역에서 안정성에 결정적임을 입증합니다.
3. 현재 아키텍처는 특정 데이터 유형(텍스트, 정형, 생물 음향)에 제한되어 있으며 복잡한 이미지 특징에는 실패하므로, 이는 향후 연구를 위한 명확한 경계를 정의합니다.

저자들은 증거가 일반적인 클래식 방법론에 대한 일반적 우월성보다는 "선택된 셀에서의 개선된 강건성을 가진 경쟁력 있는 성능"을 뒷받침한다고 결론지으며, 실제 NISQ 하드웨어, 이미지 특화 양자 헤드, 그리고 더 깊은 안사츠 전략에 대한 후속 연구를 촉구합니다.