Do Quantum Transformers Help? A Systematic VQC Architecture Comparison on Tabular Benchmarks

이 논문은 정형 데이터(tabular data)를 대상으로 다양한 변분 양자 회로(VQC) 구조를 체계적으로 비교 분석하여, 파라미터 효율성 측면에서 완전한 트랜스포머 구조보다 단순한 완전 연결(FC) 구조가 더 우수하며 양자 회로의 표현력은 깊이 약 3에서 포화된다는 실용적인 설계 지침을 제시합니다.

핵심

👨‍🍳 배경: 양자 요리사들의 고민

지금 인공지능 세상에는 두 종류의 요리사가 있습니다. 하나는 익숙한 **'클래식 요리사(기존 AI)'**이고, 다른 하나는 아주 신비로운 재료를 다루는 **'양자 요리사(Quantum AI)'**입니다.

양자 요리사는 아주 적은 양의 재료(파라미터)만으로도 엄청나게 깊은 맛(데이터의 특징)을 낼 수 있는 잠재력이 있지만, 아직 **"어떤 조리 도구와 순서(아키텍처)를 써야 가장 가성비 좋게 맛있는 요리를 만들 수 있는지"**는 아무도 모르는 상태였습니다.

이 논문은 네 가지 서로 다른 **'양자 레시피'**를 가져와서, 어떤 레시피가 가장 적은 재료로 최고의 맛을 내는지 요리 대회를 연 것입니다.

---

📋 네 가지 레시피 (모델 구조)

1. FC-VQC (단순 만능 레시피): 재료를 순서대로 넣고 섞는 아주 단순한 방식입니다. "복잡한 건 필요 없어, 그냥 골고루 잘 섞기만 하면 돼!"라고 외치는 스타일이죠.
2. ResNet-VQC (지름길 레시피): 요리 중간에 "원래 맛을 잊지 말자!"라며 처음 재료의 맛을 중간중간 더해주는 방식입니다. 요리가 너무 깊어지다 맛이 변하는 걸 막아줍니다.
3. QT (하이브리드 레시피): 양자 요리사가 재료를 손질하면, 옆에 있는 클래식 요리사가 "이 재료랑 저 재료가 잘 어울리네!"라며 집중적으로 섞어주는 방식입니다. (양자+클래식 협업)
4. FQT (완전 양자 레시피): 모든 과정을 양자 요리사가 다 합니다. 재료끼리 서로 "너랑 나랑 어울리니?"라고 물어보며 알아서 섞이는 아주 똑똑한 방식입니다.

---

🏆 요리 대회 결과 (핵심 발견)

1. "가성비 끝판왕은 단순한 레시피였다!" (FC-VQC의 승리)

가장 놀라운 결과는 **'단순 만능 레시피(FC-VQC)'**가 아주 훌륭했다는 점입니다.

• 비유: 아주 비싸고 복잡한 최첨단 조리 기구(Transformer/Attention)를 쓴 요리사들보다, 그냥 잘 섞인 기본 레시피가 재료는 절반이나 적게 쓰면서도 맛(정확도)은 90~96% 수준으로 따라잡았습니다.
• 즉, 양자 컴퓨터처럼 자원이 한정된 환경에서는 **"복잡하게 머리 쓰는 것보다, 적은 재료로 효율적으로 섞는 게 최고"**라는 뜻입니다.

2. "너무 똑똑하면 오히려 독이 된다?" (과적합 문제)

데이터가 적을 때는 너무 복잡한 레시피(FQT)를 쓰면, 요리사가 재료의 본연의 맛을 배우는 게 아니라 "재료의 흠집까지 외워버리는" 문제가 생겼습니다. 그래서 데이터가 적을 땐 단순한 레시피가 훨씬 정확했습니다.

3. "소음(Noise)에 강한 요리사는 누구?"

양자 컴퓨터는 아주 예민해서 주변의 작은 소음에도 맛이 확 변합니다.

• **QT(하이브리드)**는 소음이 조금만 생겨도 맛이 완전히 망가져 버렸지만,
• **FQT(완전 양자)**는 소음이 있어도 맛이 서서히 변할 뿐, 완전히 망가지지는 않았습니다. (맷집이 더 좋음!)

---

💡 결론: 우리에게 주는 팁 (Practical Guidance)

이 논문은 미래의 양자 AI 개발자들에게 이렇게 조언합니다.

1. "처음 시작할 때는 단순하게 가세요!" (FC-VQC 추천) - 재료도 적게 들고 효율적입니다.
2. "요리가 너무 깊어져서 맛이 변한다면 지름길을 만드세요!" (ResNet 추천)
3. "양자 컴퓨터가 시끄럽고 불안정하다면, 완전 양자 방식(FQT)을 고려하세요!"
4. "너무 복잡한 '집중(Attention)' 기능은 재료만 많이 들고 큰 효과가 없을 수 있으니 주의하세요!"

한 줄 요약:
"양자 AI를 만들 때는 무조건 복잡하고 똑똑한 구조(Transformer)를 고집하기보다, 적은 재료로 효율적으로 섞는 단순한 구조가 훨씬 경제적이고 강력할 수 있다!"

기술 요약

[기술 요약] 양자 트랜스포머가 도움이 되는가? 정형 데이터 벤치마크를 통한 VQC 아키텍처의 체계적 비교

1. 연구 배경 및 문제 정의 (Problem)

현재 근거리 양자 장치(NISQ)에서 양자 머신러닝(QML)을 구현하기 위한 핵심 방법론은 **변분 양자 회로(Variational Quantum Circuits, VQCs)**입니다. 하지만 기존 연구들은 새로운 회로 구조(Ansatz)를 제안하고 한두 개의 데이터셋에서 성능을 검증하는 데 그쳐, **"어떤 아키텍처가 파라미터 효율성과 정확도 사이에서 최적의 균형을 이루는가?"**에 대한 체계적인 가이드라인이 부족한 상태였습니다. 특히, 최근 각광받는 '트랜스포머(Transformer)' 구조를 양자 회로에 도입했을 때, 정형 데이터(Tabular Data)에서 실제로 고전적 모델보다 우월한 이점을 제공하는지에 대한 의문이 존재했습니다.

2. 연구 방법론 (Methodology)

본 연구는 5개의 정형 데이터셋(회귀 및 분류 작업)을 대상으로 네 가지 VQC 아키텍처 패밀리를 체계적으로 비교 분석했습니다.

비교 대상 아키텍처

1. FC-VQC (Multi-layer Fully-Connected): 여러 VQC 블록을 직렬로 연결하고, 블록 간에 모든 토큰이 섞이는 'Type 4' 연결 방식을 사용하는 구조.
2. ResNet-VQC (Residual): VQC 블록 사이에 고전적인 잔차 연결(Skip connection)을 추가하여 그래디언트 흐름을 개선한 구조.
3. QT (Quantum Transformer - Hybrid): 양자 인코딩된 특징(Token)에 대해 고전적인 Self-attention 메커니즘을 적용한 하이브리드 구조.
4. FQT (Fully Quantum Transformer): Attention 메커니즘과 Feed-forward 네트워크를 모두 **양자 회로(Parameterized Quantum Circuits)**로 구현한 완전 양자 구조.

실험 설계

• 토큰화(Tokenization): 입력 데이터를 3개씩 묶어 3-qubit VQC 블록으로 처리.
• 비교군(Baselines): XGBoost, CatBoost와 같은 강력한 고전 트리 모델 및 파라미터 수를 맞춘 MLP(Multi-Layer Perceptron).
• 평가 지표: 회귀($R^2$, RMSE, MAE), 분류(Accuracy, F1-score), 회로 표현력(Expressibility, KL-divergence), 노이즈 내성(Depolarizing noise).

3. 주요 연구 결과 (Key Results)

① 파라미터 효율성: FC-VQC의 압승

• FC-VQC는 트랜스포머 기반 모델(QT, FQT)의 성능을 약 9096% 수준까지 따라잡으면서도, 파라미터 수는 4050% 적게 사용했습니다.
• 특히 Boston Housing 데이터셋에서 FC-VQC는 동일한 파라미터 수를 가진 MLP보다 훨씬 높은 $R^2$를 기록하여, VQC 특유의 **귀납적 편향(Inductive Bias)**이 유효함을 입증했습니다.

② Attention의 실효성 분석

• 부분적 믹싱(Partial Mixing): FC-VQC의 'Type 4' 연결 방식은 데이터 의존적인 가중치는 없지만, 결정론적인 순열(Permutation)을 통해 토큰 간 정보를 섞어줍니다. 이 방식이 이미 트랜스포머의 Attention 역할을 상당 부분 수행하고 있기 때문에, 명시적인 Attention을 추가했을 때 얻는 이득은 미미한 반면 파라미터 비용만 급증했습니다.
• 데이터 크기 영향: 데이터셋이 커질수록(CA Housing 등) 트랜스포머 구조(QT)가 성능 우위를 점하기 시작하지만, 소규모 데이터에서는 오히려 과적합(Overfitting) 위험이 있었습니다.

③ 노이즈 내성 (Noise Robustness)

• FQT vs QT: 하이브리드 모델인 QT는 노이즈가 발생하면 Softmax 연산이 노이즈를 증폭시켜 성능이 급격히 붕괴(Collapse)되는 반면, **FQT는 노이즈 하에서도 성능이 완만하게 저하(Graceful degradation)**되는 강건함을 보였습니다.

④ 회로 표현력 (Expressibility)

• 회로의 깊이(Depth)가 **약 3에 도달하면 표현력이 포화(Saturation)**되는 것을 확인했습니다. 즉, 무작정 깊은 회로를 만드는 것보다 적절한 깊이의 블록을 효율적으로 연결하는 것이 중요합니다.

4. 연구의 의의 및 결론 (Significance)

본 논문은 NISQ 시대의 양자 머신러닝 설계를 위한 실질적인 아키텍처 가이드라인을 제시했다는 점에서 매우 높은 가치를 가집니다.

• 실무적 권장 사항:
  1. 정형 데이터 회귀 작업에는 Depth-3 블록을 가진 FC-VQC를 기본으로 사용할 것.
  2. 학습 안정성이 필요하면 ResNet-VQC를 사용할 것.
  3. 노이즈가 있는 실제 양자 하드웨어에 배포할 때는 QT보다 FQT가 유리함.
  4. 분류 작업 시 FQT에는 LayerNorm을 추가하는 것이 필수적임.
• 학술적 기여: 트랜스포머 구조가 양자 회로에서 무조건적인 정답이 아니며, 데이터의 규모와 파라미터 효율성, 그리고 노이즈 환경에 따라 최적의 구조가 달라짐을 체계적인 실험으로 증명하였습니다.