From Foundation ECG Models to NISQ Learners: Distilling ECGFounder into a VQC Student

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 심전도 (ECG) 분석을 위한 딥러닝 기반의 '기반 모델 (Foundation Models)'인 ECGFounder가 등장하여 성능이 크게 향상되었습니다. ECGFounder 는 1 천만 개 이상의 ECG 기록으로 사전 학습되어 강력한 표현 학습 능력을 갖추고 있습니다.
• 문제점: 이러한 고용량 (High-capacity) 기반 모델은 메모리 footprint, 계산 비용, 지연 시간 (latency) 등의 제약으로 인해 리소스가 제한된 환경 (예: 엣지 디바이스, 실시간 임상 모니터링) 에 배포하기 어렵습니다.
• 목표: 고성능 기반 모델의 예측 능력을 유지하면서, 계산 자원이 훨씬 적은 **경량 학생 모델 (Compact Student)**로 지식을 전이 (Distillation) 할 수 있는지, 그리고 이를 양자 기계 학습 (Quantum Machine Learning, QML) 모델에도 적용할 수 있는지 검증하는 것입니다.

2. 방법론 (Methodology)

이 연구는 **지식 증류 (Knowledge Distillation, KD)**를 활용하여 ECGFounder 를 '교사 (Teacher)'로 설정하고, 이를 세 가지 다른 '학생 (Student)' 모델로 압축하는 파이프라인을 구축했습니다.

가. 데이터 및 전처리

• 데이터셋: PTB-XL 및 MIT-BIH 부정맥 데이터베이스 (Binary ECG 분류 작업).
• 전처리: 웨이블릿 기반 노이즈 제거 (Wavelet-based denoising) 를 적용하여 베이스라인 워너와 고주파 아티팩트를 제거했습니다.
• 입력: 모든 기록을 단일 리드 (Single lead) 및 고정된 길이 (256 샘플) 로 표준화했습니다.

나. 교사 모델 (Teacher)

• ECGFounder: 사전 학습된 인코더에 이진 분류 헤드를 추가하여 각 데이터셋에 맞게 미세 조정 (Fine-tuning) 했습니다.
• 역할: 학습된 소프트 로짓 (Soft logits) 을 증류 신호로 제공합니다.

다. 학생 모델 (Students)

세 가지 아키텍처를 비교 평가했습니다.

1. ResNet-1D: 경량화된 1D 잔여 신경망 (Residual Network).
2. CNN-1D: 매우 가벼운 1D 합성곱 신경망 (Lightweight CNN).
3. VQC 기반 학생 (Quantum Student):
   • 구조: 256 샘플 ECG 윈도우를 6 차원 잠재 벡터로 압축하는 **합성곱 오토인코더 (Convolutional Autoencoder)**와 이를 입력으로 받는 **6 큐비트 변이 양자 회로 (Variational Quantum Circuit, VQC)**로 구성됨.
   • VQC 상세: Qiskit 기반의 ZZFeatureMap (데이터 임베딩) 과 EfficientSU2 (변수 회로) 를 사용. 모든 큐비트를 측정하여 이진 예측을 수행.
   • 학습: 고전적 백프로파게이션 (Adam) 과 양자 - 고전 하이브리드 루프 (SPSA 최적화) 를 사용.

라. 증류 전략

• 손실 함수: 하드 라벨 (Ground truth) 과 소프트 라벨 (교사 모델의 온도 스케일링된 출력) 을 혼합한 손실 함수 사용.
• 하이퍼파라미터: 온도 ($T$) 와 혼합 계수 ($\alpha$) 를 그리드 서치하여 최적화 ($T \in \{2, 4\}, \alpha \in \{0.3, 0.5, 0.7\}$).

3. 주요 기여 (Key Contributions)

1. ECG 기반 모델의 증류: 최첨단 ECG 기반 모델 (ECGFounder) 을 PTB-XL 과 MIT-BIH 데이터셋의 이진 분류를 위한 경량 학생 모델로 성공적으로 증류하여, 정확도와 효율성 간의 트레이드오프를 정량화했습니다.
2. 양자 준비형 (Quantum-ready) 파이프라인 평가: 오토인코더와 얕은 VQC 를 결합한 학생 모델이 증류 프레임워크 내에서 고전적 모델과 경쟁 가능한 성능을 보이는지 체계적으로 평가했습니다.
3. 통일된 평가 프로토콜: 고전적 모델과 양자 모델을 동일한 조건 (데이터 전처리, 교차 검증, 증류 설정) 하에서 비교함으로써, 이질적인 학습 패러다임 간의 공정한 비교를 가능하게 했습니다.

4. 실험 결과 (Results)

가. 모델 복잡도

• 교사 (ECGFounder): 약 7,630 만 개 (76.3M) 의 파라미터.
• 학생 모델:
  • ResNet-1D: 약 380 만 개 (3.8M)
  • CNN-1D: 약 3.3 만 개 (33.0k)
  • Autoencoder+VQC: 약 2.5 만 개 (25.0k). 여기서 VQC 자체의 학습 가능 파라미터는 36 개에 불과하며, 대부분의 용량은 오토인코더가 차지합니다.

나. 성능 분석

• 전반적 경향: 교사가 가장 높은 성능을 보였으나, 증류된 학생 모델들은 파라미터가 대폭 감소했음에도 불구하고 교사의 F1 점수 상당 부분을 유지했습니다.
• MIT-BIH 데이터셋:
  • 교사는 높은 재현율 (Recall, 0.99) 을 보였습니다.
  • 학생 모델들도 높은 재현율 (0.93~0.98) 을 유지했으나, 정밀도 (Precision) 는 감소했습니다.
  • VQC 모델: $T=2$에서 가장 높은 정확도 (0.6879) 와 F1 점수 (0.8078) 를 기록하며 ResNet 및 CNN 과 경쟁했습니다.
• PTB-XL 데이터셋:
  • 학생 모델들이 MIT-BIH 보다 상대적으로 더 높은 절대 정확도를 보였습니다.
  • VQC 모델: $T=4$에서 정확도 (0.7503) 와 정밀도 (0.7766) 가 향상되었으나 재현율은 다소 감소하는 경향을 보였습니다.
• 온도 ($T$) 의 영향: $T=4$ 설정이 정밀도 측면에서 더 안정적인 향상을 보이는 경향이 있었습니다. 특히 제약이 가장 심한 VQC 모델은 높은 온도에서 더 유익한 소프트 타겟을 얻는 것으로 나타났습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 성공적인 압축: 대규모 기반 모델의 예측 행동을 파라미터 수가 극도로 적은 (수만 개 수준) 경량 모델로 전이할 수 있음을 입증했습니다.
• 양자 모델의 가능성: 36 개의 학습 가능 파라미터만을 가진 얕은 VQC 가 오토인코더와 결합될 때, 고전적 경량 모델 (ResNet, CNN) 과 경쟁 가능한 성능을 발휘할 수 있음을 보였습니다. 이는 양자 회로가 증류 파이프라인 내에서 매우 효율적인 의사결정 모듈로 기능할 수 있음을 시사합니다.
• 미래 전망: 본 연구는 NISQ (Noisy Intermediate-Scale Quantum) 시대에 양자 - 고전 하이브리드 아키텍처가 의료 AI 의 효율성 문제를 해결할 수 있는 잠재력을 가지고 있음을 보여주며, 향후 실제 양자 하드웨어에서의 실행 및 데이터셋 시프트에 대한 강건성 연구의 기초를 마련했습니다.

요약하자면, 이 논문은 ECG 기반 모델의 고비용 문제를 해결하기 위해 지식 증류를 활용하고, 그 결과물로서 양자 기계 학습 모델이 실용적인 대안이 될 수 있음을 실증적으로 증명한 연구입니다.