Scaling to Multimodal and Multichannel Heart Sound Classification with Synthetic and Augmented Biosignals

기술 요약: 합성 및 증강 바이오 신호를 활용한 다중 모달 및 다중 채널 심음 분류로의 확장

1. 문제 정의

심혈관 질환(CVD)은 전 세계 사망의 주요 원인이며, 정확하고 저렴한 사전 스크리닝 방법이 필수적이다. 심음 청진은 주요 진단 도구이지만, 심음의 미세한 특성으로 인해 정확도가 낮다는 문제가 있다. 딥러러닝은 해결책을 제시하지만, 최첨단(SOTA) 아키텍처, 특히 트랜스포머 기반 모델은 이 분야에서 여전히 충분히 활용되지 못하고 있다. 이러한 제한은 데이터 집약적인 모델을 효과적으로 학습시키는 데 필요한 대규모의 동기화된 다중 채널 데이터셋의 부족에서 기인한다. 기존 데이터셋은 종종 클래스 불균형, 낮은 신호 대 잡음비(SNR), 그리고 제한된 크기로 인해 발생하는 문제를 겪고 있으며, 이는 원시 오디오 신호를 이용한 비정상 심음의 견고한 분류를 저해한다.

2. 방법론

저자들은 전통적인 신호 처리, 확산 모델(diffusion models)을 통한 합성 데이터 생성, 그리고 대규모 사전 학습 모델의 미세 조정을 결합하여 데이터 부족 문제를 극복하는 확장 가능한 프레임워크를 제안한다. 이 접근 방식의 핵심은 원래 음성용으로 설계된 Wav2Vec 2.0 (BASE 변형) 인코더를 심음 분류를 위해 미세 조정하는 것이다.

데이터 증강 및 합성 생성:
데이터 제한 문제를 해결하기 위해 본 연구는 이중 전략을 채택한다.

• 전통적 증강: 조화-주파수 성분 분리(HPSS), 백색 잡음 추가, 시간 신축(time stretching), 진폭 변조, 기선 흔들림(baseline wander), 파라메트릭 이퀄라이제이션, 임상적 잡음 주입 등의 기술이 포함된다. 다중 채널 데이터의 경우, 생리학적 일관성을 유지하기 위해 채널 간 시간 신축을 동기화한다.
• 합성 신호 생성: 저자들은 합성 심음도(PCG) 신호를 생성하기 위해 WaveGrad와 DiffWave 확산 모델을 사용한다.
  • 단일 채널 PCG의 경우, Icentia 데이터셋의 ECG 신호를 조건부(멜-스펙트로그램 및 질병 레이블을 통해)로 사용하여 3,200개의 합성 환자 기록을 생성한다.
  • 다중 채널 PCG(mPCG)의 경우, 확산 모델을 특정 채널에 조건화하도록 적응시켜 CinC 2016 training-a 및 training-b 데이터셋을 활용하여 다른 채널을 위한 합성 데이터를 생성한다.

모델 아키텍처 및 학습:
본 연구는 세 가지 모델 구성을 평가한다:

1. 단일 입력(Single-Input): PCG 또는 ECG 신호를 독립적으로 분류한다.
2. 다중 모달(Multimodal): 동기화된 PCG 및 ECG 신호에서 추출된 특징을 결합한다.
3. 다중 채널(Multichannel): 웨어러블 조끼로부터 추출된 mPCG 데이터(최대 6개 채널)를 처리한다.

모든 모델은 특징 추출을 위해 Wav2Vec 2.0 인코더를 활용한다. 데이터 부족이 심각한 다중 채널 모델의 경우, 저자들은 과적합을 방기하기 위해 **저차원 적응(LoRA)**을 사용하여 미세 조정하고 최종 다층 퍼셉트론(MLP) 층을 **서포트 벡터 머신(SVM)**으로 교체한다.

데이터셋:

• CinC 2016: 대규모 단일 채널 PCG 데이터셋 (3,153개 녹음본).
• CinC 2016 Training-a: 동기화된 PCG 및 ECG 신호를 포함하는 하위 집합 (405개 녹음본).
• 웨어러블 조끼 데이터셋: 병원 환경에서 배경 잡음과 자유 호흡 상태로 7개의 센서를 사용하여 기록된 실세계 mPCG 데이터셋 (157명 대상, 96명 CAD, 61명 정상).

3. 주요 기여

본 논문은 네 가지 주요 기여를 명시한다:

• 확장 가능한 아키텍처: 임의의 수의 PCG 채널과 ECG 입력을 처리할 수 있는 트랜스포머 기반 아키텍처.
• 다중 채널 확산 모델: 합성 다중 채널 PCG 신호를 생성하기 위해 특별히 개발된 확산 모델.
• 맞춤형 증강: 채널 간 시간적 동기화를 보장하며 다중 채널 PCG 데이터에 특화된 증강 기술 도입.
• 성능 벤치마킹: CinC 2016 데이터셋에서 SOTA 성능을 달성하고, 까다로운 다중 채널 조끼 데이터셋에서 근접 SOTA 결과를 달성함.

4. 결과

제안된 방법은 모든 데이터셋 유형, 특히 증강 데이터가 활용되었을 때 유의미한 성능 향상을 보여준다.

• 단일 채널 (CinC 2016): 피험자 수준에서 증강된 모델은 92.48% 정확도, 93.05% 가중 평균 재현율(UAR), 93.63% 민감도, 92.48% 특이도, 그리고 0.8283의 MCC를 달성했다. 이는 기존의 CNN 및 RNN 기반 SOTA 방법들을 능가하며, 특히 민감도와 특이도의 균형 측면에서 우수하다.
• 다중 모달 (CinC 2016 Training-a): 증강 없이 트랜스포머 모델은 붕괴되었다 (UAR ≈51%). 증강 및 4.125kHz로의 리샘플링을 적용했을 때, 모델은 93.14% 정확도, 92.21% UAR, 94.35% 민감도, 90.10% 특이도, 그리고 0.8380의 MCC를 달성했다.
• 다중 채널 (조끼 데이터셋): 데이터의 노이즈가 많은 실세계 특성에도 불구하고, 증강된 모델은 77.13% 정확도, 74.25% UAR, 86.47% 민감도, 62.04% 특이도, 그리고 0.5082의 MCC를 달성했다. 이는 증강되지 않은 베이스라인(9.8% 정확도 향상)에 비해 상당한 개선이며, 이전 방법들이 호흡 참기를 요구했던 것과 달리 자유 호흡 조건에서도 견고함을 입증한다.

해석 가능성:
어텐션 맵(Attention maps)과 GradCAM++ 시각화는 모델이 임상적으로 유의미한 특징에 집중하고 있음을 확인시켜 준다. 비정상 피험자는 이완기 및 수축기 단계(심잡음이 발생하기 쉬운 구간)에 강조점을 두는 반면, 정상 피험자는 S1 및 S2 심음에 강조점을 둔다.

5. 의의 및 주장

본 논문은 확산 기반 합성 데이터와 전통적 증강의 통합이 트랜스포머 모델을 바이오 신호에 학습시키는 데 필요한 데이터 격차를 효과적으로 메운다고 주장한다. 저자들은 이 접근 방식이 대규모 데이터가 필요하거나 기존 딥러닝 방식이 실패하는 작고 노이즈가 많은 다중 모달 데이터셋에서도 SOTA 성능을 배포할 수 있게 한다고 단언한다.

구체적으로, 본 연구는 다음을 강조한다:

• 아키텍처의 전면적인 개편 없이 단일 채널에서 다중 모달 및 다중 채널 입력으로 확장할 수 있는 능력.
• 강력한 증강 전략이 뒷받침될 때 심장 신호의 특징 추출기로서의 Wav2Vec 2.0의 유효성.
• 호흡 참기 제어 데이터셋보다 실제 임상 조건을 더 잘 반영하는 노이즈가 많은 자유 호흡 조끼 데이터셋에서의 성능을 통해 입증된, 실세계 배포를 위한 방법론의 실용적 타당성.

저자들은 이 방법이 효과적이긴 하지만, 다중 채널 확산 모델을 동시에 채널을 생성하도록 개선하고 특정 질병에 대한 증강 전략을 더욱 최적화하기 위한 후속 연구가 필요하다고 결론짓는다.