ECG-InterpBench: Benchmarking the Interpretability of ECG Foundation Models with Matched-Scale Sparse Autoencoders

기술 요약: ECG-InterpBench

문제 정의
심전도(ECG) 파운데이션 모델(FM)에 대한 기존 벤치마크는 주로 리듬 분류 또는 위험 예측과 같은 다운스트림 예측 성능을 평가하는 데 치중되어 있습니다. 이러한 평가는 내부 은닉 표현(hidden representations)이 어떻게 조직되어 있는지 밝혀내지 못합니다. 구체적으로, 현재의 방법들은 이러한 표현들이 충실하게 분해될 수 있는지, 임상적으로 유의미한 측정값이 식별 가능한 특징(features)에 국소화되어 있는지, 혹은 독립적인 분석 전반에 걸쳐 동일한 구조적 특성이 회복되는지를 결정하지 못합니다. 이러한 격차는 임상 환경에서 매우 중요한데, 공유된 표현이 모든 다운스트림 모델에 데이터 획득 아티팩트, 인구통계학적 혼란 변수 또는 코호트 특정 숏컷(shortcut)을 전파할 수 있기 때문입니다. 또한, 기존의 해석 가능성 도구(예: 출력 속성 또는 선형 프로브)는 태스크 일반적인 은닉 표현의 감사를 목적으로 하는 것과는 다른 질문을 다루며, 예측 정확도와 진정한 표현 수준의 해석 가능성을 구분할 만큼 엄밀하지 못한 경우가 많습니다.

방법론
본 논문은 **희소 오토인코더(Sparse Autoencoders, SAEs)**를 표준화된 측정 도구로 사용하여 ECG 파운데이션 모델 표현의 해석 가능성을 체계적으로 평가하도록 설계된 벤치마크인 ECG-InterpBench를 소개합니다. 핵심 설계 원칙은 **용량 매칭(capacity matching)**입니다. 통제된 비교를 가능하게 하기 위해, 본 벤치마크는 SAE의 딕셔너리 너비와 희소성 설정을 일치시켜 모델 간의 차이가 측정 용량의 변화가 아닌 파운데이션 모델 자체에서 기인하도록 보장합니다.

주요 방법론적 구성 요소는 다음과 같습니다:

• 모델 및 데이터: 본 벤치마크는 PTB-XL 데이터셋을 사용하여 6개의 동결된(frozen) ECG 파운데이션 모델(CSFM, CARDIAC-FM, ECG-FM, ECG-JEPA, HuBERT-ECG, ST-MEM)을 평가합니다. 외부 검증은 공인된 MIMIC-IV-ECG 코호트를 대상으로 수행됩니다.
• 실험 그리드: 다음 요소들로 구성된 450개 셀의 아틀라스를 구축하여 평가를 수행합니다:
  • 6개 모델
  • 5개의 표준화된 상대적 인코더 깊이 ($q \in \{0, 0.25, 0.5, 0.75, 1\}$)
  • 5개의 매칭된 딕셔너리 확장 계수 ($E \in \{1, 4, 8, 16, 32\}$)
  • 3개의 랜덤 시드
    이를 통해 6개 모델이 모두 동일한 타겟 깊이, 딕셔너리 용량, 희소성 프로토콜 및 시드를 공유하는 75개의 "정확히 일치하는(exact match)" 블록이 생성됩니다.
• SAE 구성: SAE는 고정된 활성 특징 예산($k/d = 1/8$)을 갖는 BatchTopK 활성화 함수를 사용합니다. 모든 소스 레이어 아틀라스는 차원 $d=768$로 표준화됩니다.
• 지표: 벤치마크는 세 가지 상호 보완적인 축을 평가합니다:
  1. 희소 재구성 충실도(Sparse Reconstruction Fidelity): 정규화된 재구성 $R^2$, 데드 피처(dead-feature) 비율, 그리고 실현된 평균 희소도($L_0$)로 측정됩니다.
  2. 단일 특징 임상 접근성(Single-Feature Clinical Accessibility): 개별 SAE 코드 좌표와 49가지 임상적으로 유의미한 ECG 측정값(예: 간격, 진폭, ST-T 변화) 사이의 상관관계입니다. 데이터 누수를 방지하기 위해 특징은 훈련 서브셋에서 선택되어 홀드아웃(held-out) 테스트 데이터에서 평가됩니다.
  3. 교차 시드 재현성(Cross-Seed Reproducibility): 매칭된 코사인 유사도 및 서브스페이스 중첩을 통해 측정된, 서로 다른 랜덤 시드 간의 디코더 방향 및 특징 서브스페이스의 안정성입니다.
• 불확실성 정량화: 본 프레임워크는 부트스트래핑을 통한 환자 샘플링 불확실성과 시드 및 깊이 변화를 통한 설계 불확실성을 포함하며, 쌍을 이룬 통계적 비교를 사용합니다.

주요 기여

1. 용량 제어 벤치마크: 매칭된 SAE 프로토콜 하에서 ECG FM 간의 표현 수준 해석 가능성을 비교하기 위한, 모델 간의 차이와 측정 용량 간의 차이를 분리하는 프레임워크를 도입했습니다.
2. 450-셀 해석 가능성 아틀라스: 인코더 깊이와 SAE 규모에 따라 표현의 해석 가능성이 어떻게 변화하는지 매핑하는 포괄적인 아틀라스를 구축하여 각 모델의 구조화된 프로필을 제공합니다.
3. 누수 제어 지표: 희소 충실도, 단일 특징 임상 접근성, 교차 시드 재현성을 아우르는 지표를 정의하여, 특징 선택이 홀드아웃 평가 전에 엄격하게 훈련 데이터에서만 이루어지도록 보장합니다.
4. 강건한 비교: 환자 및 설계 불확실성, 희소성 민감도 분석(고정 $k/d$와 고정 $k/N$ 비교), 외부 코호트 검증을 통해 지원되는 비교를 제공합니다.

결과
벤치마크 결과, ECG 파운데이션 모델은 독특하고 메트릭별로 차별화된 해석 가능성 프로필을 보이며, 모든 차원에서 압도적인 단일 모델은 존재하지 않는 것으로 나타났습니다.

• 재구성 충실도: HuBERT-ECG가 가장 높은 재구성 충실도(PTB-XL에서 AUC 0.985, MIMIC-IV에서 0.990)를 달성했으며, ECG-JEPA와 CSFM이 그 뒤를 이었습니다.
• 임상 접근성: ECG-JEPA는 가장 높은 단일 특징 임상 접근성 및 개념 커버리지(AUC 0.324 및 0.781)를 보여주었으며, 임상 개념을 희소 특징에 국소화하는 데 있어 다른 모델보다 우수한 성능을 보였습니다.
• 안정성 및 활용도: ECG-FM은 가장 낮은 데드 피처 비율(0.099)과 가장 높은 특징 안정성을 보였으며, CSFM은 가장 높은 서브스페이스 안정성을 보였습니다.
• 외부 검증: MIMIC-IV-ECG 복제 실험은 재구성 선두주자(HuBERT-ECG)와 접근성 선두주자(ECG-JEPA) 사이의 분리가 데이터셋 간에도 유지됨을 확인했습니다.
• 순위 안정성: 재구성 순위는 SAE 용량에 따라 매우 안정적이었으나(Kendall $\tau = 1.00$), 접근성 및 커버리지 순위는 중간 정도의 안정성을 보였습니다. 이는 일부 해석 가능성 속성이 딕셔너리 규모에 더 민감함을 시사합니다.

의의 및 주장
본 논문은 ECG-InterpBench가 서로 다른 차원의 표현 해석 가능성에 대해 ECG 파운데이션 모델을 비교할 수 있는 용량 제어 및 재현 가능한 프레임워크를 제공한다고 주장합니다. 저자들은 표현의 해석 가능성이 예측 정확도나 선형 디코더 가능성과 동일하지 않으며, 명시적이고 상호 보완적인 측정이 필요하다고 주장합니다.

저자들은 본 벤치마크가 매칭된 프로토콜 하에서 동결된 모델 표현의 구조를 특징짓는다는 점을 강조합니다. 저자들은 보고된 모델 순위가 평가된 표현 속성(충실도, 접근성, 안정성)에 특화된 것이며, 이를 진단 성능이나 전반적인 임상적 가치의 순위로 해석해서는 안 된다고 명시적으로 밝힙니다. 본 연구는 생리학적 메커니즘이나 전향적 환자 결과를 확립하는 것이 아닙니다. 대신, 표현 기하학과 임상 개념을 모델 및 규모 전반에 걸쳐 연결함으로써, 해석 가능한 ECG 파운데이션 모델의 원칙적인 개발 및 선택을 위한 토대를 마련합니다. 이 프레임워크는 의료 영상, EEG, 전자 건강 기록(EHR)을 포함한 다른 임상 양식으로 확장 가능하도록 설계되었습니다.