🤖 machine learning

Quantifying Explainable AI-introduced signal noise on ECG data with Spectral Entropy

이 논문은 심전도 데이터의 부정맥 분류 시 XAI 기법에 의해 도입되는 신호 노이즈를 정량화하기 위해 스펙트럼 엔트로피를 사용하는 것을 제안하며, 모델 신호와 XAI 아티팩트를 구별하는 데 있어 그 효과성을 입증한다.

원저자: David A. Kelly, Nathan Blake

게시일 2026-06-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: David A. Kelly, Nathan Blake

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하지만 말은 못 하는 로봇 의사가 있다고 상상해 보세요. 이 로봇은 심장 리듬 스트립(ECG)을 보고 심장이 정상적으로 뛰고 있는지, 아니면 문제가 있는지 알려줄 수 있습니다. 이 로봇은 문제를 찾아내는 데는 매우 뛰어나지만, 왜 그것이 문제라고 생각하는지는 설명하지 못합니다. 그저 "예" 또는 "아니오"라고만 답할 뿐이죠.

이를 해결하기 위해, 우리는 **설명 가능한 인공지능(Explainable AI, XAI)**이라는 특별한 도구를 사용합니다. 이 도구들을 '번역기'라고 생각해 보세요. 이 번翻译기들은 로봇의 결정 과정을 살펴보고, 로봇이 심장 리듬의 어느 부분을 보고 있었는지 그 부분 위에 형광펜으로 표시를 해줍니다. 이상적으로는, 이 형광펜이 심장이 잘못 작동하고 있는 바로 그 지점만을 정확히 비추어야 합니다.

문제점: 라디오의 "잡음"
이 논문의 저자들은 이 "번역기" 도구들이 항상 완벽하지는 않다는 점을 발견했습니다. 이 도구들은 중요한 부분만 강조하는 것이 아니라, 차트 곳곳에 무작미적이고 의미 없는 점과 선들을 뿌려놓기도 합니다.

저자들은 이를 **"자기 노이즈(self-noise)"**라고 부릅니다. 이는 마치 깨끗한 라디오 방송을 들으려고 하는데, 번역기가 배경에 온갖 잡음을 함께 틀어놓는 것과 같습니다. 무엇이 진짜 신호(로봇의 실제 추론)이고 무엇이 번역기 자체의 지저치 않은 결과물(잡음)인지 구분하기 어렵게 만드는 것이죠. 만약 번역기가 너무 많은 무관한 부분들을 강조한다면, 인간 의사는 혼란을 느끼거나 중요하지 않은 것을 확인하느라 시간을 낭비하게 될 것입니다.

해결책: "혼돈" 측정하기
저자들은 번역기 도구가 얼마나 많은 "잡음"이나 "노이즈"를 추가하는지 측정하는 새로운 방법을 제안합니다. 그들은 **스펙트럼 엔트로피(Spectral Entropy)**라는 수학적 개념을 사용합니다.

여기 간단한 비유가 있습니다:

낮은 엔트로피 (좋음): 모든 사람이 완벽하게 조화를 이루어 같은 음을 노래하는 합창단을 상상해 보세요. 그것은 명확하고 집중된 소리입니다. 논문의 용어로 말하자면, 이는 형광펜이 심장 리듬의 중요한 한 부분에 아주 타이트하게 집중되어 있는 좋은 설명을 의미합니다.
높나 엔트로피 (나쁨): 사람들이 각자 다른 말을 외치며 떠드는 방을 상상해 보세요. 그것은 혼란스럽고 이해하기 어렵습니다. 이는 형광펜이 여기저기 흩어져 있어 마치 백색 소음처럼 보이게 만드는 나쁜 설명을 의미합니다.

저자들은 이 "혼돈 측정기"를 사용하여 심장 데이터에 대한 여러 가지 번역기 도구들을 테스트했습니다.

연구 결과
그들은 특정 문제(심장 박동이 건너뛰거나 추가되는 현상인 PVC)가 있는 심장 리듬을 대상으로 도구들을 테스트했습니다. 그들은 문제가 어디에 있는지 정확히 알고 있었습니다 (정답/Ground Truth).

"깨끗한" 도구들: GRAD-CAM과 같은 일부 도구들은 매우 조용했습니다. 즉, 잡음을 거의 추가하지 않았습니다. 하지만 이 도구들은 때때로 완전히 엉뚱한 영역을 강조하기도 했습니다. 조용하긴 했지만, 엉뚱한 곳을 가리키고 있었던 것입니다.
"노이즈가 많은" 도구들: KERNELSHAP과 같은 다른 도구들은 믿기 힘들 정도로 노이즈가 심했습니다. 그 결과물은 거의 순수한 정적(static)처럼 보였습니다. 저자들은 이 도구가 심장 데이터에 사용하기에는 너무 지저분해서 적절하지 않은 선택이라고 결론지었습니다.
"정확하지만 노이즈가 있는" 도구들: GRADIENTSHAP과 같은 일부 도구들은 약간의 잡음(추가적인 정적)이 있었지만, 주요 문제 영역을 올바르게 강조했습니다.

핵째적인 시사점 (The Big Takeaway)
이 논문의 핵심은 조용하다는 것(낮은 노이즈)이 반드시 옳다는 것을 의미하지는 않지만, 너무 시끄러운 것(높은 노이즈)은 분명히 이해를 어렵게 만든다는 것입니다.

저자들은 우리가 번역기 도구를 의사를 돕는 데 신뢰하기 전에, 이 "혼돈 측정기" 테스트를 먼저 수행해야 한다고 제안합니다. 이는 도구가 얼마나 많은 "쓰레기"를 추가하는지 확인할 수 있는 빠르고 저렴한 방법입니다. 만약 어떤 도구가 너무 많은 노이즈를 추가한다면, 설령 그 도구가 스스로 잘하고 있다고 생각할지라도 의사를 돕기보다는 오히려 혼란스럽게 만들 수 있습니다.

요약하자면:

AI는 심장 문제를 찾아낼 수 있지만, 이를 설명할 수는 없습니다.
설명 가능한 AI 도구들은 이를 설명하려고 노력하지만, 종종 그림을 혼란스럽게 만드는 "정적"(노이즈)을 추가합니다.
스펙트럼 엔트로피는 번역기가 얼마나 많은 "정적"을 추가하는지 측정하는 새로운 도구입니다.
목표: 우리는 의사가 무작위적인 강조에 방해받지 않고 AI가 무엇을 보고 있는지 빠르게 확인할 수 있도록, 집중력이 높은(노이즈가 적은) 번역기를 원합니다.

기술 요약: 스펙트럼 엔트로피를 이용한 ECG 데이터에서 XAI가 유발하는 신호 노이즈의 정량화

문제 정의
웨어러블 ECG 모니터링과 같은 의료 애플리케이션에서 딥러닝 모델은 결정을 정당화하고 전문가의 검증을 용이하게 하기 위해 설명 가능한 AI(XAI) 도구가 필요합니다. 그러나 기존의 XAI 기술(예: SHAP, LIME, GRAD-CAM)은 샘플링 및 세분화와 같은 휴리스틱에 의존하며, 이는 필연적으로 설명에 "자기 노이즈(self-noise)"를 유입시킵니다. 이 노이즈는 모델이 실제로 사용하지 않는 특징을 허구적으로 강조하는 방식으로 나타납니다. 문헌상에는 상당한 공백이 존재합니다: 발표된 XAI 응용 사례의 거의 절반이 설명 자체를 평가하지 않으며, 현재의 가이드라인(예: FUTURE-AI)은 XAI의 노이즈 민감도에 대한 정량적 평가를 권장하고 있습니다. 저자들은 모델의 실제 "신호"와 "XAI가 유입시킨 노이즈"를 구분하는 체계적인 방법의 부재를 지적하며, 정확도 측정법은 존재하지만 설명의 정밀도나 "클러터(clutter, 잡음 섞인 상태)"를 정량화하지는 못한다는 점에 주목했습니다.

방법론
본 논문은 XAI 도구에 의해 추가된 자기 노이즈의 양을 정량화하기 위한 대리 지표로 **스펙트럼 엔트로피(Spectral Entropy)**를 제안합니다. 저자들은 XAI 출력(기여도 맵)을 하나의 신호로 취급합니다.

이론적 근서: 섀넌 엔트로피(Shannon entropy)를 바탕으로, 저자들은 "나쁜" 설명은 백색 잡음(균등한 무작위 할당)과 유사하며, 이는 최대 엔트로피에 해당한다고 가정합니다. 반대로, 신호가 집중된 정밀한 설명은 낮은 엔트로피를 나타내야 합니다.
계산: 이 방법은 scipy의 피리오도그램(periodogram)을 사용하여 설명의 전력 스펙트럼 밀도(PSD)를 계산하고, PSD를 정규화한 후 표준 섀넌 엔트로피 공식( $PSE = -\sum p_i \log p_i$ )을 적용합니다. 저자들은 XAI 출력이 시계열 데이터는 아니지만, 스펙트럼 엔트로피 계산은 가정된 샘플링 속도와 관계없이 견고하게 유지된다고 언급합니다.
실험 설정:
- 데이터: MIT-BIH 데이터셋에서 추출한 1,000개의 ECG 기록 (17가지 부정맥 유형으로 분류).
- 모델: 저자들이 학습시킨 93.5% 정확도의 17개 층 1D-CNN (Sun et al. [15] 기반).
- 평가된 XAI 도구: GRAD-CAM, LIME (시계열 변형), DEEP-LIFT, REX, 그리고 두 가지 SHAP 변형(GRADIENTSHAP, KERNELSHAP).
- 그라운드 트루스(Ground Truth): 심실 조기 수축(PVC) 클래스에 대해, 도메인 전문가가 수동으로 주석을 달아 "그라운드 트루스" 설명 영역을 설정했습니다.
- 전처리: 엔트로피 계산 시 분류를 방해하는 특징을 나타내는 음수 값은 무시하여, 양의 기여도에만 집중했습니다.

주요 결과
연구는 모든 17개 클래스와 특정 사례 연구(PVC)에 걸쳐 평균 스펙트럼 엔트로피를 평가했습니다.

노이즈 수준: 도구들은 고노이즈와 저노이즈의 두 가지 범주로 나뉘었습니다.
- 고노이즈: KERNELSHAP, LIME, GRADIENTSHAP, DEEP-LIFT는 높은 스펙트럼 엔트로피(예: KERNELSHAP: 10.21, LIME: 10.20)를 보였으며, 이는 신호가 백색 잡음에 가깝거나 상당한 허구적 피크(spurious peaks)가 있음을 나타냅니다.
- 저노이즈: GRAD-CAM (1.07)과 REX (1.93)는 현저히 낮은 엔트로피를 보여 자기 노이즈가 적음을 시사했습니다.
정확도 vs 엔트로피: 저자들은 낮은 엔트로피가 정확도를 보장하지 않는다는 점을 관찰했습니다. 예를 들어, LIME은 낮은 엔트로피를 가졌으나 올바른 PVC 영역을 강조하는 데 실패했습니다. 반대로, GRADIENTSHAP은 높은 엔트로피를 가졌으나 허구적인 노이즈와 함께 관련 피크를 정확히 식별했습니다.
일관성: 대부분의 도구에서 엔트로피는 다양한 부정맥 클래스 전반에 걸쳐 비교적 일정하게 유지되었으며, 이는 이 지표가 클래스별 변동보다는 도구 자체에 내재된 기초적인 휴리스틱 노이즈를 포착함을 시사합니다. REX는 예외적으로 높은 분산을 보였는데, 이는 여러 설명을 생성할 수 있는 능력 때문일 수 있습니다.
세부 발견: KERNELSHAP은 노이즈 프로파일로 인해 이 데이터 유형에 부적합한 것으로 판단되었습니다. GRAD-CAM은 최소한의 노이즈를 보였으나, 업샘플링 아티팩트로 인해 신호가 그라운드 트루스와 어긋나는 문제가 발생했습니다.

의의 및 주장
본 논문은 스펙트럼 엔트로피가 XAI 도구 자체에 의해 추가된 허구적 정보의 정도, 즉 설명의 "정밀도(precision)"를 정량화하는 비용이 적게 드는 실시간 대리 측정치 역할을 한다고 주장합니다.

정확도와의 구별: 저자들은 스펙트럼 엔트로피가 위치의 "정확성(correctness)"보다는 신호의 "집중도(concentration, 정밀도)"를 측정한다고 명시적으로 밝힙니다. 낮은 엔트로피를 가진 설명은 여전히 잘못된 위치에 있을 수 있지만, 높은 엔트로피를 가진 설명은 너무 확산되어 있어 유용하지 않을 가능성이 높습니다.
확장성: 본 논문의 주요 기여는 수동 전문가 주석의 자원 제한을 넘어 XAI 도구를 평가할 수 있는 방법을 규모화하는 것입니다. 이는 삭제/삽입 곡선(deletion/insertion curves)이나 충실도(fidelity)와 같은 기존 지표를 보완하며, 설명 생성 과정의 내부 노이즈 특성에 초점을 맞춥니다.
한 한계점: 저자들은 엔트로피가 모델의 기준이 인간 전문가와 일치하는지 여부를 결정할 수 없으며, "진실성(truthfulness)"에 대한 독립적인 척도가 아님을 인정하며 겸허한 태도를 유지합니다. 이는 도메인 전문가의 평가를 대체하는 것이 아니라 보완하는 도구로 제안되었습니다.

유사한 논문