When explanations disagree: a consequence-calibrated audit of post-hoc attribution for clinical time-series prediction

기술 요약: 임상 시계열 예측을 위한 사후 속성 부여의 결과-보정된 감사(Consequence-Calibrated Audit)

문제 정의
전자 건강 기록(EHR) 내 임상 예측 모델의 배포는 모델의 결정을 설명하기 위해 사후 속성 부여 방법(예: SHAP, Integrated Gradients)에 점점 더 의존하고 있다. 이러한 관행은 서로 다른 속성 부여 방법을 동일한 모델과 환자에게 적용했을 때, 예측 동인에 대해 실질적으로 일관된 설명을 제공할 것이라는, 검증되지 않은 결정적인 가설에 기반하고 있다. 만약 설명이 방법론에 따라 크게 달라진다면, 그들이 표방하는 투명성은 허구이며, 속성 부여 방법의 선택은 기술적 세부 사항이 아닌 임상적 결정이 된다. 현재의 문헌에는 임상 시계열 데이터에 대한 설명의 일치도를 대규모로 경험적으로 측정하는 연구가 부족하며, 결정적으로 통계적 불일치를 환자 케어에 미치는 결과에 대한 진술로 변환하는 프레임워크가 결여되어 있다.

방법론
저자는 세 개의 독립적인 데이터베이스(MIMIC-III, MIMIC-IV, eICU-CRD)에서 추출한 5개의 신경중환자/신경외과 인구 집단을 아우르는 13개 ICU 코호트(28,875건의 입원 사례)를 대상으로 결과-보정된 감사를 수행하였다.

1. 모델링 및 데이터: 다층 퍼셉트론(MLP)을 사용하여 평탄화된 시간당 생체 징후 윈도우를 통해 입원 사망률을 예측하도록 훈련되었다. 데이터 누출을 방지하기 위해 피험자 수준 분할(Subject-level splits)을 적용하였다. 엄격한 사전 등록된 누출 감사(leakage audit)를 통해 설명 생성 전 특징(feature)이 결과를 완벽하게 예측할 수 있는(AUROC=1.0) 코호트를 제외하였다.
2. 속성 부여 패널: 세 가지 그래디언트 기반 방법인 Gradient Saliency, Gradient×Input, Integrated Gradients를 적용하였다. 일치도는 특징 중요도 순위에 대한 쌍별 켄달 타우($\tau$)를 사용하여 측정되었다.
3. 충실도 벤치마킹(Faithfulness Benchmarking): 실제 임상 데이터에는 알려진 인과적 동인이 없으므로, 저자는 알려진 주입된 인과 구조(쉬운 사례부터 일시적 신호, 상호작용, 방해 요소까지 포함)를 가진 7개의 준합성(semi-synthetic) 코호트를 구축하였다. 벤치마크는 "허용성 검사(admissibility check)"에 의해 제어되었다. 모델은 주입된 인과적 신호를 카운터팩추얼 연산자(counterfactual operator)를 통해 제거했을 때 해당 식별력을 상실해야만(제로-제거로 인한 잔류 신호 문제를 피하기 위함) 테스트 대상이 되었다.
4. 결과 보정(Consequence Calibration): 불일치가 임상적으로 중요한지를 결정하기 위해, 속성을 구조적 행동 공간(예: 수액, 혈관수축제, 항생제)에 매핑하였다. 저자는 두 방법이 서로 다른 중재(intervention)를 지목한 비율인 "결정 반전율(decision-flip rate)"을 계산하였다.
5. 예측 가능성 및 신뢰도: 사전 계산 가능한 공변량(특징 상관관계, 시간적 신호 집중도, 예측 마진)을 사용하여 불일치를 예측하는 모델을 적합시켰다. 또한, 불일치가 모델의 오분류와 상관관계가 있는지 테스트하였다.
6. 임상적 타당성: 35명의 임상의(신경외과, 신경중환자, 일반 중환자 케어)를 대상으로 한 비네트 설문조사를 통해, 구조적 행동 범주가 실제 임상적 불일치를 나타내는지 평가하였다.

주요 결과

• 중등도 및 소스 의존적 일치: 13개 코호트에 걸쳐 세 가지 속성 부여 방법은 중등도의 일치도(평균 켄달 $\tau$ = 0.50; 범위 0.41–0.61)를 보였다. 어떤 코호트도 사전에 지정된 상당한 일치도 임계값($\tau \ge 0.70$)에 도달하지 못했다. 일치도는 임상 인구 집단보다는 데이터 소스에 따라 체계적으로 변했다(분산의 63%를 설명함).
• 보편적으로 우월한 방법은 없음: 알려진 지면 진실(ground truth)이 있는 준합성 벤치마크에서, 가장 충실한 방법이 일관되게 나타나지는 않았다. 순위는 조건에 따라 달랐다. 예를 들어, Gradient Saliency는 일시적 신호(transient signals)를 완벽하게 복구했지만 초기 신호(early signals)에 대해서는 최하위를 기록한 반면, Integrated Gradients는 그 반대의 패턴을 보였다.
• 결과적 불일치: 불일치는 빈번하게 서로 다른 권고 행동으로 이어졌다. 준합성 데이터에서 두 방법 쌍(Saliency vs. Gradient×Input; Saliency vs. Integrated Gradients)은 6266%의 사례에서 서로 다른 행동을 생성했다. 이 "멀고 가까운(far/close)" 패턴은 실제 코호트(MIMIC-IV 척추 유합술)에서도 재현되었는데, 여기서 발산하는 쌍들의 반전율은 6769%였던 반면, Gradient×Input vs. Integrated Gradients 쌍은 6.7%에 불과했다.
• 불일치의 예측 가능성: 불일치를 예측하는 모델은 0.73의 표본 외(out-of-sample) AUC를 달성했다. 특징 상관관계가 지배적인 예측 인자였으며(상관관계가 높을수록 일치도가 감소함), 시간적 집중도와 예측 마진은 유의미하지 않았다. 그러나 어떤 층(stratum)의 사례도 사전 등록된 "신뢰할 수 있는" 설명 임계값($\tau \ge 0.70$)을 충족하지 못했다.
• 불일치는 오분류를 예측하지 않음: 불일치가 모델 오류를 나타낼 것이라는 가설과 달리, 실제 데이터에서 높은 불일치는 오분류 확률이 더 낮은 것과 관련이 있었다(예측 확신도를 제외한 순수 효과 측면에서). 이는 불일치가 예측 불확실성의 신뢰할 수 있는 대리 지표가 아님을 시사한다.
• 행동 공간의 임상적 타당성: 임상의 비네트 설문조사는 감사에 사용된 행동 범주가 실제 전문 분야별 패턴을 가진 임상적 불일치(예: 혈관수축제와 수액 사이에서 갈등하는 신경외과 의사 vs. 중환자 의사)에 부합함을 확인해주었으며, 이를 통해 구조적 매핑의 안면 타당성(face validity)을 검증하였다.

의의 및 주장
본 논문은 임상 시계열 예측을 위한 단일 "최선의" 속성 부여 방법을 표준화하는 것에 반대하며, 방법론적 순위는 불안정하고 조건 의존적이라고 주장한다. 대신, 다음과 같은 변화를 제안한다:

1. 결과-보정된 감사(Consequence-Calibrated Auditing): 선호되는 방법을 선택하기보다, 언제 설명이 불일치할 가능성이 높은지를 특성화하기 위해 설명 동작을 감사해야 한다.
2. 설명 동작의 외부 검증: 설명의 안정성은 하나의 데이터 소스에서 다른 데이터 소스로 전이되는 속성이 아니다. 한 데이터베이스에서 수행된 설명 감사는 다른 데이터베이스에 대한 보장을 거의 제공하지 못하므로, 예측 성능과 마찬가지로 설명 동작에 대한 외부 검증이 필요하다.
3. 리스크 층화: "신뢰 경계"(설명이 보장적으로 신뢰할 수 있는 사례의 하위 집합)를 식별할 수는 없었지만, 예측 시점에 불일치 위험을 나타내는 연속적인 불일치-위험 점수를 계산할 수 있다.
4. 불일치의 신중한 해석: 불일치가 모델 오류를 예측하지 못한다(또는 오히려 역상관 관계가 있다)는 발견은, 불일치 점수를 예측 위험이나 불확실성의 대리 지표로 사용하는 것에 대해 경고한다.

연구는 사후 설명이 아직 조건 없이 규제적 무게를 견딜 준비가 되지 않았다고 결론짓는다. 본 연구의 증거는 설명 동작이 모델 자체의 속성이 아니라 방법-데이터 간의 상호작용의 속성임을 인정하며, 임상 모델 배포를 위한 증거 패키지의 일부로서 결과-보정된 감사를 요구할 것을 지지한다.