Towards Dys-XAI: Influence-Based Explanations for Dysarthria Severity Assessment

기술 요약: Dys-XAI를 향하여: 구어 장애(Dysarthria) 중증도 평가를 위한 영향력 기반 설명

문제 정의
구어 장애(Dysarthria) 중증도 평가는 임상 치료 계획 수립 및 종단적 모니터링에 매우 중요하지만, 현재는 수동적인 지각 평가에 의존하고 있어 시간이 많이 소요되며 평가자 간 변동성 문제가 발생한다. 딥러닝 모델은 공개 데이터셋에서 전문가의 평가와 대등한 성능을 달성했으나, 이들의 "블랙박스" 특성은 임상 도입을 저해한다. SHAP, LIME과 같은 특징 기여도(feature attribution)나 어텐션 시각화와 같은 기존의 음성 XAI 방법들은 음향 특징의 중요도 점수나 스펙트로그램 히트맵을 생성한다. 저자들은 이러한 방식이 다음과 같은 이유로 임상적 유용성이 부족하다고 주장한다:

1. 이들은 국소적(local)이며 발화 단위(utterance-level)에 국한되어, 중증도 레이블의 서수적 성질(인접한 범주가 명목상의 클래스가 아니라 점진적인 차이를 나타내는 특성)을 포착하지 못한다.
2. 이들은 공학적인 음향 기술자(acoustic descriptors)나 시공간 영역에 의존하며, 이는 임상가가 추론에 사용하는 지각적 구성 개념(예: 자음의 정밀도, 기기성/breathiness)으로 번역하기 어렵다.

방법론
본 논문은 설명의 관점을 음향 특징에서 **훈련 인스턴스(training instances)**로 전환하는 영향력 기반, 인스턴스 수준의 설명 가능성 프레임워크인 Dys-XAI를 제안한다. 어떤 특징이 중요한가를 묻는 대신, 이 프레임워크는 어떤 훈련 샘플이 특정 예측에 대해 지지하거나 반대하는 영향을 미쳤는지를 묻는다.

• 태스크 정식화: 태스크는 TORGO 데이터셋을 사용하여 4개 클래스 서수 분류(Typical, Mild, Moderate, Severe)로 정의된다.
• 인스턴스 수준 영향력 계산: 저자들은 그래디언트 기반의 영향력 추정 방법을 사용한다. 훈련 중에 저장된 체크포인트 $\{\theta_1, \dots, \theta_M\}$를 추적함으로써, 훈련 샘플 $x_i$가 테스트 샘플 $x_t$에 미치는 영향력을 두 그래디언트의 누적 내적으로 계산한다:
  $$I_{i \to t} = \sum_{m=1}^{M} \nabla_\theta \ell(f_{\theta_m}(x_t), y_t)^\top \nabla_\theta \ell(f_{\theta_m}(x_i), y_i)$$
  양(+)의 내적은 지지하는 영향력(훈련 시 $x_i$가 $x_t$의 손실을 감소시킴)을 나타내며, 음(-)의 내적은 상충하는 영향력을 나타낸다.
• 집계 전략:
  1. 클래스 수준 집계: 영향력 점수를 실제 중증도 레이블별로 집계하여, 서수 척도 전반에 걸쳐 지지적 또는 경쟁적 기여도를 정량화한다. 이는 훈련 샘플의 중증도 $c'$가 예측 중증도 $c$에 어떻게 영향을 미치는지 보여주는 $4 \times 4$ 영향력 행렬($S_{c \leftarrow c'}$)을 생성한다.
  2. 모델 수준 서수 민감도: 모델이 서수 구조를 존중하는지(즉, 중증도 수준 간의 거리가 멀어짐에 따라 영향력이 감소하는지) 평가하기 위해, 영향력을 서수 거리($d = |c - c'|$)에 따라 집계한다.
• 검증: 프레임워크는 **제어된 삭제 실험(controlled deletion experiments)**을 통해 검증된다. 저자들은 영향력이 높거나 낮은 훈련 샘플을 선택적으로 제거(5~20%)하고 모델을 재학습시켜 예측의 체계적인 변화를 관찰한다.

주요 결과

• 영향력 점수의 타당성 검증: 제어된 삭제 실험은 영향력 점수의 충실도(faithfulness)를 확인했다.
  • 고영향력 샘플 제거: 상위 20%의 고영향력 샘플을 제거했을 때 심각한 성능 저하가 발생했다 (예: Moderate 중증도의 정확도가 36.8%에서 0.3%로 하락; Severe는 72.3%에서 43.1%로 하락).
  • 저영향력 샘플 제거: 하위 20%의 샘플(저영향력)을 제거했을 때, 특히 모호한 클래스에서 성능이 향상되었다 (Mild 정확도가 5.5%에서 17.6%로 3배 증가). 이는 해당 샘플들이 노이즈나 잘못 레이블링된 데이터를 포함하고 있었음을 시사한다.
• 교차 중증도 영향 패턴: 클래스 수준의 영향력 행렬은 2단계 구조를 드러냈다.
  • 이진 구분: Typical(정상) 음성은 격리되어 있다. 이는 오직 다른 Typical 샘플으로부터만 양의 영향을 받으며, 모든 구어 장애(dysarthric) 수준으로부터 음의 영향을 받는다.
  • 서수적 점진성: 구어 장애 단계들(Mild, Moderate, Severe)은 상호 양의 영향을 주고받으며, 이는 모델이 구어 장애의 연속체 전반에 걸친 공유된 음향 특징을 인식하고 있음을 나타낸다.
• 서수 민감도: 평균 영향력 $\bar{S}(d)$는 서수 거리($d$)에 따라 단조 감소했다. 동일 수준의 영향력은 인접 수준의 영향력보다 13배 더 강력했으며, 거리가 먼 수준($d \ge 2$)에서는 음의 영향력을 가졌다. 이는 모델이 중증도를 명목 범주가 아닌 순서가 있는 연속체로 인코딩하고 있음을 확인시켜 준다.
• 사례 연구 및 데이터셋 감사: 질적 비교에서, 제안된 방법은 순위가 매겨진 오디오 참조 사례를 제공한 반면, SHAP는 해석 불가능한 음향 기술자 점수를 제공했다. 특히, 영향력 순위 분석 결과 Severe(심각) 화자의 "거의 무음에 가까운" 녹음본이 Severe 예측에 가장 큰 영향을 미치는 샘플 중 하나임을 식별했다. 이는 모델이 학습한 가짜 상관관계(silence $\to$ severe)를 드러냈으며, 이 프레임-워크의 데이터셋 감사 도구로서의 유용성을 입증했다.

의의 및 주장
본 논문은 Dys-XAI가 모델의 결정을 추상적인 특징 점수가 아닌 지각 가능한 참조 사례(오디오 녹음)와 연결함으로써 **감사 가능한 설명(auditable explanations)**을 제공한다고 주장한다. 이는 판단의 근거를 전형적인 예시와의 비교를 통해 정당화하는 임상적 추론 방식과 일치한다.

저자들은 이 접근 방식이 다음과 같은 강점을 가진다고 강조한다:

1. 서수성을 명시적으로 처리함: 영향력을 중증도 레이블에 따라 집계함으로써, 인접 및 원거리 수준 간의 관계적 증거를 드러낸다.
2. 지각적 검증 가능성: 임상가는 지지 및 경쟁하는 훈련 샘플을 직접 들어봄으로써 모델의 결정이 임상적 표지(marker)와 일치하는지 확인할 수 있다.
3. 데이터 문제 식별: 이 프레임워크는 특징 기반 방법론이 놓칠 수 있는 가짜 상관관계(예: 침묵과 중증도의 연관성)를 찾아낼 수 있는 데이터셋 감사 도구 역할을 한다.

이 연구는 구어 장애 평가에서 고성능 딥러닝 모델과 임상 현장에서 요구되는 투명성 사이의 간극을 메우기 위한 단계로 제시된다.