Explainable AI in Speaker Recognition -- Attention Map Visualisation and Evaluation

기술 요약: 화자 인식에서의 설명 가능한 AI – 어텐션 맵 시각화 및 평가

문제 정의
설명 가능한 AI(XAI)는 신경망의 의사 결정 과정을 투명하게 만드는 것을 목표로 한다. 화자 인식의 맥맥락에서, 신경 네트워크는 인간과 유사하게 특정 정보(예: 오디오 스펙트로그램의 특정 영역)를 선택적으로 처리하여 화자의 정체성을 결정하는 어텐션 메커리즘을 보유하고 있다고 가정된다. GradCAM 및 LayerCAM과 같은 클래스 활성화 맵(Class Activation Map, CAM) 기반 방법들이 이러한 어텐션 메커니즘을 시각화하는 데 널리 사용되고 있지만, 생성된 어텐션 맵을 평가하는 연구는 여전히 미진한 상태이다. RISE-eval(Randomised Input Sampling for Explanation - Evaluation)과 같은 기존 평가 알고리즘은 특정 한계점을 지닌다. 즉, 특정 전략(예: 삽입 전략) 하에서 구별 불가능한 결과를 생성하거나, 무관한 요소(예: 0에 가까운 값으로 인한 과도한 마스킹)를 도입하여 맵의 품질 평가를 혼란스럽게 만든다.

방법론
본 논문은 시각화와 평가라는 두 가지 주요 단계로 구성된, 화자 인식에서의 어텐션 맵을 분석하고 평가하기 위한 체계적인 프레임워크를 제안한다.

1. 어텐션 맵 시각화:
   본 연구는 VoxCeleb2 데이터셋으로 학습된 ResNet34 기반의 합성곱 신경망(CNN)을 활용한다. 두 가지 대표적인 CAM 기반 방법을 네 개의 ResNet 레이어에 적용하여 네트워크의 어텐션을 시각화한다.

• GradCAM: 그래디언트의 전역 평균 풀링을 사용하여 가중합 형태의 활성화 맵을 계산한다.
• LayerCAM: 그래디언트를 활성화 값과 요소별로 곱하여 가중합을 계산하며, 이를 통해 채널 내에서 공간적으로 변화하는 가중치를 허용한다.
  이러한 방법들은 특정 화자를 분류하는 데 중요하다고 판단되는 입력 영역(스펙트로그램 프레임)을 강조하는 히트맵(어텐션 맵)을 생성한다.

2. 어텐션 맵 평가 (수정된 RISE-eval):
   저자들은 어텐션 맵에 따라 입력 영역을 점진적으로 마스킹하여 성능 저하를 측정하는 기존 RISE-eval 알고리즘을 비판한다. 이들은 두 가지 핵심 문제를 식별하였다.

• 구별 불가능성: "삽입 전략"(마스킹된 영역을 점진적으로 드러내는 방식)은 종종 겹치는 성능 곡선을 생성하여 맵의 품질을 차별화하기 어렵게 만든다.
• 무관한 요소: 기존 방식은 0에 가까운 어텐션 값을 가진 픽셀을 포함하여 입력의 최대 100%까지 마스킹한다. 이러한 "과도한 마스킹(overmasking)"은 사실상 무작위 노이즈를 도입하여 평가가 실제 어텐션 메커니즘에서 벗어나게 만든다.

이를 해결하기 위해 저자들은 **수정된 RISE-eval(Modified RISE-eval)**을 제안한다.

• 전략 선택: 삽입 전략을 완전히 제거하고, 오직 삭제 전략(고가치 영역을 점진적으로 마스킹하는 방식)만을 유지한다.
• 임계값 메커니즘: 저가치 픽셀을 필터링하기 위한 임계값($t$)을 도입한다. 어텐션 값이 $t$보다 큰 픽셀만 마스킹 대상으로 샘플링한다. 이는 무작위 노이즈의 도입을 방지하고 평가가 실제로 네트워크가 주목하는 영역에 집중되도록 보장한다.
• 점수 산출: 평가 점수는 "마스킹 성능 곡선"(분류 정확도 대 마스크 비율)의 아래 면적을 기반으로 계산되며, 특히 낮은 마스크 비율에서 발생하는 성능 저하에 더 높은 가중치를 부여한다.

주요 결과
본 연구는 두 화자의 결합된 발화를 포함하는 화자 인식 작업에 대해 네 개의 ResNet 레이어에 걸쳐 GradCAM과 LayerCAM을 수정된 RISE-eval 알고리즘으로 평가한다.

• 시각화 성능:

  • 레이어 1 & 2: LayerCAM은 마스킹 시 모델 성능을 더 크게 저하시키는 어텐션 맵을 생성하며, 이는 얕은 레이어에서 중요한 영역을 더 잘 식별함을 나타낸다.
  • 레이어 3: 두 방법 모두 유사한 성능을 보인다.
  • 레이어 4 (최종 레이어): GradCAM이 LayerCAM보다 우수하다. GradCAM의 어텐션 맵은 더 가파른 성능 저하를 일으키며, 이는 최종 결정에 실제로 영향을 미치는 영역을 더 정확하게 강조함을 시사한다.
  • 클래스 판별 능력: 시각적 검토 결과, 레이어 4의 GradCAM 맵은 결합된 스펙트로그램에서 대상 화자의 영역을 정확하게 국소화하는 강력한 클래스 판별 능력을 보이는 반면, 레이어 1의 맵은 덜 뚜렷하다.

• 정량적 점수:
  수정된 RISE-eval 점수는 이러한 경향을 확인시켜 준다. LayerCAM은 레이어 1, 2, 3에서 더 높은 점수를 얻었으나, Gradчем은 레이어 4에서 가장 높은 점수를 기록했다.

의의 및 주장
본 논문은 다음과 같은 기여와 통찰을 주장한다.

1. 체계적 검토 및 개선: RISE-eval 알고리즘을 전용하여 검토하고, 특정 결함(구별 불가능성 및 과도한 마스킹)을 식별하였으며, 이를 해결하기 위한 수정된 RISE-eval을 제안하였다.
2. 레이어 의존적 성능: 본 연구는 어텐션 맵 시각화 방법의 효능이 레이어에 따라 달라짐을 입증한다. 단일한 "최선의" 방법은 존재하지 않으며, LayerCAM은 얕은 레이어의 어텐션을 분석하는 데 우수하고, GradCAM은 최종 의사 결정 레이어를 분석하는 데 우수하다.
3. 평가 패러다임: 인간의 주석이나 클래스 판별적 시각적 확인에만 의존하는 대신, 마스킹이 자체 성능에 미치는 영향을 측정함으로써 네트워크 스스로가 어텐션 맵을 검증하는 방법론을 확립한다.
4. 한계 및 향후 과제: 저자들은 수정된 RISE-eval이 RISE-eval보다 개선되었음에도 불구하고, 마스킹 과정의 특성상 얕은 레이어의 맵(포먼트와 같은 비정적 영역을 포함하는 더 세밀한 맵)이 깊은 레이어의 맵(더 거친 맵)보다 유리하게 작용할 수 있는 편향이 존재함을 겸허히 언급한다. 또한, 시각화된 어텐션이 인간의 이해를 위해 진정으로 무엇을 나타내는지 해석하는 것은 여전히 열린 이론적 과제임을 인정한다.

결론적으로, 화자 인식 작업의 경우 실무자들은 분석하고자 하는 특정 네트워크 레이어에 따라 시각화 방법을 선택해야 하며, 품질 평가를 위한 견고한 도구로서 수정된 RISE-eval을 사용해야 한다.