The Unheard Alternative: Contrastive Explanations for Speech-to-Text Models

"The Unheard Alternative: Contrastive Explanations for Speech-to-Text Models" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

**설명 가능한 인공지능 (XAI)**이 텍스트 기반 자연어 처리 (NLP) 분야에서 크게 발전했음에도 불구하고, **대조적 설명 (contrastive explanations)**을 음성-텍스트 (S2T) 모델에 적용하는 것은 여전히 해결되지 않은 과제로 남아 있습니다.

• 대조적 설명: "모델이 왜 출력 P 를 생성했는가?"에 답하는 표준 설명과 달리, 대조적 설명은 "모델이 왜 P 를 생성하고 Q 를 생성하지 않았는가?"에 답합니다 (여기서 Q 는 대조군/대안입니다). 이는 인간의 추론 방식과 더 잘 부합합니다.
• 격차: 기존 S2T 설명 방법들 (예: SPES) 은 오디오 스펙트로그램 전체에 걸쳐 **전체적 중요도 맵 (holistic saliency maps)**을 생성합니다. 이러한 맵들은 임의의 단어 생성과 관련된 특징을 강조하지만, 두 개의 경쟁 출력 간의 선택 (예: 모델이 왜 여성형 curiosa 대신 남성형 curioso 를 선택했는지) 에 특정한 특징을 분리해 내지 못합니다.
• S2T 의 구체적 과제:
  1. 입력 양식: 오디오 신호는 시간과 주파수라는 다차원적 특성을 가지며 스펙트로그램으로 표현됩니다.
  2. 출력 세분화: S2T 모델은 완전한 단어가 아닌 서브워드 토큰을 생성하므로, 단어 수준의 확률 집계는 간단하지 않습니다.
  3. 점수 산정: 텍스트 NLP 에서 사용되는 표준 대조적 점수 산정 함수는 모델이 대조군보다 목표물을 강력하게 선호할 때 실패하는 경우가 많아, 대조적이지 않은 설명과 구별되지 않는 결과를 초래합니다.

2. 방법론

저자들은 SPES(Spectrogram Perturbation for Explainable Speech-to-text) 방법을 적응시켜 S2T 에서 대조적 설명을 얻기 위한 최초의 프레임워크를 제안합니다. 이 접근법은 두 가지 중요한 기술적 개입을 포함합니다.

A. 단어 수준 확률 집계

S2T 모델은 서브워드 토큰을 출력하므로, 전체 단어 ($t$) 의 확률은 이를 구성하는 서브워드 ($w_0, \dots, w_k$) 들로부터 재구성되어야 합니다.

• 이전 연구의 한계: 단순 집계 방법 (평균, 최대 풀링, 또는 단순 연쇄 규칙 곱셈) 은 목표물과 대조군 간의 토큰 수 불일치를 고려하지 못하거나, 서브워드 시퀀스가 완전한 단어라기보다는 더 긴 단어의 접두사일 수 있다는 사실을 간과합니다.
• 제안된 해결책: 저자들은 Word Boundary 방법(Pimentel and Meister, 2024)을 채택합니다. 이 방법은 단어 시퀀스의 확률을 계산할 때, 그 시퀀스가 "단어 시작" 또는 구두점 토큰 뒤에 이어지도록 보장합니다. 이는 단순히 접두사인 서브워드 시퀀스 (예: _professor 와 _professor e ssa 구분) 에 대한 확률을 과대평가하는 것을 방지합니다.

B. 대조적 점수 산정 함수

이 방법의 핵심은 입력 영역을 교란하는 것이 목표물 ($t$) 과 대조군 ($f$) 의 확률에 미치는 영향을 정량화하는 점수 산정 함수입니다.

• 차이 점수 ($S_{CD}$) 의 문제: 표준 대조적 점수인 $S_{CD}(t, f) = (p(t) - \tilde{p}(t)) - (p(f) - \tilde{p}(f))$는 $p(t) \gg p(f)$일 때 종종 기본 점수 $S_B(t)$로 수렴합니다. 이러한 경우, 설명은 특정 대조가 아닌 어떤 올바른 단어 생성과 관련된 특징을 강조하게 됩니다.
• 제안된 해결책: 저자들은 Jacovi 등 (2021) 에 기반한 **상대적 점수 산정기 (Relative Scorer, $S_{CR}$)**를 도입합니다:
  $$S_{CR}(t, f) = \frac{p(t)}{p(t) + p(f)} - \frac{\tilde{p}(t)}{\tilde{p}(t) + \tilde{p}(f)}$$
  이 함수는 두 항의 기여도를 그 합으로 정규화합니다. 이는 목표물이 대조군보다 훨씬 더 확률적일지라도, 점수가 대조군의 확률 변화에 민감하게 반응하도록 보장하여 대조에 특정한 특징을 효과적으로 분리해 냅니다.

C. 평가 지표

설명의 **신뢰성 (faithfulness, 실제 모델 행동을 얼마나 잘 반영하는지)**을 검증하기 위해 저자들은 텍스트 분류에서 유래한 지표를 적응시켰습니다:

1. 커버리지 (Coverage): 특징 삭제 후 모델이 목표물 또는 대조군 중 하나를 생성하는 사건의 비율입니다. 높은 커버리지는 식별된 특징이 일반적인 텍스트 생성이 아닌 대조에 특정한 것임을 보장합니다.
2. 플립률 (Flip Rate): 중요한 특징이 점진적으로 가려짐 (삭제) 에 따라 모델이 목표물 예측에서 대조군 예측으로 전환하는 비율입니다. 신뢰할 수 있는 설명은 최소한의 삭제로도 높은 플립률을 유발해야 합니다.

3. 주요 기여

1. 최초의 S2T 대조적 방법: 스펙트로그램에 대한 교란 기반 귀속을 적응시켜 음성 모델에 대한 대조적 설명을 생성하는 새로운 파이프라인을 도입했습니다.
2. 새로운 점수 산정 메커니즘: S2T 를 위한 표준 차이 점수 산정기보다 우월한 **상대적 점수 산정기 ($S_{CR}$)**를 제안하여, 이것이 고유하고 진정한 대조적 중요도 맵을 생성함을 입증했습니다.
3. 강건한 평가 프레임워크: 설명의 신뢰성을 측정하기 위해 생성형 S2T 작업에 맞춘 이중 지표 평가 (커버리지 + 플립률) 를 개발했습니다.
4. 실증적 검증: 영어 $\to$ 프랑스어, 이탈리아어, 스페인어 등 세 가지 언어 쌍에 대한 음성 번역에서 화자 성별 할당 작업을 통해 방법을 검증했습니다.

4. 결과

이 방법은 MuST-SHE 데이터셋을 사용하여 평가되었으며, 성별 중립적인 영어 용어를 성별이 있는 로망스어군 언어로 번역하는 데 초점을 맞췄습니다 (예: "I am curious" $\to$ curioso 대 curiosa).

• 중요도 맵 구분:
  • 차이 점수 산정기 ($S_{CD}$): 비대조적 설명과 매우 높은 상관관계 (피어슨 $r \approx 0.93$) 를 보이는 중요도 맵을 생성했습니다. 이는 성별에 특정한 특징을 분리해 내지 못했습니다.
  • 상대적 점수 산정기 ($S_{CR}$): 비대조적 맵과의 상관관계가 낮았으며 ($r \approx 0.33$), 성별과 관련된 음향 영역을 성공적으로 분리해 냈습니다.
• 커버리지 성능:
  • 차이 점수 산정기가 식별한 특징을 삭제할 때, 2% 만 삭제해도 커버리지는 20% 미만으로 떨어졌습니다 (이는 특징이 일반적임을 시사합니다).
  • 상대적 점수 산정기는 20% 삭제 후에도 30% 이상의 커버리지를 유지하여 성별 대조에 특정한 특징을 대상으로 삼고 있음을 입증했습니다.
• 플립률 성능:
  • 여성형 목표물: 상대적 점수 산정기가 식별한 상위 5% 특징을 가리면, 커버리지된 사례 중 70% 이상에서 모델이 남성형 예측으로 전환되었습니다.
  • 남성형 목표물: 플립률은 약 30% 로 낮았으며, 저자들은 이것이 방법의 실패가 아니라 S2T 모델의 남성형 기본 편향(강한 여성형 단서가 없는 한 남성이 기본값으로 작용함) 에 기인한다고 설명했습니다.
• 모델 강건성: 결과는 다양한 아키텍처 (Multilingual Transformer, Monolingual Conformer) 와 언어 쌍에서 일관되게 유지되었습니다.

5. 중요성과 함의

• 음성을 위한 XAI 발전: 이 연구는 텍스트 기반 대조적 설명 기법과 음성 처리의 고유한 과제 간의 격차를 해소하여, S2T 모델이 어떻게 음향 단서를 활용하는지 이해하는 기반을 제공합니다.
• 편향 감지: 이 방법은 모델이 성별 구분에 사용하는 음향 특징 (예: 피치, 포먼트) 을 효과적으로 분리해 냅니다. 이는 AI 의 성별 편향을 감사하는 데 중요하며, 모델이 종종 성전환자나 비전형적인 음향 특성을 가진 사람들을 불리하게 만들 수 있는 음성 특성에 의존함을 드러냅니다.
• 미래 응용: 성별에 대한 시연이 있었지만, 이 방법론은 동음이의어 구별, 코어퍼런스 해결, 공손함 레지스터 선택과 같은 기타 S2T 현상에 일반화될 수 있습니다.
• 윤리적 인식: 이 논문은 성별 예측을 위해 음성 특성을 사용하는 것의 윤리적 위험을 명시적으로 인정하며, 정확도를 높이는 동시에 소외된 집단을 해칠 수 있음을 지적합니다. 이 도구는 더 나은 감독과 미래 완화 전략을 촉진하기 위해 현재 모델 행동을 설명하도록 설계되었습니다.

요약하자면, 이 논문은 S2T 모델이 왜 대안들 사이에서 특정 선택을 하는지 이해하기 위한 엄격한 기술적 프레임워크를 제공하며, "무엇"을 예측하는지를 넘어 "어떻게" 결정하는지에 초점을 맞추고, 특히 음성 번역에서의 성별 편향이라는 중요한 문제에 주목합니다.