기술 요약: 음소 기반 자동 음성 인식 시스템의 편향성 평가

문제 정의

자동 음성 인식(ASR) 시스템은 현대 에이전트 기반 기술의 근간이 되었으나, 인종, 연령, 성별 및 악센트와 관련된 인구통계학적 편향을 보인다는 점이 잘 알려져 있다. 역사적으로 편향 연구는 자소 기반 시스템(텍스트를 출력하는 방식)과 단어 오류율(WER) 지표에 집중되어 왔다. 그러나 ASR 아키텍처가 다국어 지원 및 저자원 언어 모델링을 향해 진화함에 따라, 국제 음성 기호(IPA) 표현을 출력하는 음소 기반 레이어를 통합하려는 추세가 증가하고 있다.

본 연구에서 식별된 핵심적인 공백은 음소 수준에서의 편향에 대한 이해가 부족하다는 점이다. 만약 음소 수준에서 불균형이 존재한다면, 이는 통합된 ASR 시스템의 다운스트림 구성 요소로 전파될 수 있다. 또한, 표준 평가 지표인 음소 오류율(PER)은 모든 치환을 엄격하게 처벌하기 때문에 편향 분석에는 결함이 있을 수 있다. 이는 실제적인 인식 오류와 언어학적으로 타당한 음소 변이(예: 방언적 이음)를 구분하지 못하기 때문이다.

방법론

데이터셋 및 모델

본 연구는 두 가지 최첨단 오픈 소스 IPA 기반 ASR 시스템을 평가한다:

1. WhisperIPA: 직접적인 음성-IPA 전사를 위해 미세 조정된 트랜스포머 기반 인코더-디코더 모델(베이스 크기, 약 7,400만 파라미터).
2. ZIPA: 일관성 정규화된 CTC 및 노이지 스튜던트(noisy-student) 학습을 활용하는 Zipformer 아키텍처 기반의 효율적인 다국어 음성 인식 모델 제품군(약 3억 파라미터).

평가는 제로샷 설정(추가 미세 조정 없음)에서 다음 두 가지 차원으로 수행되었다:

• 교차 언어적 강건성(Cross-lingual Robustness): 고자원 언어(영어, 스페인어, 프랑스어)부터 저자원 언어(힌디어, 뱅골어, 판자브어, 타밀어, 텔루구어, 아랍어, 터키어, 쇼나어)에 이르는 11개 언어와 IPA-PACK, MediaSpeech, WAXAL 등의 코퍼스 활용.
• 인구통계학적 변이(Demographic Variation): 성별, 연령, 인종 및 지역 악센트를 포함하는 화자 수준 메타데이터가 있는 영어 코퍼스(CORAAL, EdAAC, SVC).

평가 지표: 표준 PER 대 Soft PER

본 연구의 주요 방법론적 기여는 표준 PER가 처벌하는 언어적으로 유사한 음소 치환을 허용하도록 설계된 지표인 Soft PER의 도입이다.

• 표준 PER: 예측된 음소와 참조 음소 사이의 정확한 불일치를 계산한다.
• Soft PER: 유효한 변이를 처벌하지 않기 위해 두 단계의 등가 매핑을 활용한다:
  • 1단계 (이행적 등가성): 이음 자원(AlloVera) 및 조음 특징(PHOIBLE)을 기반으로 음소를 등가 클래스로 그룹화한다. 예를 들어, 기기음(aspirated) /ph/는 /p/와 동등한 것으로 취급된다.
  • 2단계 (교차 언어적 유사성): 하나의 표면 음소가 언어에 따라 서로 다른 정형 음소로 매핑되는 비이행적 유사성을 포착한다 (예: 영어의 탄설음 /R/이 스페인어의 /r/과 대비되어 /t/로 매핑되는 경우).
• 그라운드 트루스 생성: 참조 음소 시퀀스는 다국어 자소-음소 변환(G2P) 파이프라인(G2P+)을 통해 철자 전사본으로부터 생성되었다. 저자들은 이 과정에서 G2P가 실제 화자의 변이를 반영하지 않는 표준화된 발음을 강요할 수 있다는 한계를 인정한다.

주요 기여

1. Soft PER 도입: 실제적인 인식 실패와 허용 가능한 음성 변이를 구분하여 인구통계학적 편향에 대한 더 미묘한 분석을 가능하게 하는 새로운 지표를 제시하였다.
2. 포괄적인 편향 분석: 11개 언어와 다양한 인구통계 그룹(성별, 연령, 인종, 악센트)에 걸쳐 IPA 기반 모델을 체계적으로 평가하여, 음소 변이를 고려하더라도 지속되는 불균형을 밝혀냈다.
3. 모델 성능 비교: WhisperIPA와 ZIPA를 직접 비교하여 오픈 소스 음소 인식 시스템의 성능 기준을 확립하였다.

결과

교차 언어적 성능

• 모델 순위: ZIPA가 11개 모든 언어에서 WhisperIPA보다 일관되게 우수한 성능을 보였다.
  • 평균 표준 PER: ZIPA (0.373) vs. WhisperIPA (0.674).
  • 평균 Soft PER: ZIPA (0.281) vs. WhisperIPA (0.574).
• 자원 불균 불균형: 두 모델 모두 고자원 언어에 비해 저자원 언어에서 성능이 현저히 낮았다.
  • 저자원 언어는 고자원 언어보다 표준 PER가 36.2% 더 높았다.
  • Soft PER 적용 시, 그 격차는 절대값 기준으로 0.23만큼 더 벌어졌으며, 이는 언어 수준의 불균형이 단순히 음소 변이 때문이 아니라 더 광범위한 인식 문제에서 기인함을 시사한다.
• 지표의 영향: Soft PER는 대부분의 언어에서 절대적인 오류율을 낮추었으나, 모델의 상대적인 순위나 교차 언어적 성능 격차를 제거하지는 못했다.

인구통계학적 성능

• 성별: 체계적인 성별 기반 격차에 대한 제한적인 증거만이 발견되었다. 남성과 여성 화자는 모든 데이터셋과 모델에서 매우 유사한 오류율을 보였다.
• 연령: 고령층 화자가 포함된 데이터셋(EdAAC, CORAAL)에서, WhisperIPA는 고령층(45세 이상)에 대해 더 명확한 오류율 증가를 보인 반면, ZIPA는 더 적은 변이를 보였다.
• 인종: EdAAC 데이터셋에서 유의미한 격차가 관찰되었다.
  • 흑인 및 아시아인 화자는 백인 및 남아시아인 화자보다 일관되게 높은 오류율을 보였다.
  • 흑인 화자는 평균 대비 가장 큰 양의 격차(ZIPA PER에서 +0.050, WhisperIPA PER에서 +0.058)를 나타냈다.
• 악센트/방언: SVC 데이터셋에서, 라틴계 및 아시아계 화자 그룹이 특히 WhisperIPA에 대해 가장 높은 오류율을 보였다. 반면, 대부분의 미국 지역 악센트 그룹(남부, 서부, 중대서양 등)은 평균 근처 또는 평균 이하의 오류율을 유지했다.
• 지표의 강건성: 결정적으로, Soft PER는 절대적인 오류율을 낮추었으나 인구통계 그룹의 상대적 순위는 유지했다. 이는 관찰된 불균형이 단순히 엄격한 음소 일치 때문이 아니라, 언어적으로 유사한 치환을 수용하더라도 지속되는 더 깊은 인식 실패를 반영한다는 것을 나타낸다.

의의 및 주장

본 논문은 IPA 기반 ASR 시스템이 인구통계학적 또는 언어 수준의 격차로부터 자유롭지 않다고 결론짓는다. 음소 기반 표현이 다국어 및 저자원 기술을 위한 유망한 토대를 제공하지만, 악센트, 인종 및 연령과 관련된 편향을 상속받고 잠재적으로 전파한다.

저자들의 주장은 다음과 같다:

1. 편향은 음소 변이를 넘어 지속된다: Soft PER가 인구통계학적 격차를 제거하지 못한다는 사실은 현재의 음소 모델이 단순한 음소 불일치가 아닌 더 광범위한 음향적 및 사회음성학적 변이에 어려움을 겪고 있음을 시사한다.
2. 정교한 평가의 필요성: 표준 PER가 여전히 체계적인 편향을 식별하는 데 유용할 수 있으나, 분야 전체적으로 실제적인 인식 오류와 허용 가능한 발음 변이를 구분할 수 있는 더 풍부한 벤치마크와 평가 지표가 필요하다.
3. 현재 그라운드 트루스의 한계: G2P 기반의 그라운드 트루스 의존성은 "올바른" 발음에 대한 편향을 부적절하게 인코딩하여 오류율을 높일 수 있다. 저자들은 이를 해결하기 위해 전문가가 검증한 음소 주석을 활용하는 향후 연구를 촉구한다.

궁극적으로 본 연구는 포용적이고 언어적으로 강건한 ASR 기술 개발을 보장하기 위해, 음소 수준의 시스템을 자소 기반 시스템과 동일한 엄격함으로 평가해야 할 필요성을 강조한다.