Can we trust AI to detect healthy multilingual English speakers among the cognitively impaired cohort in the UK? An investigation using real-world conversational speech

논문 요약: 영국 내 다국어 화자 대상 인지 장애 감지를 위한 AI 모델의 신뢰성 및 편향성 연구

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대화형 발화는 치매 (Dementia) 와 경도 인지 장애 (MCI) 와 같은 인지 저하의 초기 징후를 포착하는 데 유용한 지표입니다. 최근 AI 모델은 모국어 화자의 치매 감지에서 높은 성능을 보였습니다.
• 문제: 영국 인구의 4 분의 1 이 소수 민족 (Ethnic Minority) 이며, 치매 유병률은 흑인 및 아시아계 커뮤니티에서 가장 빠르게 증가할 것으로 예상됩니다. 그러나 기존 AI 기반 인지 진단 도구들은 주로 모국어 화자 (단어어) 데이터로 훈련되어, 영어를 제 2 언어로 사용하는 다국어 화자 (Multilingual speakers) 나 특정 억양 (예: 요크셔 억양) 을 가진 화자에 대해 편향 (Bias) 을 보일 가능성이 높습니다.
• 핵심 질문: 현재 AI 모델이 영국 내 다국어 화자 (특히 소수 민족 배경) 를 인지 장애가 없는 건강한 집단으로 정확하게 식별할 수 있는가? 또는 오진 (False Positive) 을 일으켜 인지 장애가 있는 것으로 잘못 분류하는 편향이 존재하는가?

2. 연구 방법론 (Methodology)

• 데이터 수집 (Data Collection):
  • 참가자: 총 1,395 명 (263 시간 이상의 음성 데이터).
    • 단어어 (Monolingual): 영국 전역에서 모집된 영어 모국어 화자 (치매, MCI, 건강한 대조군 포함).
    • 다국어 (Multilingual): 셰필드 (Sheffield) 와 브래드포드 (Bradford) 의 4 개 지역 커뮤니티 센터에서 모집. 소말리아어, 중국어, 남아시아어 (힌디어, 우르두어, 펀자브어 등) 화자.
    • 제약 사항: 인지 장애가 있는 다국어 화자는 영어 능력이 부족하여 CognoMemory 평가 참여가 불가능했으므로, 다국어 그룹은 건강한 참가자 (HC) 로만 구성되었습니다. 이는 편향을 검증하기 위한 의도적인 설계입니다.
  • 평가 도구: 가상 에이전트가 14 가지 임상적으로 검증된 기억 탐지 질문 (동기, 기억 회상, 유창성, 그림 설명, 독해 등) 을 수행하도록 설계된 'CognoMemory' 시스템 사용.
• 실험 설계:
  1. ASR 성능 평가: Whisper, Wav2Vec 2.0, NeMo 등 3 가지 오프 - 더 - 쉘 (Off-the-shelf) 자동 음성 인식 (ASR) 모델을 사용하여 단어 오류율 (WER) 분석.
  2. 분류 (Classification): SVM(음성/텍스트 특징) 과 LLM(BART, RoBERTa, DistilBERT) 을 사용하여 치매, MCI, 건강한 대조군 (HC) 의 3 가지 클래스 분류 수행. CognoMemory 데이터와 공개 데이터셋인 DementiaBank 를 비교 분석.
  3. 회귀 (Regression): SVR(서포트 벡터 회귀) 을 사용하여 실제 MMSE 점수와 예측 점수 간의 오차 (RMSE) 분석.
  4. 정성적 분석: TF-IDF(단어 빈도 - 역 문서 빈도) 를 사용하여 언어적 특징과 편향의 원인 규명.

3. 주요 기여 (Key Contributions)

• 최초의 연구: 영국 내 소수 민족 다국어 화자를 대상으로 AI 모델의 편향성을 체계적으로 조사한 최초의 연구입니다.
• 대규모 데이터셋 구축: CognoMemory 데이터를 통해 다양한 억양 (남/서 요크셔) 과 언어 배경을 가진 1,395 명의 음성 데이터를 확보했습니다.
• 편향성 발견: ASR 수준에서는 편향이 없었으나, 고급 분류 및 회귀 모델이 다국어 화자를 인지 장애가 있는 것으로 잘못 분류하는 심각한 편향이 있음을 규명했습니다.

4. 주요 결과 (Results)

• ASR 성능 (Word Error Rate):
  • Whisper, Wav2Vec 2.0, NeMo 모델 간 성능 차이는 있었으나, 단어어와 다국어 화자 간의 WER 차이는 통계적으로 유의미하지 않았습니다. 즉, 음성 인식 단계에서는 큰 편향이 존재하지 않음.
  • 다만, 유창성 (Fluency) 과 같은 비자발적 발화 과제에서는 ASR 성능이 전반적으로 저하됨.
• 분류 모델 편향 (Classification Bias):
  • 음성 특징 (Acoustic features) 만 사용: 단어어와 다국어 화자 간 분류 정확도 차이가 통계적으로 유의미하지 않음.
  • 언어적 특징 (Linguistic features) 사용: 심각한 편향 발생. 다국어 화자, 특히 남 요크셔 억양을 가진 남아시아계 화자가 건강한 대조군임에도 불구하고 치매 (Dementia) 나 MCI 로 오진될 확률이 현저히 높았습니다.
  • 오진율: 단어어 젊은 그룹은 약 16% 만 오진된 반면, 남아시아계 다국어 화자 (남 요크셔 억양) 는 **35%**가 오진되었으며, 그중 25% 는 치매로 잘못 분류됨.
  • 데이터셋 비교: DementiaBank(공개 데이터) 로 훈련된 모델은 CognoMemory 데이터로 훈련된 모델보다 다국어 화자에 대한 편향이 더 강력하게 나타남.
• 회귀 분석 (Regression):
  • 다국어 화자의 MMSE 점수 예측 오차 (RMSE) 가 단어어 화자보다 통계적으로 유의미하게 높음.
• 정성적 분석 (TF-IDF):
  • 치매 환자는 특정 장소 이름을, 건강한 단어어 화자는 영국 총리 등 유명 공인 이름을 언급하는 경향이 있음.
  • 반면, 다국어 화자는 자신의 출신 국가나 고향 (예: 파키스탄, 라호르) 을 언급하는 경향이 강함. 이러한 문화적/언어적 차이가 모델에 의해 '인지 저하'의 신호로 잘못 해석될 가능성이 있음.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 신뢰성 부재: 현재 AI 기반 음성 진단 도구는 영어 모국어 화자에게는 효과적일 수 있으나, 영국 내 다국어 소수 민족 집단에게는 신뢰할 수 없으며, 심각한 오진 (False Positive) 을 유발할 수 있습니다.
• 편향의 원인: 모델이 언어적 특징 (TF-IDF 등) 을 학습할 때, 문화적 배경이나 모국어의 영향으로 인한 화제 선택 (예: 고향 언급) 을 인지 저하의 징후로 오인하는 것으로 추정됨.
• 향후 과제:
  • 인지 장애가 있는 다국어 화자의 데이터 수집이 필수적임.
  • 편향을 완화하고 일반화 성능을 높이는 모델 개발 필요.
  • ASR 모델의 미세 조정 (Fine-tuning) 및 RUDAS, MCE 등 문화적 민감성을 고려한 추가 평가 도구 통합 필요.

결론적으로, 이 연구는 AI 기술이 의료 현장에서 공정하게 적용되기 위해서는 다양한 언어적, 문화적 배경을 가진 인구를 포괄하는 데이터와 편향 없는 모델 개발이 시급함을 강력하게 시사합니다.