ViMedCSS: A Vietnamese Medical Code-Switching Speech Dataset & Benchmark

1. 문제 정의 (Problem)

• 배경: 베트남어 의료 커뮤니케이션에서는 약물명, 시술명, 생체지표 등 전문적인 영어 용어가 베트남어 문장 내에 자연스럽게 섞여 사용되는 코드스위칭 (Code-Switching, CS) 현상이 매우 흔합니다.
• 도전 과제: 현재 대부분의 자동 음성 인식 (ASR) 시스템은 베트남어 문맥에 삽입된 영어 의료 용어를 정확하게 인식하는 데 어려움을 겪고 있습니다.
• 한계: 기존 ASR 모델은 베트남어 최적화 모델은 전체 문장 정확도는 높지만 영어 삽입어를 놓치고, 다국어 모델은 영어는 잘 인식하지만 베트남어 문맥에서의 전체 오류율이 높은 트레이드오프 (Trade-off) 현상을 보입니다. 또한, 베트남어 의료 코드스위칭을 체계적으로 평가할 수 있는 공개 벤치마크가 부재했습니다.

2. 방법론 및 데이터셋 구축 (Methodology & Dataset)

저자들은 이 문제를 해결하기 위해 ViMedCSS라는 새로운 데이터셋과 벤치마크를 구축했습니다.

가. ViMedCSS 데이터셋 구축

• 소스: VinUniversity 에서 개발한 64,232 개의 항목을 가진 영어 - 베트남어 의료 사전 (Meddict) 을 기반으로 합니다.
• 선정 기준: 베트남어 사용 시 영어 또는 외래어 어원을 유지하는 3,203 개의 코드스위칭 (CS) 의료 용어를 추출하여 쿼리로 사용했습니다.
• 수집 및 전처리:
  • YouTube 에서 13,000 개 이상의 의료 관련 비디오를 크롤링했습니다.
  • LLM(Gemini 2.5 Pro) 을 사용하여 음성 전사, 시간 동기화, CS 문장 및 용어 자동 추출을 수행했습니다.
  • 의미적 필터링 (비베트남어/비의료 문장 제거) 및 정규화 (철자, 대소문자 통일) 를 적용했습니다.
  • Levenshtein 거리를 사용하여 추출된 용어와 사전 항목을 정렬했습니다.
• 통계: 총 34.57 시간, 16,576 개의 발화 (Utterance) 로 구성되며, 모든 발화에는 최소 1 개 이상의 CS 의료 용어가 포함되어 있습니다.
• 주제 분류: 의학 과학, 병리 및 병원체, 치료, 영양, 진단 등 5 가지 의료 주제로 분류되었습니다.
• 할당 (Split): Train, Valid, Test, 그리고 희귀/미관측 용어만 포함된 Hard Split으로 나뉘어 일반화 능력을 평가합니다.

나. 평가 지표

• 전체 정확도와 코드스위칭 부분의 정확도를 분리하여 평가하기 위해 CS-WER(코드스위칭 영역의 단어 오류율) 와 N-WER(비코드스위칭 영역의 단어 오류율) 를 함께 측정했습니다.

다. 실험 설정

• 기저 모델 (Baselines): Whisper (다국어), PhoWhisper (베트남어 최적화), VietASR, MMS 등 다양한 최신 ASR 모델을 제로샷 (Zero-shot) 으로 평가했습니다.
• 적응 전략 (Fine-tuning Strategies): PhoWhisper-small 을 베이스로 하여 다음 방법들을 비교했습니다.
  1. 컨텍스트 바이asing (Contextual Biasing): 디코딩 시 어휘 확장 (Dynamic Vocabulary), 순위 선정 (Rank & Selection).
  2. 후처리 (Post-processing): AdaCS (컨텍스트 정규화 모듈).
  3. 파라미터 효율적 어댑터: LoRA (저랭크 어댑터).
  4. LID(언어 식별) 가이드 적응: Attention Guide (AG) 를 사용하여 언어 정체성에 민감한 어텐션 헤드를 조정.
  5. 하이브리드: 어댑터와 후처리 방법의 결합 (예: LoRA + AdaCS).

3. 주요 결과 (Key Results)

• 제로샷 성능:
  • 베트남어 최적화 모델 (PhoWhisper, VietASR): 전체 문장 수준 (WER, N-WER) 에서 우수한 성능을 보였으나, 영어 CS 용어 인식 (CS-WER) 에서는 약했습니다.
  • 다국어 모델 (Whisper-Large-v3): 영어 CS 용어 인식 (CS-WER) 에서 가장 우수했으나, 전체 문장 오류율은 상대적으로 높았습니다.
• 파인튜닝 성능:
  • 최고 성능: Attention Guide (AG) 방법을 적용한 PhoWhisper-Small이 모든 지표 (전체 WER, CS-WER, Hard Split 성능) 에서 가장 우수한 결과를 기록했습니다.
  • LoRA: AG 다음으로 좋은 성능을 보였으며, CS-WER 를 약 50% 이상 감소시켰습니다.
  • 하이브리드: 어댑터 (LoRA/AG) 와 후처리 (AdaCS) 를 결합하면 CS-WER 는 유지하면서 전체 문장 정확도를 회복하는 효과를 보였습니다.
  • 초기화 모델의 영향: 동일한 적응 전략을 적용했을 때, 다국어 모델 (Whisper) 보다 베트남어 특화 모델 (PhoWhisper) 이 파인튜닝 후 더 강력하고 일관된 성능을 발휘했습니다.

4. 주요 기여 (Key Contributions)

1. 첫 번째 벤치마크: 베트남어 의료 코드스위칭을 위한 첫 번째 공개 데이터셋 (ViMedCSS) 과 벤치마크를 제시했습니다.
2. 체계적 평가 프레임워크: 전체 정확도와 코드스위칭 부분 정확도를 분리하여 평가하는 메트릭 (CS-WER, N-WER) 을 도입하여 모델의 약점을 정밀하게 진단할 수 있게 했습니다.
3. 효과적인 적응 전략 제시: 저자원 다국어 ASR 환경에서 파라미터 효율적 적응 (특히 LID 가이드된 Attention Guide) 이 코드스위칭 용어 인식과 전체 문장 정확도 사이의 균형을 잡는 가장 효과적인 방법임을 실증했습니다.

5. 의의 및 결론 (Significance)

• 임상적 안전성: 의료 기록, 약물 투여, 진단 과정에서 발생할 수 있는 인식 오류를 줄여 환자 안전과 임상 효과성을 높이는 데 기여합니다.
• 기술적 통찰: 저자원 언어 (Vietnamese) 에서 다국어 용어가 섞인 복잡한 음성 인식을 해결하기 위해, 단순히 모델을 크게 만드는 것보다 도메인 특화 모델에 언어 정체성 (Language Identity) 을 고려한 적응 전략을 적용하는 것이 더 효율적임을 증명했습니다.
• 향후 연구: 이 벤치마크는 컨텍스트 바이asing, 모델 아키텍처 개선 등 향후 의료 ASR 연구의 기초 자료로 활용될 것입니다.

이 논문은 베트남어 의료 분야의 AI 기술 발전에 중요한 이정표가 되며, 다국어 환경에서의 음성 인식 시스템 설계에 대한 중요한 시사점을 제공합니다.