TSPC: A Two-Stage Phoneme-Centric Architecture for code-switching Vietnamese-English Speech Recognition

이 논문은 제한된 컴퓨팅 자원으로도 베트남어-영어 코드스위칭 음성 인식 성능을 획기적으로 향상시키는 효율적인 2 단계 음소 중심 아키텍처 (TSPC) 를 제안하고, 기존 베이스라인 대비 낮은 단어 오류율을 달성했음을 입증합니다.

핵심

1. 문제: "혼란스러운 번역관"

상상해 보세요. 한 식당에 베트남어만 아는 요리사 (기존 AI) 가 있습니다. 손님이 "오늘 Concert(콘서트) 가 재미있었어"라고 말하면, 요리사는 'Concert'라는 단어를 들어본 적이 없습니다.

그런데 베트남어에는 'Con sót(개구리)' 라는 발음이 비슷하게 들립니다. 요리사는 귀를 의심하며 "아, 손님이 '개구리'가 재미있었다고 말씀하시는구나?"라고 오해해서 메뉴판에 '개구리' 라고 적어버립니다.

이것이 바로 기존 AI 가 겪는 문제입니다. 베트남어와 영어는 발음이 비슷한 단어가 많고, 베트남어는 성조 (음의 높낮이) 가 중요한 언어라, 영어 단어를 베트남어처럼 성조를 붙여 발음하는 경우가 많기 때문에 AI 가 헷갈려서 엉뚱한 단어로 인식해 버립니다.

2. 해결책: TSPC (두 단계로 나누는 똑똑한 중재자)

이 논문은 "한 번에 다 해결하려 하지 말고, 두 단계로 나누어 해결하자"고 제안합니다. 마치 복잡한 주문을 전문가 2 명이 나누어 처리하는 것과 같습니다.

1 단계: 소리만 듣는 '귀신 같은 귀' (Speech-to-Phone)

• 역할: 말소리를 듣고 "이게 어떤 소리 (음소) 로 이루어졌는지"만 분석합니다.
• 비유: 요리사가 메뉴를 적기 전에, 손님의 말을 듣고 "이 소리는 'ㄱ', 'ㅏ', 'ㅗ' 소리가 섞인 거야" 라고 소리만 분석하는 단계입니다.
• 특징: 이때는 영어 단어 'Concert'를 베트남어 발음 규칙에 맞춰 'Con-sot(개구리)' 같은 소리 패턴으로 변환해 둡니다. 즉, 영어 소리를 베트남어 소리 체계로 먼저 정리해 주는 것입니다.

2 단계: 소리를 글자로 바꾸는 '현명한 번역가' (Phone-to-Text)

• 역할: 1 단계에서 정리된 '소리 목록'을 보고, "아, 이 소리들은 원래 'Concert'라는 뜻이었구나!" 라고 문맥을 파악해 글자로 바꿉니다.
• 비유: 이제 소리 분석 결과를 받은 번역가는 "음, 'Con-sot' 소리가 들렸지만, 문맥상 '개구리'가 아니라 '콘서트'가 맞을 것 같아"라고 추론해서 최종 메뉴판에 'Concert' 라고 정확히 적어줍니다.

3. 왜 이 방법이 좋은가요? (핵심 아이디어)

1. 공통 언어를 만듦: 영어와 베트남어는 발음이 섞이기 쉽습니다. 이 기술은 영어 단어도 베트남어 소리 체계 (음소) 로 먼저 번역한 뒤, 다시 글자로 바꾸는 방식을 씁니다. 마치 서로 다른 언어를 쓰는 두 사람이 제 3 의 공통 언어 (소리) 로 대화한 뒤, 다시 각자 모국어로 번역하는 것과 같습니다.
2. 성조 (Tone) 를 고려함: 베트남어는 소리의 높낮이가 중요하지만, 기존 AI 는 이를 잘 무시했습니다. 이 모델은 소리를 분석할 때 높낮이 (성조) 까지 꼼꼼히 체크해서 헷갈리지 않게 합니다.
3. 적은 비용으로 큰 효과: 거대한 컴퓨터 자원 없이도, 이 '두 단계' 방식을 통해 기존 최신 AI 들보다 훨씬 적은 데이터로도 더 정확한 결과를 냈습니다.

4. 실험 결과: 얼마나 잘했나요?

연구팀은 이 방법을 테스트해 보았습니다.

• 기존 AI (PhoWhisper 등): 영어 단어를 베트남어 단어로 잘못 인식하는 경우가 많았습니다 (예: Concert → Con sót).
• 새로운 AI (TSPC): 실수율이 19% 로 크게 줄었습니다. 특히 영어와 베트남어가 섞인 복잡한 상황에서도 훨씬 정확하게 들었습니다.

5. 결론: 한 줄 요약

이 논문은 "영어와 베트남어가 섞여 말해질 때, AI 가 바로 글자로 번역하려 하지 말고, 먼저 '소리 (음소)'로 정리한 뒤 다시 글자로 바꾸는 두 단계 방식을 쓰면 훨씬 정확하다" 는 것을 증명했습니다.

마치 혼란스러운 소음 속에서 소리를 먼저 분류한 뒤, 그 소리가 무슨 뜻인지 차분히 해석하는 과정을 거친 덕분에, AI 가 훨씬 똑똑해지고 실수를 줄일 수 있게 된 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 코드스위칭 (Code-Switching, CS) 인식의 난제: 화자가 대화 중 두 가지 이상의 언어를 자연스럽게 섞어 말할 때 발생하는 코드스위칭은 기존 자동 음성 인식 (ASR) 시스템에게 큰 도전 과제입니다.
• 음소적 모호성 (Phonological Ambiguity): 베트남어와 영어는 모음과 자음 체계가 상당 부분 겹치며 (예: [p], [b], [m] 등), 이로 인해 음향적으로 유사한 소리가 서로 다른 언어의 단어로 잘못 인식되는 오류가 빈번하게 발생합니다.
• 성조 (Tone) 의 부재와 오인: 베트남어는 6 가지 성조가 있는 성조 언어이지만, 영어는 비성조 언어입니다. 베트남어 화자가 영어 단어를 발음할 때 성조를 부여하거나, 반대로 영어 단어가 베트남어 성조 단어와 발음이 유사해지는 경우 (예: 영어 'concert'를 베트남어 'con sót'로 오인) 기존 모델이 이를 구분하지 못해 인식 성능이 급격히 저하됩니다.
• 기존 방법의 한계: 종단간 (E2E) 모델은 고수준의 의미 표현에 의존하여 미세한 음소적 차이를 포착하지 못하며, 언어 식별 (LID) 기반 방법은 저자원 언어의 데이터 부족으로 인해 한계를 보입니다.

2. 제안 방법론 (Methodology: TSPC)

저자들은 **TSPC(Two-Stage Phoneme-Centric)**라는 새로운 아키텍처를 제안합니다. 이는 직접적인 음향 - 텍스트 (Acoustic-to-Grapheme) 매핑 대신, **음소 (Phoneme)**를 중개 표현으로 사용하는 2 단계 구조를 채택합니다.

A. 통합 베트남어 음소 표현 (Unified Vietnamese Phoneme Representation)

• 영어 단어를 베트남어 음절 및 음소 체계에 매핑하여 통합된 음소 공간에서 모델링합니다.
• 음소 변환 절차:
  1. 팀 합의 및 투표: 영어 단어 (예: 'assistant') 에 대해 언어 전문가들이 자연스러운 베트남어 음절 후보 (예: 'ờxít tình' vs 'ờxích tinh') 를 제안합니다.
  2. 표준화: 다수결 원칙으로 최종 음절을 선택한 후, VLSP 표준 음소 집합을 사용하여 성조 마커 (예: -1, -4) 를 포함한 음소 시퀀스로 변환합니다.
  3. 결과: 영어 단어가 베트남어 음소 시퀀스 (예: @: -1 s i -4 tz...) 로 변환되어, 베트남어 기반의 일관된 중간 표현을 형성합니다.

B. 2 단계 모델 구조

1. 1 단계: 음성 - 음소 변환 (Speech-to-Phone, S2P)
   • 입력: 오디오 신호.
   • 모델: 사전 학습된 PhoWhisper-base 인코더 (고정) + Transformer 디코더.
   • 역할: 오디오를 성조 인식 가능한 베트남어 음소 시퀀스로 변환합니다.
2. 2 단계: 음소 - 텍스트 변환 (Phone-to-Text, P2T)
   • 입력: S2P 에서 생성된 음소 시퀀스.
   • 모델: T5 기반 모델 (Machine Translation 관점).
   • 전략:
     • 마스킹 전략 (Masking Strategy): S2P 에서 발생할 수 있는 음소 오류를 완화하기 위해, P2T 인코더를 사전 학습할 때 음소 마스킹 (Masked Language Modeling) 기법을 적용하여 노이즈에 강한 컨텍스트 표현을 학습시킵니다.
     • Joint Fine-tuning: S2P 와 P2T 를 통합하여 공동으로 미세 조정 (Fine-tuning) 하되, S2P 파라미터는 고정하고 P2T 만 업데이트하거나 특정 레이어만 조정하는 전략을 사용합니다.

3. 주요 기여 (Key Contributions)

1. 성조 인식 가능한 음소 중심 아키텍처: 베트남어와 영어의 음향적 유사성을 해결하기 위해, 영어 단어를 베트남어 성조 음소 체계로 변환하는 통합 표현 방식을 도입했습니다.
2. 저자원 환경에서의 효율성: 대규모 데이터나 계산 자원이 부족한 상황에서도 고성능을 발휘하도록 설계되었으며, 2 단계 분해 구조를 통해 복잡한 코드스위칭 문제를 체계적으로 해결합니다.
3. 노이즈 강건성 확보: P2T 단계에서 마스킹 기반 사전 학습과 Joint Fine-tuning 전략을 통해, 1 단계 (S2P) 에서 발생할 수 있는 전파 오류 (Error Propagation) 를 효과적으로 완화했습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋: VLSP 2020, VietBud500, Common Voice 등 기존 베트남어 데이터와 Capleaf 및 합성 데이터를 포함한 총 약 200 시간의 코드스위칭 데이터로 학습했습니다.
• 성능 비교 (WER - Word Error Rate):
  • 코드스위칭 (CS) 성능: 제안된 TSPC 모델 (SSL P2T 인코더 + Joint FT 적용 시) 은 **19.06%**의 WER 을 기록했습니다. 이는 기존 SOTA 모델인 PhoWhisper-base (27.90%) 보다 약 8.84%p 개선된 결과이며, Whisper-Large 나 MMS 모델보다도 월등히 우수합니다.
  • 베트남어 단일 언어 (Vi) 성능: 베트남어 전용 테스트셋에서 **15.87%**의 WER 을 달성하여, PhoWhisper-base (14.05%) 와 매우 근접한 성능을 보였으며, Wav2Vec2-vn-base 보다 5.83%p 더 높은 성능을 기록했습니다.
• 자원 효율성: PhoWhisper-base 가 800 시간 이상의 데이터 (비공개 포함) 로 학습된 반면, TSPC 는 제한된 자원 (약 200 시간) 으로 동등하거나 더 나은 성능을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 음소 기반 접근법의 유효성 증명: 코드스위칭 환경에서 음소 (Phoneme) 를 중간 표현으로 사용하는 것이 음향적 변이와 언어적 혼란을 해결하는 데 효과적임을 입증했습니다.
• 저자원 언어 처리의 새로운 패러다임: 대규모 데이터에 의존하지 않고도, 언어학적 지식 (음소 매핑, 성조 규칙) 과 구조화된 2 단계 아키텍처를 통해 고성능 ASR 을 구축할 수 있음을 보여줍니다.
• 향후 방향: 그래프 기반 모델링 (Graph-based modeling) 을 통해 음소 간의 구조적 관계와 문법적 역할을 더 명확하게 모델링할 수 있으며, 이는 향후 다국어 코드스위칭 시스템 발전의 중요한 방향성이 될 것입니다.

요약하자면, 이 논문은 베트남어 - 영어 코드스위칭 ASR 의 핵심 난제인 '음소적 모호성'과 '성조 차이'를 해결하기 위해, 영어 단어를 베트남어 음소 체계로 변환하는 TSPC를 제안하고, 제한된 자원으로도 기존 최첨단 모델들을 능가하는 성능을 달성했음을 보고합니다.