TaigiSpeech: A Low-Resource Real-World Speech Intent Dataset and Preliminary Results with Scalable Data Mining In-the-Wild

1. 연구 배경 및 문제 제기 (Problem)

• 저자원 언어의 부재: 전 세계 7,000 개 이상의 언어 중 상당수가 상업적 AI 서비스에서 지원되지 않으며, 특히 표준화된 문자 체계가 없거나 제한된 자원을 가진 언어 (Low-resource languages) 는 현대 음성 기술에서 소외되어 있습니다.
• 대만어 (타이지, Taiwanese Hokkien) 의 특수성: 대만어는 전 세계 4,500 만 명 이상이 사용하지만, 문자 체계의 불일치와 디지털 자원의 부족으로 인해 음성 이해 (SLU) 기술 개발이 더딥니다.
• 고령화 사회의 요구: 대만에서는 65 세 이상 인구의 64.9% 가 대만어를 모어로 사용합니다. 고령화 사회에서 독거 노인의 안전 (낙상, 호흡 곤란, 급성 통증 등) 과 일상 생활 지원 (스마트 홈 제어) 을 위해 음성 기반 비상 및 기능 명령 시스템이 필수적입니다.
• 기존 데이터의 한계: 기존 의도 인식 (Intent Recognition) 데이터셋은 영어, 중국어, 프랑스어 등 고자원 언어에 집중되어 있으며, 고령자의 자연스러운 발화나 비상 상황을 반영한 대만어 데이터는 전무했습니다. 또한, 기존 데이터셋은 주로 녹음실 환경이나 읽기 위주의 발화 (Reading speech) 에 의존하여 실제 비상 상황의 긴박감과 음성적 특징을 반영하지 못합니다.

2. 제안 방법 및 데이터셋 (Methodology & Dataset)

2.1. TaigiSpeech 데이터셋 구축

• 데이터 수집: 대만어 화자 21 명 (남성 8 명, 여성 13 명, 평균 연령 67.9 세, 연령대 54~78 세) 을 대상으로 수집되었습니다.
• 시나리오 설계: 실제 가정 및 의료 환경을 반영한 8 가지 의도 (Intent) 를 정의했습니다.
  • 비상 의도 (4 가지): SOS 호출, 낙상 도움 요청, 호흡 곤란, 일반 통증 보고.
  • 기능적 의도 (4 가지): 연락처 호출, 조명 켜기/끄기, 경고 취소.
• 수집 방식: 모바일/웹 기반 앱을 통해 연구자의 감독 하에 녹음되었습니다. 참가자들은 고정된 대본을 읽는 것이 아니라, Google Gemini Pro 를 활용한 시나리오 프롬프트와 Google Veo 로 생성된 무음 비디오 자극을 통해 자연스럽고 즉흥적인 발화 (Spontaneous speech) 를 생성하도록 유도되었습니다.
• 통계: 총 3,079 개의 발화 (약 6.1 시간), 평균 발화 길이 7.15 초. 모든 오디오는 48kHz 단채널로 녹음되었으며, 배경 소음 수준이 메타데이터로 기록되었습니다.

2.2. 확장 가능한 데이터 마이닝 전략 (Scalable Data Mining)

레이블이 부족한 저자원 언어의 학습 데이터를 확보하기 위해 두 가지 'In-the-wild' (야외/웹 기반) 데이터 마이닝 전략을 탐구했습니다.

1. 키워드 매칭 데이터 마이닝 (Keyword Match Mining):
   • 대만 드라마 (약 7,000 시간) 를 소스로 사용하며, 대만어에 대응하는 중국어 (Mandarin) 자막을 중간 언어 (Pivot language) 로 활용합니다.
   • 의도별 키워드를 중국어 자막에서 검색하고, LLM(대형 언어 모델) 을 사용하여 해당 문맥이 목표 의도와 일치하는지 **가상 레이블링 (Pseudo-labeling)**을 수행합니다.
2. 오디오 - 비주얼 데이터 마이닝 (Audio-Visual Mining):
   • 텍스트 병렬 데이터가 없는 경우를 대비하여, 사전 훈련된 **멀티모달 인코더 (PE-AV)**를 활용합니다.
   • 텍스트 설명 (의도) 과 오디오 - 비디오 클립 간의 유사도를 계산하여 텍스트 레이블 없이도 관련 음성 세그먼트를 추출하는 약한 감독 (Weakly supervised) 방식을 사용합니다.

3. 주요 기여 (Key Contributions)

1. TaigiSpeech 데이터셋 공개: 고령자 대상 의료 및 스마트 홈 시나리오에 특화된 최초의 대만어 음성 의도 인식 데이터셋을 CC BY 4.0 라이선스로 공개합니다.
2. 데이터 마이닝 전략 탐구: 저자원 언어의 레이블 부족 문제를 해결하기 위해 크로스링구얼 키워드 매칭과 멀티모달 오디오 - 비주얼 마이닝을 결합한 확장 가능한 데이터 수집 방법을 제시합니다.
3. 현실적 벤치마크 및 통찰: 야생 (In-the-wild) 에서 채굴된 데이터와 실제 고령자 녹음 데이터 간의 **심각한 도메인 불일치 (Domain Mismatch)**를 실험을 통해 규명했습니다. 이는 저자원 언어 SLU 시스템 개발에 현실적인 평가 기준의 필요성을 강조합니다.

4. 실험 결과 (Results)

• 도메인 불일치 현상:
  • 드라마 데이터 (채굴 데이터) 로 학습된 모델은 드라마 테스트셋에서 높은 정확도 (예: WavLM-large 기준 92.36%) 를 보였으나, 실제 TaigiSpeech 테스트셋으로 전이될 때 성능이 급격히 저하되었습니다 (70.00% 로 하락).
  • 특히 오디오 - 비주얼 마이닝을 통한 2 클래스 (비상 vs 비상 아님) 분류는 도메인 전이 시 거의 무작위 수준의 성능을 보였습니다. 이는 채굴된 데이터가 실제 고령자의 발화 특징 (음성, 억양, 배경 소음, 발화 방식) 을 충분히 반영하지 못함을 시사합니다.
• 도메인 적응 (Domain Adaptation):
  • 소량의 실제 TaigiSpeech 레이블 데이터 (10 화자, 1,600 발화) 로 미세 조정 (Fine-tuning) 을 수행한 결과, 성능이 크게 회복되었습니다 (예: HuBERT-base 기준 90.10% 정확도). 이는 실제 데이터의 중요성을 입증합니다.
• 모델 효율성 비교:
  • 경량 모델 (MatchboxNet) 보다 **자기지도 학습 (SSL) 기반의 대규모 음성 모델 (HuBERT, WavLM)**이 훨씬 우수한 성능을 보였습니다.
  • ASR + LLM 캐스케이드 방식 (Whisper/Qwen3-ASR + LLM) 은 대만어 인식 능력이 일부 존재하지만, 계산 비용이 크고 엔드 - 투 - 엔드 (End-to-End) 음성 분류 모델 (HuBERT/WavLM) 에 비해 정확도가 낮았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: TaigiSpeech 는 고령화 사회에서 고령자의 안전과 독립적인 생활을 지원하는 음성 기술 개발에 필수적인 기초 자원을 제공합니다.
• 기술적 함의: 저자원 언어의 경우, 웹 기반의 대규모 데이터를 단순히 채굴하여 학습하는 것만으로는 실제 배포 환경 (특히 고령자 대상) 에서의 성능을 보장할 수 없음을 보여줍니다. 현실적인 데이터 (Real-world data) 와 도메인 적응 전략이 필수적입니다.
• 미래 작업: 데이터셋을 대만 내 고령자를 넘어 전 세계 대만어 (민난어) 화자로 확장하고, 경량화되면서도 효율적인 음성 분류 모델 개발 및 더 정교한 데이터 마이닝 기법을 연구할 예정입니다.

이 논문은 저자원 언어를 위한 음성 기술의 격차를 해소하고, 특히 고령자 친화적인 AI 시스템 구축을 위한 중요한 디딤돌이 될 것으로 기대됩니다.