findsylls: A Language-Agnostic Toolkit for Syllable-Level Speech Tokenization and Embedding

1. 연구 배경 및 문제 제기 (Problem)

음성 모델링과 비지도 단어 발견 (unsupervised word discovery) 에서 음절 (syllable) 단위는 짧은 분석 프레임과 긴 어휘 단위 (단어) 사이의 자연스러운 시간 단위로, 시퀀스 길이를 획기적으로 줄이면서도 언어적 구조를 보존하는 데 효과적입니다. 최근 자기지도학습 (SSL) 기반 모델 (VG-HuBERT, Sylber 등) 은 음절 수준의 토큰을 생성하여 성능을 입증했으나, 다음과 같은 한계가 존재합니다.

• 연구의 파편화: 음절 분할 (syllabification) 연구는 서로 다른 구현체, 데이터셋, 평가 프로토콜에 분산되어 있어 결과의 재현과 비교가 어렵습니다.
• 비교의 어려움: 기존 방법들은 특정 코퍼스에 맞춰 튜닝된 독립적인 스크립트 형태로 제공되어, 현대 음성 처리 파이프라인에 통합하거나 표현의 품질과 분할 알고리즘의 기여도를 분리하여 분석하기 힘듭니다.
• 자원 부족 언어의 한계: 저자원 (under-resourced) 언어나 교차 언어적 설정에서 SSL 모델의 사전 학습 편향으로 인해 분할 정확도가 크게 저하될 수 있습니다.

이러한 격차를 해소하기 위해, 연구자들은 findsylls라는 통합 툴킷을 제안합니다.

2. 방법론 (Methodology)

findsylls는 언어에 구애받지 않는 (language-agnostic) 모듈형 툴킷으로, 음절 처리를 세 가지 상호 운용 가능한 모듈로 구성하여 고전적인 신호 처리 기법과 최신 신경망 기반 방법을 하나의 인터페이스에서 통합합니다.

2.1. 모듈 구조

1. Envelope Computation (봉투 계산):
   • 고전적인 신호 처리 기법을 사용하여 음절 리듬을 포착하는 진폭 봉투 (amplitude envelopes) 를 계산합니다.
   • 포함 방법: RMS 에너지, 저역 통과 필터링 에너지, 힐베르트 변환, 스펙트럼 대역 뺄셈 (SBS), 신경생리학적 영감을 받은 세타 (theta) 오실레이터 등.
   • 이 봉투 곡선에서 국소 최대값 (local maxima) 을 찾아 음절 핵 (nuclei) 을 감지합니다.
2. Feature Extraction (특징 추출):
   • 프레임 수준의 특징을 추출하며, 분할 전략과 독립적으로 작동합니다.
   • 고전적 추출기: MFCC, 로그 멜 스펙트로그램.
   • 자기지도학습 (SSL) 추출기: HuBERT, VG-HuBERT, Sylber 등. 이들은 내부 표현이 음절 구조를 인코딩하는 것으로 알려져 있습니다.
3. Segmentation Algorithms (분할 알고리즘):
   • 봉투 기반: 계산된 진폭 봉투에 Billauer 의 peakdetect 알고리즘을 적용하여 음절 시작, 핵, 종료 시간을 도출합니다.
   • 특징 기반: 최근 연구에서 제안된 알고리즘들을 포함합니다.
     • 그리디 코사인 유사도 (Greedy Cosine Similarity) 병합.
     • 특징 자기유사성 행렬 (featSSM) 에 적용된 최적화된 MinCut 동적 프로그래밍.
     • [CLS] 토큰 어텐션 가중치 기반 임계값 분할.
   • 상호 운용성: 특징 기반 알고리즘 (예: 코사인 유사도, CLS 어텐션) 에서 생성된 시계열 데이터를 '의사 봉투 (pseudo-envelope)'로 변환하여 고전적인 피크 검출기에 입력할 수 있도록 하여, 다양한 조합 실험을 가능하게 합니다.

2.2. 평가 파이프라인

• 다중 그레인 평가: 음절 핵 (nuclei), 경계 (boundary), 전체 구간 (span) 의 3 가지 수준에서 정밀도 (Precision), 재현율 (Recall), F1 점수를 계산합니다.
• 데이터셋: 영어 (Adult read, Child-directed), 스페인어, 그리고 시에라리온의 저자원 언어인 Kono(수동 주석 데이터) 등 7 개 코퍼스를 활용합니다.

3. 주요 기여 (Key Contributions)

1. 통합 오픈소스 툴킷 (findsylls): 고전적인 진폭 봉투 기반 음절 분할 알고리즘과 최신 신경망 기반 분할기를 단일 인터페이스로 통합하여 분할, 임베딩 추출, 평가를 지원합니다.
2. 재사용 가능한 평가 파이프라인: 시간 정렬된 주석 (TextGrid) 에 대한 음절 핵, 경계, 구간 탐지 평가를 위한 표준화된 프로세스를 제공합니다.
3. 체계적인 비교 분석: 고자원 (영어, 스페인어) 과 저자원 (Kono) 환경에서 봉투 기반과 SSL 기반 분할기를 비교하고, 구성 요소를 재조합 (recombination) 하여 성능 변화를 분석했습니다.
4. 공유 인프라 구축: 연구 커뮤니티가 기존 및 미래의 분할 방법을 다양한 언어와 도메인에서 쉽게 구현, 재조합, 평가할 수 있는 기반을 마련했습니다.

4. 실험 결과 (Results)

7 개 코퍼스를 대상으로 한 실험 결과는 다음과 같은 통찰을 제공합니다.

• 정확도 (Accuracy):
  • 핵 감지 (Nuclei): 고전적인 SBS 봉투 + peakdetect 조합이 91.2% 의 높은 F1 점수를 기록했습니다.
  • 전체 구간 (Spans): 종단간 (end-to-end) 신경망 분할기 (Sylber, VG-HuBERT) 가 전체 구간 복원 측면에서 더 나은 성능을 보였습니다.
  • 모듈형 재조합의 효과: 기존에 고정된 파이프라인으로 평가되었던 방법들을 재조합했을 때 성능 향상이 확인되었습니다.
    • 예: Sylber 의 코사인 유사도 봉투에 peakdetect 를 적용하면 경계 F1 이 63.1 에서 69.9 로 향상되었습니다.
    • VG-HuBERT 의 경우, featSSM 대신 국소 코사인 유사도를 봉투로 사용하여 peakdetect 를 적용하면 구간 복원 성능이 개선되었습니다.
• 토큰율 및 계산 비용 (Token Rate & Cost):
  • 모든 방법은 초당 3.15.8 개의 음절 토큰을 생성하여, 일반적인 프레임 단위 (50100Hz) 대비 시퀀스 길이를 대폭 줄였습니다.
  • 속도 - 정확도 트레이드오프: 고전적인 봉투 기반 방법은 계산 효율성 (높은 RTFx) 이 뛰어나고 핵 감지 정확도가 높으나, 경계와 전체 구간 정확도는 신경망 기반 방법이 더 우수합니다.
  • RTFx (실시간 인자): 고전적 방법은 27x684x 로 매우 빠르지만, 신경망 기반 방법은 6x9x 로 상대적으로 느립니다.

5. 의의 및 결론 (Significance & Conclusion)

• 음절 토큰화는 고정된 방법이 아닌 설계 공간 (Design Space) 임: 연구 결과는 표현 (representation), 봉투 (envelope), 분할기 (segmenter) 를 자유롭게 재조합함으로써 기존 고정된 분할기보다 더 나은 성능을 얻을 수 있음을 입증했습니다.
• 재현성과 비교의 용이성: findsylls 는 서로 다른 방법론을 동일한 데이터셋과 지표 하에서 비교할 수 있게 하여, 표현의 품질과 분할 알고리즘의 기여도를 분리하여 분석할 수 있는 기준을 마련했습니다.
• 저자원 언어 지원: Kono 와 같은 저자원 언어에서도 단일 프레임워크를 통해 재현 가능한 실험이 가능함을 보여주어, 교차 언어적 음성 처리 연구에 중요한 기여를 합니다.
• 실용적 확장성: 스트리밍 속도가 중요한 응용에는 고전적 봉투 기반을, 경계 정확도가 중요한 응용에는 신경망 기반을 선택하는 등 응용 목적에 맞는 최적의 운영 지점 (operating point) 을 선택할 수 있는 유연성을 제공합니다.

결론적으로, findsylls는 음절 수준의 음성 토큰화 연구를 위한 표준 인프라로서, 고자원과 저자원 환경 모두에서 재현 가능하고 통제된 실험을 가능하게 하는 핵심 도구입니다.