1. 문제 정의 (Problem)

• 데이터 부족: 포르투갈어는 전 세계적으로 수억 명의 화자를 보유하고 있음에도 불구하고, 음성 처리 기술 (ASR, TTS) 측면에서 영어에 비해 데이터 자원이 현저히 부족한 상태입니다.
• 기존 데이터의 한계: 기존 포르투갈어 말뭉치 (CORAA, NURC-SP 등) 는 규모가 작고 (수백 시간), 자발적 대화 (spontaneous speech) 특성을 띠어 불유창함, 배경 소음, 중첩 발화 등이 많아 TTS(음성 합성) 모델 학습에는 적합하지 않습니다.
• 원시 데이터의 처리 불가: 'Cem Mil Podcasts'와 같은 대규모 원시 오디오 컬렉션이 존재하지만, 자동 생성된 전사본의 품질이 낮고, 화자 분리 (diarization), 노이즈 제거, 중첩 발화 제거 등 필수 전처리가 이루어지지 않아 고품질 모델 학습에 바로 사용할 수 없었습니다.

2. 방법론 (Methodology)

저자들은 'Cem Mil Podcasts'에서 8,972 시간 이상의 고품질 오디오 코퍼스를 구축하기 위해 TAGARELA라는 대규모 데이터셋과 이를 처리하기 위한 다단계 파이프라인을 제안했습니다.

A. 데이터 전처리 파이프라인 (Preprocessing Pipeline)

1. 오디오 표준화 및 분할: 모든 오디오를 FLAC, 16kHz, 16-bit, 모노 형식으로 통일하고, 자연스러운 침묵 구간을 기준으로 5~20 초 길이로 분할했습니다.
2. 화자 분리 (Diarization): pyannote 프레임워크를 사용하여 여러 화자가 포함된 팟캐스트를 개별 화자 단위로 분리했습니다.
3. 중첩 발화 감지 (Overlapping Speech Detection): Wav2vec2-XLS-R 기반의 분류 모델을 훈련시켜, 여러 화자가 동시에 말하는 구간을 식별하고 데이터셋에서 제거했습니다. 이는 TTS 모델 학습에 필수적입니다.
4. 부트스트랩 전사 (Two-Stage Bootstrap Transcription):
   • Seed Corpus 생성: 상업용 ASR(ElevenLabs Scribe v12) 을 사용하여 1,000 시간의 고품질 전사본을 생성했습니다.
   • 모델 미세 조정: 이 시드 데이터를 기반으로 Whisper large-v3를 미세 조정하여 나머지 데이터에 대한 가짜 레이블 (pseudo-labels) 을 생성했습니다.
   • 품질 필터링: Wav2vec2-XLS-R 모델과 Whisper 의 출력을 비교하여 단어/문자 오류율 (WER/CER) 일치가 높은 샘플만 최종 데이터셋에 포함시켰습니다.
5. 음질 향상 (Denoising): Vocos 보코더를 재사용하여 노이즈 제거기 (denoiser) 로 훈련시켰으며, 배경 소음, 히스음, 잔향 등을 제거하여 오디오 선명도를 높였습니다.
6. 화자 및 방언 라벨링: RedimNet 임베딩과 HDBSCAN 클러스터링을 통해 약 13,368 개의 고유 화자 라벨을 생성하고, wav2vec-base 모델을 미세 조정하여 브라질/유럽 포르투갈어 방언을 분류했습니다.

B. 데이터셋 구성

• 총 규모: 8,972 시간 (약 16,806 개의 에피소드, 2,094 개 쇼).
• 방언: 브라질 포르투갈어 (8,130 시간), 유럽 포르투갈어 (842 시간).
• 성별: 남성 70%, 여성 30%.
• 하위 집합:
  • ASR 용: 8,972 시간 (불유창함 포함, 강건한 인식 모델 학습용).
  • TTS 용: 2,800 시간 (청결한 음성, 단일 화자, 자연스러운 합성용).

3. 주요 기여 (Key Contributions)

1. TAGARELA 데이터셋 공개: 포르투갈어용 ASR 및 TTS 학습을 위한 8,972 시간 규모의 대규모 큐레이션 코퍼스를 공개했습니다. 이는 영어의 GigaSpeech (10k 시간) 와 견줄 만한 규모입니다.
2. 고품질 처리 파이프라인 제시: 원시 팟캐스트 오디오를 고품질 단일 화자 코퍼스로 변환하기 위한 전처리, 전사, 품질 향상 프로세스를 상세히 기술하고 재현 가능하게 공개했습니다.
3. 모델 성능 검증: 제안된 데이터셋만으로 학습된 오픈소스 ASR 및 TTS 모델을 평가하여 데이터의 유효성을 입증했습니다.

4. 실험 결과 (Results)

자동 음성 인식 (ASR)

• 모델: Parakeet v2, Wav2Vec Large, Distil-Whisper, Whisper Large V3 등 다양한 아키텍처를 평가했습니다.
• 결과: TAGARELA 전체 데이터로 미세 조정된 Parakeet v2가 가장 우수한 성능을 보였습니다.
  • WER (단어 오류율): 15.18%
  • CER (문자 오류율): 7.09%
  • 기존 사전 학습 모델 (Whisper Large V3 등) 보다 월등히 낮은 오류율을 기록하며 포르투갈어 인식에서 State-of-the-art 성능을 달성했습니다.

텍스트 음성 변환 (TTS)

• 모델: Orpheus-TTS, Chatterbox 를 2,800 시간의 청결한 음성 서브셋으로 학습했습니다.
• 결과:
  • Orpheus-TTS: 높은 지각적 명료도 (WER 9.5%) 를 보였습니다.
  • Chatterbox: 약간 더 높은 자연스러움 (MOS 4.176) 을 보였으나, Orpheus-TTS 가 언어적 정확도 면에서 우세했습니다.
  • 두 모델 모두 Ground Truth 와 비교해 경쟁력 있는 성능을 보여주어, 데이터셋이 고품질 TTS 개발의 기초가 될 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

• 자원 격차 해소: 포르투갈어 음성 기술의 발전에 필수적인 대규모 고품질 데이터의 부재를 해결했습니다.
• 기술적 진보: 이 데이터셋을 통해 훈련된 모델들은 포르투갈어 화자 수백만 명을 위한 더 강건하고 자연스러운 음성 기술 (ASR, TTS) 개발의 토대를 마련했습니다.
• 미래 전망: 텍스트 - 오디오 정렬 (alignment) 개선 등의 여지는 남아있지만, TAGARELA 는 포르투갈어 음성 처리 분야에서 혁신을 이끌 핵심 자원으로 평가됩니다.

이 논문은 단순한 데이터 공개를 넘어, 대규모 원시 오디오를 고품질 학습 데이터로 변환하는 체계적인 방법론을 제시함으로써 저자원 언어 (Low-resource language) 의 음성 기술 발전을 위한 중요한 이정표가 되었습니다.