SloPal: A 60-Million-Word Slovak Parliamentary Corpus with Aligned Speech and Fine-Tuned ASR Models

이 논문은 2001 년부터 2024 년까지의 33 만 개의 연설 대본 (6,600 만 단어) 과 2,806 시간의 정렬된 오디오를 포함한 대규모 슬로바키아 의회 말뭉치 'SloPal'과 이를 기반으로 Whisper ASR 모델의 단어 오류율을 최대 70% 감소시킨 파인튜닝 모델들을 공개하여 저자원 언어인 슬로바키아어 음성 인식의 새로운 기준을 제시합니다.

핵심

1. 문제: "배고픈 AI"와 "비어 있는 도서관"

지금까지 AI 가 말을 알아듣는 기술 (음성 인식) 은 영어처럼 자료가 풍부한 언어에서는 아주 잘 작동했습니다. 하지만 슬로바키아어는 마치 **"식탁에 음식이 거의 없는 배고픈 아이"**와 같았습니다.

• 상황: 슬로바키아어 학습용 녹음 자료는 공개된 것만 100 시간도 채 되지 않았습니다. (영어는 수만 시간입니다.)
• 결과: AI 가 슬로바키아어를 배우려 해도 배울 게 없어서 실력이 늘지 않았습니다.

2. 해결책: 거대한 "국회 도서관"을 발견하다

연구팀은 슬로바키아 의회 (국회) 기록을 발견했습니다. 의회에서는 매일 의원들이 연설하고, 그 내용이 텍스트로 정확히 기록되어 있습니다.

• SloPal (슬로팔) 프로젝트: 연구팀은 2001 년부터 2024 년까지의 **33 만 개의 연설 기록 (약 6,600 만 단어)**을 모았습니다.
• 비유: 이는 마치 **"거대한 도서관에서 20 년 치의 모든 연설 대본을 찾아낸 것"**과 같습니다. 하지만 문제는 대본 (텍스트) 은 있는데, 실제 목소리 (오디오) 가 대본과 딱 맞춰져 있지 않다는 점입니다.

3. 핵심 기술: "자석"으로 맞추기 (정렬 과정)

이 프로젝트의 가장 큰 성과는 이 대본과 녹음 파일을 자동으로 딱딱 맞춰주는 기술을 개발한 것입니다.

• 과거의 방법: 보통은 사람이 일일이 "여기부터 여기까지가 이 사람의 말"이라고 표시해야 했습니다.
• 새로운 방법 (앵커 기반 정렬): 연구팀은 AI 가 먼저 대략적인 내용을 듣고, 그 내용과 원본 대본에서 **공통된 단어 (자석/앵커)**를 찾아내어 시간을 맞춰주는 방식을 썼습니다.
  • 비유: 두 개의 긴 줄 (녹음 파일과 대본) 이 있는데, 그 안에 공통된 "자석" 같은 단어를 찾아서 두 줄을 딱 붙여놓는 것입니다.
• 결과: 이렇게 해서 2,806 시간에 달하는 완벽한 "목소리 + 대본" 짝꿍 데이터를 만들었습니다.

4. 훈련: "작은 천재"를 키우다

이제 이 방대한 데이터를 가지고 AI (Whisper 모델) 를 훈련시켰습니다.

• 기적 같은 결과: 원래는 거대한 AI (빅 모델) 가 좋은 성능을 냈는데, 이 새로운 데이터로 훈련한 **작은 AI (작은 모델)**가 거대 AI 와 거의 비슷한 실력을 냈습니다.
• 비유: 마치 **"고등학교 학생 (작은 모델) 이 2,800 시간의 특강을 듣고, 대학원 교수 (거대 모델) 와 거의 똑같은 시험 점수를 맞은 것"**과 같습니다.
• 효율성: 큰 모델을 쓰지 않아도 되므로, AI 를 실행하는 데 필요한 컴퓨터 성능 (비용) 을 6 배나 아낄 수 있게 되었습니다.

5. 결론: 모두에게 열린 선물

연구팀은 이 모든 자료 (텍스트, 오디오, 훈련된 AI) 를 무료로 공개했습니다.

• 의의: 슬로바키아어는 이제 '자원이 부족한 언어'에서 벗어나, AI 가 잘 알아듣는 언어가 되었습니다.
• 미래: 이 방법은 슬로바키아뿐만 아니라 다른 언어의 국회 기록에도 적용할 수 있어, 전 세계의 소수 언어를 위한 AI 기술 발전의 새로운 길이 열렸습니다.

---

한 줄 요약

"배고팠던 슬로바키아어 AI 에게 의회 기록이라는 '거대한 식탁'을 차려주고, 최신 기술로 '정갈하게 식사'를 시켜주니, 작은 AI 가 거대 AI 를 이겨내는 놀라운 실력을 얻게 되었다!"

이 프로젝트는 SloPal이라는 이름으로 공개되었으며, 누구나 무료로 사용할 수 있습니다.

기술 요약

SloPal: 6 천만 단어 규모의 슬로바키아 의회 말뭉치 및 정렬된 음성 데이터와 미세 조정된 ASR 모델

1. 문제 정의 (Problem)

• 저자원 언어 (Low-resource Language) 의 한계: 슬로바키아어는 자동 음성 인식 (ASR) 을 위한 공개된 학습 데이터가 100 시간 미만으로 매우 부족하여, 기존 대규모 다국어 모델 (예: Whisper) 의 성능이 낮습니다.
• 데이터 부재: 고자원 언어 (영어, 독일어 등) 에 비해 슬로바키아어와 같은 저자원 언어의 WER(단어 오류율) 가 현저히 높으며, 이는 모델의 용량 부족이 아닌 학습 데이터의 부재가 주된 원인입니다.
• 기존 데이터의 한계: 기존 슬로바키아어 데이터셋 (Common Voice, FLEURS 등) 은 총합 약 100 시간으로, 고성능 ASR 모델 학습에 필요한 규모에 미치지 못합니다. 또한, 공개된 데이터 중 의회 회의록과 같은 공식 텍스트와 정렬된 오디오가 결합된 자원은 거의 존재하지 않았습니다.

2. 방법론 (Methodology)

2.1. 데이터 수집 및 구축 (SloPal & SloPalSpeech)

• 데이터 소스: 슬로바키아 의회 (National Council of the Slovak Republic) 의 공개 회의 기록 (2001 년~2024 년) 을 활용했습니다.
  • SloPal (텍스트 말뭉치): 33 만 개의 화자 세그먼트화된 회의록 (약 6 천만 단어, 2 억 2 천만 토큰) 을 수집했습니다. 화자 이름, 직함, 세션 정보 등 풍부한 메타데이터를 포함합니다.
  • SloPalSpeech (정렬된 오디오): 위 텍스트와 매칭된 오디오 데이터를 2,806 시간 확보했습니다.
• 수집 과정:
  • 오디오: MediaPortál(슬로바키아 의회 포털) 에서 HLS 스트림을 추출하여 MP3 로 변환 (총 4,096 시간 수집).
  • 텍스트: 디지털 의회 도서관에서 DOCX 형식의 공식 회의록 다운로드 (2,199 개 파일).
  • 매칭: 세션 번호와 날짜를 기준으로 오디오와 텍스트를 매칭 (1,136 세션, 4,098 시간 매칭 성공).
• 전처리 및 파싱:
  • DOCX 파일을 XHTML 로 변환 후 파싱.
  • 화자 구분 (Speaker Segmentation): 굵은 글씨 (Bold) 로 표시된 화자 소개 (성, 이름, 직함) 를 기반으로 규칙 및 휴리스틱을 적용하여 화자별 세그먼트를 자동 분할했습니다.
  • 유효성 검증: 오디오가 오전 세션만 포함하는 반면 텍스트는 전체를 포함함을 발견하여, 오후 세션 텍스트를 제거하고 Whisper 모델로 WER 을 검증하여 정합성을 확인했습니다.

2.2. 정렬 및 세그먼트화 (Alignment & Segmentation)

• 문제: 기존 강제 정렬 (Forced Alignment) 도구는 긴 오디오 (최대 25 시간) 와 텍스트 불일치 (텍스트에 실제 발화되지 않은 내용 포함) 로 인해 적합하지 않았습니다.
• 해결책 (Anchor-Based Alignment):
  • 참조 텍스트 생성: WhisperX 를 사용하여 오디오에서 단어 수준의 타임스탬프가 포함된 참조 텍스트를 생성했습니다.
  • 앵커 (Anchor) 매칭: 생성된 참조 텍스트와 실제 정답 (Ground Truth) 텍스트 사이에서 공통 단어를 '앵커'로 식별했습니다.
    • Levenshtein 거리 1 이내의 단어 매칭.
    • 문맥 (이전/다음 4 단어) 을 비교하여 최적의 매칭 선택.
    • 언어에 독립적 (Language-agnostic) 인 방식으로, Whisper 가 지원하는 90 개 이상의 언어에 적용 가능.
  • 세그먼트 생성: 앵커를 기반으로 최대 30 초 길이의 오디오/텍스트 쌍을 생성했습니다. Whisper 를 다시 적용하여 WER 을 계산하고, WER 40% 미만인 고품질 세그먼트만 선별하여 최종 2,806 시간의 데이터셋을 완성했습니다.

2.3. 모델 미세 조정 (Fine-Tuning)

• 모델: Whisper 시리즈 (Small, Medium, Turbo, Large-v3) 를 슬로바키아 의회 데이터로 미세 조정했습니다.
• 학습 전략:
  • Hugging Face Transformers 및 NVIDIA A10 GPU 사용.
  • Large-v3: 단일 GPU 메모리 부족으로 FSDP(Fully Sharded Data Parallel) 사용. 과적합 (Overfitting) 방지를 위해 학습률 조정 및 Weight Decay(0.01) 적용.
  • 일반: 최대 3 에포크 학습, 조기 종료 (Early Stopping) 적용.

3. 주요 기여 (Key Contributions)

1. SloPal 텍스트 말뭉치: 6 천만 단어 규모의 화자 세그먼트화된 슬로바키아 의회 텍스트 데이터로, 화자 메타데이터가 포함되어 정치 담론 분석 및 언어学研究에 활용 가능.
2. SloPalSpeech 오디오 데이터셋: 2,806 시간의 정렬된 오디오 - 텍스트 쌍으로, Whisper 모델 학습에 최적화된 30 초 세그먼트 구조를 가짐.
3. 미세 조정된 ASR 모델: 4 가지 크기의 Whisper 모델 (Small ~ Large-v3) 을 공개하며, 특히 Small 모델 (244M 파라미터) 이 Base Large-v3(1.5B 파라미터) 의 성능에 근접하도록 최적화했습니다.
4. 오픈 소스 릴리스: 텍스트, 오디오, 모델 모두 Hugging Face 에서 CC BY 4.0 및 MIT 라이선스로 공개.

4. 실험 결과 (Results)

• WER 감소: 미세 조정 후 슬로바키아어 벤치마크 (Common Voice 21, FLEURS) 에서 모든 모델의 WER 이 크게 감소했습니다.
  • Whisper Small: WER 감소율 65~70% (Base 36.1% → Tuned 10.6% on FLEURS).
  • Whisper Large-v3: WER 감소율 약 37% (Base 9.2% → Tuned 5.5% on FLEURS).
• 성능 비교:
  • 미세 조정된 Whisper Small(244M) 은 Base Whisper Large-v3(1.5B) 와 유사한 성능을 내면서 파라미터 수는 6 분의 1 수준으로 줄여 배포 효율성을 극대화했습니다.
  • NVIDIA Canary 및 Parakeet 모델과 비교 시, FLEURS 및 Common Voice 테스트셋에서 더 우수한 성능을 보였습니다 (단, NVIDIA 모델은 일부 테스트 데이터를 학습에 포함했음).
• 효율성: 약 2,800 시간의 도메인 특화 데이터가 작은 모델의 성능 향상에 가장 큰 영향을 미쳤으며, Large 모델에서도 추가적인 WER 감소 효과를 입증했습니다.

5. 의의 및 결론 (Significance)

• 슬로바키아어 ASR 의 혁신: 저자원 언어인 슬로바키아어의 ASR 성능을 획기적으로 개선하여, 실제 배포 가능한 수준의 모델을 제공했습니다.
• 다목적 자원: 텍스트 말뭉치는 NLP 및 정치 담론 분석에, 오디오 데이터셋은 ASR 학습에 각각 활용될 수 있는 이중 자원 (Dual-resource) 구조를 갖췄습니다.
• 확장 가능성: 제안된 '앵커 기반 정렬 파이프라인'은 슬로바키아어뿐만 아니라 다른 슬라브어군 및 의회 기록이 존재하는 저자원 언어에도 적용 가능하여, 글로벌 저자원 ASR 연구에 중요한 방법론적 기여를 했습니다.
• 한계 및 향후 과제: 미세 조정으로 인해 다른 언어에 대한 성능이 저하될 수 있으며 (단일 언어 특화), 모델의 환각 (Hallucination) 현상 및 특정 도메인 용어 치환 문제가 존재합니다. 향후 LoRA 등 파라미터 효율적 미세 조정 기법을 통해 다국어 능력을 유지하는 연구가 필요합니다.

이 논문은 SloPal을 통해 슬로바키아어 ASR 의 데이터 부족 문제를 해결하고, 공개된 고품질 데이터와 모델을 제공함으로써 해당 언어의 자연어 처리 및 음성 인식 연구의 새로운 기준을 제시했습니다.