Swiss Parliaments Corpus Re-Imagined (SPC_R): Enhanced Transcription with RAG-based Correction and Predicted BLEU

논문 요약: Swiss Parliaments Corpus Re-Imagined (SPC_R)

이 논문은 스위스 독일어 (Swiss German) 영역의 자동 음성 인식 (ASR) 시스템 개발을 위한 데이터 부족 문제를 해결하기 위해, 기존 스위스 의회 말뭉치 (SPC) 를 확장하고 고도화한 새로운 장문형 (long-form) 말뭉치 SPC_R을 소개합니다. 연구팀은 고화질 음성 - 텍스트 쌍을 생성하기 위해 고사양 Whisper 모델, RAG 기반의 LLM 수정, 그리고 데이터 기반 필터링을 결합한 파이프라인을 제안했습니다.

1. 문제 정의 (Problem)

• 데이터 부족: 스위스 독일어와 같은 저자원 (low-resource) 언어 영역에서는 고품질의 ASR 모델 개발을 위한 데이터가 부족합니다.
• 기존 데이터의 한계: 기존 SPC 말뭉치는 문장 단위 (sentence-level) 로 구성되어 있어, 실제 현장 (real-world) 상황에서의 장문형 대화 처리에 적합하지 않습니다. 또한, 자동 전사본과 공식 의회 기록 간의 정렬 과정에서 발생하는 오류 (특히 고유명사) 를 완전히 해결하지 못했습니다.
• 상업적 활용 제한: 일부 기존 데이터셋은 상업적 사용이 제한되어 있어, 범용적인 모델 학습에 제약이 있었습니다.

2. 방법론 (Methodology)

연구팀은 801 시간 분량의 베른주 의회 (Grosser Rat Kanton Bern) 장문형 회의 녹음 데이터를 기반으로 다음과 같은 3 단계 파이프라인을 구축했습니다.

가. 고품질 전사 (High-Compute Whisper Transcription)

• 모델: Whisper Large-v3 모델을 사용했습니다.
• 설정: 고사양 컴퓨팅 설정 (beam_size=10, best_of=10, log_prob_threshold=-2) 을 적용하여 전사 정확도를 극대화했습니다.
• 신뢰도 지표 활용: Whisper 가 출력하는 평균 로그 확률 (avg_log_prob) 을 기반으로 전사 품질을 예측하는 예측 BLEU 점수 (Predicted BLEU) 를 도입했습니다. 분석 결과, Whisper 의 신뢰도 점수와 실제 BLEU 점수 간에 강한 선형 관계가 있음이 확인되었습니다.

나. RAG 기반 LLM 수정 (RAG-based LLM Correction)

• 2 단계 GPT-4o 프로세스:
  1. 수정 단계 (Correction): Whisper 의 초기 전사본과 공식 의회 회의록 (Official Protocols) 을 결합합니다. RAG (Retrieval-Augmented Generation) 기술을 사용하여 해당 오디오 세그먼트와 관련된 공식 회의록 요약 내용을 검색 (Faiss 사용) 하여 GPT-4o 에 컨텍스트로 제공합니다. 이를 통해 고유명사 (인명, 지명, 정당명 등) 와 문법적 오류를 정밀하게 수정합니다.
  2. 평가 단계 (Evaluation): 수정된 텍스트의 품질을 GPT-4o-mini 를 '심판 (Judge)'으로 활용하여 평가합니다.
     • 평가 기준: 0(관련 없음) ~ 3(완벽한 정확도) 의 4 단계로 분류하며, 최종 데이터 선정을 위해 '0'과 '1', '2'와 '3'을 각각 병합하여 2 단계 (Key term error 유무) 로 재분류했습니다.

다. 데이터 필터링 및 분할 (Filtering & Split)

• 필터링 기준: 예측 BLEU 점수 65 이상 (전체 데이터의 상위 품질) 과 GPT-4o 평가 점수 (Category 3 또는 병합된 2 이상) 를 동시에 만족하는 세그먼트만 선별합니다.
• 데이터 분할: 최종적으로 525 시간 (학습용) 과 30 시간 (테스트용, BLEU 70 이상 및 Category 3 만 포함) 으로 분할하여 총 555 시간의 고품질 코퍼스를 구성했습니다.

3. 주요 기여 (Key Contributions)

1. 장문형 고품질 말뭉치 출시: 801 시간의 원본 오디오 중 555 시간의 고품질 스위스 독일어 음성 - 표준 독일어 텍스트 쌍을 포함한 SPC_R 코퍼스를 공개했습니다.
2. 예측 BLEU 점수 도입: Ground Truth(수동 전사본) 없이 Whisper 의 로그 확률만으로도 전사 품질 (BLEU 점수) 을 선형 회귀를 통해 예측할 수 있는 방법을 제시했습니다.
3. RAG 기반 2 단계 LLM 수정: Whisper 의 전사 오류, 특히 고유명사 오류를 RAG 를 통해 컨텍스트를 제공하여 GPT-4o 가 수정하고, 독립적인 LLM 이 이를 평가하는 정교한 파이프라인을 제안했습니다.
4. 오픈 소스화: 데이터셋 (Hugging Face) 과 전체 코드 (GitHub, 프롬프트 포함) 를 CC BY 4.0 라이선스로 공개했습니다.

4. 실험 결과 (Results)

• 오류율 감소:
  • WER (단어 오류율): 고사양 Whisper 설정만 적용 시 15.7% 에서 GPT-4o 수정을 거친 후 11.1% 로 감소했습니다.
  • 고유명사 정확도: Whisper 초기 전사의 고유명사 정확도가 72.2% (52/72) 였으나, GPT-4o 수정 후 100% (72/72) 로 완벽하게 개선되었습니다.
• 성능 향상: 기존 문장 단위 SPC 코퍼스에 비해 제안된 장문형 데이터셋은 BLEU 점수가 6 포인트 향상된 것으로 나타났습니다.
• 품질 예측 정확도: Whisper 의 신뢰도 점수를 기반으로 한 예측 BLEU 는 실제 전사 품질을 판단하는 강력한 지표로 작용했습니다.

5. 의의 및 결론 (Significance)

• 저자원 언어 ASR 발전: 스위스 독일어와 같은 저자원 언어에서 고품질 데이터 부족을 해결하고, ASR 모델의 성능을 획기적으로 개선할 수 있는 기반을 마련했습니다.
• 실용적 접근: 단순한 전사가 아닌, RAG 와 LLM 을 활용한 '수정 - 평가' 프로세스를 통해 실제 의회 기록과 같은 전문 도메인의 텍스트 정합성을 높였습니다.
• 향후 연구 방향: 이 코퍼스를 통해 훈련된 모델은 실제 회의록 생성, 실시간 자막, 그리고 다양한 스위스 독일어 방언 처리에 활용될 수 있으며, 향후 더 다양한 데이터 소스와 평가 지표 (Paraboth 등) 를 도입할 여지가 있습니다.

이 논문은 ASR 분야에서 **강력한 음성 인식 모델 (Whisper)**과 지식 기반의 LLM 수정 (RAG + GPT-4o), 그리고 데이터 기반 필터링을 결합함으로써, 저자원 언어를 위한 고품질 데이터셋 구축의 새로운 표준을 제시했다는 점에서 의의가 큽니다.