BlasBench: An Open Benchmark for Irish Speech Recognition

1. 문제 정의 (Problem Statement)

• 아이리시어 (Irish) 음성 인식의 부재: 현재 아이리시어 (ga-IE) 전용 음성 인식 (ASR) 시스템은 성능이 매우 낮습니다. 상업용 시스템 (Microsoft Azure) 은 읽기 중심 데이터 (Common Voice) 에서 22.2% 의 단어 오류율 (WER) 을 기록했으며, 더 다양한 데이터 (FLEURS) 에서는 57.5% 로 떨어졌습니다.
• Whisper 모델의 실패: 평가된 모든 Whisper 변형 모델 (medium, large-v2, large-v3 등) 은 참조 문장보다 더 많은 토큰을 생성하여 두 데이터셋 모두에서 100% 를 초과하는 WER (최대 587.6%) 를 기록했습니다. 이는 모델이 입력과 무관한 영어를 생성하는 등 치명적인 실패를 보였음을 의미합니다.
• 비교 및 재현성 부족: 기존 연구들 (ABAIR 그룹의 Fotheidil 시스템, 커뮤니티 모델 등) 은 서로 다른 데이터셋 버전, 다른 정규화 (normalisation) 방식, 또는 비공개 데이터를 사용하여 결과를 보고했습니다. 이로 인해 공통된 아이리시어 인식 평가 프로토콜 하에서 다양한 아키텍처의 ASR 시스템을 비교하거나 신뢰할 수 있는 재현이 불가능했습니다.
• 언어적 특징의 소실: 아이리시어는 문법적 의미와 음소적 대비를 나타내는 **초성 변화 (lenition, eclipsis)**와 **모음에 대한 악센트 (fadas)**를 포함합니다. 기존 다국어 평가용 정규화 도구는 이러한 언어적 특징을 제거하여 오류율을 왜곡시킵니다.

2. 방법론 (Methodology)

저자들은 BlasBench라는 오픈 소스 평가 하니스 (evaluation harness) 를 개발하여 다음과 같은 프로세스를 도입했습니다.

• 평가 파이프라인 (Figure 1):
  1. 추론: 16kHz 오디오를 입력받아 모델이 원시 텍스트를 출력합니다.
  2. 아이리시어 인식 정규화 (Irish-aware Normalisation): 참조 문장과 모델 출력 모두에 적용합니다.
     • fadas 보존: 표준 NFKD 정규화가 악센트를 제거하는 것을 방지하기 위해 NFC 정규화를 우선 적용합니다.
     • 초성 변화 보존: 'bean' (여자) → 'bhean' (그의 아내), 'mbean' (여자들의) 과 같은 문법적 변화를 제거하지 않고 유지합니다.
     • 디지털/약어 확장: ABAIR 그룹의 비공개 도구를 대체할 수 있는 오픈 소스 정규화 모듈을 제공합니다.
  3. 점수 산정: 문장별 평균이 아닌 전체 집계 (Global Aggregation) 방식으로 WER 과 CER 을 계산하여 편향을 줄입니다.
  4. 신뢰 구간: 1,000 번의 부트스트랩 (bootstrap) 재샘플링을 통해 95% 신뢰 구간 (CI) 을 계산합니다.
• 데이터셋:
  • Common Voice ga-IE: 커뮤니티 녹음 읽기 음성 (874 문장).
  • FLEURS ga-IE: 전문 녹음 원어민 읽기 음성 (842 문장).
  • 두 데이터셋을 사용하여 분포 내 (in-distribution) 및 분포 외 (out-of-distribution) 일반화 성능을 동시에 평가합니다.
• 평가 대상 모델: 4 가지 아키텍처 계열의 12 개 시스템
  • Whisper 변형 (medium, large-v2, large-v3, turbo)
  • wav2vec2 CTC (커뮤니티 파인튜닝 모델)
  • Meta 다국어 모델 (MMS, omniASR LLM)
  • 상용 모델 (Microsoft Azure)

3. 주요 기여 (Key Contributions)

1. BlasBench 오픈 벤치마크: 아이리시어 ASR 시스템을 비교하기 위한 최초의 오픈 소스 평가 하니스 및 벤치마크를 공개했습니다.
2. 아이리시어 인식 정규화 도구: fadas, lenition, eclipsis 등 아이리시어 고유의 문법적/음운론적 특징을 보존하는 최초의 독립형 오픈 소스 정규화 모듈을 제공합니다.
3. 재현 가능한 평가 프레임워크: 모든 모델의 예측 결과, 집계 데이터, 메타데이터를 공개하여 향후 연구자들이 모델을 재학습하지 않고도 비교할 수 있게 했습니다.
4. 일반화 격차 발견: 단일 데이터셋 평가로는 보이지 않는 'Common Voice'와 'FLEURS' 간의 성능 격차를 정량화했습니다.

4. 결과 (Results)

• Whisper 모델의 치명적 실패: 모든 Whisper 변형 모델은 WER 이 100% 를 초과했습니다. 특히 large-v3-turbo는 FLEURS 에서 587.6% 의 WER 을 기록하며, 입력과 무관한 영어를 생성하는 현상이 발생했습니다.
• 최고 성능 모델:
  • 오픈 소스 모델 중 omniASR LLM 7B가 가장 좋은 성능을 보였습니다 (Common Voice: 30.65% WER, FLEURS: 39.09% WER).
  • 상용 모델인 Azure 는 Common Voice 에서 22.2%, FLEURS 에서 57.5% 를 기록했습니다.
  • ABAIR 의 폐쇄형 모델 (Fotheidil) 은 비공개 데이터에서 10.9% 를 기록했으나, 공개 데이터에서는 다른 정규화 방식 때문에 직접 비교는 어렵지만 여전히 높은 성능을 보입니다.
• 일반화 격차 (Generalisation Gap):
  • Common Voice 데이터로 파인튜닝된 모델 (예: wav2vec2 기반) 은 FLEURS 데이터에서 33~43 포인트의 WER 급감 (성능 저하) 을 겪었습니다.
  • 반면, 대규모 다국어 사전 학습을 거친 모델 (MMS, omniASR) 은 FLEURS 에서 7~10 포인트 정도의 감소만 보여 일반화 능력이 훨씬 뛰어남을 입증했습니다.
• 아키텍처별 비교: wav2vec2 기반 모델이 현재 유일하게 실용적인 성능을 보이는 계열이며, Transformer 기반의 Whisper는 아이리시어 처리에 완전히 실패했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 데이터의 중요성: 아이리시어 ASR 발전의 가장 큰 병목 현상은 레이블이 된 오디오 데이터의 부족임을 재확인했습니다.
• 평가 프로토콜의 필요성: 단일 데이터셋 (Common Voice) 만으로 평가하는 것은 배포 환경의 성능을 과장하여 예측할 수 있음을 보여주었습니다. BlasBench 는 최소 두 개의 데이터셋 (읽기 중심 및 다양한 녹음 환경) 을 통한 평가를 요구합니다.
• 연구 자동화: 결정론적이고 재현 가능한 점수 산정 방식은 향후 자동화된 연구 파이프라인 (예: Karpathy, 2026 에서 언급된 개념) 에 안정적인 평가 레이어로 활용될 수 있습니다.
• 저자원 언어 벤치마크의 확장: 우르두어와 스코틀랜드 게일어 벤치마크와 유사한 접근법을 아이리시어에 적용하여, 저자원 언어의 ASR 연구가 언어별 특수성을 고려한 정밀한 평가가 필요함을 강조합니다.

이 논문은 아이리시어 음성 인식 연구에 있어 공통된 기준, 재현 가능한 도구, 그리고 언어적 특성을 고려한 엄격한 평가의 필요성을 강력하게 주장하며, 해당 분야의 연구 방향을 설정하는 중요한 이정표가 됩니다.