KVoiceBench, KOpenAudioBench, and KMMAU: Agent-Driven Korean Speech Benchmarks for Evaluating SpeechLMs

기술 요약: KVoiceBench, KOpenAudioBench, KMMAU

문제 제기
음성 언어 모델 (SpeechLMs) 은 대규모 언어 모델 (LLMs) 을 음성 모달리티로 확장함으로써 크게 발전해 왔으나, 그 평가는 여전히 영어에 치우쳐 있습니다. 기존 다국어 리소스 (예: SD-QA, FLEURS) 는 방언 기반 질문 응답 (QA) 과 자동 음성 인식 (ASR) 의 커버리지를 개선하지만, 현대적인 SpokenQA 벤치마크를 확장하거나 목표 언어 음성 이해 벤치마크를 구축하기 위한 확장 가능한 프레임워크는 부족합니다.

전사본 번역, 텍스트 정규화, TTS 를 통한 음성 합성 등의 직접 확장 전략은 다음과 같은 치명적인 인공물을 도입합니다:

1. 지시문 왜곡: 영어의 대소문자 구분과 같은 언어별 제약 조건은 한글과 같은 대소문자 구분이 없는 언어로 의미 있게 번역되지 않는 경우가 많습니다.
2. 정규화 오류: 숫자, 날짜, 약어 등을 처리하여 텍스트를 음성 친화적인 형태로 변환하는 과정은 오류가 발생하기 쉽습니다. SpokenQA 에서 사소한 정규화 오류조차 질문의 답변 가능성을 변경할 수 있습니다.
3. 초언어적 특성 손실: 소스 언어 음성을 확장하는 방식은 목표 언어 화자의 속성, 억양, 초언어적 특성을 보존하지 못하며, 이는 음성 이해 작업에 필수적입니다.

방법론
저자들은 단순한 확장의 한계를 극복하기 위해 고품질 한국어 음성 벤치마크를 구축하기 위한 두 가지 인간 - 에이전트 협업 프레임워크를 제안합니다.

1. SpokenQA 벤치마크 확장 프레임워크 (KVoiceBench 및 KOpenAudioBench)
이 프레임워크는 VoiceBench 와 OpenAudioBench 와 같은 영어 SpokenQA 벤치마크를 네 단계 과정을 통해 한국어로 확장합니다:

• Ground-Truth 수정: 두 명의 최첨단 LLM 에이전트 (검토자 및 메타 검토자) 가 객관식 및 단답형과 같은 결정론적 소스 샘플을 감사하여 번역 전에 오류가 있는 주석 (예: 시효가 지난 사실적 답변이나 지나치게 제한적인 답변 집합) 을 식별하고 수정합니다.
• 하이퍼번역 (Hypertranslation): 인간이 작성한 규칙서에 guided 된 LLM 에이전트가 소스 샘플을 한국어로 변환하는 핵심 구성 요소입니다. 이 규칙서는 문법적, 철자적, 그리고 문자 체계별 특성을 명시적으로 인코딩합니다. 이는 다음을 구분합니다:
  • 직접 적응: 표면 형태 (예: 옵션 레이블, 고유명사) 를 현지화합니다.
  • 언어별 재설계: 영어 특정 기능에 의존하는 작업을 대체하거나 제거합니다 (예: 영어 형용사 순서 과제를 한국어 조사/활용 판단 과제로 변환).
• 음성 친화적 정규화: 별도의 규칙서가 하이퍼번역된 텍스트를 TTS 에 적합한 음성 친화적 형태로 변환하도록 안내합니다. 이는 숫자, 단위, 기호, 혼합 언어 표현의 문맥 의존적 읽기를 처리하여 합성된 음성이 의도된 질문 의미와 일치하도록 보장합니다.
• TTS 합성: 정규화된 텍스트는 한국어 참조 음성에 조건부인 Qwen3-TTS 를 사용하여 합성됩니다. 정규화된 입력 대비 단어 오류율 (WER) 임계값을 초과하는 샘플은 재합성됩니다.

2. 음성 이해 벤치마크 구축 프레임워크 (KMMAU)
소스 음성을 확장하는 대신, 이 프레임워크는 오디오, 전사본, 화자 메타데이터를 사용하여 자연 발생 한국어 ASR 말뭉치 (KSS, KMSAV, Seoul Corpus) 로부터 벤치마크를 구축합니다. 구축 방법은 테스트하는 능력에 따라 선택됩니다:

• 메타데이터 기반 규칙: 제공된 메타데이터를 사용하여 화자 속성 (나이, 성별, 화자 수) 에 대한 질문을 생성합니다.
• 전사본 기반 규칙: 전사본 분석을 기반으로 어휘 질문 (단어 순서, 단어 빈도) 을 생성합니다.
• LLM 생성 및 인간 검토: 사실 추출 및 주제 요약에 대한 질문을 생성하며, 자연스러움과 답변 가능성을 보장하기 위해 인간이 검증합니다.
• 완전 수동: 대화 구조나 비어휘적 증거를 청취해야 하는 전체적 능력 (일반적인 세기, 역할/직업) 에 사용됩니다.

주요 기여

1. 프레임워크: SpokenQA 벤치마크 확장 및 목표 언어 음성 이해 벤치마크 구축을 위한 재현 가능한 인간 - 에이전트 협업 프레임워크 제안.
2. 데이터셋: 12,345 개의 샘플로 구성된 세 가지 한국어 벤치마크 구축 및 공개 배포:
   • KVoiceBench: VoiceBench 에서 파생된 7,306 개 샘플.
   • KOpenAudioBench: OpenAudioBench 에서 파생된 2,835 개 샘플.
   • KMMAU: 한국어 ASR 말뭉치에서 구축된 2,204 개 샘플.
   • 참고: 구축 과정에는 방법론을 감사 가능하게 만들고 다른 목표 언어에 재사용 가능하게 하는 "규칙서"가 포함됩니다.
3. 평가: 영어 및 한국어 SpokenQA 및 음성 이해 작업에 대한 8 개의 최신 SpeechLM 에 대한 포괄적 평가.

결과
Raon-Speech, Qwen2.5-Omni, MiniCPM-o 4.5 등을 포함한 8 개의 SpeechLM 평가 결과는 다음과 같습니다:

• 성능 격차: 영어에서 한국어 SpokenQA 로의 성능 저하는 상당하지만, 그 악화는 균일하지 않습니다. 예를 들어, Raon-Speech 는 한국어 벤치마크에서 가장 높은 성능을 유지하는 반면, 다른 모델들은 상당한 저하를 보입니다.
• 작업 민감도: 추론 작업 (예: BBH) 은 상대적으로 견고한 반면, 지식 집약적 및 구조화된 작업은 더 큰 저하를 겪습니다. 안전 행동 또한 다양합니다. 일부 모델은 영어에 비해 한국어에서 거부율이 급격히 감소합니다.
• 이질적인 순위: 음성 이해 순위는 SpokenQA 순위와 다릅니다. 예를 들어, 한국어 SpokenQA 에서 2 위를 한 모델은 음성 이해에서 3 위를 할 수 있는 반면, SpokenQA 성능이 약한 다른 모델은 음성 이해에서 2 위를 할 수 있습니다.
• 능력별 특성: KMMAU 에서 모델들은 다양한 강점을 보입니다: 일부는 단어 순서 감지에 뛰어나고, 다른 일부는 문맥적 사실 추출에 뛰어나지만, 화자 수 감지는 모든 모델에게 어렵습니다 (≤36% 정확도).

의의
이 논문은 영어 전용 평가가 SpeechLM 의 보완적 약점을 드러내지 못한다고 주장합니다. 이러한 한국어 벤치마크를 도입함으로써 저자들은 다음과 같은 점을 입증합니다:

1. 목표 언어 질문 응답과 자연 기반 음성 이해는 서로 다른 능력을 탐구합니다.
2. 영어와 한국어 간의 성능 격차는 모델 및 작업 계열에 따라 크게 달라지며, 모델의 견고성은 작업에 의존적이지 않고 단일하지 않음을 시사합니다.
3. 제안된 인간 - 에이전트 프레임워크는 단순 번역을 넘어 언어별 유효성 문제를 해결하기 위해 음성 벤치마크를 추가 언어로 확장하는 재현 가능한 방법론을 제공합니다.

저자들은 합성 음성을 SpokenQA 에 사용했다는 점 (자연스러운 인간 변이성이 부족함) 과 KMMAU 가 영어 벤치마크의 직접적인 번역 쌍이 아니라는 점을 한계로 지적하며, 이는 벤치마크 간 비교가 통제된 언어 쌍 격차보다는 참조에 가깝다고 언급합니다.