💬 NLP

PolySpeech-100: A Large-Scale Benchmark for Speech Understanding Across 100+ Languages and Dialects

이 논문은 다양한 언어와 방언에 걸친 음성 이해를 평가하기 위해 110개의 언어적 변체를 다루는 대규모 벤치마크인 PolySpeech-100을 소개하며, 오픈 소스 엔드투엔드 모델이 강한 방언에서도 준언어적 단서를 보존하는 데 탁월하다는 점을 밝히는 동시에 저자원 언어에서의 상당한 성능 격차와 음성 이해에 대한 생각의 사슬(Chain-of-Thought) 프롬프팅의 역설적인 부정적 영향을 강조한다.

원저자: Sicheng Yang, Shulan Ruan, Shiwei Wu, Yu Liu, Lu Fan, Zhi Li, You He

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sicheng Yang, Shulan Ruan, Shiwei Wu, Yu Liu, Lu Fan, Zhi Li, You He

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: AI의 "귀"를 테스트하다

당신이 로봇에게 인간의 말을 이해하도록 가르치고 있다고 상상해 보세요. 오랫동안 우리는 로봇이 영어 나 표준 중국어를 명확하게 들을 수 있는지만을 테스트해 왔습니다. 하지만 현실 세계는 복잡합니다. 사람들은 강한 억양을 사용하고, 지역 슬랭을 쓰며, 교과서적인 언어와는 전혀 다르게 들리는 방언으로 말합니다.

이 논문의 저자들은 PolySpeech-100이라는 거대한 테스트 환경을 구축했습니다. 이것은 자동차 대신 AI가 110개의 서로 다른 언어와 방언(19개의 중국어 방언인 광둥어, 사천어, 상하이 방언 등을 포함)으로 말하는 것을 들어야 하는 "글로벌 운전 면허 시험"이라고 생각하면 됩니다.

문제점: "번역가"라는 병목 현상

이 논문 이전의 대부분의 AI 시스템은 다음과 같은 2단계 과정을 거쳤습니다:

1단계: 로봇이 목소리를 듣고 이를 텍스트로 받아 적습니다(마치 속기사처럼).
2단계: 똑똑한 두뇌(대규모 언어 모델)가 그 텍스트를 읽고 질문에 답합니다.

이 논문은 1단계가 약한 고리라고 주장합니다. 로봇에게 강한 방언을 먼저 텍스트로 변환하도록 강요하면, 말의 "풍미"—즉, 의미를 전달하는 데 결정적인 역할을 하는 어조, 강조, 독특한 소리들을 놓치기 쉽습니다. 이는 농담을 번역된 글을 통해 이해하려는 것과 같습니다. 단어는 이해할 수 있을지 몰라도, 농담의 핵심(punchline)은 놓치게 됩니다.

해결책: "원어민" 테스트

연구진은 단순히 "이것을 읽을 수 있는가?"라고 묻는 것이 아니라, "이것을 이해할 수 있는가?"라고 묻는 벤치마크를 만들었습니다.

이 테스트를 구축하기 위해 그들은 거대한 문제인 데이터 부족에 직면했습니다. 희귀한 방언의 경우 원어민의 녹음 데이터가 거의 없습니다.

창의적인 해결책: 그들은 "하이브리드" 접근 방식을 사용했습니다. 흔한 언어의 경우 실제 인간의 녹음(골드 스탠다드)을 사용했습니다. 희귀한 방언의 경우, 고급 AI를 사용하여 원어민처럼 들리는 음성을 *합성(생성)*해 냈습니다.
안전 점검: 그들은 합성된 음성이 충분히 좋은지 확인하기 위해 실제 사람들이 직접 들어보게 함으로써 이를 증명했습니다. AI가 가짜 음성에서 보여준 성능은 실제 음성에서의 성능과 거의 완벽하게 일치했습니다(상관관계 0.83). 이는 인간의 녹음이 존재하지 않는 언어에서도 이 테스트가 공정하다는 것을 의미합니다.

결과: 그들이 발견한 것들

그들은 22개의 서로 다른 AI 모델(오픈 소스 및 유료/상용 모델 모두 포함)을 이 거대한 테스트로 시험했습니다. 여기 세 가지 큰 발견이 있습니다:

1. 방언에서는 "직접 듣는 모델"이 승리한다

발견: 강한 방언(예: 두꺼운 사천어)의 경우, 엔드 투 엔드(End-to-End, E2E) 모델(직접 듣고 바로 답하는 모델)이 캐스케이드(Cascaded) 모델(듣고, 텍스트로 쓰고, 그 다음 답하는 모델)보다 더 뛰어난 성적을 거두었습니다.
비유: 노래를 이해하려고 노력한다고 상상해 보세요.

캐스케이드 모델은 모든 음표를 먼저 악보에 적으려고 노력합니다. 만약 가수가 독특한 스타일을 가지고 있다면, 악보는 틀리게 보일 것이고 모델은 혼란에 빠집니다.
엔드 투 엔드 모델은 그냥 멜로디를 듣고 리듬을 느낍니다. 그것은 악보(텍스트)가 버려버렸을 "분위기"와 독특한 소리들을 포착합니다.
결과: 직접 듣는 방식의 오픈 소스 모델들이 전통적인 텍스트 기반 시스템보다 방언에 대해 실제로 더 잘 수행했습니다.

2. "부유한 모델 vs 가난한 모델"의 격차

발견: 상용 모델(Google의 Gemini 등)은 매우 견고하여 희귀한 언어(줄루어나 라오어 등)도 흔한 언어만큼이나 잘 처리합니다. 그러나 오픈 소스 모델은 이러한 희귀 언어에서 급격히 무너집나다.
비유: 상용 모델을 전 세계를 여행하며 온갖 억양을 들어본 **만능 폴리글랏(다국어 능력자)**이라고 생각하세요. 오픈 소스 모델은 자기 고향 도시(흔한 언어)에는 뛰어나지만, 외국 마을(저자원 언어)에 발을 들이는 순간 길을 잃는 지역 전문가와 같습니다.

3. "생각하며 말하기"의 함정

발견: 텍스트 기반 AI에서는 모델에게 "단계별로 생각하기(Chain-of-Thought)"를 요청하면 보통 더 똑똑해집니다. 하지만 이 음성 모델들의 경우, "생각하며 말하기"를 요청하면 오히려 더 멍청해지는 경우가 많았습니다.
비유: 시끄러운 방 안에서 복잡한 이야기를 듣고 있다고 상상해 보세요.

그냥 듣고 정답을 고르면 잘 해냅니다.
하지만 이야기를 요약하고, 자신의 논리를 설명한 뒤, 그 다음에 정답을 고르려고 멈춰 서서 말하려고 하면, 주의가 분산됩니다. 자신의 글쓰기에 너무 집중하느라 오디오의 흐름을 놓치게 됩니다.
결과: 대부분의 음성 모델에게 "생각하며 말하기"는 오디오와의 연결을 끊어버려, 환각(hallucination)을 일으키거나 잘못된 추측을 하게 만들었습니다.

결론

이 논문은 완벽한 억양을 가진 사람들뿐만 아니라 모든 사람을 이해하는 진정으로 포용적인 AI를 구축하려면, "먼저 받아 적고 나중에 이해하는" 방식에 의존하는 것을 멈춰야 한다고 결론짓습니다. 우리는 음성의 음향적 "풍미"를 직접 들을 수 있는 모델이 필요합니다.

또한, 음성 AI에 단순히 "추론 단계"를 추가하는 것만으로는 부족하다고 경고합니다. 기술은 듣고 난 후가 아니라, 들으면서 동시에 추론하는 법을 배워야 합니다.

찾아보기: 데이터, 코드, 그리고 직접 이 방언들을 들어볼 수 있는 데모는 그들의 GitHub 페이지에서 확인할 수 있습니다.

기술 요약: PolySpeech-100

문제 정의

엔드투엔드(End-to-End, E2E) 음성-대규모 언어 모델(Speech-LLM)의 급격한 진화는 견고한 평가 방법론의 발전을 앞질렀습니다. 기존 벤치마크는 세 가지 결정적인 한계를 가지고 있습니다:

자원 편향성: 고자원 언어(주로 영어와 표준 중국어)에 과도하게 치우쳐 있어, 전 세계 대다수의 언어를 소외시키고 있습니다.
태스크 제한: 단순한 저수준 인식(자동 음성 인식, ASR)이나 간단한 지시 이행에 집중할 뿐, 복잡한 의미론적 추론 및 콘텐츠 이해 능력은 다루지 못합니다.
방언 소홀: 언어를 단일한 덩어리로 취급하여, 실제 배포 시 큰 도전 과제가 되는 지역 방언(예: 광둥어, 사천어, 마그레브 아랍어)을 간과합니다.

결과적으로, Speech-LLM이 단순히 표준 방송용 음성에 과적합된 것인지, 아니면 진정한 "원어민 수준"의 청취 능력을 갖추었는지 평가할 엄격한 기준이 부족한 실정입니다.

방법론

저자들은 19개의 독특한 중국 지역 방언과 80개 이상의 저자원 언어를 포함하여 110개의 언어 변체를 다루는 대규모 벤치마크인 PolySpeech-100을 소개합니다. 이 벤치마크는 데이터 부족 문제를 해결하기 위해 설계된 하이브리드 데이터 구축 파이프라인을 기반으로 구축되었습니다:

데이터 토대: 텍스트 백본은 Belebele 데이터셋에서 유래되었으며, 이는 122개 언어에 걸쳐 병렬 독해 지문과 다지선다형 질문(MCQ)을 제공하여 교차 언어적 비교 가능성을 보장합니다.
하이브리드 오디오 구축:
- 트랙 1 (고자원): 2M-BELEBEL 코퍼스를 활용하여 73개 핵심 언어에 대한 전문 녹음 인간 음성을 제공합니다.
- 트랙 2 (방언 적응): '재작성 후 합성(Rewrite-then-Synthesize)' 전략을 사용하여 "롱테일 방언 격차"를 해결합니다. LLM(Qwen3-Instruct)이 표준 텍스트를 방언 구어로 재작성(어휘 적응)하면, CosyVoice 3.0을 통해 특정 음운론적 특성(예: 성조 변화, 권설음)을 주입하는 지시어 인지 프롬프트를 사용하여 합성합니다. 이는 19개 중국 방언을 대상으로 합니다.
- 트랙 3 (롱테일 언어): 인간 녹음이 부족한 언어를 위해, Edge-TTS를 통한 고충실도 신경 텍스트-음성 변환(Neural TTS)을 사용합니다. 이 트랙은 과적합을 방지하기 위해 화자 다양성(남성/여성)을 강제합니다.
품질 보증: 3단계 검증 프로토콜을 통해 신뢰성을 확보합니다:
- 물리적 무결성: 파일 손상 및 길이에 대한 자동 점검.
- 의미론적 일관성: 합성된 오디오를 다시 텍스트로 전사하는 ASR 루프(Qwen3-ASR, Whisper 등의 도구 사용)를 통해 단어/문자 오류율(WER/CER)을 계산하고 환각 현상을 필터링합니다.
- 인간 참여형(Human-in-the-Loop): 원어민이 운율과 어휘 사용을 검증합니다. 본 연구는 합성 방언 데이터에서의 모델 성능과 실제 인간 녹음 간의 강력한 상관관계( $r=0.83$ )를 보고하며, 합성 데이터가 신뢰할 수 있는 대리물임을 입증했습니다.

주요 기여

규모 및 다양성: PolySpeech-100은 현재까지 가장 언어적으로 다양한 음성 이해 벤치마크로, 저평가된 방언과 저자원 언어에 초점을 맞추어 110개의 변체를 다룹니다.
하이브리드 구축 파이프라인: 본 논문은 골드 스탠다드인 인간 녹음에 지시어 기반 합성 음성을 결합하여, 평가의 엄격함을 해치지 않으면서 방언의 데이터 부족 문제를 효과적으로 메우는 검증된 방법론을 제안합니다.
포괄적 평가: Gemini-3, GPT-Audio와 같은 독점 API, Qwen2.5-Omni, Fun-Audio-Chat, MiMo-Audio와 같은 오픈 소스 E2E 모델, 그리고 전통적인 캐스케이드(Cascade) 시스템(ASR + LLM)을 포함한 22개의 최첨단 모델을 평가합니다.

실험 결과

22개 모델에 대한 평가를 통해 몇 가지 핵심적인 통찰을 얻었습니다:

방언에 대한 E2E vs. 캐스케이드: 헤비 방언(heavy dialects)의 경우, 오픈 소스 E2E 모델이 전통적인 ASR 파이프라인을 크게 압도합니다. 예를 들어, Qwen2.5-Omni는 중국 방언에서 78.61%의 정확도를 기록하여 Whisper-v3 + Qwen2.5 파이프라인(62.62%)을 능가했습니다. 이는 직접적인 오디오 처리가 텍스트 전사 과정에서 손실되기 쉬운 중요한 준언어적 단서(억양, 강세)를 보존하여, 방언의 의미론적 모호성을 해소하는 데 필수적임을 시사합니다.
저자원 언어 성능 격차: Gemini-3-flash와 같은 상용 모델은 저자원 언어에서도 견고함(84.61% 정확도)을 유지하는 반면, 오픈 소스 모델은 치명적인 성능 저하(예: ~30-40%로 하락)를 겪습니다. 이는 오픈 소스 커뮤니티가 직면한 중요한 전선임을 보여줍니다.
연쇄 사고(Chain-of-Thought, CoT) 저하: 역설적이게도, 제로샷 설정에서 표준 CoT 프롬프팅을 적용하면 대부분의 Speech-LLM 성능이 저하됩니다. Qwen2.5-Omni와 Fun-Audio-Chat 같은 모델은 추론 단계를 생성하도록 강제될 때 고자원 언어에서 약 10%의 성능 하락을 보였습니다. 이는 중간 텍스트 생성이 모델을 음향적 단서로부터 분리시켜 추론 환각을 유발하는 **모달리티 정렬 격차(modality alignment gap)**가 존재함을 나타냅니다.
강건성: 모델들은 일반적으로 환경 소음보다 속도 변화를 더 잘 처리합니다. 그러나 높은 소음 수준(0-5dB SNR)은 특히 저자원 언어에 대한 오픈 소스 모델의 성능을 크게 떨어뜨립니다.

의의

PolySpeech-100은 차세대 포용적이고 옴니-역량(omni-capable)을 갖춘 Speech-LLM을 위한 엄격한 표준을 확립합니다. 본 논문은 진정으로 포용적인 음성 이해를 달키기 위해서는 분야가 "전사 후 읽기(transcribe-then-read)" 패러다임에서 **네이티브 음향 추론(native acoustic reasoning)**으로 전환해야 한다고 주장합니다. 연구 결과는 현재의 아키텍처가 중간 텍스트 추론을 생성하도록 강제될 때 모달리티 정렬에 어려움을 겪는다는 것을 보여주며, 이는 오디오 표현을 복잡한 추론 경로와 명시적으로 정렬하는 훈련 커리큘럼이 필요함을 시사합니다. PolySpeech-100은 종합적인 데이터셋과 평가 프레임워크를 제공함으로써, 표준 언어부터 지역 방언, 저자원 언어에 이르기까지 인간의 모든 언어적 다양성을 다룰 수 있는 모델로 커뮤니티를 안내하는 것을 목표로 합니다.