🤖 AI

MERaLiON-GR: Speech Gender Recognition Model for English and SEA Languages

본 논문은 MERaLiON-SpeechEncoder-2의 LoRA 미세 조정과 다중 스케일 ECAPA-TDNN 분류기를 활용하여 영어 및 여러 동남아시아 언어에서 남성과 여성 화자를 식별하는 데 있어 최첨단 성능을 달성한 음성 성별 인식 모델인 MERaLiON-GR을 소개한다.

원저자: Qiongqiong Wang, Ai Ti Aw, Nancy F. Chen, Ying Lay Chiu, Yang Ding, Yingxu He, Ridong Jiang, Zhuohan Liu, Yanfeng Lu, Yi Ma, Muhammad Huzaifah, Nabilah Binte Md Johan, Nattadaporn Lertcheva, Pham Minh

게시일 2026-08-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qiongqiong Wang, Ai Ti Aw, Nancy F. Chen, Ying Lay Chiu, Yang Ding, Yingxu He, Ridong Jiang, Zhuohan Liu, Yanfeng Lu, Yi Ma, Muhammad Huzaifah, Nabilah Binte Md Johan, Nattadaporn Lertcheva, Pham Minh Duc, Sailor Hardik Bhupendra, Siti Umairah Binte Mohammad Salleh, Shuo Sun, Tarun Kumar Vangani, Jeremy H. M. Wong, Jinyang Wu, Longyin Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 북적이고 시끄러운 파티장에 있다고 상상해 보세요. 사람들은 서로 다른 언어로 말하고, 웃고, 소리치고, 속삭이며 동시에 떠들고 있습니다. 눈을 감더라도, 당신은 목소리만 듣고도 그 사람이 남성인지 여성인지 알아차릴 수 있는 경우가 많습니다. 당신의 뇌는 피치(음높이), 질감, 리듬과 같은 단서들을 자동으로 조합하여 이 일을 수행합니다. 하지만 컴퓨터에게 이와 똑같은 일을 가르치는 것은 마치 허리케인 속에서 친구의 목소리를 인식하도록 로봇을 가르치는 것과 같습니다. 이 과학 분야를 **음성 성별 인식(speech gender recognition)**이라고 부릅니다. 이것은 인공지능의 한 분야로, 시각 정보 없이 오직 목소리만 듣고 화자가 남성인지 여성인지 파악하려고 노력하는 기술입니다.

컴퓨터가 이를 어떻게 학습하는지 이해하기 위해, 두 가지 서로 다른 도구를 생각해 봅시다. 첫 번째 도구는 특화된 탐정과 같습니다. 이 도구는 목소리의 단서를 듣도록 특별히 훈련되었습니다. 이 탐정은 사람이 무엇을 말하는지는 무시하고, 오로지 어떻게 말하는지에만 집중합니다. 두 번째 도구는 일반 지식 백과사전과 같습니다. 이것은 거의 모든 것을 읽고 세상에 대한 질문에 답할 수 있는 거대한 AI이지만, 특정 음성 탐정이 되도록 특별히 훈련되지는 않았습니다. 오랫동안 과학자들은 "우리가 특화된 탐정이 필요한가, 아니면 백과사전이 스스로 알아낼 만큼 충분히 똑똑한가?"라는 의문을 가져왔습니다. 이것이 이 논문의 연구자들이 답하고자 했던 핵심 질문입니다. 그들은 영어뿐만 아니라 동남아시아 전역에서 사용되는 다양한 언어에서도 작동하는 음성 탐정을 만들고 싶어 했으며, 그것이 현재 사용 가능한 최고의 도구들을 이길 수 있는지 확인하고 싶어 했습니다.

새로운 음성 탐정: MERaLiON-GR

이 논문의 저자인 MERaLiON 팀은 MERaLiON-GR이라는 새로운 음성 탐정을 만들었습니다. 이 모델을 영어와 중국어, 말레이어, 타밀어, 태국어, 베트남어, 인도네시아어, 크메르어를 포함한 8개의 다양한 동남아시아 언어의 방대한 목소리 라이브러리로 훈련된 초스마트 로봇 귀라고 생각하면 됩니다.

작동 방식 (레시피)
로봇의 뇌가 세 개의 층으로 구성되어 있다고 상상해 보세요:

거대한 뇌 (백본, The Backbone): 핵심에는 이미 사전 훈련된 거대한 뇌인 MERaLiON-SpeechEncoder-2가 있습니다. 이 뇌는 이미 수백만 시간의 음성을 들어보았고 소리가 어떻게 작동하는지 알고 있습니다. 하지만 연구진은 이 거대한 뇌 전체를 처음부터 다시 훈련시키고 싶지는 않았습니다. 그것은 마치 "목소리 성별"에 관한 새로운 장을 추가하기 위해 백과사전 전체를 다시 쓰는 것과 같기 때문입니다. 그러한 작업은 너무 많은 에너지와 시간이 소 소요됩니다.
스마트 어댑터 (LoRA): 거대한 뇌 전체를 다시 쓰는 대신, 그들은 LoRA(Low-Rank Adaptation)라고 불리는 영리한 기술을 사용했습니다. 거대한 뇌가 아주 무거운 도서관이라면, LoRA는 선반에 붙이는 작고 가벼운 포스트잇과 같습니다. 이 포스트了들은 도서관이 기존의 지식을 남성과 여성의 목소리를 구별하는 작업에 맞게 어떻게 재배열해야 하는지 알려줍니다. 이는 효율적이고 빠르며, 도서관의 다른 지식을 망가뜨리지 않습니다.
최종 판사 (ECAPA-TDNN): 뇌는 그 후 자신의 발견을 ECAPA-TDNN이라는 전문 판사에게 전달합니다. 이 판사는 뇌의 여러 층에서 오는 단서들을 살펴보고 이를 결합하여, "남성" 또는 "여성"이라는 최종 결정을 내립니다.

대규모 테스트
연구진은 자신들의 새로운 탐정을 두 명의 경쟁자와 대결시켰습니다:

Vox-Profile: 현재 음성 성별 인식 분야의 챔피언입니다.
MERaLiON-v2: 대화하고 들을 수는 있지만 전문적인 음성 탐사는 아닌 일반 목적의 "백과사전" AI(Audio-LLM)입니다.

그들은 스튜디오의 깨끗한 녹음부터 시끄러운 거리의 소음, 짧은 2초짜리 클립, 그리고 긴 대화에 이르기까지 매우 다양한 목소리를 대상으로 테스트를 진행했습니다. 언어는 표준 영어부터 싱글리시(Singlish) 및 다양한 동남아시아 방언이 섞인 독특한 형태까지 다양했습니다.

결과: 특화된 모델의 승리
결과는 명확했습니다. 특화된 탐정인 MERaLiON-GR이 거의 모든 카테고리에서 경쟁자들을 압도했습니다.

챔피언을 꺾다: 15개의 서로 다른 테스트 세트 중 12개에서 MERaLiON-GR은 현재의 챔피언인 Vox-Profile보다 더 높은 정확도를 보였습니다. 타밀어와 태국어 노년층 목소리와 같은 일부 사례에서는 **100.00%**라는 완벽한 점수를 기록하기도 했습니다.
"야생" 테스트: 진짜 도전 과제는 실제 생활에서 녹음된 짧고 지저한 클립(10~30초 길이)인 "in-the-wild" 녹음이었습니다. 여기서도 MERaLiON-GR은 여전히 승자였으며, Vox-Profile을 최대 4.32 퍼센트 포인트 차이로 따돌렸습니다. 이는 실제 오디오가 배경 소음과 짧은 조각들로 가득 차 있어 다른 모델들을 혼란스럽게 만들기 때문에 매우 중요한 결과입니다.
백과사전의 고전: 일반 목적의 AI(백과사전)는 괜찮은 성능을 보였지만, 특화된 탐정에게 지속적으로 패배했습니다. 특정 훈련 없이는 미세한 디테일을 잡아내는 데 어려움을 겪었습니다. 예를 들어, 영어 FLEURS 테스트에서 백과사전은 **49.61%**의 정확도를 보인 반면, 특화된 탐정은 **100.00%**를 기록했습니다.

마법의 기술: 백과사전을 돕는 법
여기 가장 흥리로운 부분이 있습니다. 연구진은 일반 목적의 AI(백과사전)가 단독으로는 훌륭한 음성 탐정이 아닐지라도, 정답을 먼저 알려주기만 하면 훨씬 더 똑똑해진다는 사실을 발견했습니다.
특화된 탐정(MERaLiON-GR)의 성별 추측치를 가져와서 백과사전에 "힌트"(메타데이터)로 제공했을 때, 백과사전의 성능은 급격히 치솟았습니다.

베트남어 Common Voice의 경우, 성별을 먼저 알려주자 백과사전의 정확도가 **36.08%**에서 **96.08%**로 뛰어올랐습니다.
영어 FLEURS의 경우, **49.61%**에서 **97.31%**로 상승했습니다.

이는 일반적인 AI 모델들이 강력하긴 하지만, 성별 식별과 같은 특정 작업을 처리하기 위해서는 여전히 특화된 "조수"가 필요하다는 것을 시사합니다. 일단 그 단서를 얻으면, 그들은 방대한 지식을 활용하여 나머지 대화를 훨씬 더 잘 이해할 수 있습니다.

이것이 중요한 이유
이 논문은 다양한 언어와 소음이 있는 환경에서 성별을 인식하는 작업에는 정말로 전용의 특화된 도구가 필요하다고 결론짓습니다. 단순히 일반적인 AI가 스스로 알아내기를 기대할 수는 없습니다. MERaLiON-GR 모델은 거대한 뇌를 특정 작업에 적응시키기 위해 스마트하고 효율적인 방법(LoRA)을 사용함으로써, 우리가 동남아시아의 다양한 목소리를 그 어느 때보다 더 잘 이해할 수 있는 시스템을 구축할 수 있음을 보여줍니다. 이는 때때로 특정 문제를 해결하는 가장 좋은 방법은 일반론자가 아니라 전문가를 만드는 것이라는 점을 상기시켜 줍니다.

기술 요약: MERaLiON-GR

문제 정의

음성 성별 인식(GR)은 화자 다이아라이제이션(speaker diarization), 프로파일링 및 포렌식 응용 분야에 필수적인 근본적인 준언어적(paralinguistic) 과업이다. 인간 청자는 짧은 발화로부터 성별을 추론할 수 있지만, 자동화된 시스템은 다양한 녹음 조건, 언어, 악센트, 연령층 및 채널 특성에 걸쳐 일반화하는 데 어려움을 겪는다. 기존의 접근 방식은 두 가지 주요 과제에 직면해 있다:

일반화: 수작업으로 설계된 특징(예: F0, 포먼트)이나 현대적인 딥러닝 모델에 의존하는 기존 방식은 동남아시아(SEA) 및 영어의 광범위한 언어적 다양성에 걸쳐 강건성을 유지하는 데 실패하는 경우가 많다.
효율성 대 성능: 특정 다운스트림 태스크를 위해 거대 사전 학습 모델(예: 24개 이상의 레이어)을 완전히 미세 조정(full fine-tuning)하는 것은 계산 비용이 많이 들며, 사전 학습된 표현의 파괴적 망각(catastrophic forgetting) 위험이 있다.

방법론

저자들은 영어 및 동남아시아 언어를 위해 설계된 이진 분류 시스템(여성/남성)인 MERaLiON-GR을 제안한다. 이 아키텍처는 대규모 사전 학습된 백본과 매개변수 효율적인 적응 전략 및 특화된 다운스트림 네트워크를 통합한다.

1. 백본: LoRA를 적용한 MERaLiON-SpeechEncoder-2

시스템의 핵심은 싱가포르 영어 및 기타 동남아시아 언어가 풍부하게 포함된 다국어 코퍼스로 사전 학습된 대규모 Conformer 기반 트랜스포머인 MERaLiON-SpeechEncoder-2이다.

매개변수 효율적 미세 조정 (PEFT): 24개의 모든 트랜스포머 레이어를 업데이트하는 대신, 저자들은 **LoRA(Low-Rank Adaptation)**를 사용한다. LoRA 어댑터는 어텐션 투영 레이어에 삽관되며, 저계수 인자(rank 및 scaling factor를 16으로 설정)를 통해 가중치 업데이트를 매개변수화한다. 이는 계산 비용과 과적합 위험을 줄인다.
정규화 및 규제: 모델은 rsLoRA 정규화와 0.05의 LoRA 드롭아웃 비율을 활용한다.
레이어 집계: 25개의 모든 은닉 상태 출력(입력 임베딩 + 24개 레이어)이 유지된다. 학습된 소프트 어텐션 메커니즘이 이러한 레이어별 평균 표현을 가중 결합( $H = \sum a_l h_l$ )하여, 상보적인 음성 및 화자 수준의 단서를 포착한다.

2. 다운스트럼 네트워크: ECAPA-TDNN

집계된 표현은 성별 인식을 위해 적응된 ECAPA-TDNN 네트워크에 의해 처리된다:

아키텍처: 입력은 512 차원으로 투영된 후, 딜레이션(dilations) $\{1, 2, 3\}$ 와 SE 감소 인자 8을 가진 세 개의 SE-Res2Net 블록을 통과한다.
정규화: 모든 BatchNorm 레이어는 원래의 ECAPA-TDNN 구조와 일치하도록 GroupNorm 레이어로 교체된다.
풀링 및 분류: 어텐션 풀링이 시간적 프레임을 고정 길이 임베딩으로 집계하며, 이는 다시 256 차원으로 투영된다. RMSNorm과 GELU 활성화 함수를 갖춘 선형 분류 헤드가 이를 두 개의 클래스 로짓(logits)으로 매핑한다.

3. 학습 전략

데이터셋: 학습에는 6개의 파티션이 사용된다: VoxCeleb1(성별 라벨 포함) 및 IMDA 싱가포르 음성 코퍼스의 5개 파티션(프롬프트 스크립트, 자발적 대화, 코드 스위칭, 정형화된 화법 포함).
최적화: 모델은 클래스 불균형을 해결하기 위해 클래스 균형 가중 크로스 엔트로피 손실(class-balanced weighted cross-entropy loss)을 사용하는 다중 데이터셋 학습 전략을 사용한다.
하이퍼파라미터: LoRA 어댑터와 다운스트림 네트워크는 서로 다른 학습률( $5\times10^{-5}$ 및 $6\times10^{-4}$ )을 사용한다. 학습에는 선형 웜업과 라벨 스무딩( $\epsilon=0.1$ )을 포함한 코사인 스케줄러를 적용한다.
앙상블: 추론 오버헤드 없이 강건성을 높이기 위해, 최종 모델 파라미터는 개발 세트에서 가장 낮은 범주형 손실을 기록한 4개 체크포인트의 평균값이다.

주요 기여

본 논문은 세 가지 주요 기여를 설명한다:

매개변수 효율적인 다국어 GR 모델: LoRA와 ECAPA-TDNN을 사용하여 MERaLiON-SpeechEncoder-2를 구축한 모델로, 8개 언어에 걸친 15개 공공 벤치마크에서 Vox-Profile보다 우수한 성능을 보인다.
강건한 세그먼트 수준 인식: 짧고 실제 환경의 음성 세그먼트(10~30초)에 대해 정확한 성별 인식을 수행하는 능력을 입증하였으며, 싱가포르 언어 세트에서 Vox-Profile 대비 최대 4.32 퍼센트 포인트(pp)의 이득을 달了.
오디오-LLM 성능 향상: 예측된 성별을 준언어적 메타데이터로 주입하는 것이 성별 관련 질의응답에서 범용 오디오-LLM의 성능을 실질적으로 향상시킨다는 것을 입증하여, 명시적인 준언어적 단서의 유용성을 검증하였다.

결과

공공 벤치마크 성능

8개 언어(영어, 중국어, 말레이어, 타밀어, 태국어, 베트남어, 인도네시아어, 크메르어)에 대해 15개 테스트 세트에서 평가되었다:

정확도: MERaLiON-GR은 15개 테스트 세트 중 12개에서 Vox-Profile보다 높은 정확도를 기록했으며, 크메르어 FLEURS 벤치마크에서는 대등한 성능을 보였다.
만점 기록: 모델은 영어 FLEURS, 타밀어 OpenSLR, 태국어 Elderly 벤치마크에서 100.00%의 정확도를 달성했다.
유의미한 이득: 타밀어 EmoTa(+4.71 pp), 베트남어 Common Voice(+3.14 pp), 인도네시아어 IndoWave(+3.00 pp)에서 주목할 만한 개선이 관찰되었다.
한계: 말레이어 SMALDUSC(-4.40 pp) 및 태국어 SER(-2.09 pp)에서는 성능이 감소했는데, 이는 훈련 데이터와 비교했을 때 녹음 조건 및 화법의 도메인 불일치에 기인한다.

실제 환경(In-the-Wild) 성능

10~30초 세그먼트로 구성된 수동 큐레이션 싱가포르 평가 세트(SG-ECMT)에서:

MERaLiON-GR은 네 가지 언어(싱리시, 중국어, 말레이어, 타밀어) 모두에서 Vox-Profile을 일관되게 능가했다.
가장 큰 개선은 말레이어(+4.32 pp)였으며, 그 다음은 타밀어(+4.16 pp)로, 이는 미세한 세그먼트 수준의 의사 라벨링(pseudo-labeling)에 대한 모델의 강건성을 강조한다.

오디오-LLM 통합

예측된 성별이 오디오-LLM(GR-AudioLLM)에 메타데이터로 주입되었을 때:

평가된 모든 데이터셋에서 기본 오디오-LLM에 비해 정확도가 크게 향상되었다.
베트남어 Common Voice(+60.00 pp), 영어 FLEURS(+47.70 pp), 말레이어 SMALDUSC(+41.20 pp)에서 특히 극적인 이득을 보였으며, 이는 명시적인 준언어적 단서가 음성-언어 이해를 위한 효과적인 컨디셔닝 신호로 작용함을 확인시켜 준다.

의의 및 주장

본 논문은 MERaLiON-GR이 정확한 준언어적 이해와 강력한 교차 언어 일반화를 달성하기 위해 전용 음성 모델이 지속적으로 가치 있음을 강조한다고 주장한다. 결과는 다음을 시사한다:

특수화의 중요성: 범용 오디오-LLM은 태스크별 최적화 없이는 미세한 성별 인식을 수행하는 데 덜 효과적이다.
효율성의 실효성: 거대 사전 학습 인코더에 대한 매개변수 효율적 미세 조정(LoRA)은 전체 미세 조정의 계산 비용 없이도 최첨단 성능을 낼 수 있다.
메타데이터의 유용성: 명시적인 준언어적 메타데이터(성별 등)를 제공하는 것은 음성 문맥 이해를 위한 멀티모달 모델의 능력을 크게 향상시키며, 이는 더 넓은 AI 파이프라인에 특화된 인코더를 통합하는 것을 지원한다.

이 연구는 MERaLiON-GR을 특히 다양한 동남아시아 언어와 제약 없는 녹음 환경에서 강력한 성능을 요구하는 애플리케이션을 위한 실질적인 외부 GR 모델의 대체제로 포지셔닝한다.