An Omnilingual-ASR-Based Speech-LLM System for the 2nd MLC-SLM Challenge

기술 요약: 제2회 MLC-SLM 챌린지를 위한 Omnilingual-ASR 기반 음성-LLM 시스템

문제 정의
본 논문은 제2회 다국어 대화형 음성 언어 모델(MLC-SLM) 챌린지의 Task 1을 다룹니다. 목표는 가공되지 않은 다국어 대화 녹음 데이터에서 공동 화자 분리(diarization, "누가 언제 말했는가")와 자동 음성 인식(ASertion, "무엇이 말해졌는가")을 수행하는 것입니다. 핵심 제약 사항은 평가 시점에 오라클 세그멘테이션(oracle segmentation)이나 화자 레이블이 존재하지 않는다는 점입니다. 시스템은 시간 제약적 최소 순열 에러율(tcpMER)을 사용하여 순위가 매겨지며, 이는 단순히 어휘적 정확도뿐만 아니라 시간적 정렬과 화자 순열에 따른 오류에 패널티를 부여합니다. 이 챌린지는 다양한 영어 악센트와 비영어권을 포함한 21개의 언어/악센트 카테고리와 현실적인 전화 채널 환경에서 녹음된 데이터를 포함합니다.

방법론
저자들은 각 구성 요소를 독립적으로 튜닝하고 절제 연구(ablation)를 할 수 있도록 네 개의 분리된 단계로 구성된 계단식 파이프라인을 제안합니다.

1. 화자 분리 프런트엔드 (Speaker Diarization Front-End):

   • 음성 활동 감지 (VAD): 음성 활동을 감지하기 위해 FunASR FSMN-VAD 모델을 사용하는 공유 모듈을 사용합니다.
   • 신경망 세그멘테이션 (Neural Segmentation): 시스템은 두 가지 세그멘테이션 모델을 비교합니다. 최종 제출물은 12초 윈도우를 사용하는 DiariZen-Large-s80(WavLM-Large + Conformer EEND 모델)을 사용합니다. 이는 초기 절제 실험에서 사용되었던 pyannote/segmentation-3.0 모델을 대체한 것입니다.
   • 화자 할당 (Speaker Assignment): ASR 턴 마커에 의존하는 대신, 시스템은 사전 학습된 CAM³ 모델(3D-Speaker 툴킷 제공)을 사용하여 화자 임베딩을 추출합니다. 이 임베딩들은 코퍼스 구조에 맞춰 화자 수를 2명으로 고정한 상태에서 스펙트럴 클러스터링(spectral clustering)을 통해 그룹화됩니다.
   • 중첩 처리 (Overlap Handling): 핵심적인 엔지니어링 선택은 중첩 인지 세그멘테이션(overlap-aware segmentation)을 비활성화하는 것입니다. 일반적으로 중첩 감지가 화자 분리 재현율(recall)을 높이지만, 저자들은 중첩된 음성 영역이 두 번 전사되어 시간 제약적 점수 산정 하에서 에러율을 높이기 때문에 이것이 tcpMER에는 해롭다는 것을 발견했습니다.

2. LoRA 적응을 통한 다국어 ASR (Multilingual ASR with LoRA Adaptation):

   • 인식기는 Meta의 omniASR LLM 7B v2(CTC 헤드를 가진 wav2vec2 스타일의 인코더)를 기반으로 합니다.
   • 이 거대 모델을 특정 대화형 전화 도메인에 과적합 없이 적응시키기 위해, 저자들은 저차원 적응(LoRA) 기법을 사용합니다. 음향 인코더는 동결된 상태로 유지하며 오직 저차원 어댑터(rank $r=8$, $\alpha=16$)만을 업데이트합니다.
   • 학습은 챌린지 학습 세트(학습 데이터 패킹 시 오라클 턴 경계만 사용)를 대상으로 5만 스텝 진행됩니다. 모델은 서로 다른 화자의 세그먼트 사이에 화자 변경 토큰(<sc>)을 삽입함으로써 턴 경계를 예측하는 법을 배웁니다.
   • 추론 시에는 부적절한 언어 전환을 방지하기 위해 언어 제약(lang=<lang>)이 명시적으로 적용됩니다.

3. 후처리 (Post-Processing):

   • 화자 변경 분할 (Speaker-Change Splitting): ASR에서 예측된 <sc> 마커를 사용하여 세그먼트를 분할합니다. 하위 절(sub-clause)의 타임스탬프는 단일 세그먼트 타임스탬프를 공유하는 대신 문자 길이에 비례하여 할당됩니다.
   • 중복 제거 (De-duplication): 디코더 에코(decoder echo)를 억제하기 위해 정규화 후 시퀀스 유사도를 통해 식별된 근접 중복 하위 절들을 제거합니다.

주요 기여 및 발견
본 논문은 시스템 아키텍처를 상세히 설명하며, tcpMER 최적화를 위한 두 가지 핵심적인 엔지니어링 통찰을 보여주는 절제 연구를 제시합니다:

1. 임베딩 기반 클러스터링 vs 엔드 투 엔드 할당: CAM++ 임베딩을 사용하여 화자 클러스터링을 수행하는 계단식 접근 방식이, ASR <sc> 턴 마커만을 기반으로 화자를 할당하는 엔드 투 엔드 방식보다 성능이 현저히 우수했습니다. 후자는 macro tcpMER 141.2%를 기록한 반면, 임베딩 기반 방식은 이를 약 30%로 낮추었습니다.
2. 중첩 인지 세그멘테이션: 중첩 감지가 재현율을 높이는 일반적인 화자 분리 관행과 달리, 저자들은 중첩 감지를 활성화하는 것이 tcpMER를 증가시킨다는 것을 입증했습니다. 이는 중첩된 영역의 이중 전사가 시간 제약적 지표에 의해 패널티를 받기 때문입니다. 결과적으로 최종 시스템은 중첩 처리를 비활성화했습니다.

결과

• 개발 세트 (Development Set): 공식 개발 세트(150개 대화, 21개 언어/악센트 카테고리)에서 최종 시스템(DiariZen-Large-s80 + CAM++ + LoRA-적응형 omniASR)은 **macro tcpMER 29.27%**를 달성했습니다. 이는 79.15%를 기록한 공식 베이스라인(LoRA-파인튜닝된 VibeVoice-ASR) 대비 약 63%의 상대적 감소를 나타냅니다.
• 평가 세트 (Evaluation Set): 평가 세트에 제출된 시스템은 **tcpMER 50.23%**를 달성했습니다. 저자들은 개발 세트와 평가 세트 간의 성능 차이를 포맷팅 아티팩트가 아닌 화자, 채널, 언어 혼합의 도메인 변화 때문이라고 설명합니다.
• 언어별 성능: 시스템은 언어별로 상이한 성능을 보였으며, 스페인어(MX)에서 11.1%로 가장 좋은 결과를 보였고, 터키어가 65.8%로 가장 어려운 코호트였습니다. 제안된 시스템의 가장 어려운 코호트조차 베이스라인의 단일 최고 카테고리 성능과 대등한 수준이었습니다.

의의
본 논문은 tcpMER 지표로 평가되는 다국어 대화형 음성 시스템의 경우, 강력한 세그멘테이션 프런트엔드, 명시적인 임베딩 기반 화자 클러스터링, 그리고 LoRA로 적응된 다국어 인식기의 조합이 단일 파인튜닝된 음성-LLM보다 훨씬 효과적이라고 주장합니다. 저자들은 구성 요소의 선택이 전통적인 화자 분리 지표(예: 재현율)가 아닌 특정 순위 지표(tcpMER)에 따라 직접 검증되어야 함을 강조합니다. 왜냐하면 한 가지(예: 중첩 감지)를 위한 최적화가 다른 지표(예: tcpMER)의 성능을 저하시킬 수 있기 때문입니다. 본 연구는 엄격한 시간 제약적 평가 프로토콜 하에서 화자 분리와 인식을 균형 있게 맞추는 계단식 시스템을 구축하기 위한 실질적인 청사진을 제공합니다.