⚡ electrical engineering

MOSS Transcribe Diarize Technical Report

MOSS Transcribe Diarize는 기존 시스템의 한계를 극복하기 위해 128k 컨텍스트 윈도우와 광범위한 실제 데이터를 활용한 엔드 투 엔드 학습을 활용하여, 최첨단 수준의 화자 식별 및 타임스탬프가 포함된 전사 기능을 달성하는 통합 멀티모달 거대 언어 모델입니다.

원저자: MOSI. AI, :, Donghua Yu, Zhengyuan Lin, Hanfu Chen, Chen Yang, Yiyang Zhang, Jingqi Chen, Ke Chen, Liwei Fan, Yi Jiang, Jie Zhu, Muchen Li, Wenxuan Wang, Yang Wang, Zhe Xu, Botian Jiang, Yitian Gong

게시일 2026-07-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: MOSI. AI, :, Donghua Yu, Zhengyuan Lin, Hanfu Chen, Chen Yang, Yiyang Zhang, Jingqi Chen, Ke Chen, Liwei Fan, Yi Jiang, Jie Zhu, Muchen Li, Wenxuan Wang, Yang Wang, Zhe Xu, Botian Jiang, Yitian Gong, Yuqian Zhang, Wenbo Zhang, Songlin Wang, Zhiyu Wu, Zhaoye Fei, Qinyuan Cheng, Shimin Li, Xipeng Qiu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 북적이는 커피숍에 앉아 세 명의 서로 다른 친구들이 나누는 대화를 정확하게 받아 적으려고 노력하고 있다고 상상해 보세요. 당신은 단순히 단어뿐만 아니라, 누가 그 말을 했는지, 그리고 정확히 언제 말했는지까지 알아야 합니다. 이것이 바로 "화자 식별 및 타임스탬프가 포함된 전사(Speaker-Attributed, Time-Stamped Transcription, SATS)"의 과제입니다. 이는 컴퓨터에게 일종의 초능력과도 같아서, 지저받은 오디오 녹음 파일을 깔끔하고 체계적인 대본으로 바꾸어, 모든 문장에 화자의 이름과 정밀한 시각 정보를 태그로 달아줍니다. 이 기술은 비즈니스 회의를 전사하거나, 고객 서비스 통화를 분석하거나, 청각 장애가 있는 사람들이 복잡한 대화를 따라가는 것을 돕는 데 매우 유용합니다.

지금까지 컴퓨터는 보통 이 문제를 두 가지 별개의 단계로 해결하려 했습니다. 먼저, "음성-텍스트 변환(speech-to-text)" 로봇이 소리를 듣고 글자를 타이핑합니다. 그다음, 별도의 "화자 탐정" 로봇이 누가 무엇을 말했는지 알아내려고 노력합니다. 문제는 이 두 로봇이 서로 대화를 나누지 않는다는 점입니다. 만약 첫 번째 로봇이 작은 실수를 하면, 두 번째 로봇은 혼란에 빠지게 되고, 최종 결과물인 스크립트는 엉망진창이 됩니다. 이는 마치 퍼즐 조각의 절반이 다른 상자에서 온 것처럼 조립하는 것과 같습니다. 이 새로운 논문은 이 두 가지 작업을 동시에, 하나의 매끄러운 동작으로 수행하는 새로운 종류의 컴퓨터 두뇌를 소개합니다.

하나의 두뇌 솔루션

이 프로젝트의 팀인 OpenMOSS는 MOSS Transcribe Diarize라는 새로운 모델을 구축했습니다. 이 모델을 다재다능한 초지능 지휘자로 생각해보세요. 단어를 위한 별도의 오케스트라와 목소리를 위한 별도의 오케스트라를 고용하는 대신, 이 지휘자는 전체 악보를 머릿속에 담고 전체 공연을 한 번에 직접 지휘합니다.

과거에 컴퓨터는 긴 대화를 처리하는 데 어려움을 겪었습니다. 만약 회의가 한 시간 동안 지속된다면, 기존 시스템은 오디오를 30초 단위의 작은 조각으로 잘라 각 조각을 해결한 뒤 다시 이어 붙이려 노력해야 했습니다. 이 과정에서 컴퓨터는 휴식기 이후에 "화자 A"가 누구였는지 잊어버리거나 대화의 흐로를 놓치는 경우가 많았습니다. MOSS Transcribe Diarize는 128k 토큰이라는 거대한 "메모리 윈도우"를 가짐으로써 게임의 판도를 바꿉니다. 이를 척도로 설명하자면, 이 모델은 단 한 번의 끊김 없는 패스로 최대 90분 분량의 오디오를 듣고 이해할 수 있습니다. 오디오를 잘게 쪼갤 필요가 없습니다. 모델은 처음부터 끝까지 전체 이야기를 들으며, 설령 누군가 한동안 말을 하지 않았더라도 누가 누구인지에 대한 명확한 정신적 이미지를 유지합니다.

작동 원리 (마법의 기술)

이 모델은 "멀티모달 거대 언어 모델(multimodal large language model)"입니다. 이는 텍스트를 읽는 동시에 오디오를 들을 수 있다는 뜻입니다. 작동 방식은 다음과 같습니다:

귀: 모델은 가공되지 않은 음파를 받아 디지털 형식으로 변환합니다.
번역가: 특수한 "프로젝션(projection)"을 사용하여 이러한 음파를 텍스트를 읽는 뇌가 이해할 수 있는 언어로 변환합니다.
출력: 단순히 단어를 내뱉는 대신, 모델은 [0.11] [S01] 좋은 아침입니다! [1.03] [S02] 안녕, 얘들아!와 같은 형태의 스크립트를 출력합니다. 즉, 화자 ID(S01, S02), 발화 시작 시각, 그리고 말한 내용을 단 한 번의 순방향 패스(forward pass)로 알려줍니다.

이 모델을 학습시키기 위해 연구진은 단순히 깨끗한 스튜디오 품질의 녹음만을 사용하지 않았습니다. 배경 소음, 겹치는 목소리, 다양한 억양, 그리고 사람들이 서로 말을 가로채는 상황이 포함된 인터넷상의 "실제 야생(real wild)" 데이터를 대량으로 학습시켰습니다. 또한, 서로 다른 목소리를 섞고 조합하여 두 사람이 동시에 말하는 것과 같은 까다로운 상황을 처리하는 법을 배우도록 "시뮬레이션된" 대화 데이터도 만들었습니다.

연구 결과

팀은 자신들의 새로운 모델을 현재 사용 가능한 가장 크고 비싼 상용 시스템들(Doubao, ElevenLabs 및 다양한 Google 모델 등)과 비교 테스트했습니다. 세 가지 유형의 테스트를 사용했습니다:

AISHELL-4: 실제 세계의 긴 회의 녹음 (최대 약 40분).
Podcast: 여러 명의 게스트가 참여하는 고품질의 긴 인터뷰.
Movies: 빠르고 대사가 겹치는 짧은 클립.

결과는 인상적이었습니다. 거의 모든 테스트에서 MOSS Transcribe Diarize는 경쟁 모델들보다 적은 실수를 기록했습니다.

정확도: 단어를 더 자주 정확하게 맞혔습니다 (더 낮은 문자 에러율, CER).
정체성: 누가 무엇을 말했는지 추적하는 능력이 훨씬 뛰어났습니다. 연구진은 이를 Δcp(단어 에러와 화자 에러 사이의 차이)라는 지표로 측정했습니다. 이 수치가 낮을수록 모델이 화자를 혼동하지 않았음을 의미합니다. MOSS Transcribe Diarize는 가장 낮은 Δcp 점수를 기록하며, 길고 무질서한 대화 속에서도 화자의 정체성을 일관되게 유지했습니다.
장문 처리 능력: 일부 유명한 상용 모델들(GPT-4o나 Gemini 3 Pro 등)이 긴 오디오 파일을 처리하는 데 실패하거나 올바른 형식을 출력하지 못한 반면, MOSS Transcribe Diarize는 90분의 입력을 아무런 문제 없이 처리했습니다.

이것이 중요한 이유

이 논문은 음성 인식과 화자 식별을 하나의 통합된 시스템과 긴 메모리로 결합함으로써, 훨씬 더 신뢰할 수 있는 전사 결과를 얻을 수 있음을 시사합니다. 이 모델은 긴 오디오를 이해하기 위해 굳이 쪼갤 필요가 없으며, 전체 대화를 한 번에 듣고도 세부 사항을 정확히 파악할 수 있다는 것을 증명합니다.

저자들은 자신의 모델이 중요한 진전이지만, 모든 문제를 완벽하게 해결하는 마법 지팡이는 아니라는 점을 주의 깊게 언급했습니다. 실시간 스트리밍 기능 구현이나 더 많은 언어 지원과 같이 개선할 여지가 여전히 남아 있습니다. 하지만 현재로서는, 하나의 통합된 두뇌가 두 개의 별개 로봇보다 더 잘 수행할 수 있으며, 특히 대화가 길고 복잡해질 때 더욱 그렇다는 것을 보여주었습니다.

코드와 모델은 현재 GitHub와 Hugging Face를 통해 누구나 시도해 볼 수 있도록 공개되어 있으며, 다른 이들이 이 새로운 토대 위에 더 나은 도구를 구축할 수 있도록 초대하고 있습니다.

기술 요약: MOSS Transcribe Diarize

문제 정의

화자 식별 및 타임스탬프가 포함된 전사(Speaker-Attributed, Time-Stamped Transcription, SATS)는 회의 보조 도구부터 법적 조사에 이르기까지 다양한 애플리케이션에 필수적인 작업입니다. 이는 단순히 음성을 전사하는 것을 넘어, 누가 언제 말했는지를 정확하게 결정하고 발화 구조, 중첩(overlap), 장거리 참조(long-range references)를 보존하는 것을 요구합니다.

현재의 SATS 시스템은 일반적으로 자동 음성 인식(ASR)과 화자 분할(Speaker Diarization, SD) 구성 요소를 결합한 모듈형 계단식 파이프라인에 의존합니다. 이러한 접근 방식은 다음과 같은 몇 가지 한계를 가집니다:

오류 전파(Error Propagation): 초기 단계(예: ASR)의 실수가 후속 단계(예: 화자 분할)로 연쇄적으로 영향을 미치며, 글로벌 컨텍스트를 일관되게 활용하기 어렵습니다.
제한된 컨텍스트(Limited Context): 기존의 많은 모델은 짧은 컨텍스트 윈도우에 갇혀 있어 긴 녹음 파일을 청크(chunk) 단위로 처리해야 합니다. 이는 담화의 연속성을 저해하고, 핵심 참조 해결(coreference resolution)을 약화시키며, 경계 아티팩트(boundary artifacts)를 유발합니다.
화자 메모리 드리프트(Speaker Memory Drift): 특히 다양한 음향 조건이나 유사한 목소리가 등장하는 긴 대화에서 화자의 정체성이 변하거나 흐려지는 현상이 발생합니다.
네이티브 타임스탬프 부재(Lack of Native Timestamps): 많은 아키텍처가 세그먼트 수준의 타임스탬프를 네이티브하게 출력하지 못하며, 외부 정렬 구성 요소에 의존함으로써 모듈형 오류 전파 문제를 다시 불러옵니다.

최근 멀티모달 거대 언어 모델(MLLM)이 유망한 가능성을 보여주었으나, 이들은 짧은 오디오 컨텍스트(50~90초), 작은 화자 집합, 또는 명시적인 타임스탬프 기반 화자 세그먼트를 네이티브하게 출력하지 못한다는 점에서 SATS 설정에 한계를 보입니다.

방법론

저자들은 단일 패스(single pass)로 SATS를 수행하도록 설계된 통합 멀티모달 거대 언어 모델인 MOSS Transcribe Diarize를 제시합니다.

아키텍처

이 모델은 오디오 인코더와 다중 화자 음향 임베딩을 사전 학습된 텍스트 LLM의 특징 공간으로 매핑하는 프로젝션 모듈을 결합합니다.

통합 모델링(Unified Modeling): 이 아키텍처를 통해 백본(backbone)은 화자의 정체성을 어휘적 내용과 공동으로 정렬하고 통합된 롱 컨텍스트 모델링을 수행할 수 있습니다.
명시적 타임스탬핑(Explicit Timestamping): 최근의 텍스트 토큰 기반 시간 인코딩 연구를 따라, 오디오 인코더 청크 사이에 포맷팅된 타임스탬프 텍스트를 삽입하여 시간 정보를 표현합니다. 이는 시간 인코딩을 절대적 위치 인덱스에 종속시키지 않음으로써, 긴 시간 동안 발생하는 희소성 문제를 피하고 시간 단위의 오디오에서도 정확한 타임스탬프 생성을 가능하게 합니다.
컨텍스트 윈도우(Context Window): 모델은 128k-토큰 컨텍스트 윈도우를 갖추고 있어, 청킹 없이도 최대 90분의 입력을 처리할 수 있습니다. 이를 통해 담화의 연속성을 보존하고 참가자와 주제에 대한 글로벌 표현을 유지합니다.

데이터 구성

모델은 견고함을 확보하기 위해 광범한 실제 대화 오디오와 시뮬레이션 데이터를 사용하여 학습되었습니다:

실제 데이터: 인터넷상의 다국어 오디오를 포함하며, 특히 원거리 중첩 오디오가 포함된 회의실 녹음 데이터인 AISHELL-4와 큐레이션된 팟캐스트 및 영화 데이터셋을 포함합니다.
시뮬레이션 데이터: 고품질의 실제 다중 화자 녹음 데이터 부족 문제를 해결하기 위해, 저자들은 제어 가능한 확률적 시뮬레이터를 사용합니다. 이는 212명의 화자가 등장하는 합성 다중 화자 대화를 생성하며, 화자 교차를 강제하는 동시에 중첩(짧은 세그 segments의 80%까지 제한)을 허용합니다. 혼합물에는 실제 환경의 노이즈와 잔향(SNR 015 dB)을 추가하여 지각적 연속성을 개선했습니다.

주요 기여

엔드 투 엔드 SATS 시스템: MOSS Transcribe Diarize는 단일 순방향 패스(forward pass) 내에서 단어 인식, 화자 식별, 타임스탬프 예측을 공동으로 수행하는 최초의 통합 멀티모달 모델로서, 별도 서브시스템 간의 핸드오프(hand-off)를 제거합니다.
회의 규모의 롱 컨텍스트 모델링: 모델은 128k-토큰 컨텍스트 윈도우 내에서 최대 90분의 입력을 처리합니다. 이 기능은 정체성 드리프트와 경계 아티팩트를 줄여, 청킹 없이도 인도메인(in-domain) 및 아웃도메인(out-of-domain) 평가 모두에서 SATS 지표를 개선합니다.

평가 및 결과

모델은 세 가지 다양한 벤치마크에 대해 최신 상용 시스템(Doubao, ElevenLabs, GPT-4o, Gemini 변형 모델 포함)과 비교 평가되었습니다:

AISHELL-4: 장시간(약 40분)의 실제 컨퍼런스 녹음.
Podcast: 고품질의 장시간 다중 게스트 인터뷰.
Movies: 영화 및 TV 시리즈의 짧고 중첩이 빈번한 세그먼트.

지표:
성능은 ASR을 위한 글자 오차율(CER), 결합된 ASR 및 SD를 위한 연결 최소 순열 CER(cpCER), 그리고 화자 식별 오류를 격리하기 위한 $\Delta_{cp}$ (cpCER와 CER의 차이)를 사용하여 측정되었습니다.

결과:

우수한 결합 성능: MOSS Transcribe Diarize는 모든 데이터셋에서 cpCER 및 $\Delta_{cp}$ 측면에서 일관되게 가장 우수한 성능을 달성했습니다.
감소된 화자 식별 오류: AISHELL-4 데이터셋에서 모델은 베이스라인 모델들에 비해 현저히 작은 $\Delta_{cp}$ 를 보였으며, 이는 화자 식별 오류가 순수 ASR 오류보다 추가적인 성능 저하를 훨씬 적게 유발했음을 나타냅니다.
장시간 처리 능력: GPT-4o 및 Gemini 3 Pro가 입력 길이 제한이나 형식 불안정성으로 인해 평가 프로토콜 하에서 장시간 오디오 입력을 안정적으로 처리하지 못한 것과 달리, MOSS Transcribe Diarize는 시간 단위의 오디오에서도 완전히 작동 상태를 유지했습니다.
중첩에 대한 견고성: 화자의 빠른 교차와 빈번한 중첩이 특징인 Movies 데이터셋에서, 모델은 CER과 cpCER 사이의 간격을 비교적 작게 유지하여 화자 경계 처리에 대한 견고함을 입증했습니다.

의의

본 논문은 MOSS Transcribe Diarize가 인식과 화자 식별을 단일 멀티모달 프레임워크 내로 통합함으로써 모듈형 ASR-화자 분할 파이프라인의 취약성을 해결한다고 주장합니다. 롱 컨텍스트 모델링과 분포 제어 시뮬레이션을 활용함으로써, 이 시스템은 모듈형 또는 세미-계단식 대안보다 더 신뢰할 수 있는 화자 식별 및 타임스탬프 포함 전사를 달성합니다. 저자들은 이 접근 방식이 명목상의 멀티모달 능력과 실제 배포 가능한 롱 폼 SATS 성능 사이의 간극을 메우며, 특히 실제 회의 전사 및 장기 대화 분석에 매우 적합하다고 강조합니다.