Sommelier: Scalable Open Multi-turn Audio Pre-processing for Full-duplex Speech Language Models

이 논문은 텍스트 기반 LLM 에서 음성 언어 모델 (SLM) 로의 패러다임 전환에 맞춰, 기존 데이터의 한계와 전이성 처리의 어려움을 극복하기 위해 풀-듀플렉스 음성 모델을 위한 견고하고 확장 가능한 오픈소스 데이터 처리 파이프라인 'Sommelier'를 제안합니다.

핵심

🎙️ 문제: "시끄러운 파티"와 "혼란스러운 녹음"

지금까지 AI(대화를 하는 로봇) 는 주로 **텍스트(글)**로만 대화하거나, 한 번에 한 사람씩만 말을 듣는 방식 (반이중) 으로 작동했습니다. 하지만 우리는 인간처럼 동시에 말하고 듣고, 말을 끊기도 하고, "응, 그래" 같은 짧은 반응을 주고받는 자연스러운 대화를 원합니다.

하지만 이를 가르치기 위한 데이터는 매우 부족했습니다.

• 문제 상황: 실제 녹음된 대화 (팟캐스트, 라디오 등) 는 마치 시끄러운 파티와 같습니다.
  • 두 사람이 동시에 말해서 목소리가 섞입니다 (겹침).
  • 배경음악이 들립니다.
  • 누가 언제 말했는지 구분이 안 됩니다.
  • 기존 AI 는 이 소음을 제거하거나, 말을 끊어서 "한 사람만 말하는 깨끗한 데이터"로만 만들려고 했습니다. 하지만 이러면 AI 는 자연스러운 대화의 흐름을 배우지 못합니다.

🍷 해결책: "소믈리에 (Sommelier)"라는 정교한 주방장

이 논문은 **'소믈리에'**라는 이름의 오픈소스 도구를 개발했습니다. 이 도구는 시끄러운 파티 (원본 오디오) 를 들어와서, 각 사람의 목소리를 분리하고, 배경 소음을 제거하며, 누가 언제 무슨 말을 했는지 완벽하게 정리해 줍니다.

1. 음성 분리 (Overlap Separation): "혼합 주스를 분리하는 마법"

• 상황: 두 사람이 동시에 말하면 목소리가 섞여 "음... 아... 저기..."처럼 들립니다.
• 소믈리에의 작업: 이 도구는 AI 모델을 이용해 섞인 목소리를 다시 각자 원래의 목소리로 분리해 줍니다. 마치 섞인 주스를 다시 과일과 물로 분리하는 것처럼, AI 가 "아, 이 부분은 A 씨 목소리, 저 부분은 B 씨 목소리구나"라고 정확히 구분합니다.
• 효과: AI 는 "동시에 말해도 서로의 목소리가 어떻게 들리는지"를 배울 수 있게 됩니다.

2. 배경음악 제거 (BGM Removal): "노이즈 캔슬링 이어폰"

• 상황: 라디오나 드라마 녹음에는 배경음악 (BGM) 이 섞여 있습니다.
• 소믈리에의 작업: 음악이 너무 크면 AI 가 혼란을 겪습니다. 이 도구는 음악이 들리는 구간을 찾아내어 목소리만 남기고 음악은 지워버립니다.
• 효과: AI 가 음악 소리에 방해받지 않고 순수한 대화 내용만 학습할 수 있습니다.

3. 정확한 자막 만들기 (Ensemble ASR): "세 명의 전문가가 한 번 더 확인"

• 상황: 자동 자막 생성 (ASR) 기술은 가끔 엉뚱한 말을 만들어내기도 합니다 (예: "Yeah, Yeah, Yeah..."를 반복하거나, 침묵 구간에서 헛소리를 하는 '환각' 현상).
• 소믈리에의 작업: 소믈리에 시스템은 세 가지 다른 최신 AI 모델을 동시에 가동합니다. 그리고 세 모델이 만든 자막을 비교해서, 두 명 이상이 동의한 내용만 최종 자막으로 채택합니다.
• 효과: 실수가 거의 없는, 매우 정확한 대화 기록을 만들어냅니다.

🚀 결과: 더 똑똑해진 AI (Moshi)

이렇게 정리된 데이터로 AI 모델인 **'Moshi'**를 훈련시켰습니다. 그 결과는 놀라웠습니다.

• 자연스러운 대화: AI 는 이제 사용자가 말을 끊어도 당황하지 않고 적절히 반응합니다.
• 빠른 반응: 사용자가 "응"이라고 짧게 말해도 (백채널링), AI 는 "아, 듣고 있었구나"라고 이해하고 다음 말을 이어갑니다.
• 실시간성: AI 가 말을 하다가도 사용자가 끼어들면 즉시 멈추고 들어주는 등, 인간과 같은 실시간 양방향 대화가 가능해졌습니다.

💡 요약: 왜 이것이 중요한가요?

기존의 AI 는 글쓰기 대회에 참여하는 선수처럼, 한 번에 한 줄씩만 말하고 기다리는 방식이었습니다. 하지만 **'소믈리에'**를 통해 정리된 데이터를 학습한 AI 는 이제 실제 파티에 참여하는 사람처럼, 여러 사람이 동시에 떠들고, 말을 끊고, 웃고, 반응하는 생생한 대화를 할 수 있게 되었습니다.

이 기술은 앞으로 우리가 스마트폰이나 스마트 스피커와 대화할 때, 마치 친구와 통화하듯 자연스럽게, 끊김 없이, 그리고 동시에 대화할 수 있는 시대를 열어줄 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

최근 AI 패러다임이 텍스트 기반 LLM 에서 음성 언어 모델 (SLM, Speech Language Models) 로 전환되면서, 실시간 자연스러운 인간 - 컴퓨터 상호작용을 위한 풀-듀플렉스 (Full-duplex) 시스템에 대한 수요가 급증하고 있습니다. 풀-듀플렉스 시스템은 사용자가 말하고 있을 때에도 시스템이 동시에 듣고 응답할 수 있어, 중첩된 발화 (overlap), 백채널링 (back-channeling), 즉흥적인 대화 흐름을 자연스럽게 처리할 수 있습니다.

그러나 이러한 풀-듀플렉스 SLM 의 개발은 다음과 같은 데이터 부족 및 전처리 기술의 한계로 인해 병목 현상을 겪고 있습니다:

• 고품질 대화 데이터의 부재: 기존 대규모 음성 데이터는 대부분 단일 화자 (single-speaker) 이거나 양이 제한적입니다. 자연스러운 대화에 필수적인 중첩 발화와 백채널링이 포함된 데이터는 희소합니다.
• 전처리 파이프라인의 한계: 기존 파이프라인은 중첩 발화를 '잡음'으로 간주하여 제거하거나, 화자 분리 (diarization) 오류와 ASR(자동 음성 인식) 할루시네이션 (hallucination) 으로 인해 고품질 학습 데이터를 생성하는 데 실패합니다.
• 확장성 문제: 웹 규모의 오디오 데이터를 처리하면서 동시에 대화의 역동성을 보존하는 고품질 파이프라인이 부재했습니다.

2. 제안 방법: Sommelier 파이프라인 (Methodology)

저자들은 Sommelier라는 오픈 소스 확장 가능 데이터 전처리 파이프라인을 제안합니다. 이 파이프라인은 원시 오디오를 풀-듀플렉스 학습에 적합한 고품질 코퍼스 (corpus) 로 변환하는 것을 목표로 하며, 대화의 혼란스럽지만 풍부한 역동성 (중첩, 백채널링 등) 을 보존하는 데 중점을 둡니다.

주요 구성 요소 및 기술적 특징은 다음과 같습니다:

가. 오디오 표준화 및 분할 (Standardization & Segmentation)

• 다양한 포맷의 오디오를 16kHz, 16-bit, Mono 로 표준화하고 음량 정규화 (-20dBFS) 를 수행합니다.
• 메모리 오버플로우를 방지하기 위해 VAD(Voice Activity Detection) 를 사용하여 5 분 미만의 청크로 분할합니다.

나. 화자 분리 (Speaker Diarization)

• 기존 pyannote 모델 대신 Sortformer(NVIDIA) 를 채택했습니다.
• Sortformer 는 짧은 발화 (백채널링 등) 와 빠른 턴 체인지 (turn-taking) 를 더 정확하게 식별하여 화자 분리 오류를 줄입니다.

다. 중첩 발화 처리 (Handling Overlapping Speech)

• 중첩 구간을 단순히 잘라내는 것이 아니라, 두 화자 분리 (Two-speaker separation) 기술을 적용합니다.
• 프로세스:
  1. 중첩되지 않은 구간 (>2 초) 에서 화자 임베딩 (embedding) 을 추출합니다.
  2. 중첩 구간을 Speech Separation 모델 (SepReformer) 에 입력하여 두 개의 후보 음성을 생성합니다.
  3. 추출된 화자 임베딩과 후보 음성의 코사인 유사도를 계산하여 각 화자에 할당합니다.
  4. 분리된 구간을 원래 구간과 연결하여 단일 화자 스트림을 생성합니다.
• 이 방식은 중첩 발화에서도 각 화자의 발화 내용을 온전히 보존합니다.

라. 배경 음악 제거 (Background Music Removal)

• PANNs 모델을 사용하여 배경 음악 (BGM) 확률이 임계값 (0.3) 을 초과하는 구간을 식별합니다.
• 해당 구간에만 Demucs 모델을 적용하여 보컬 트랙을 분리합니다. 전체 오디오를 처리하는 대신 2 분 청크 단위로 처리하여 성능을 최적화합니다.

마. 앙상블 기반 ASR (Ensemble-based ASR)

• 단일 모델 (Whisper 등) 의 할루시네이션 (반복적 텍스트 생성 등) 을 방지하기 위해 3 개의 SOTA 모델 (Whisper, Canary, Parakeet) 을 앙상블합니다.
• ROVER (Recognizer Output Voting Error Reduction) 전략을 사용하여 단어 수준에서 다수결 투표를 적용합니다.
• 잔여 할루시네이션을 제거하기 위해 n-gram 반복 필터링을 수행하고, Whisper 를 통해 단어 수준의 타임스탬프를 정밀하게 추출합니다.

3. 주요 기여 (Key Contributions)

1. 풀-듀플렉스 SLM 을 위한 첫 번째 확장 가능 파이프라인: 멀티 턴 대화 음성 데이터를 대규모로 선별 (curation) 할 수 있는 오픈 소스 파이프라인을 공개하여 커뮤니티의 데이터 부족 문제를 해결합니다.
2. 고충실도 중첩 처리 전략: 엄격한 화자 분리 분석과 병렬 모델 앙상블, n-gram 필터링을 통해 중첩 발화 처리 시 ASR 할루시네이션을 줄이고 정확도를 높이는 상세한 처리 전략을 제시합니다.
3. 실증적 유효성 검증: Sommelier 로 처리된 데이터로 Moshi(풀-듀플렉스 모델) 를 파인튜닝하여, 실제 풀-듀플렉스 모델의 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

가. 풀-듀플렉스 모델 성능 향상 (Moshi Fine-tuning)

• Full-Duplex-Bench 1.0 평가 결과, Sommelier 데이터로 파인튜닝된 Moshi 는 베이스 모델 대비 다음과 같은 개선 효과를 보였습니다:
  • 백채널링 (Backchanneling): 모델이 사용자의 짧은 반응에 적절히 응답하는 능력이 향상됨.
  • 부드러운 턴 테이킹 (Smooth Turn-Taking): 대화 흐름이 더 자연스러워짐.
  • 사용자 중단 (User Interruption): 사용자가 말하고 있을 때 모델을 끊고 응답하는 능력 개선.
  • 지연 시간 (Latency): 초기 모델은 중단을 무시하고 계속 말했으나, 파인튜닝 후에는 사용자의 입력을 처리하고 적절한 응답을 준비하는 과정에서 지연이 발생하더라도 이는 더 자연스러운 상호작용을 위한 긍정적인 신호로 해석됨.

나. 구성 요소별 성능 평가

• 화자 분리 (Diarization): Sortformer 는 pyannote 3.1보다 DER(Diarization Error Rate) 와 JER(Jaccard Error Rate) 에서 모두 우수하며, 특히 짧은 발화와 빠른 턴 체인지에서 오류를 크게 줄였습니다.
• 중첩 분리 품질: 분리된 오디오의 WER(단어 오류율) 와 UTMOS(지각적 음질 점수) 가 Oracle(원본 분리 데이터) 에 근접할 정도로 향상되었습니다. 특히 중첩 비율이 높은 상황에서도 분리 모델이 강력한 성능을 보였습니다.
• ASR 앙상블: 단일 Whisper 모델 대비 WER 을 약 37% 감소시켰으며 (6.26% → 3.92%), 특히 잡음이 있는 구간이나 배경 음악이 있는 구간에서 정확도가 크게 개선되었습니다.
• 처리 속도: A100 GPU 8 개를 사용하여 10,000 시간 분량의 오디오를 약 55 시간 내에 처리할 수 있어 산업적 확장성이 입증되었습니다.

5. 의의 및 결론 (Significance)

• 데이터 중심 접근법의 혁신: 풀-듀플렉스 SLM 의 발전은 모델 아키텍처뿐만 아니라 고품질 데이터의 가용성에 달려 있음을 보여주며, Sommelier 는 이를 해결하는 핵심 인프라를 제공합니다.
• 자연스러운 대화 AI 의 실현: 중첩 발화와 백채널링을 포함한 자연스러운 대화 역동성을 학습 데이터로 보존함으로써, 인간과 더 자연스럽게 소통하는 AI 비서 개발의 기반을 마련했습니다.
• 오픈 소스 및 재현성: proprietary 한 '블랙박스' 데이터 처리 방식을 탈피하여, 산업계와 학계가 재현하고 개선할 수 있는 투명한 파이프라인을 공개했습니다.

결론적으로, Sommelier 는 풀-듀플렉스 음성 언어 모델의 상용화와 발전을 위한 필수적인 데이터 전처리 표준을 제시하며, 실시간 자연어 상호작용 기술의 다음 단계를 여는 중요한 기여를 했습니다.