MOSS Transcribe Diarize Technical Report
MOSS Transcribe Diarizeは、既存のシステムの限界を克服するために、128kのコンテキストウィンドウと広範な実世界のデータを用いたエンドツーエンドの学習を活用することで、最先端の話し手属性付きタイムスタンプ付き文字起こしを実現する、統合されたマルチモーダル大規模言語モデルです。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
混雑したコーヒーショップに座り、3人の友人が互いに何を話しているのかを正確に書き留めようとしている場面を想像してみてください。単に言葉を知るだけでなく、「誰が」「いつ」言ったのかまでを知る必要があります。これが「話者属性付きタイムスタンプ付き文字起こし（Speaker-Attributed, Time-Stamped Transcription: SATS）」という課題です。これはコンピュータにとっての「超能力」であり、乱雑な音声録音を、すべての文章に話者の名前と正確な時刻がタグ付けされた、整理された綺麗な台本へと変貌させます。これは、ビジネス会議の文字起こし、カスタマーサービスの通話分析、あるいは聴覚障害を持つ人々が複雑な会話を理解するのを助けるといった用途において、非常に有用です。
これまで、コンピュータは通常、これらを2つの別々のステップで解決しようとしてきました。まず、「音声文字変換（speech-to-text）」ロボットが音を聞いて言葉をタイピングします。次に、別の「話者探偵」ロボットが、誰が何を言ったのかを突き止めようとします。問題は、これら2つのロボットが互いにコミュニケーションを取らないことです。もし最初のロボットが小さなミスを犯すと、2番目のロボットは混乱してしまい、最終的な台本はめちゃくちゃになってしまいます。それはまるで、パズルのピースの半分が別の箱から来たものを使って組み立てようとしているようなものです。この新しい論文は、これら両方の仕事を同時に、一つの滑らかな動きの中で行う、新しい種類のコンピュータの脳を紹介しています。
ワン・ブレイン・ソリューション（一つの脳による解決策）
このプロジェクトの背後にいるチームであるOpenMOSSは、MOSS Transcribe Diarizeと呼ばれる新しいモデルを構築しました。このモデルを、超知能を備えたマルチタスク型の指揮者と考えてください。言葉のための別々のオーケストラと、声のための別々のオーケストラを雇う代わりに、この指揮者はスコア全体を頭の中に保持し、パフォーマンス全体を一度に演出します。
過去には、コンピュータは長い会話に苦戦してきました。もし会議が1時間続いた場合、古いシステムは音声を30秒ずつの小さな断片に切り刻み、それぞれの断片を解決してから、それらを再び繋ぎ合わせようとしなければなりませんでした。これにより、コンピュータは休憩の後に「話者A」が誰であったかを忘れてしまったり、会話の流れを見失ったりすることがよくありました。MOSS Transcribe Diarizeは、128kトークンという巨大な「メモリウィンドウ」を持つことで、ゲームのルールを変えました。これを換算すると、このモデルは最大90分間の音声を、中断することなく一度に聞き取り、理解できることを意味します。音声を細切れにする必要はありません。最初から最後まで物語を聞き通し、たとえしばらく話していなくても、誰が誰であるかという明確なメンタルイメージを保持し続けるのです。
仕組み（マジック・トリック）
このモデルは「マルチモーダル大規模言語モデル」であり、これは、テキストを読みながら同時に音声を聞くことができるという、少し凝った言い方です。仕組みは以下の通りです：
- 耳： 生の音波を取り込み、デジタル形式に変換します。
- 翻訳者： 特殊な「プロジェクション（投影）」を使用して、それらの音波を、テキストを読む脳の部分が理解できる言語へと変換します。
- 出力： 単に言葉を吐き出すのではなく、
[0.11] [S01] おはようございます！ [1.03] [S02] おはよう、みんな！のような形式の台本を出力します。話者ID（S01, S02）、話し始めた正確な時刻、そしてその言葉を一度のフォワードパスですべて出力します。
このモデルを教え込むために、研究者たちはクリーンなスタジオ品質の録音だけを使用したわけではありません。彼らは、背景ノイズ、重なり合う声、異なるアクセント、そして人々が喋り合っている状態を含む、インターネット上の「野生の」録音を含む膨大なデータを与えました。また、2人の人が同時に話しているときのような、トリッキーな状況に対処する方法を教えるために、異なる声を混ぜ合わせた「シミュレーション」による会話も作成しました。
彼らが発見したこと
チームは、この新しいモデルを、現在利用可能な最も大きく、最も高価な商用システム（Doubao、ElevenLabs、および様々なGoogleモデルなど）と比較テストしました。彼らは3つの異なるタイプのテストを使用しました：
- AISHELL-4： 長時間の、現実世界の会議の録音（最大約40分）。
- Podcast： 複数のゲストが登場する、高品質で長いインタビュー。
- 映画： 短い、重なり合うダイアログを含むクリップ。
結果は印象的でした。ほとんどすべてのテストにおいて、MOSS Transcribe Diarizeは競合よりも間違いが少なかったのです。
- 正確性： 言葉をより正確に捉えました（低い文字エラー率：Character Error Rate）。
- アイデンティティ： 誰が何を言ったかを追跡することに非常に長けていました。研究者はこれをΔcp（単語エラーと話者エラーの差）という指標で測定しました。この数値が低いほど、モデルが誰が話しているのかについて混乱していないことを意味します。MOSS Transcribe Diarizeは最も低いΔcpスコアを記録しており、長く乱雑な会話の中でも、話者のアイデンティティを一貫して保持していました。
- ロングフォーム能力： 一部の有名な商用モデル（GPT-4oやGemini 3 Proなど）が、長い音声ファイルを処理できなかったり、正しい形式を出力できなかったりした一方で、MOSS Transcribe Diarizeは90分の入力を全く問題なく処理しました。
なぜこれが重要なのか
この論文は、音声認識と話者識別を、長いメモリを持つ一つの統合されたシステムに組み合わせることで、より信頼性の高い文字起こしが得られることを示唆しています。このモデルは、音声全体を理解するために音声を細切れにする必要はないということ、つまり、一度に会話全体を聞きながら、それでも詳細を正しく把握できるということを証明しています。
著者たちは、彼らのモデルが大きな前進ではあるものの、あらゆる問題を完璧に解決する魔法の杖ではないことも慎重に述べています。リアルタイム（ストリーミング）での動作や、さらに多くの言語への対応など、改善の余地は依然として存在します。しかし現時点では、単一の統合された脳が、2つの別々のロボットよりも優れた仕事ができることを、特に会話が長く複雑になった場合に、彼らは証明したのです。
コードとモデルは、GitHubとHugging Faceで誰でも試せるように公開されており、他の人々がこの新しい基盤の上にさらに優れたツールを構築できることを期待しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。