✨ 要約🔬 技術概要
音声技術の世界を、活気ある街に例えてみましょう。長年、「警察官」（従来の音声認識システム）は、静かな部屋で書かれた明瞭な看板を読み取ることは非常に得意でした。しかし、混雑した市場で叫んだり、歌を歌ったり、あるいは強い訛りで話したりすると、彼らはしばしば混乱したり、諦めてしまったりしました。
Qwen3-ASR チームは、ゲームのルールを完全に変える新しい「スーパー警官」と「タイムキーパー」をリリースしました。彼らが作り上げたものを、分かりやすく解説します。
1. 二人のスーパー警官：Qwen3-ASR-1.7B と Qwen3-ASR-0.6B
これら2つのモデルを、異なる強みを持つ一対の探偵と考えてください。彼らはどちらも、世界を深く理解する「スーパーメンター」（Qwen3-Omniと呼ばれる基盤モデル）によって訓練されています。
大型の探偵 (Qwen3-ASR-1.7B): これは重量級のヒットメーカーです。あらゆるものを聞き取ってきた熟練のベテランのようなものです。騒がしい工場の会話を聞き取ったり、フルバンドが演奏している背景の中で歌を理解したり、あるいは珍しい方言で話していても、何を言っているのかを解明したりできます。その能力は非常に高く、巨大テック企業が運営する最も高価でクローズドなサービスにも匹敵します。スピード型の探偵 (Qwen3-ASR-0.6B): これは軽量で機敏なパートナーです。より小さく、より高速です。パズルを解きながらマラソンを走れる探偵を想像してください。これは驚異的な効率性を実現するように設計されています。論文によれば、多くのタスクを同時に実行する場合、1秒間に2,000秒分の音声 を処理できるといいます。スマートフォンや小型デバイスに組み込むのに最適で、動作に巨大なコンピュータを必要としません。
何が特別なのか？
「万能翻訳者」の帽子: 彼らは英語や中国語を話すだけではありません。52の言語と方言 を理解します。標準的な中国語、四川弁のような特定の地域方言、あるいはベトナム語のような言語であっても、瞬時に帽子を掛け替えることができます。「ノイズキャンセリング」の耳: 彼らは混沌を無視するように訓練されました。ドラムが鳴り響く中で歌を歌っても、あるいは賑やかな通りで子供が叫んでいても、これらのモデルは言葉を鮮明に聞き取ることができます。「言語識別」のバッジ: 言葉を書き起こす前に、彼らは自分が何の言語を話しているか を正確に把握します。似たような響きの言語（マレー語とインドネシア語など）を高い精度で見分けることができます。
2. タイムキーパー：Qwen3-ForcedAligner-0.6B
昔は、録音の中で単語が正確にいつ始まり、いつ終わったかを知りたい場合（字幕作成などのため）、間違いが多くて動作も遅い機械を使う必要がありました。
チームは、Qwen3-ForcedAligner と呼ばれる新しいツールを導入しました。
比喩: あなたが書き起こし（言葉）と録音（音）を持っているとします。古いツールは、言葉を音に合わせようとして推測しているようなものでした。この新しいモデルは、超高速な非自己回帰型（non-autoregressive）のタイムキーパー のようなものです。仕組み: 一単語ずつ推測する（これは遅い）のではなく、文章全体を見て、すべての単語や文字に瞬時にタイムスタンプを割り当てます。結果: 驚異的に正確で高速です。11の言語を扱うことができ、話し手が文章の途中で言語を切り替えた場合でも機能します。非常に高速で、1時間の音声をわずか数分で処理できます。
3. 彼らはどのように学んだのか（トレーニング）
「どうしてこれほど賢くなったのか？」と思うかもしれません。
基礎: 彼らは、音声、視覚、テキストをすでに理解しているモデル（Qwen3-Omni）からスタートしました。練習: 彼らは、4,000万時間 におよぶ膨大な録音音声ライブラリ（主に中国語と英語）で練習しました。「実戦」訓練: 単に静かなスタジオで練習したわけではありません。彼らは以下のテストを受けました。
高齢者と子供: 異なる声のピッチ。早口言葉: 速く難しい話し方。歌唱: 言葉を引き延ばすメロディ。背景ノイズ: 激しい音楽や群衆。
「強化」のレッスン: 最後に、彼らは最も困難な間違いに対して修正を受けるという、特別な学習方法（強化学習）を用いました。これにより、現実世界の混沌とした状況においても非常に堅牢になりました。
4. 結果：なぜ重要なのか
論文では、これらの新しいモデルを最高の競合相手（無料のオープンソースモデルと有料の商用モデルの両方）と比較しています。
正確性: 大型モデル（1.7B）は、しばしば最も正確なオープンソースモデルであり、高価な有料サービスに勝るか、あるいは匹敵します。速度: 小型モデル（0.6B）は最も高速であり、スピードと賢さの最高のバランスを提供します。汎用性: 彼らは、高品質な音声認識、言語識別、そして歌唱認識を、数十の言語で機能する一つのパッケージとして組み合わせた最初の存在です。
要約すると: Qwen3-ASRファミリーは、コンピューターが、騒がしく、乱雑で、あるいは音楽的な状況であっても、人間と同じように人間の話し言葉を理解できるようにするためのツールキットです。そして、それを多くの異なる言語で行います。彼らは、将来のより優れた音声技術を構築するために、研究者や開発者がこれらのツールを自由に使えるよう、これらを無料で公開しています。
技術要約: Qwen3-ASR テクニカルレポート
問題提起
自動音声認識（ASR）の分野は、従来のエンドツーエンド・パラダイム（例：Transducer、AED）から、大規模オーディオ言語モデル（LALM）アプローチへと移行しています。LALMは、長尺の文字起こし、ノイズ耐性、および世界知識の統合において優れた能力を提供しますが、既存のソリューションは実世界のデプロイメントにおいてしばしば以下の制限に直面します：
ベンチマークの飽和: オープンソースのASRモデルは、標準的な公開ベンチマークでは顕著な差を示さないことが多いものの、複雑な実世界のシナリオ（例：方言、高齢者の音声、歌唱）においては品質の差が大きく現れます。断片化されたツール群: タイムスタンプ付与（強制アライメント）は、通常、別個のツール（例：CTC、CIF、MFA）を用いた後処理ステップとして行われますが、これらは多言語の一貫性や時間的粒度の柔軟性に欠けています。効率性と精度のトレードオフ: デバイス上での実行や高並列な産業用途のために、高い精度と低レイテンシを両立させるモデルが求められています。特化されたシナリオ: 歌唱音声、バックグラウンドミュージック（BGM）を含む楽曲、および多様な方言の堅牢な認識は、汎用ASRシステムにとって依然として課題です。
メソドロジー
1. モデルアーキテクチャ
Qwen3-ASR ファミリーは、強力なオーディオ理解能力を活用するため、Qwen3-Omni 基盤モデルの上に構築されています。アーキテクチャは以下で構成されます：
AuT Encoder: 事前に個別に事前学習された、Attention-Encoder-Decoder（AED）ベースのエンコーダーです。Fbank特徴量（100Hz）を8倍にダウンサンプリングし、12.5Hzのトークンを生成します。ストリーミングとオフライン推論の両方をサポートするために、ダイナミック・フラッシュ・アテンション・ウィンドウ（1秒〜8秒）を利用しています。Projector & LLM: プロジェクターは、エンコーダーの出力をLLMの空間にマッピングします。
Qwen3-ASR-1.7B: Qwen3-1.7Bをベースとし、300MパラメータのAuTエンコーダー（隠れ層サイズ1024）を備えています。Qwen3-ASR-0.6B: Qwen3-0.6Bをベースとし、効率性を最適化した180MパラメータのAuTエンコーダー（隠れ層サイズ896）を備えています。
Qwen3-ForcedAligner-0.6B: 強制アライメントをスロット充填タスクとして再定義した、新しい非自己回帰（NAR）モデルです。事前学習済みのAuTエンコーダーとQwen3-0.6B LLMを使用し、トランスクリプト内に挿入された特殊な [time] トークンに対する離散的なタイムスタンプ・インデックスを予測します。
2. 学習戦略
学習パイプラインは、4つの異なるステージで構成されます：
AuT Pretraining: 一般的なオーディオ表現を確立するため、約4,000万時間の疑似ラベル付きASRデータ（主に中国語と英語）で学習されます。Omni Pretraining: 3兆トークンのマルチモーダル（オーディオ、ビジョン、テキスト）データで学習されたQwen3-Omni基盤モデルを利用します。ASR Supervised Fine-Tuning (SFT):
小規模で、互いに独立した多言語データセットを使用します。
非音声データ、ストリーミング強化データ、およびコンテキスト・バイアスを組み込みます。
指示の緩和（Instruction Mitigation）: プロンプト内の自然言語による指示による失敗（指示注入の失敗）を防ぐため、モデルはASR専用として訓練され、指示を無視するように学習されます。出力形式: 言語とテキストを示す構造化された出力（例：language English<asr_text>...）を生成するか、音声が検出されない場合は None を出力します。
ASR Reinforcement Learning (RL): ノイズ耐性と文字起こしの安定性を高めるため、約5万個の発話（ノイズ、多言語、機能的データを含む）に対して、Group Sequence Policy Optimization (GSPO) を採用しています。
3. 強制アライメント学習
疑似ラベル生成: Montreal Forced Aligner (MFA) の出力を疑似ラベルとして使用し、系統的なシフトを軽減するために、モデルによって蒸留および平滑化されます。因果的学習（Causal Training）: 標準的な次トークン予測とは異なり、シーケンスのシフトを行わない因果的学習を用いて、タイムスタンプ・スロットを明示的に認識し、充填します。ダイナミック・スロット挿入: 汎化性能を向上させるため、学習中に開始/終了タイムスタンプのスロットをランダムに挿入します。
主な貢献
最先端のオールインワンASR:
52の言語と方言 （30の言語 + 22の中国語方言）をサポート。オープンソースモデルの中でSOTA（最先端）の性能を達成し、トップクラスの商用API（GPT-4o, Gemini-2.5-Pro, Doubao-ASR）に匹敵します。
複雑なシナリオにおける堅牢性を実証：歌唱音声、BGMを含む楽曲、高齢者/子供の音声、および極端なノイズ環境。
新しい非自己回帰型強制アライメント:
初のLLMベースの多言語強制アライナーである Qwen3-ForcedAligner-0.6B を導入。
11の言語 にわたって、柔軟な粒度（単語、文、段落）をサポート。非自己回帰的な方法で動作し、すべてのタイムスタンプを同時に予測することで、推論速度を大幅に向上させています。
効率性とスケーラビリティ:
Qwen3-ASR-0.6B は、平均Time-to-First-Token (TTFT) がわずか 92ms であり、128並列時において 毎秒2,000秒のオーディオ のスループットを実現します。最大単一推論期間1,200秒（20分）の、統一されたオフラインおよびストリーミング推論をサポート。
オープンソース・エコシステム:
Apache 2.0 ライセンス の下で3つのモデルの重みをリリース。多粒度アライメント、ストリーミング、および多言語処理をサポートする包括的な推論およびファインチューニング・フレームワークを提供。
実験結果
ASR パフォーマンス
公開ベンチマーク: 英語および中国語のベンチマーク（LibriSpeech, WenetSpeech, Fleursなど）において、Qwen3-ASR-1.7Bはオープンソースのベースライン（Whisper-large-v3, FunASR）を一貫して上回り、商用APIとも競争できるレベルにあります。内部堅牢性スイート: 16の英語アクセント、22の中国語方言、および困難な条件（高齢者の音声、早口言葉、極端なノイズ）を含むストレス・テストにおいて、Qwen3-ASR-1.7Bはすべてのサブセットで最も低い単語誤り率（WER）を達成し、商用APIを凌駕しました。多言語およびLID: モデルは高い言語識別（LID）精度（例：Fleursにおける1.7Bの98.7%）を達成し、30の言語にわたって強力なパフォーマンスを維持しています。歌唱音声: Qwen3-ASR-1.7Bは、歌唱専用ベンチマーク（M4Singer, MIR-1k-vocal）で最高の結果を達成しており、他のモデルが失敗しやすいBGMを含む長尺の楽曲の文字起こしにおいても、ベースラインを大幅に上回っています。
強制アライメント パフォーマンス
精度: Qwen3-ForcedAligner-0.6Bは、人間がラベル付けしたデータセットにおいて、既存の手法（Monotonic-Aligner, NFA, WhisperX）と比較して、累積平均シフト（AAS）を 67%〜77% 削減します。堅牢性: 長い発話で性能が低下するベースラインとは異なり、提案モデルは300秒の連結クリップやクロスリンガル（言語横断）シナリオにおいても低いAASを維持します。効率性: **0.001に近い実時間係数（RTF）**を達成し、毎秒1,000秒のオーディオを処理します。
意義と主張
本論文は、Qwen3-ASRファミリーが、高性能、多言語、かつ堅牢な音声認識をコミュニティに提供するための重要な一歩であることを主張しています。LALMパラダイムを活用することで、従来のASRが苦慮してきた長尺の文字起こし、方言のバリエーション、および歌唱音声といった課題に対処しています。
Qwen3-ForcedAligner-0.6B の導入は、タイムスタンプ付与のための統一された多言語かつ効率的なソリューションを提供することで、音声技術スタックのギャップを埋める重要な機能コンポーネントとして強調されています。これは、精度と汎用性の両面において特化型のツールを凌駕するものです。著者らは、これらのモデルをオープンライセンスで公開し、再現可能なフレームワークを伴うことで、自動音声認識およびオーディオ理解の研究と開発を加速させることを目的としています。
毎週最高の electrical engineering 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。 登録 ×