OSUM-Pangu: An Open-Source Multidimension Speech Understanding Foundation Model Built upon OpenPangu on Ascend NPUs

本論文は、非 CUDA 環境である Ascend NPU プラットフォーム上で完全オープンソース化された音声理解基盤モデル「OSUM-Pangu」を提案し、OpenPangu-7B を基盤として音声知覚とユーザー意図認識を順次統合するトレーニング手法により、GPU ベースの主要モデルと同等の精度を達成したことを示しています。

要約

この論文は、**「AI の耳と脳を、NVIDIA の GPU ではなく、中国製の『昇騰（しんとう）NPU』という別のチップで動かすことに成功した」**という画期的な研究について書かれています。

専門用語を排して、日常の風景に例えながら解説しますね。

🌟 物語の舞台：「AI 界の交通渋滞」

まず、今の AI 業界の状況を想像してみてください。
高性能な「音声 AI（人の話を聞いて、意味を理解し、答える AI）」を作るには、NVIDIA 製の GPUという「超高性能なエンジン」が必須でした。これは、世界中の AI 開発者が使う「標準的な燃料」のようなものです。

しかし、このエンジンを使うには高いコストがかかったり、特定の国や企業に依存したりする「交通渋滞」が起きていました。もし、このエンジンが手に入らなかったら、素晴らしい音声 AI は作れなくなってしまうのです。

🚀 登場人物：OSUM-PANGU（オサム・パングー）

この論文の主人公は、**「OSUM-PANGU」という新しい AI です。
彼の特徴は、「NVIDIA 製のエンジン（CUDA）を使わず、昇騰 NPU という別のエンジンで、同じくらい高性能に走れる」**という点です。

• OSUM（オサム）： 音声の「耳」の役割をする、すでに実績のあるシステム。
• OpenPangu（パングー）： 音声の「脳」の役割をする、巨大な言語モデル（LLM）。

この 2 つを組み合わせ、**「NVIDIA 製エンジンなし」**で、昇騰 NPU という新しい車体に乗せて走らせることに成功しました。

🛠️ 仕組み：どうやって実現したの？

OSUM-PANGU は、3 つのステップで「耳」と「脳」を訓練しました。まるで、新しい言語を学ぶ子供の成長過程のようです。

1. ステップ 1：耳の訓練（音声と文字のつなぎ目）
   • まず、音声データを「文字」に変換する練習をします。
   • 例え話： 耳で聞いた音を、脳が理解できる「文字のリスト」に変える通訳を育てるようなものです。
2. ステップ 2：脳の訓練（人間の意図を理解する）
   • 次に、音声なしで、**「人の言葉のニュアンス」**を学ぶ訓練をします。
   • 例え話： 「この音、何と言ってるの？」「話してる人の年齢は？」という、人間が自然に言う質問を、AI が「あ、これは『文字起こし』の依頼だ」「これは『年齢推定』の依頼だ」と理解できるようにします。
3. ステップ 3：合体訓練（耳と脳で連携）
   • 最後に、音声と質問を同時に聞いて、即座に答えを出す練習をします。
   • 例え話： 「この音声を聞いて、話してる人の年齢を推測して」と言われたら、AI は「（耳で聞いて）『こんにちは、私はパングーです』と聞こえた。脳で判断して『成人男性』と答える」という一連の流れを、自然にこなせるようになります。

🏆 結果：本当に使えるの？

実験の結果、OSUM-PANGU は驚くべき成果を上げました。

• 性能は負けていない： 世界中で主流の「NVIDIA GPU 搭載 AI」と比べて、音声認識や感情分析などの精度はほぼ同等、あるいは在某些分野ではそれ以上でした。
• 指示に従う力が高い： ユーザーが「この音、何て言ってる？」「話者の年齢は？」と自由に質問しても、AI は**90.2%**の確率で「何を求めているか」を正しく理解し、適切な答えを返しました。
• 自由な会話が可能： 決まった型（「音声認識モード」など）に縛られず、人間のように自然な言葉で指示を出せるようになりました。

💡 この研究のすごいところ（まとめ）

この論文が伝えたかったことは、**「AI は NVIDIA 製エンジンだけが全てじゃない」**ということです。

• 多様性の確保： 昇騰 NPU という別のハードウェアでも、高性能な音声 AI が作れることを証明しました。
• オープンソース： 誰でも使えるように、コードやモデルを公開しています。これにより、世界中の研究者が「NVIDIA 依存」から抜け出し、自由に AI を開発できる道が開かれました。

一言で言うと：
「AI の世界に『NVIDIA 一強』という壁があったが、OSUM-PANGU という新しい道を開く探検家が現れ、『別のエンジンでも、同じように素晴らしい音声 AI が作れるよ！』と証明した」というお話です。

これにより、AI 開発の未来が、より自由で多様なものになることが期待されています。

技術概要

OSUM-PANGU: 技術概要（日本語）

本論文は、NVIDIA CUDA 環境に依存しない、昇騰（Ascend）NPU 上で動作するオープンソースの多次元音声理解基盤モデル「OSUM-Pangu」を提案したものです。以下に、問題意識、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 背景と問題意識

近年、音声大規模言語モデル（Speech LLM）の発展により、多様な音声理解タスク（認識、感情推定、イベント検出など）の統合が進んでいます。しかし、既存の高性能フレームワークの多くは以下の課題を抱えていました。

• CUDA 依存の壁: 主要なモデルは NVIDIA GPU 向けに最適化されており、非 CUDA 環境（特に中国の昇騰 NPU など）への移植が困難です。
• 柔軟な指示理解の欠如: 既存のオープンソースモデル（例：OSUM）は、特定のタスクタグや固定されたプロンプトに依存しており、ユーザーが自由な自然言語で指示を出した場合の意図理解能力に限界がありました。
• マルチモーダル基盤の不足: 昇騰 NPU 上では大規模言語モデル（LLM）のテキスト処理は進んでいますが、音声を含むマルチモーダル理解の基盤モデルは不足していました。

2. 提案手法：OSUM-Pangu

OSUM-Pangu は、音声理解フレームワーク「OSUM」と、昇騰 NPU 向けに最適化された大規模言語モデル「openPangu-7B」を統合することで、完全な非 CUDA ソフトウェア・ハードウェアスタックを実現しました。

2.1 モデルアーキテクチャ

モデルは以下の 3 つの主要コンポーネントで構成されます（図 1 参照）。

1. 音声エンコーダ: 事前学習済みの Whisper-medium を使用。音声の特徴量（メルスペクトログラム）を抽出しますが、初期段階ではパラメータを固定してトレーニングの安定性を確保します。
2. モダリティアダプター: 音声特徴とテキスト特徴のギャップを埋めるため、2D 畳み込み層による時間方向のダウンサンプリング（4 倍）と、Transformer 層による長距離依存性のモデル化を行い、LLM の埋め込み次元にマッピングします。
3. LLM バックボーン: openPangu-Embedded-7B-V1.1 を採用。これは昇騰 NPU 上でネイティブに最適化されたモデルであり、メモリフットプリントと計算コストが低く抑えられています。

2.2 3 段階のトレーニングパイプライン

効率的なタスクアライメントと意図理解を実現するため、以下の 3 段階でトレーニングを行います（図 2 参照）。

• Stage I（タグベース音声アライメント）: 音声トークンと固定タスクタグ（例：<asr>, <age>）を対応させ、アダプターと LoRA 適用後の LLM を微調整します。
• Stage II（テキストベース意図認識）: 音声入力なしで、自然言語の指示（例：「この音声を話してください」）からタスク意図を特定する能力を LLM に学習させます。
• Stage III（結合マルチモーダル統合）: 自然言語指示と音声入力を同時に受け取り、ユーザーの意図を推測して適切なタスク（音声認識、年齢推定など）を自動実行し、構造化された出力を生成します。

2.3 指示追従（Instruction Following）の強化

従来の固定プロンプトに依存せず、ユーザーの自由な自然言語指示を解釈し、タスクをルーティングする能力を強化しました。評価指標として「指示追従率（IFR）」を導入し、LLM をジャッジとして用いて、指示と出力の整合性を評価しています。

3. 実験結果

昇騰 Ascend 910B NPU クラスター上で実験を行い、主要な GPU ベースモデル（Qwen2-Audio, OSUM など）と比較しました。

• タスク精度: 音声認識（ASR）、話者属性推定（年齢、性別）、音声イベント検出（VED）など、7 つのタスクにおいて、GPU ベースの主要モデルと同等、あるいは一部（年齢推定やスタイル認識など）で上回る性能を達成しました。
  • 例：年齢推定（SAP）では 83.31% の精度を記録（OSUM の 76.52% を上回る）。
• 指示追従率（IFR）: 自然言語指示に対するタスク実行成功率は 90.2% に達し、指示チューニング済みの Qwen2Audio-Instruct（71.3%）を大幅に上回りました。
• 柔軟性の検証: 固定指示（FI）と自然言語指示（NL）を比較したところ、ASR や感情認識（SER）などの主要タスクでは性能低下がほとんど見られず、柔軟な指示にも頑健に対応できることが示されました。
• 音声対話（STTC）: 一般知識クエリ（TriviaQA, Web Q）において、商用モデルには劣るものの、他の専門モデルを上回る結果を示し、非 CUDA LLM による音声対話の可能性を証明しました。

4. 主要な貢献

1. 完全な非 CUDA 基盤の確立: 昇騰 NPU 上で、音声エンコーダから LLM バックボーンまでを統合した、再現可能なオープンソースの音声理解基盤モデルを初めて公開しました。
2. 柔軟な意図理解の実現: 固定プロンプトに依存せず、自然言語指示からタスクを推論・実行する能力を、大規模なマルチモーダル事前学習なしに実現しました。
3. 高性能な代替エコシステムの提示: GPU 中心の AI 生態系に依存しない、高性能なマルチモーダル音声処理の新たな選択肢を提供し、AI 技術の多様化と独立した進化を促進しました。

5. 意義と結論

OSUM-Pangu は、特定のハードウェアベンダー（NVIDIA）に縛られない、オープンで再現性の高い音声理解研究の基盤を提供しています。昇騰 NPU 上でも GPU 並みの性能が得られることを実証し、マルチモーダル AI の開発における「CUDA 依存」からの脱却と、地域や環境に依存しない AI インフラの構築に向けた重要な一歩となりました。