🤖 machine learning

Nemotron 3 Nano Omni: Efficient and Open Multimodal Intelligence

Nemotron 3 Nano Omni は、音声、テキスト、画像、動画をネイティブにサポートする新しいオープンソースのマルチモーダルモデルであり、30B-A3B バックボーンとトークン削減技術を通じて精度、エージェント機能、効率的な推論を向上させ、さらなる研究を支援するためにチェックポイントとコードを公開しています。

原著者： NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg Heinrich, Guo Chen, Lukas Voegtle, Philipp Fischer, Timo Roman, Karan Sapra, Collin McCarthy, Shaokun Zhang, Fuxiao Liu, Hanrong Ye, Yi Dong, Mingjie Liu, Yifan Peng, Piotr Zelasko, Zhehuai Chen, Nithin Rao Koluguri, Nune Tadevosyan, Lilit Grigoryan, Ehsan Hosseini Asl, Pritam Biswas, Leili Tavabi, Yuanhang Su, Zhiding Yu, Peter Jin, Alexandre Milesi, Netanel Haber, Yao Xu, Sarah Amiraslani, Nabin Mulepati, Eric Tramel, Jaehun Jung, Ximing Lu, Brandon Cui, Jin Xu, Zhiqi Li, Shihao Wang, Yuanguo Kuang, Shaokun Zhang, Huck Yang, Boyi Li, Hongxu Yin, Song Han, Pavlo Molchanov, Adi Renduchintala, Charles Wang, David Mosallanezhad, Soumye Singhal, Luis Vega, Katherine Cheung, Sreyan Ghosh, Yian Zhang, Alexander Bukharin, Venkat Srinivasan, Johnny Greco, Andre Manoel, Maarten Van Segbroeck, Suseella Panguliri, Rohit Watve, Divyanshu Kakwani, Shubham Pachori, Jeffrey Glick, Radha Sri-Tharan, Aileen Zaman, Khanh Nguyen, Shi Chen, Jiaheng Fang, Qing Miao, Wenfei Zhou, Yu Wang, Zaid Pervaiz Bhat, Varun Praveen, Arihant Jain, Ramanathan Arunachalam, Tomasz Kornuta, Ashton Sharabiani, Amy Shen, Wei Huang, Yi-Fu Wu, Ali Roshan Ghias, Huiying Li, Brian Yu, Nima Tajbakhsh, Chen Cui, Wenwen Gao, Li Ding, Terry Kong, Manoj Kilaru, Anahita Bhiwandiwalla, Marek Wawrzos, Daniel Korzekwa, Pablo Ribalta, Grzegorz Chlebus, Besmira Nushi, Ewa Dobrowolska, Maciej Jakub Mikulski, Kunal Dhawan, Steve Huang, Jagadeesh Balam, Yongqiang Wang, Nikolay Karpov, Valentin Mendelev, George Zelenfroynd, Meline Mkrtchyan, Qing Miao, Omri Almog, Bhavesh Pawar, Rameshwar Shivbhakta, Sudeep Sabnis, Ashrton Sharabiani, Negar Habibi, Geethapriya Venkataramani, Pamela Peng, Prerit Rodney, Serge Panev, Richard Mazzarese, Nicky Liu, Michael Fukuyama, Andrii Skliar, Roger Waleffe, Duncan Riach, Yunheng Zou, Jian Hu, Hao Zhang, Binfeng Xu, Yuhao Yang, Zuhair Ahmed, Alexandre Milesi, Carlo del Mundo, Chad Voegele, Zhiyu Cheng, Nave Assaf, Andrii Skliar, Daniel Afrimi, Natan Bagrov, Ran Zilberstein, Ofri Masad, Eugene Khvedchenia, Natan Bagrov, Borys Tymchenko, Tomer Asida, Daniel Afrimi, Parth Mannan, Victor Cui, Michael Evans, Katherine Luna, Jie Lou, Pinky Xu, Guyue Huang, Negar Habibi, Michael Boone, Pradeep Thalasta, Adeola Adesoba, Dina Yared, Christopher Parisien, Leon Derczynski, Shaona Ghosh, Wes Feely, Micah Schaffer, Radha Sri-Tharan, Jeffrey Glick, Barnaby Simkin, George Zelenfroynd, Tomasz Grzegorzek, Rishabh Garg, Aastha Jhunjhunwala, Sergei Kolchenko, Farzan Memarian, Haran Kumar, Shiv Kumar, Isabel Hulseman, Anjali Shah, Kari Briski, Padmavathy Subramanian, Joey Conway, Udi Karpas, Jane Polak Scowcroft, Annie Surla, Shilpa Ammireddy, Ellie Evans, Jesse Oliver, Tom Balough, Chia-Chih Chen, Sandip Bhaskar, Alejandra Rico, Bardiya Sadeghi, Seph Mard, Katherine Cheung, Meredith Price, Laya Sleiman, Saori Kaji, Wesley Helmholz, Wendy Quan, Michael Lightstone, Jonathan Cohen, Jian Zhang, Oleksii Kuchaiev, Boris Ginsburg, Jan Kautz, Eileen Long, Mohammad Shoeybi, Mostofa Patwary, Oluwatobi Olabiyi, Andrew Tao, Bryan Catanzaro, Udi Karpas

公開日 2026-04-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg Heinrich, Guo Chen, Lukas Voegtle, Philipp Fischer, Timo Roman, Karan Sapra, Collin McCarthy, Shaokun Zhang, Fuxiao Liu, Hanrong Ye, Yi Dong, Mingjie Liu, Yifan Peng, Piotr Zelasko, Zhehuai Chen, Nithin Rao Koluguri, Nune Tadevosyan, Lilit Grigoryan, Ehsan Hosseini Asl, Pritam Biswas, Leili Tavabi, Yuanhang Su, Zhiding Yu, Peter Jin, Alexandre Milesi, Netanel Haber, Yao Xu, Sarah Amiraslani, Nabin Mulepati, Eric Tramel, Jaehun Jung, Ximing Lu, Brandon Cui, Jin Xu, Zhiqi Li, Shihao Wang, Yuanguo Kuang, Shaokun Zhang, Huck Yang, Boyi Li, Hongxu Yin, Song Han, Pavlo Molchanov, Adi Renduchintala, Charles Wang, David Mosallanezhad, Soumye Singhal, Luis Vega, Katherine Cheung, Sreyan Ghosh, Yian Zhang, Alexander Bukharin, Venkat Srinivasan, Johnny Greco, Andre Manoel, Maarten Van Segbroeck, Suseella Panguliri, Rohit Watve, Divyanshu Kakwani, Shubham Pachori, Jeffrey Glick, Radha Sri-Tharan, Aileen Zaman, Khanh Nguyen, Shi Chen, Jiaheng Fang, Qing Miao, Wenfei Zhou, Yu Wang, Zaid Pervaiz Bhat, Varun Praveen, Arihant Jain, Ramanathan Arunachalam, Tomasz Kornuta, Ashton Sharabiani, Amy Shen, Wei Huang, Yi-Fu Wu, Ali Roshan Ghias, Huiying Li, Brian Yu, Nima Tajbakhsh, Chen Cui, Wenwen Gao, Li Ding, Terry Kong, Manoj Kilaru, Anahita Bhiwandiwalla, Marek Wawrzos, Daniel Korzekwa, Pablo Ribalta, Grzegorz Chlebus, Besmira Nushi, Ewa Dobrowolska, Maciej Jakub Mikulski, Kunal Dhawan, Steve Huang, Jagadeesh Balam, Yongqiang Wang, Nikolay Karpov, Valentin Mendelev, George Zelenfroynd, Meline Mkrtchyan, Qing Miao, Omri Almog, Bhavesh Pawar, Rameshwar Shivbhakta, Sudeep Sabnis, Ashrton Sharabiani, Negar Habibi, Geethapriya Venkataramani, Pamela Peng, Prerit Rodney, Serge Panev, Richard Mazzarese, Nicky Liu, Michael Fukuyama, Andrii Skliar, Roger Waleffe, Duncan Riach, Yunheng Zou, Jian Hu, Hao Zhang, Binfeng Xu, Yuhao Yang, Zuhair Ahmed, Alexandre Milesi, Carlo del Mundo, Chad Voegele, Zhiyu Cheng, Nave Assaf, Andrii Skliar, Daniel Afrimi, Natan Bagrov, Ran Zilberstein, Ofri Masad, Eugene Khvedchenia, Natan Bagrov, Borys Tymchenko, Tomer Asida, Daniel Afrimi, Parth Mannan, Victor Cui, Michael Evans, Katherine Luna, Jie Lou, Pinky Xu, Guyue Huang, Negar Habibi, Michael Boone, Pradeep Thalasta, Adeola Adesoba, Dina Yared, Christopher Parisien, Leon Derczynski, Shaona Ghosh, Wes Feely, Micah Schaffer, Radha Sri-Tharan, Jeffrey Glick, Barnaby Simkin, George Zelenfroynd, Tomasz Grzegorzek, Rishabh Garg, Aastha Jhunjhunwala, Sergei Kolchenko, Farzan Memarian, Haran Kumar, Shiv Kumar, Isabel Hulseman, Anjali Shah, Kari Briski, Padmavathy Subramanian, Joey Conway, Udi Karpas, Jane Polak Scowcroft, Annie Surla, Shilpa Ammireddy, Ellie Evans, Jesse Oliver, Tom Balough, Chia-Chih Chen, Sandip Bhaskar, Alejandra Rico, Bardiya Sadeghi, Seph Mard, Katherine Cheung, Meredith Price, Laya Sleiman, Saori Kaji, Wesley Helmholz, Wendy Quan, Michael Lightstone, Jonathan Cohen, Jian Zhang, Oleksii Kuchaiev, Boris Ginsburg, Jan Kautz, Eileen Long, Mohammad Shoeybi, Mostofa Patwary, Oluwatobi Olabiyi, Andrew Tao, Bryan Catanzaro, Udi Karpas

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

超知能の助手を想像してみてください。その助手は生涯にわたって本を読み、画像を見て過ごしてきました。テキストや画像については抜群に得意ですが、もし会話したり、音付きの動画を見せたりすると、困惑してしまいます。

Nemotron 3 Nano Omniは、NVIDIA が発表したこの助手の最新バージョンです。まるでその助手に耳とビデオカメラを与え、さらに情報を処理する速度と効率を格段に向上させたようなものです。

以下に、この新モデルを特別なものにしている要素を、日常の比喩を用いて分かりやすく解説します。

1. 「オールインワン」アップグレード

以前、この助手（Nemotron Nano V2）はテキストの読解と静止画の閲覧しかできませんでした。新しいNemotron 3 Nano Omniは「オムニモーダル」であり、これはすべてを同時に処理できる、つまりテキスト、画像、動画、音声をすべて扱えるという、少し仰々しい表現です。

比喩: 旧モデルは本しか読めない図書館司書だとしたら、新モデルは本を読み、映画を見、ポッドキャストを聴き、それらすべてがどのように関連しているかを説明できる図書館司書です。

2. 「脳」と「感覚」

このモデルは、Nemotron 3 Nano 30B-A3Bと呼ばれる非常に効率的な「脳」を基盤としています。この脳は「Mixture of Experts（MoE）」と呼ばれるもので、特定の課題を解決するために必要な専門家だけが目を覚ますチームのような仕組みであり、エネルギーを節約します。

感覚: 新しい入力に対応するため、2 つの新しい「センサー」が取り付けられました。
- 視覚: 画像や動画を見るためのハイテクカメラシステム（C-RADIOv4-H）。
- 聴覚: 音声、音楽、環境音を理解する高度な耳（Parakeet-TDT）。

3. 見る・聞くための賢い方法

論文では、このモデルが膨大なデータに圧倒されないようにするための 3 つの巧妙な工夫が強調されています。

動的解像度（可変レンズ）: 詳細を失う原因となる、すべての写真を小さな固定された正方形に圧縮するのではなく、カメラがズームイン・ズームアウトするように視野を調整し、画像の自然な形状を維持します。
動画圧縮（タイムラプス）: 動画を見る際、フレームが同一であればすべてのフレームを個別に見るのではなく、「3D 畳み込み」という工夫を用いてフレームのペアを結合し、処理が必要な「フレーム」の数を事実上半分に減らします。
音声チャンク（音の抜粋）: 2 時間のポッドキャストを巨大なノイズの塊として聴くのではなく、30 秒のクリップに分割し、会話の流れを理解しやすくします。

4. 「トレーニングキャンプ」（学習の仕組み）

カメラを接続するだけで、モデルがすぐに映画を理解できるわけではありません。チームは学生が進級するように、段階的なトレーニングレシピを使用しました。

ステージ 0-1: まず、モデルに画像とテキストを同時に理解することを教えました。
ステージ 2-3: 次に、音声を聴き、発話することを教えました。
ステージ 4-6: 最後に、すべてを統合しました。長い文書、数時間の動画、複雑な対話を含む膨大なデータ（4,660 億以上の「トークン」または単語）を学習させました。
「強化学習」フェーズ: 初期トレーニングの後、「試行・失敗・成功」のゲームを行いました。モデルに課題を与え、答えが正しいか確認し、論理的に思考したことで報酬を与えました。これは、コーチがアスリートの試合映像をレビューして戦略を改善させることに似ています。

5. 速度と効率

論文における最大の主張の一つは、このモデルが驚くほど高速であるという点です。

比喩: 同サイズの他のモデルが渋滞に巻き込まれるスポーツカーだとすれば、Nemotron 3 Nano Omni は高速鉄道です。不要なステップをスキップする特別な技術を用いることで、競合他社よりもはるかに高速に長い動画や巨大な文書を処理できます。
結果: NVIDIA の最新チップ（B200）上では、同様のモデルよりも3 倍から 9 倍速くテキスト出力を生成でき、かつメモリ使用量は少なくて済みます。

6. 実際に行えること（論文に基づく）

論文ではこのモデルを特定の課題でテストし、以下の分野で非常に高い性能を発揮しました。

文書の読解: 複雑なチャート、表、長いレポート（財務報告書など）を、以前のバージョンよりもよく理解できます。
動画の理解: 音声付きの長い動画を見て、何が起きたか、なぜ起きたか、出来事の順序について質問に答えることができます。
コンピュータ制御: コンピュータの画面（GUI）を見て、フライトの予約やフォームの記入などのタスクを完了させるためにどのボタンをクリックすべきかを判断できます。
音声対話: 会話を続け、アクセントを理解し、聞いた内容に基づいて質問に答えることができます。

7. 誰でも利用可能

最後に、論文は NVIDIA が「設計図」と「トレーニング資料」を共有することを発表しています。モデルは異なるサイズ（標準、圧縮、超圧縮）でリリースされ、さらにそれを構築するために使用されたデータやコードの一部も共有されています。これは、レシピと材料を世界中に提供し、他の科学者たちが自分たちのバージョンを構築したり、改良したりできるようにするのと同じです。

まとめ: Nemotron 3 Nano Omni は、読み、見て、聴くことを同時にこなす、より高速で賢く、多感覚的な助手です。複雑で長いタスクを処理する際に、行き詰まることがないように設計されています。

技術概要：Nemotron 3 Nano Omni

1. 問題定義

マルチモーダル AI の分野は急速に進化していますが、既存のモデルは効率性、ネイティブな音声サポート、および長文脈推論のバランスにおいて重大な課題に直面しています。以前の世代では、音声が後付けとして扱われることが多く、または推論遅延が高くスループットに制限を伴う重厚な密結合アーキテクチャに依存していました。さらに、音声付きの長編動画やドキュメントを処理するには膨大なトークン数が必要となり、計算コストが許容不可能なレベルに達します。したがって、以下の要件を満たすオムニモーダルモデル（テキスト、画像、動画、音声）が緊急に必要とされています：

性能劣化なく、他のモーダルと並行してネイティブに音声を処理する。
全てのモーダルにおいて高い推論能力を維持する。
実世界のエージェントアプリケーションに適した、優れた推論効率（低遅延、高スループット）を達成する。
複雑なドキュメントおよび動画分析のために、超長文脈（最大 256K トークン）をサポートする。

2. 手法

2.1 モデルアーキテクチャ

Nemotron 3 Nano Omni は、Mixture-of-Experts (MoE) ハイブリッドバックボーン、具体的にはNemotron 3 Nano 30B-A3B（総パラメータ数 30B、アクティブパラメータ数 3B）を基盤として構築されています。アーキテクチャはエンコーダ - プロジエクタ - デコーダ設計に従います：

LLM バックボーン: 30B-A3B MoE モデルが、中核的な推論および言語能力を提供します。
ビジョンエンコーダ: 高性能なビジョン基盤モデルであるC-RADIOv4-H1を活用します。
音声エンコーダ: 音声および音響理解のための FastConformer ベースのエンコーダであるParakeet-TDT-0.6B-v2を使用します。
コネクタ: モダリティ固有の MLP プロジエクタが、ビジョンおよび音声トークンを LLM の埋め込み空間に整合させます。

主要なアーキテクチャ上の革新点:

動的画像解像度: 静的なタイリングに代わり、ネイティブのアスペクト比を保持する動的戦略を採用し、画像を可変の $16 \times 16$ パッチ（1,024–13,312 トークン）に分解します。
時間的動画圧縮: Conv3D ベースの時間的圧縮を導入し、ViT ブロックに投入する前に連続する 2 フレームを単一の「チューブレット」として融合させ、時間的トークンを2 倍削減します。
音声トークナイズ: 音声を 16kHz でリサンプリングし、ログメルスペクトログラムを介してエンコード後、約 12.5 トークン/秒にダウンサンプリングします。
文脈長: 最大256K トークンをサポートし、長文書および拡張された動画/音声ストリームの分析を可能にします。

2.2 学習戦略

モデルは、安定したクロスモーダル整合性を確保し、破滅的忘却を防ぐために多段階カリキュラム学習アプローチを採用しています：

ステージ 0（ビジョンウォームアップ）: ビジョンプロジエクタのみを学習（16k 文脈）。
ステージ 1（ビジョン SFT）: 高品質な合成データ（Qwen3-VL, Kimi-K2.5）を用いたビジョン - 言語共同微調整。
ステージ 2（音声ウォームアップ）: ASR データ（Granary v1.1）を用いて音声プロジエクタを学習。
ステージ 3（音声エンコーダおよびプロジエクタ）: 音声エンコーダのアンフリーズを行い、音、音楽、音声の共同学習を実施。
ステージ 4（共同オムニ SFT 16k）: ビジョン、音声、動画、テキストデータの混合によるフルモデル学習。
ステージ 5（オムニ SFT 48k）: 文脈を 48k に拡張し、長編動画および推論データを重視。
ステージ 6（オムニ SFT 256k）: 文脈を 256k に拡張し、超長文書およびテキスト推論に焦点を当てる。
強化学習（RL）: テキスト、画像、動画、音声の各モーダル全体で**混合選好最適化（MPO）およびグループシーケンス方策最適化（GSPO）**によるポストトレーニングを行い、推論能力と安全性を向上させる。

2.3 効率化技術

効率的な動画サンプリング（EVS）: コサイン非類似度に基づいて冗長な動画トークンを削除するランタイム剪定メカニズムであり、ViT 後のトークン数をさらに削減します。
量子化: BF16、FP8、およびNVFP4（重みあたり有効 4.98 ビット）形式のモデルをリリースし、精度の低下を最小限（中央値で 1% 未満の低下）に抑えながら、大幅なメモリ節約を実現します。

3. 主要な貢献

ネイティブなオムニモーダルサポート: Nemotron シリーズで初めて、テキスト、画像、動画に加えて音声入力をネイティブにサポートし、真のクロスモーダル推論を可能にします。
最先端の効率性: 先行モデル（Nemotron Nano V2 VL）と比較してスループットが 3 倍、NVIDIA B200 GPU 上での Qwen3-Omni と比較してスループットが 7.5 倍を達成しつつ、低遅延を維持しています。
高度なトークン削減: Conv3D 時間的圧縮とEVSを組み合わせることで、動画入力トークンを最大**70%**削減し、推論コストを劇的に低下させます。
超長文脈: 256K の文脈長まで成功裡にスケーリングし、長文書理解および長編動画理解において先行モデルを上回る性能を発揮します。
オープンリリース: チェックポイント（BF16, FP8, FP4）、学習データセット（約 690 万サンプル）、データパイプライン、およびコード（Megatron-Bridge, NeMo-RL）をコミュニティに提供します。

4. 結果

4.1 性能ベンチマーク

Nemotron 3 Nano Omni は、多様なモーダルにおいて先導的または競争力のある結果を達成しています：

ドキュメントおよび OCR: OCRBench-V2（88.3）、MMLongBench-DOC（46.1）、およびChartQA（89.9）でトップクラスの性能。
視覚推論: MMMU（55.2）、MathVista-Mini（71.9）、およびRefCOCO（80.6）で高いスコア。
音声およびボイス: VoiceBench（平均 89.4）で Qwen3-Omni を上回り、OpenASRの結果（平均 WER 5.95）でも競争力のある成績を収めています。
オムニモーダル（動画＋音声）: DailyOmni（74.5）およびWorldSense（55.2）で首位を走り、優れた時間的およびクロスモーダル整合性を示しています。
テキスト推論: ベースとなる 30B-A3B LLM の強力な推論能力を維持（例：MMLU-Pro: 77.3、GPQA: 72.2）。

4.2 効率性指標

スループット: 単一の NVIDIA B200 上で、マルチドキュメントワークロードにおいて5,000 トークン/秒の出力スループットを達成し、シングルストリーム低遅延モードでは500 トークン/秒以上を達成しています。
遅延: Conv3D と EVS を組み合わせることで、Time-to-First-Token (TTFT) が**33%**削減（約 8 秒から約 5.3 秒へ）されました。
量子化: NVFP4バージョンは、モデルサイズを BF16 の 61.5 GB から20.9 GBに削減し、精度の低下は無視できるレベルです。

5. 意義

Nemotron 3 Nano Omni は、効率的で、オープンな、かつエージェント型のマルチモーダル知能における大きな飛躍を表しています。モデル能力と推論コストのトレードオフを解決することで、以下を実現します：

実世界への展開: 高いスループットと低遅延により、自律型 GUI コントローラや音声アシスタントなどのリアルタイムエージェントへの実用が可能になります。
長編分析: 256K の文脈長とトークン削減技術により、メモリボトルネックなしに書籍全体、財務報告書、1 時間以上の動画を分析できます。
コミュニティの進展: チェックポイント、データ、学習パイプラインのオープンリリースにより、最先端のオムニモーダル学習レシピへのアクセスを民主化し、効率的なマルチモーダル AI に関するさらなる研究を促進します。

この研究は、オープンソースのオムニモーダルモデルにおける新たな基準を確立し、コンパクトで効率的なアーキテクチャによって、テキスト、視覚、音声にわたる高性能な推論が達成可能であることを証明しています。