🤖 machine learning

Nemotron 3 Nano Omni: Efficient and Open Multimodal Intelligence

يُعدّ Nemotron 3 Nano Omni نموذجاً جديداً مفتوح المصدر متعدد الوسائط يدعم أصلياً مدخلات الصوت والنص والصورة والفيديو، ويقدم دقة محسنة وقدرات وكيلة واستدلالاً فعالاً من خلال هيكل أساسي مكون من 30 مليار معلمة و3 مليارات معلمة نشطة وتقنيات لتقليل الرموز، مع إصدار نقاط تفتيش وبرمجيات لدعم المزيد من الأبحاث.

المؤلفون الأصليون: NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg Heinrich, Guo Chen, Lukas Voegtle, Philipp Fischer, Timo Roman, Karan Sapra, Collin McCarthy, Shaokun Zhang, Fuxiao Liu, Hanrong Ye, Yi Dong, Mingjie Liu, Yifan Peng, Piotr Zelasko, Zhehuai Chen, Nithin Rao Koluguri, Nune Tadevosyan, Lilit Grigoryan, Ehsan Hosseini Asl, Pritam Biswas, Leili Tavabi, Yuanhang Su, Zhiding Yu, Peter Jin, Alexandre Milesi, Netanel Haber, Yao Xu, Sarah Amiraslani, Nabin Mulepati, Eric Tramel, Jaehun Jung, Ximing Lu, Brandon Cui, Jin Xu, Zhiqi Li, Shihao Wang, Yuanguo Kuang, Shaokun Zhang, Huck Yang, Boyi Li, Hongxu Yin, Song Han, Pavlo Molchanov, Adi Renduchintala, Charles Wang, David Mosallanezhad, Soumye Singhal, Luis Vega, Katherine Cheung, Sreyan Ghosh, Yian Zhang, Alexander Bukharin, Venkat Srinivasan, Johnny Greco, Andre Manoel, Maarten Van Segbroeck, Suseella Panguliri, Rohit Watve, Divyanshu Kakwani, Shubham Pachori, Jeffrey Glick, Radha Sri-Tharan, Aileen Zaman, Khanh Nguyen, Shi Chen, Jiaheng Fang, Qing Miao, Wenfei Zhou, Yu Wang, Zaid Pervaiz Bhat, Varun Praveen, Arihant Jain, Ramanathan Arunachalam, Tomasz Kornuta, Ashton Sharabiani, Amy Shen, Wei Huang, Yi-Fu Wu, Ali Roshan Ghias, Huiying Li, Brian Yu, Nima Tajbakhsh, Chen Cui, Wenwen Gao, Li Ding, Terry Kong, Manoj Kilaru, Anahita Bhiwandiwalla, Marek Wawrzos, Daniel Korzekwa, Pablo Ribalta, Grzegorz Chlebus, Besmira Nushi, Ewa Dobrowolska, Maciej Jakub Mikulski, Kunal Dhawan, Steve Huang, Jagadeesh Balam, Yongqiang Wang, Nikolay Karpov, Valentin Mendelev, George Zelenfroynd, Meline Mkrtchyan, Qing Miao, Omri Almog, Bhavesh Pawar, Rameshwar Shivbhakta, Sudeep Sabnis, Ashrton Sharabiani, Negar Habibi, Geethapriya Venkataramani, Pamela Peng, Prerit Rodney, Serge Panev, Richard Mazzarese, Nicky Liu, Michael Fukuyama, Andrii Skliar, Roger Waleffe, Duncan Riach, Yunheng Zou, Jian Hu, Hao Zhang, Binfeng Xu, Yuhao Yang, Zuhair Ahmed, Alexandre Milesi, Carlo del Mundo, Chad Voegele, Zhiyu Cheng, Nave Assaf, Andrii Skliar, Daniel Afrimi, Natan Bagrov, Ran Zilberstein, Ofri Masad, Eugene Khvedchenia, Natan Bagrov, Borys Tymchenko, Tomer Asida, Daniel Afrimi, Parth Mannan, Victor Cui, Michael Evans, Katherine Luna, Jie Lou, Pinky Xu, Guyue Huang, Negar Habibi, Michael Boone, Pradeep Thalasta, Adeola Adesoba, Dina Yared, Christopher Parisien, Leon Derczynski, Shaona Ghosh, Wes Feely, Micah Schaffer, Radha Sri-Tharan, Jeffrey Glick, Barnaby Simkin, George Zelenfroynd, Tomasz Grzegorzek, Rishabh Garg, Aastha Jhunjhunwala, Sergei Kolchenko, Farzan Memarian, Haran Kumar, Shiv Kumar, Isabel Hulseman, Anjali Shah, Kari Briski, Padmavathy Subramanian, Joey Conway, Udi Karpas, Jane Polak Scowcroft, Annie Surla, Shilpa Ammireddy, Ellie Evans, Jesse Oliver, Tom Balough, Chia-Chih Chen, Sandip Bhaskar, Alejandra Rico, Bardiya Sadeghi, Seph Mard, Katherine Cheung, Meredith Price, Laya Sleiman, Saori Kaji, Wesley Helmholz, Wendy Quan, Michael Lightstone, Jonathan Cohen, Jian Zhang, Oleksii Kuchaiev, Boris Ginsburg, Jan Kautz, Eileen Long, Mohammad Shoeybi, Mostofa Patwary, Oluwatobi Olabiyi, Andrew Tao, Bryan Catanzaro, Udi Karpas

نُشر 2026-04-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg Heinrich, Guo Chen, Lukas Voegtle, Philipp Fischer, Timo Roman, Karan Sapra, Collin McCarthy, Shaokun Zhang, Fuxiao Liu, Hanrong Ye, Yi Dong, Mingjie Liu, Yifan Peng, Piotr Zelasko, Zhehuai Chen, Nithin Rao Koluguri, Nune Tadevosyan, Lilit Grigoryan, Ehsan Hosseini Asl, Pritam Biswas, Leili Tavabi, Yuanhang Su, Zhiding Yu, Peter Jin, Alexandre Milesi, Netanel Haber, Yao Xu, Sarah Amiraslani, Nabin Mulepati, Eric Tramel, Jaehun Jung, Ximing Lu, Brandon Cui, Jin Xu, Zhiqi Li, Shihao Wang, Yuanguo Kuang, Shaokun Zhang, Huck Yang, Boyi Li, Hongxu Yin, Song Han, Pavlo Molchanov, Adi Renduchintala, Charles Wang, David Mosallanezhad, Soumye Singhal, Luis Vega, Katherine Cheung, Sreyan Ghosh, Yian Zhang, Alexander Bukharin, Venkat Srinivasan, Johnny Greco, Andre Manoel, Maarten Van Segbroeck, Suseella Panguliri, Rohit Watve, Divyanshu Kakwani, Shubham Pachori, Jeffrey Glick, Radha Sri-Tharan, Aileen Zaman, Khanh Nguyen, Shi Chen, Jiaheng Fang, Qing Miao, Wenfei Zhou, Yu Wang, Zaid Pervaiz Bhat, Varun Praveen, Arihant Jain, Ramanathan Arunachalam, Tomasz Kornuta, Ashton Sharabiani, Amy Shen, Wei Huang, Yi-Fu Wu, Ali Roshan Ghias, Huiying Li, Brian Yu, Nima Tajbakhsh, Chen Cui, Wenwen Gao, Li Ding, Terry Kong, Manoj Kilaru, Anahita Bhiwandiwalla, Marek Wawrzos, Daniel Korzekwa, Pablo Ribalta, Grzegorz Chlebus, Besmira Nushi, Ewa Dobrowolska, Maciej Jakub Mikulski, Kunal Dhawan, Steve Huang, Jagadeesh Balam, Yongqiang Wang, Nikolay Karpov, Valentin Mendelev, George Zelenfroynd, Meline Mkrtchyan, Qing Miao, Omri Almog, Bhavesh Pawar, Rameshwar Shivbhakta, Sudeep Sabnis, Ashrton Sharabiani, Negar Habibi, Geethapriya Venkataramani, Pamela Peng, Prerit Rodney, Serge Panev, Richard Mazzarese, Nicky Liu, Michael Fukuyama, Andrii Skliar, Roger Waleffe, Duncan Riach, Yunheng Zou, Jian Hu, Hao Zhang, Binfeng Xu, Yuhao Yang, Zuhair Ahmed, Alexandre Milesi, Carlo del Mundo, Chad Voegele, Zhiyu Cheng, Nave Assaf, Andrii Skliar, Daniel Afrimi, Natan Bagrov, Ran Zilberstein, Ofri Masad, Eugene Khvedchenia, Natan Bagrov, Borys Tymchenko, Tomer Asida, Daniel Afrimi, Parth Mannan, Victor Cui, Michael Evans, Katherine Luna, Jie Lou, Pinky Xu, Guyue Huang, Negar Habibi, Michael Boone, Pradeep Thalasta, Adeola Adesoba, Dina Yared, Christopher Parisien, Leon Derczynski, Shaona Ghosh, Wes Feely, Micah Schaffer, Radha Sri-Tharan, Jeffrey Glick, Barnaby Simkin, George Zelenfroynd, Tomasz Grzegorzek, Rishabh Garg, Aastha Jhunjhunwala, Sergei Kolchenko, Farzan Memarian, Haran Kumar, Shiv Kumar, Isabel Hulseman, Anjali Shah, Kari Briski, Padmavathy Subramanian, Joey Conway, Udi Karpas, Jane Polak Scowcroft, Annie Surla, Shilpa Ammireddy, Ellie Evans, Jesse Oliver, Tom Balough, Chia-Chih Chen, Sandip Bhaskar, Alejandra Rico, Bardiya Sadeghi, Seph Mard, Katherine Cheung, Meredith Price, Laya Sleiman, Saori Kaji, Wesley Helmholz, Wendy Quan, Michael Lightstone, Jonathan Cohen, Jian Zhang, Oleksii Kuchaiev, Boris Ginsburg, Jan Kautz, Eileen Long, Mohammad Shoeybi, Mostofa Patwary, Oluwatobi Olabiyi, Andrew Tao, Bryan Catanzaro, Udi Karpas

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مساعداً فائق الذكاء، قضى حياته كلها في قراءة الكتب والنظر إلى الصور. إنه بارع جداً في النصوص والصور، ولكن إذا حاولت التحدث إليه أو عرض فيديو يحتوي على صوت، فسيشعر بالارتباك.

Nemotron 3 Nano Omni هو النسخة الجديدة من NVIDIA لهذا المساعد. إنه يشبه إعطاء ذلك المساعد زوجاً من الأذنين وكاميرا فيديو، مع تعليمه أيضاً كيفية معالجة المعلومات بشكل أسرع وأكثر كفاءة.

إليك تفصيل بسيط لما يجعل هذا النموذج الجديد مميزاً، باستخدام تشبيهات من الحياة اليومية:

1. الترقية "الكل في واحد"

قبل هذا، كان بإمكان المساعد (Nemotron Nano V2) قراءة النصوص والنظر إلى الصور الثابتة فقط. أما النموذج الجديد Nemotron 3 Nano Omni فهو "متعدد الوسائط" (omni-modal)، وهي طريقة تقنية لقول إنه يستطيع التعامل مع كل شيء في وقت واحد: النصوص، الصور، الفيديو، والصوت.

التشبيه: فكر في النموذج القديم كموظف مكتبة يمكنه فقط قراءة الكتب. أما النموذج الجديد فهو موظف مكتبة يمكنه قراءة الكتب، ومشاهدة الأفلام، والاستماع إلى البودكاست، ثم إخبارك كيف ترتبط كل هذه الأشياء ببعضها البعض.

2. "الدماغ" و"الحواس"

بُني النموذج على دماغ عالي الكفاءة يسمى Nemotron 3 Nano 30B-A3B. هذا الدماغ يعتمد على تقنية "خليط الخبراء" (Mixture of Experts - MoE)، وهي تشبه فريقاً من المتخصصين حيث يستيقظ الخبراء المناسبون فقط لحل مشكلة محددة، مما يوفر الطاقة.

الحواس: للتعامل مع المدخلات الجديدة، قاموا بإضافة "مجسات" جديدة:
- الرؤية: نظام كاميرا عالي التقنية (C-RADIOv4-H) ينظر إلى الصور ومقاطع الفيديو.
- السمع: أذن متطورة (Parakeet-TDT) تفهم الكلام، والموسيقى، والأصوات البيئية.

3. طرق أذكى للنظر والاستماع

يسلط البحث الضوء على ثلاث حيل ذكية يستخدمها النموذج لكي لا يشعر بالارتباك بسبب كثرة البيانات:

الدقة الديناميكية (العدسة المرنة): بدلاً من ضغط كل صورة في مربع صغير وثابت (مما يؤدي لفقدان التفاصيل)، يقوم النموذج بتعديل رؤيته مثل الكاميرا التي تقرب أو تبعد لتناسب الشكل الطبيعي للصورة.
ضغط الفيديو (الفاصل الزمني): عند مشاهدة فيديو، لا ينظر النموذج إلى كل إطار إذا كانت الإطارات متطابقة. إنه يستخدم خدعة "الالتفاف ثلاثي الأبعاد" (3D Convolution) لدمج أزواج من الإطارات، مما يقلل عدد "الإطارات" التي يحتاج لمعالجتها إلى النصف فعلياً.
قطع الصوت (لقطات الصوت): بدلاً من الاستماع إلى بودكاست مدته ساعتان ككتلة واحدة ضخمة من الضجيج، يقوم بتقسيم الصوت إلى مقاطع مدة كل منها 30 ثانية، مما يسهل فهم تدفق المحادثة.

4. "المعسكر التدريبي" (كيف تعلم)

لا يمكنك مجرد توصيل كاميرا وتوقع أن يفهم النموذج الأفلام فوراً. استخدم الفريق وصفة تدريب مرحلية، مثل طالب يتدرج في المدرسة:

المرحلة 0-1: أولاً، علموا النموذج فهم الصور والنصوص معاً.
المرحلة 2-3: بعد ذلك، علموه الاستماع إلى الصوت والتحدث.
المرحلة 4-6: أخيراً، جمعوا كل ذلك معاً. لقد غدّوه بكميات هائلة من البيانات (أكثر من 466 مليار "توكن" أو كلمة) تضمنت مستندات طويلة، وساعات من الفيديو، ومحادثات معقدة.
مرحلة "التعلم التعزيزي": بعد التدريب الأولي، لعبوا معه لعبة "حاول، افشل، انجح". أعطوه مشكلات، وتحققوا مما إذا كان قد حصل على الإجابة الصحيحة، وكافأوه على التفكير المنطقي. هذا يشبه مدرباً يراجع لقطات المباراة مع رياضي لتحسين استراتيجيته.

5. السرعة والكفاءة

أحد أكبر الادعاءات في البحث هو أن هذا النموذج سريع للغاية.

التشبيه: إذا كانت النماذج الأخرى من نفس الحجم تشبه سيارة رياضية عالقة في الازدحام، فإن Nemotron 3 Nano Omni يشبه قطاراً فائق السرعة. فهو يستخدم تقنيات خاصة لتخطي الخطوات غير الضرورية، مما يسم يسمح له بمعالجة الفيديوهات الطويلة والمستندات الضخمة بشكل أسرع بكثير من منافسيه.
النتيجة: على شرائح NVIDIA الأحدث (B200)، يمكنه إنتاج مخرجات نصية أسرع بـ 3 إلى 9 مرات من النماذج المماثلة مع استخدام ذاكرة أقل.

6. ما يمكنه فعله حقاً (بناءً على البحث)

اختبر البحث هذا النموذج في تحديات محددة، وقد أدى أداءً جيداً جداً في:

قراءة المستندات: يمكنه فهم المخططات المعقدة، والجداول، والتقارير الطويلة (مثل الأوراق المالية) بشكل أفضل من الإصدارات السابقة.
فهم الفيديوهات: يمكنه مشاهدة فيديو طويل مع الصوت والإجابة على أسئلة حول ما حدث، ولماذا حدث، وترتيب الأحداث.
التحكم في الكمبيوتر: يمكنه النظر إلى شاشة الكمبيوتر (GUI) ومعرفة الأزرار التي يجب النقر عليها لإكمال مهمة (مثل حجز رحلة طيران أو ملء نموذج).
التفاعل الصوتي: يمكنه إجراء محادثة، وفهم اللهجات، والإجابة على الأسئلة بناءً على ما يسمعه.

7. متاح للجميع

أخيراً، يعلن البحث أن NVIDIA تشارك "المخططات" و"مواد التدريب". إنهم يطلقون النموذج بأحجام مختلفة (قياسي، مضغوط، ومضغوط للغاية) بل ويشاركون بعض البيانات والتعليمات البرمجية التي استخدموها لبنائه. هذا يشبه إعطاء الوصفة والمكونات للعالم أجمع حتى يتمكن العلماء الآخرون من بناء نسخهم الخاصة أو تحسينها.

باختصار: Nemotron 3 Nano Omni هو مساعد متعدد الحواس، أسرع وأذكى، يمكنه القراءة والمشاهدة والاستماع في وقت واحد، وهو مصمم للتعامل مع المهام الطويلة والمعقدة دون أن يتعثر.

ملخص تقني: Nemotron 3 Nano Omni

1. بيان المشكلة

يتطور مجال الذكاء الاصطناعي متعدد الوسائط (multimodal AI) بسرعة كبيرة، ومع ذلك تواجه النماذج الحالية تحديات جسيمة في الموازنة بين الكفاءة، والدعم الأصلي للصوت، والاستدلال طويل السياق. لقد كانت الإصدارات السابقة تتعامل مع الصوت كأمر ثانوي أو تعتمد على بنيات كثيفة وثقيلة تعاني من قيود عالية في زمن الاستجابة (latency) والقدرة الإنتاجية (throughput). علاوة على على ذلك، فإن التعامل مع الفيديو والمستندات طويلة الأمد التي تتضمن صوتاً يتطلب أعداداً هائلة من الرموز (tokens)، مما يؤدي إلى تكاليف حوسبة باهظة. هناك حاجة ماسة لنموذج شامل الوسائط (omni-modal model) (نص، صورة، فيديو، صوت) يمكنه:

معالجة الصوت أصلياً جنباً إلى جنب مع الوسائط الأخرى دون تدهور في الأداء.
الحفاظ على قدرات استدلال عالية عبر جميع الوسائط.
تحقيق كفاءة فائقة في الاستدلال (زمن استجابة منخفض، قدرة إنتاجية عالية) بما يتناسب مع تطبيقات الوكلاء (agentic applications) في العالم الحقيقي.
دعم سياقات فائقة الطول (تصل إلى 256 ألف رمز) لتحليل المستندات المعقدة ومقاطع الفيديو.

2. المنهجية

2.1 بنية النموذج

بُني Nemotron 3 Nano Omni على عمود فقري هجين من نوع خليط الخبراء (MoE)، وتحديداً نموذج Nemotron 3 Nano 30B-A3B (إجمالي 30 مليار معلمة، و3 مليار معلمة نشطة). تتبع البنية تصميم المُشفّر-الموصل-المفكك (Encoder-Projector-Decoder):

العمود الفقري للنموذج اللغوي الكبير (LLM Backbone): يوفر نموذج 30B-A3B MoE قدرات الاستدلال واللغة الأساسية.
مشفر الرؤية (Vision Encoder): يستخدم C-RADIOv4-H1، وهو نموذج تأسيسي عالي الأداء للرؤية.
مشفر الصوت (Audio Encoder): يستخدم Parakeet-TDT-0.6B-v2، وهو مشفر يعتمد على FastConformer لفهم الكلام والصوت.
الموصلات (Connectors): تعمل موصلات MLP الخاصة بكل وسيط على محاذاة رموز الرؤية والصوت مع فضاء التضمين (embedding space) الخاص بالنموذج اللغوي الكبير.

الابتكارات الهيكلية الرئيسية:

الدقة الديناميكية للصور: تستبدل التجزئة الثابتة باستراتيجية ديناميكية تحافظ على نسب العرض إلى الارتفاع الأصلية، من خلال تقسيم الصور إلى قطع (patches) متغيرة بحجم $16 \times 16$ (من 1,024 إلى 13,312 رمزاً).
ضغط الفيديو الزمني: تقدم تقنية الضغط الزمني القائم على Conv3D، والتي تدمج كل إطارين متتاليين في "أنبوب" (tubelet) واحد قبل كتلة ViT، مما يقلل الرموز الزمنية بمقدار 2×.
ترميز الصوت: يتم إعادة أخذ عينات الصوت بتردد 16 كيلوهرتز، وتشفيره عبر مخططات طيف ميل (log-mel spectrograms)، وتقليله إلى حوالي 12.5 رمزاً في الثانية.
طول السياق: يدعم ما يصل إلى 256 ألف رمز، مما يتيح تحليل المستندات الطويلة وتدفقات الفيديو/الصوت الممتدة.

2.2 استراتيجية التدريب

يستخدم النموذج نهج التعلم المنهجي متعدد المراحل لضمان المحاذاة المستقرة عبر الوسائط ومنع النسيان الكارثي:

المرحلة 0 (الإحماء للرؤية): تدريب موصل الرؤية فقط (سياق 16 ألف).
المرحلة 1 (ضبط دقيق للرؤية - SFT): ضبط دقيق مشترك للرؤية واللغة باستخدام بيانات اصطناعية عالية الجودة (Qwen3-VL, Kimi-K2.5).
المرحلة 2 (الإحماء للصوت): تدريب موصل الصوت باستخدام بيانات ASR (Granary v1.1).
المرحلة 3 (مشفر الصوت والموصل): إلغاء تجميد مشفر الصوت للتدريب المشترك على الصوت والموسيقى والكلام.
المرحلة 4 (الضبط الدقيق الشامل للوسائط - 16k): تدريب النموذج الكامل على مزيج من بيانات الرؤية والصوت والفيديو والنصوص.
المرحلة 5 (الضبط الدقيق الشامل للوسائط - 48k): توسيع السياق إلى 48 ألف، مع التركيز على بيانات الفيديو والاستدلال الطويل.
المرحلة 6 (الضبط الدقيق الشامل للوسائط - 256k): توسيع السياق إلى 256 ألف، مع التركيز على المستندات فائقة الطول والاستدلال النصي.
التعلم التعزيزي (RL): مرحلة ما بعد التدريب عبر تحسين التفضيل المختلط (MPO) وتحسين سياسة التسلسل الجماعي (GSPO) عبر وسائط النص والصورة والفيديو والصوت لتعزيز الاستدلال والسلامة.

2.3 تقنيات الكفاءة

أخذ عينات الفيديو الفعال (EVS): آلية تقليم وقت التشغيل التي تسقط رموز الفيديو الزائدة بناءً على عدم التشابه الجيبي (cosine dissimilarity)، مما يقلل عدد الرموز بعد ViT.
الكمية (Quantization): إصدار النماذج بتنسيقات BF16 وFP8 وNVFP4 (بمعدل 4.98 بت فعلي لكل وزن)، مما يحقق توفيراً كبيراً في الذاكرة مع حد أدنى من فقدان الدقة (أقل من 1% في الوسيط).

3. المساهمات الرئيسية

دعم أصلي لجميع الوسائط: الأول في سلسلة Nemotron الذي يدعم مدخلات الصوت أصلياً بجانب النصوص والصور والفيديو، مما يتيح استدلالاً حقيقياً عبر الوسائط.
كفاءة رائدة: يقدم قدرة إنتاجية أعلى بـ 3 أضعاف من سلفه (Nemotron Nano V2 VL) و7.5 أضعاف من Qwen3-Omni على وحدات معالجة NVIDIA B200، مع الحفاظ على زمن استجابة منخفض.
تقليل متقدم للرموز: يجمع بين الضغط الزمني Conv3D وEVS لتقليل رموز مدخلات الفيديو بنسبة تصل إلى 70%، مما يخفض تكاليف الاستدلال بشكل كبير.
سياق فائق الطول: ينجح في التوسع إلى طول سياق 256 ألف رمز، متفوقاً على النماذج السابقة في فهم المستندات الطويلة واستيعاب الفيديو الطويل.
الإصدار المفتوح: يوفر نقاط فحص النموذج (BF16, FP8, FP4)، ومجموعات البيانات (~6.9 مليون عينة)، وخطوط معالجة البيانات، والبرمجيات (Megatron-Bridge, NeMo-RL) للمجتمع.

4. النتائج

4.1 اختبارات الأداء

يحقق Nemotron 3 Nano Omni نتائج رائدة أو تنافسية عبر مختلف الوسائط:

المستندات والتعرف الضوئي على الحروف (OCR): أداء رفيع المستوى في OCRBench-V2 (88.3)، وMMLongBench-DOC (46.1)، وChartQA (89.9).
الاستدلال البصري: درجات قوية في MMMU (55.2)، وMathVista-Mini (71.9)، وRefCOCO (80.6).
الصوت والقدرات الصوتية: يتفوق على Qwen3-Omni في VoiceBench (بمتوسط 89.4) ويحقق نتائج تنافسية في OpenASR (بمتوسط 5.95 لخطأ الكلمات - WER).
الوسائط الشاملة (فيديو + صوت): يتصدر في DailyOmni (74.5) وWorldSense (55.2)، مما يظهر محاذاة زمنية وعبر-وسائط فائقة.
الاستدلال النصي: يحتفظ بقدرات الاستدلال القوية للنموذج اللغوي الأساسي 30B-A3B (مثل MMLU-Pro: 77.3، وGPQA: 72.2).

4.2 مقاييس الكفاءة

القدرة الإنتاجية (Throughput): على وحدة NVIDIA B200 واحدة، يحقق 5,000 رمز مخرج/ثانية في مهام المستندات المتعددة وأكثر من 500 رمز/ثانية في وضع الاستجابة المنخفضة أحادي المسار.
زمن الاستجابة (Latency): تم تقليل زمن الوصول لأول رمز (TTFT) بنسبة 33% (من ~8 ثوانٍ إلى ~5.3 ثانية) عند دمج Conv3D وEVS.
الكمية (Quantization): يقلل إصدار NVFP4 حجم النموذج من 61.5 جيجابايت (BF16) إلى 20.9 جيجابايت مع تدهور ضئيل جداً في الدقة.

5. الأهمية

يمثل Nemotron 3 Nano Omni قفزة نوعية في الذكاء متعدد الوسائط الفعال، والمفتوح، والوكيلي. من خلال حل المقايضة بين قدرة النموذج وتكلفة الاستدلال، فإنه يتيح:

النشر في العالم الحقيقي: تجعل القدرة الإنتاجية العالية وزمن الاستجابة المنخفض منه خياراً قابلاً للتطبيق للوكلاء في الوقت الفعلي، مثل متحكمات واجهة المستخدم المستقلة والمساعدين الصوتيين.
التحليل طويل الأمد: يسمح سياق الـ 256 ألف رمز وتقنيات تقليل الرموز بتحليل كتب كاملة، وتقارير مالية، ومقاطع فيديو مدتها ساعة دون اختناقات في الذاكرة.
التقدم المجتمعي: إن الإصدار المفتوح لنقاط الفحص، والبيانات، وخطوط التدريب يساهم في دمقرطة الوصول إلى وصفات تدريب نماذج متعددة الوسائط متطورة، مما يعزز المزيد من الأبحاث في مجال الذكاء الاصطناعي متعدد الوسائط عالي الكفاءة.

يضع هذا العمل معياراً جديداً للنماذج مفتوحة المصدر متعددة الوسائط، ويثبت أن الاستدلال عالي الأداء عبر النصوص والرؤية والصوت يمكن تحقيقه من خلال بنية مدمجة وفعالة.