🤖 machine learning

Nemotron 3 Nano Omni: Efficient and Open Multimodal Intelligence

Nemotron 3 Nano Omni ist ein neues Open-Source-multimodales Modell, das Audio-, Text-, Bild- und Videoeingaben nativ unterstützt und durch eine 30B-A3B-Architektur sowie Token-Reduktionsverfahren verbesserte Genauigkeit, agentische Fähigkeiten und effiziente Inferenz bietet, wobei veröffentlichte Checkpoints und Code zur Unterstützung weiterer Forschung bereitgestellt werden.

Ursprüngliche Autoren: NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg Heinrich, Guo Chen, Lukas Voegtle, Philipp Fischer, Timo Roman, Karan Sapra, Collin McCarthy, Shaokun Zhang, Fuxiao Liu, Hanrong Ye, Yi Dong, Mingjie Liu, Yifan Peng, Piotr Zelasko, Zhehuai Chen, Nithin Rao Koluguri, Nune Tadevosyan, Lilit Grigoryan, Ehsan Hosseini Asl, Pritam Biswas, Leili Tavabi, Yuanhang Su, Zhiding Yu, Peter Jin, Alexandre Milesi, Netanel Haber, Yao Xu, Sarah Amiraslani, Nabin Mulepati, Eric Tramel, Jaehun Jung, Ximing Lu, Brandon Cui, Jin Xu, Zhiqi Li, Shihao Wang, Yuanguo Kuang, Shaokun Zhang, Huck Yang, Boyi Li, Hongxu Yin, Song Han, Pavlo Molchanov, Adi Renduchintala, Charles Wang, David Mosallanezhad, Soumye Singhal, Luis Vega, Katherine Cheung, Sreyan Ghosh, Yian Zhang, Alexander Bukharin, Venkat Srinivasan, Johnny Greco, Andre Manoel, Maarten Van Segbroeck, Suseella Panguliri, Rohit Watve, Divyanshu Kakwani, Shubham Pachori, Jeffrey Glick, Radha Sri-Tharan, Aileen Zaman, Khanh Nguyen, Shi Chen, Jiaheng Fang, Qing Miao, Wenfei Zhou, Yu Wang, Zaid Pervaiz Bhat, Varun Praveen, Arihant Jain, Ramanathan Arunachalam, Tomasz Kornuta, Ashton Sharabiani, Amy Shen, Wei Huang, Yi-Fu Wu, Ali Roshan Ghias, Huiying Li, Brian Yu, Nima Tajbakhsh, Chen Cui, Wenwen Gao, Li Ding, Terry Kong, Manoj Kilaru, Anahita Bhiwandiwalla, Marek Wawrzos, Daniel Korzekwa, Pablo Ribalta, Grzegorz Chlebus, Besmira Nushi, Ewa Dobrowolska, Maciej Jakub Mikulski, Kunal Dhawan, Steve Huang, Jagadeesh Balam, Yongqiang Wang, Nikolay Karpov, Valentin Mendelev, George Zelenfroynd, Meline Mkrtchyan, Qing Miao, Omri Almog, Bhavesh Pawar, Rameshwar Shivbhakta, Sudeep Sabnis, Ashrton Sharabiani, Negar Habibi, Geethapriya Venkataramani, Pamela Peng, Prerit Rodney, Serge Panev, Richard Mazzarese, Nicky Liu, Michael Fukuyama, Andrii Skliar, Roger Waleffe, Duncan Riach, Yunheng Zou, Jian Hu, Hao Zhang, Binfeng Xu, Yuhao Yang, Zuhair Ahmed, Alexandre Milesi, Carlo del Mundo, Chad Voegele, Zhiyu Cheng, Nave Assaf, Andrii Skliar, Daniel Afrimi, Natan Bagrov, Ran Zilberstein, Ofri Masad, Eugene Khvedchenia, Natan Bagrov, Borys Tymchenko, Tomer Asida, Daniel Afrimi, Parth Mannan, Victor Cui, Michael Evans, Katherine Luna, Jie Lou, Pinky Xu, Guyue Huang, Negar Habibi, Michael Boone, Pradeep Thalasta, Adeola Adesoba, Dina Yared, Christopher Parisien, Leon Derczynski, Shaona Ghosh, Wes Feely, Micah Schaffer, Radha Sri-Tharan, Jeffrey Glick, Barnaby Simkin, George Zelenfroynd, Tomasz Grzegorzek, Rishabh Garg, Aastha Jhunjhunwala, Sergei Kolchenko, Farzan Memarian, Haran Kumar, Shiv Kumar, Isabel Hulseman, Anjali Shah, Kari Briski, Padmavathy Subramanian, Joey Conway, Udi Karpas, Jane Polak Scowcroft, Annie Surla, Shilpa Ammireddy, Ellie Evans, Jesse Oliver, Tom Balough, Chia-Chih Chen, Sandip Bhaskar, Alejandra Rico, Bardiya Sadeghi, Seph Mard, Katherine Cheung, Meredith Price, Laya Sleiman, Saori Kaji, Wesley Helmholz, Wendy Quan, Michael Lightstone, Jonathan Cohen, Jian Zhang, Oleksii Kuchaiev, Boris Ginsburg, Jan Kautz, Eileen Long, Mohammad Shoeybi, Mostofa Patwary, Oluwatobi Olabiyi, Andrew Tao, Bryan Catanzaro, Udi Karpas

Veröffentlicht 2026-04-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg Heinrich, Guo Chen, Lukas Voegtle, Philipp Fischer, Timo Roman, Karan Sapra, Collin McCarthy, Shaokun Zhang, Fuxiao Liu, Hanrong Ye, Yi Dong, Mingjie Liu, Yifan Peng, Piotr Zelasko, Zhehuai Chen, Nithin Rao Koluguri, Nune Tadevosyan, Lilit Grigoryan, Ehsan Hosseini Asl, Pritam Biswas, Leili Tavabi, Yuanhang Su, Zhiding Yu, Peter Jin, Alexandre Milesi, Netanel Haber, Yao Xu, Sarah Amiraslani, Nabin Mulepati, Eric Tramel, Jaehun Jung, Ximing Lu, Brandon Cui, Jin Xu, Zhiqi Li, Shihao Wang, Yuanguo Kuang, Shaokun Zhang, Huck Yang, Boyi Li, Hongxu Yin, Song Han, Pavlo Molchanov, Adi Renduchintala, Charles Wang, David Mosallanezhad, Soumye Singhal, Luis Vega, Katherine Cheung, Sreyan Ghosh, Yian Zhang, Alexander Bukharin, Venkat Srinivasan, Johnny Greco, Andre Manoel, Maarten Van Segbroeck, Suseella Panguliri, Rohit Watve, Divyanshu Kakwani, Shubham Pachori, Jeffrey Glick, Radha Sri-Tharan, Aileen Zaman, Khanh Nguyen, Shi Chen, Jiaheng Fang, Qing Miao, Wenfei Zhou, Yu Wang, Zaid Pervaiz Bhat, Varun Praveen, Arihant Jain, Ramanathan Arunachalam, Tomasz Kornuta, Ashton Sharabiani, Amy Shen, Wei Huang, Yi-Fu Wu, Ali Roshan Ghias, Huiying Li, Brian Yu, Nima Tajbakhsh, Chen Cui, Wenwen Gao, Li Ding, Terry Kong, Manoj Kilaru, Anahita Bhiwandiwalla, Marek Wawrzos, Daniel Korzekwa, Pablo Ribalta, Grzegorz Chlebus, Besmira Nushi, Ewa Dobrowolska, Maciej Jakub Mikulski, Kunal Dhawan, Steve Huang, Jagadeesh Balam, Yongqiang Wang, Nikolay Karpov, Valentin Mendelev, George Zelenfroynd, Meline Mkrtchyan, Qing Miao, Omri Almog, Bhavesh Pawar, Rameshwar Shivbhakta, Sudeep Sabnis, Ashrton Sharabiani, Negar Habibi, Geethapriya Venkataramani, Pamela Peng, Prerit Rodney, Serge Panev, Richard Mazzarese, Nicky Liu, Michael Fukuyama, Andrii Skliar, Roger Waleffe, Duncan Riach, Yunheng Zou, Jian Hu, Hao Zhang, Binfeng Xu, Yuhao Yang, Zuhair Ahmed, Alexandre Milesi, Carlo del Mundo, Chad Voegele, Zhiyu Cheng, Nave Assaf, Andrii Skliar, Daniel Afrimi, Natan Bagrov, Ran Zilberstein, Ofri Masad, Eugene Khvedchenia, Natan Bagrov, Borys Tymchenko, Tomer Asida, Daniel Afrimi, Parth Mannan, Victor Cui, Michael Evans, Katherine Luna, Jie Lou, Pinky Xu, Guyue Huang, Negar Habibi, Michael Boone, Pradeep Thalasta, Adeola Adesoba, Dina Yared, Christopher Parisien, Leon Derczynski, Shaona Ghosh, Wes Feely, Micah Schaffer, Radha Sri-Tharan, Jeffrey Glick, Barnaby Simkin, George Zelenfroynd, Tomasz Grzegorzek, Rishabh Garg, Aastha Jhunjhunwala, Sergei Kolchenko, Farzan Memarian, Haran Kumar, Shiv Kumar, Isabel Hulseman, Anjali Shah, Kari Briski, Padmavathy Subramanian, Joey Conway, Udi Karpas, Jane Polak Scowcroft, Annie Surla, Shilpa Ammireddy, Ellie Evans, Jesse Oliver, Tom Balough, Chia-Chih Chen, Sandip Bhaskar, Alejandra Rico, Bardiya Sadeghi, Seph Mard, Katherine Cheung, Meredith Price, Laya Sleiman, Saori Kaji, Wesley Helmholz, Wendy Quan, Michael Lightstone, Jonathan Cohen, Jian Zhang, Oleksii Kuchaiev, Boris Ginsburg, Jan Kautz, Eileen Long, Mohammad Shoeybi, Mostofa Patwary, Oluwatobi Olabiyi, Andrew Tao, Bryan Catanzaro, Udi Karpas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen superklugen Assistenten vor, der sein ganzes Leben damit verbracht hat, Bücher zu lesen und Bilder anzusehen. Er ist brillant im Umgang mit Text und Bildern, doch wenn Sie versuchen, mit ihm zu sprechen oder ihm ein Video mit Ton zu zeigen, wäre er verwirrt.

Nemotron 3 Nano Omni ist die neue Version dieses Assistenten von NVIDIA. Es ist, als würde man diesem Assistenten ein Paar Ohren und eine Videokamera geben und ihm gleichzeitig beibringen, Informationen viel schneller und effizienter zu verarbeiten.

Hier ist eine einfache Aufschlüsselung dessen, was dieses neue Modell besonders macht, unter Verwendung alltäglicher Analogien:

1. Das „All-in-One"-Upgrade

Bevor dies eingeführt wurde, konnte der Assistent (Nemotron Nano V2) nur Text lesen und statische Bilder betrachten. Der neue Nemotron 3 Nano Omni ist „omnimodal", was eine ausgefallene Art zu sagen ist, dass er alles gleichzeitig bewältigen kann: Text, Bilder, Videos und Audio.

Die Analogie: Denken Sie an das alte Modell als an einen Bibliothekar, der nur Bücher lesen kann. Das neue Modell ist ein Bibliothekar, der Bücher lesen, Filme schauen, Podcasts hören und Ihnen dann erklären kann, wie all diese Dinge miteinander verbunden sind.

2. Das „Gehirn" und die „Sinne"

Das Modell basiert auf einem sehr effizienten Gehirn namens Nemotron 3 Nano 30B-A3B. Dieses Gehirn ist ein „Mixture of Experts" (MoE), was wie ein Team von Spezialisten funktioniert, bei dem nur die richtigen Experten aufwachen, um ein spezifisches Problem zu lösen, was Energie spart.

Die Sinne: Um die neuen Eingaben zu bewältigen, wurden zwei neue „Sensoren" angebracht:
- Sehen: Ein High-Tech-Kamerasystem (C-RADIOv4-H), das Bilder und Videos betrachtet.
- Hören: Ein hochentwickeltes Ohr (Parakeet-TDT), das Sprache, Musik und Umgebungsgeräusche versteht.

3. Intelligente Wege zu sehen und zu hören

Das Papier hebt drei clevere Tricks hervor, die das Modell verwendet, um von zu vielen Daten nicht überwältigt zu werden:

Dynamische Auflösung (Die flexible Linse): Anstatt jedes Foto in ein winziges, festes Quadrat zu quetschen (was Details verliert), passt das Modell seinen Blick wie eine Kamera an, die herein- oder herauszoomt, um die natürliche Form des Bildes zu bewahren.
Videokomprimierung (Die Zeitraffer): Beim Betrachten eines Videos betrachtet das Modell nicht jeden einzelnen Frame, wenn diese identisch sind. Es verwendet einen Trick namens „3D-Convolution", um Paare von Frames zu verschmelzen, wodurch die Anzahl der zu verarbeitenden „Frames" effektiv halbiert wird.
Audio-Chunks (Die Soundbite): Anstatt einen 2-stündigen Podcast als einen riesigen Block aus Lärm zu hören, zerlegt es den Audioinhalt in 30-Sekunden-Clips, was es einfacher macht, den Fluss des Gesprächs zu verstehen.

4. Das „Trainingslager" (Wie es gelernt hat)

Man kann nicht einfach eine Kamera anschließen und erwarten, dass das Modell Filme sofort versteht. Das Team verwendete ein gestuftes Trainingsrezept, wie ein Schüler, der die Schule durchläuft:

Stufe 0-1: Zuerst lehrten sie das Modell, Bilder und Text gemeinsam zu verstehen.
Stufe 2-3: Als Nächstes lehrten sie ihm, Audio zu hören und zu sprechen.
Stufe 4-6: Schließlich fügten sie alles zusammen. Sie fütterten es mit riesigen Datenmengen (über 466 Milliarden „Tokens" oder Wörter), die lange Dokumente, Stunden an Videos und komplexe Gespräche enthielten.
Die Phase des „Reinforcement Learning": Nach dem initialen Training spielten sie ein Spiel von „Versuchen, Scheitern, Gelingen". Sie gaben dem Modell Probleme, prüften, ob es die Antwort richtig hatte, und belohnten es für logisches Denken. Dies ist ähnlich wie ein Trainer, der mit einem Athleten Spielaufnahmen durchgeht, um dessen Strategie zu verbessern.

5. Geschwindigkeit und Effizienz

Eine der größten Behauptungen im Papier ist, dass dieses Modell unglaublich schnell ist.

Die Analogie: Wenn andere Modelle ähnlicher Größe wie ein Sportwagen sind, der im Stau stecken bleibt, ist Nemotron 3 Nano Omni ein Hochgeschwindigkeitszug. Es verwendet spezielle Techniken, um unnötige Schritte zu überspringen, was es ermöglicht, lange Videos und riesige Dokumente viel schneller als seine Konkurrenten zu verarbeiten.
Das Ergebnis: Auf den neuesten Chips von NVIDIA (B200) kann es Textausgaben 3- bis 9-mal schneller produzieren als ähnliche Modelle, während es weniger Speicher verbraucht.

6. Was es tatsächlich kann (Basierend auf dem Papier)

Das Papier testete dieses Modell an spezifischen Herausforderungen, und es schnitt in folgenden Bereichen sehr gut ab:

Dokumente lesen: Es kann komplexe Diagramme, Tabellen und lange Berichte (wie Finanzberichte) besser verstehen als frühere Versionen.
Videos verstehen: Es kann ein langes Video mit Ton ansehen und Fragen beantworten, was passiert ist, warum es passiert ist und in welcher Reihenfolge die Ereignisse abliefen.
Computersteuerung: Es kann auf einen Computerbildschirm (GUI) schauen und herausfinden, welche Buttons geklickt werden müssen, um eine Aufgabe abzuschließen (wie das Buchen eines Fluges oder das Ausfüllen eines Formulars).
Sprachinteraktion: Es kann ein Gespräch führen, Akzente verstehen und Fragen beantworten, basierend auf dem, was es hört.

7. Offen für alle

Schließlich gibt das Papier bekannt, dass NVIDIA die „Baupläne" und das „Trainingsmaterial" teilt. Sie veröffentlichen das Modell in verschiedenen Größen (Standard, komprimiert und ultra-komprimiert) und teilen sogar einige der Daten und den Code, die sie zum Bau verwendet haben. Dies ist, als würde man das Rezept und die Zutaten der ganzen Welt geben, damit andere Wissenschaftler ihre eigenen Versionen bauen oder diese verbessern können.

Zusammenfassend: Nemotron 3 Nano Omni ist ein schnellerer, intelligenterer, multisensorischer Assistent, der gleichzeitig lesen, schauen und hören kann und so konzipiert ist, dass er lange und komplexe Aufgaben bewältigt, ohne ins Stocken zu geraten.

Technische Zusammenfassung: Nemotron 3 Nano Omni

1. Problemstellung

Das Feld des multimodalen KI ist schnell im Wandel, doch bestehende Modelle stehen vor erheblichen Herausforderungen bei der Balance zwischen Effizienz, nativer Audio-Unterstützung und Langkontext-Reasoning. Frühere Iterationen behandelten Audio oft als nachträglichen Gedanken oder verließen sich auf schwere, dichte Architekturen, die unter hoher Inferenz-Latenz und Durchsatzbeschränkungen leiden. Darüber hinaus erfordert die Verarbeitung von Langform-Videos und Dokumenten mit Audio massive Token-Anzahlen, was zu prohibitiven Rechenkosten führt. Es besteht ein kritischer Bedarf an einem omnimodalen Modell (Text, Bild, Video, Audio), das:

Audio nativ neben anderen Modalitäten verarbeitet, ohne Leistungseinbußen.
Hohe Reasoning-Fähigkeiten über alle Modalitäten hinweg beibehält.
Überlegene Inferenzeffizienz (niedrige Latenz, hoher Durchsatz) für reale agentische Anwendungen erreicht.
Ultra-lange Kontexte (bis zu 256K Token) für die Analyse komplexer Dokumente und Videos unterstützt.

2. Methodik

2.1 Modellarchitektur

Nemotron 3 Nano Omni basiert auf einer hybriden Mixture-of-Experts (MoE)-Backbone-Architektur, speziell dem Nemotron 3 Nano 30B-A3B (insgesamt 30B Parameter, 3B aktiv). Die Architektur folgt einem Encoder-Projector-Decoder-Design:

LLM-Backbone: Das 30B-A3B MoE-Modell stellt die Kern-Reasoning- und Sprachfähigkeiten bereit.
Vision-Encoder: Nutzt C-RADIOv4-H1, ein hochleistungsfähiges Vision-Foundation-Modell.
Audio-Encoder: Verwendet Parakeet-TDT-0.6B-v2, einen FastConformer-basierten Encoder für Sprach- und Audioverständnis.
Konnektoren: Modalitätsspezifische MLP-Projektoren richten Vision- und Audio-Token mit dem Embedding-Raum des LLM aus.

Wichtige architektonische Innovationen:

Dynamische Bildauflösung: Ersetzt statisches Tiling durch eine dynamische Strategie, die native Seitenverhältnisse erhält und Bilder in variable $16 \times 16$ -Patches zerlegt (1.024–13.312 Token).
Temporale Videokompression: Führt Conv3D-basierte temporale Kompression ein, die jeweils zwei aufeinanderfolgende Frames vor dem ViT-Block zu einem einzigen „Tubelet" fusioniert und damit die temporalen Token um das 2-Fache reduziert.
Audio-Tokenisierung: Audio wird auf 16 kHz neu abgetastet, über Log-Mel-Spektrogramme kodiert und auf ca. 12,5 Token/Sekunde heruntergetastet.
Kontextlänge: Unterstützt bis zu 256K Token, was die Analyse langer Dokumente und erweiterter Video-/Audio-Streams ermöglicht.

2.2 Trainingsstrategie

Das Modell verwendet einen mehrstufigen Curriculum-Learning-Ansatz, um eine stabile cross-modale Ausrichtung zu gewährleisten und katastrophales Vergessen zu verhindern:

Stufe 0 (Vision Warmup): Trainiert nur den Vision-Projector (16k Kontext).
Stufe 1 (Vision SFT): Gemeinsames Feinabstimmen von Vision und Sprache mit hochwertigen synthetischen Daten (Qwen3-VL, Kimi-K2.5).
Stufe 2 (Audio Warmup): Trainiert den Audio-Projector unter Verwendung von ASR-Daten (Granary v1.1).
Stufe 3 (Audio Encoder & Proj): Entriegelt den Audio-Encoder für gemeinsames Training auf Sound, Musik und Sprache.
Stufe 4 (Joint Omni SFT 16k): Vollständiges Modelltraining auf einer Mischung aus Vision-, Audio-, Video- und Textdaten.
Stufe 5 (Omni SFT 48k): Erweitert den Kontext auf 48k mit Schwerpunkt auf Langvideo- und Reasoning-Daten.
Stufe 6 (Omni SFT 256k): Erweitert den Kontext auf 256k mit Fokus auf ultra-lange Dokumente und Text-Reasoning.
Reinforcement Learning (RL): Nachtraining durch Mixed Preference Optimization (MPO) und Group Sequence Policy Optimization (GSPO) über Text-, Bild-, Video- und Audio-Modalitäten hinweg zur Verbesserung von Reasoning und Sicherheit.

2.3 Effizienztechniken

Efficient Video Sampling (EVS): Ein Laufzeit-Pruning-Mechanismus, der redundante Video-Token basierend auf der kosinusbasierten Dissimilarität verwirft und die Token-Anzahl nach dem ViT weiter reduziert.
Quantisierung: Verfügbarmachung der Modelle in BF16, FP8 und NVFP4 (4,98 effektive Bits/Gewicht) Formaten, die erhebliche Speichereinsparungen bei minimalem Genauigkeitsverlust erreichen (<1% medianer Rückgang).

3. Hauptbeiträge

Nativer omnimodaler Support: Erster in der Nemotron-Serie, der Audio-Eingaben nativ neben Text, Bildern und Video unterstützt und echtes cross-modales Reasoning ermöglicht.
State-of-the-Art-Effizienz: Liefert 3× höheren Durchsatz als sein Vorgänger (Nemotron Nano V2 VL) und 7,5× höheren Durchsatz als Qwen3-Omni auf NVIDIA B200 GPUs, bei gleichzeitiger Beibehaltung niedriger Latenz.
Fortschrittliche Token-Reduktion: Kombiniert Conv3D-temporale Kompression und EVS, um Video-Eingabetoken um bis zu 70% zu reduzieren und damit die Inferenzkosten drastisch zu senken.
Ultra-langer Kontext: Skaliert erfolgreich auf eine Kontextlänge von 256K und übertrifft Vorgänger beim Verständnis langer Dokumente und langer Videos.
Offene Veröffentlichung: Stellt der Community Modell-Checkpoints (BF16, FP8, FP4), Trainingsdatensätze (~6,9M Samples), Datenpipelines und Code (Megatron-Bridge, NeMo-RL) zur Verfügung.

4. Ergebnisse

4.1 Leistungsbenchmarks

Nemotron 3 Nano Omni erzielt führende oder wettbewerbsfähige Ergebnisse über diverse Modalitäten hinweg:

Dokument & OCR: Spitzenleistungen bei OCRBench-V2 (88,3), MMLongBench-DOC (46,1) und ChartQA (89,9).
Visuelles Reasoning: Starke Scores bei MMMU (55,2), MathVista-Mini (71,9) und RefCOCO (80,6).
Audio & Stimme: Übertrifft Qwen3-Omni bei VoiceBench (89,4 Durchschnitt) und erzielt wettbewerbsfähige OpenASR-Ergebnisse (5,95 WER Durchschnitt).
Omnimodal (Video+Audio): Führend bei DailyOmni (74,5) und WorldSense (55,2) und demonstriert überlegene temporale und cross-modale Ausrichtung.
Text-Reasoning: Behält die starken Reasoning-Fähigkeiten des Basis-30B-A3B-LLM bei (z. B. MMLU-Pro: 77,3, GPQA: 72,2).

4.2 Effizienzmessgrößen

Durchsatz: Auf einer einzelnen NVIDIA B200 erreicht es 5.000 Ausgabetoken/s bei Multi-Dokument-Workloads und >500 Token/s im Single-Stream-Modus mit niedriger Latenz.
Latenz: Die Time-to-First-Token (TTFT) wird durch die Kombination von Conv3D und EVS um 33% reduziert (von ~8s auf ~5,3s).
Quantisierung: Die NVFP4-Version reduziert die Modellgröße von 61,5 GB (BF16) auf 20,9 GB bei vernachlässigbarer Genauigkeitsdegradation.

5. Bedeutung

Nemotron 3 Nano Omni stellt einen großen Sprung in Richtung effizienter, offener und agentischer multimodaler Intelligenz dar. Durch die Lösung des Trade-offs zwischen Modellfähigkeit und Inferenzkosten ermöglicht es:

Einsatz in der realen Welt: Der hohe Durchsatz und die niedrige Latenz machen es für Echtzeit-Agenten wie autonome GUI-Controller und Sprachassistenten geeignet.
Analyse von Langform-Inhalten: Der 256K-Kontext und die Token-Reduktionstechniken ermöglichen die Analyse ganzer Bücher, Finanzberichte und stundenlanger Videos ohne Speicherengpässe.
Fortschritt der Community: Die offene Veröffentlichung von Checkpoints, Daten und Trainingspipelines demokratisiert den Zugang zu State-of-the-Art-omnimodalen Trainingsrezepten und fördert weitere Forschung im Bereich effizienter multimodaler KI.

Diese Arbeit setzt einen neuen Standard für Open-Source-omnimodale Modelle und beweist, dass hochleistungsfähiges Reasoning über Text, Vision und Audio hinweg mit einer kompakten, effizienten Architektur erreicht werden kann.