🤖 machine learning

Nemotron 3 Nano Omni: Efficient and Open Multimodal Intelligence

Nemotron 3 Nano Omni è un nuovo modello multimodale open-source che supporta nativamente input audio, testo, immagine e video, offrendo maggiore accuratezza, capacità agentiche e inferenza efficiente grazie a un backbone 30B-A3B e tecniche di riduzione dei token, con checkpoint e codice rilasciati per supportare ulteriori ricerche.

Autori originali: NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg Heinrich, Guo Chen, Lukas Voegtle, Philipp Fischer, Timo Roman, Karan Sapra, Collin McCarthy, Shaokun Zhang, Fuxiao Liu, Hanrong Ye, Yi Dong, Mingjie Liu, Yifan Peng, Piotr Zelasko, Zhehuai Chen, Nithin Rao Koluguri, Nune Tadevosyan, Lilit Grigoryan, Ehsan Hosseini Asl, Pritam Biswas, Leili Tavabi, Yuanhang Su, Zhiding Yu, Peter Jin, Alexandre Milesi, Netanel Haber, Yao Xu, Sarah Amiraslani, Nabin Mulepati, Eric Tramel, Jaehun Jung, Ximing Lu, Brandon Cui, Jin Xu, Zhiqi Li, Shihao Wang, Yuanguo Kuang, Shaokun Zhang, Huck Yang, Boyi Li, Hongxu Yin, Song Han, Pavlo Molchanov, Adi Renduchintala, Charles Wang, David Mosallanezhad, Soumye Singhal, Luis Vega, Katherine Cheung, Sreyan Ghosh, Yian Zhang, Alexander Bukharin, Venkat Srinivasan, Johnny Greco, Andre Manoel, Maarten Van Segbroeck, Suseella Panguliri, Rohit Watve, Divyanshu Kakwani, Shubham Pachori, Jeffrey Glick, Radha Sri-Tharan, Aileen Zaman, Khanh Nguyen, Shi Chen, Jiaheng Fang, Qing Miao, Wenfei Zhou, Yu Wang, Zaid Pervaiz Bhat, Varun Praveen, Arihant Jain, Ramanathan Arunachalam, Tomasz Kornuta, Ashton Sharabiani, Amy Shen, Wei Huang, Yi-Fu Wu, Ali Roshan Ghias, Huiying Li, Brian Yu, Nima Tajbakhsh, Chen Cui, Wenwen Gao, Li Ding, Terry Kong, Manoj Kilaru, Anahita Bhiwandiwalla, Marek Wawrzos, Daniel Korzekwa, Pablo Ribalta, Grzegorz Chlebus, Besmira Nushi, Ewa Dobrowolska, Maciej Jakub Mikulski, Kunal Dhawan, Steve Huang, Jagadeesh Balam, Yongqiang Wang, Nikolay Karpov, Valentin Mendelev, George Zelenfroynd, Meline Mkrtchyan, Qing Miao, Omri Almog, Bhavesh Pawar, Rameshwar Shivbhakta, Sudeep Sabnis, Ashrton Sharabiani, Negar Habibi, Geethapriya Venkataramani, Pamela Peng, Prerit Rodney, Serge Panev, Richard Mazzarese, Nicky Liu, Michael Fukuyama, Andrii Skliar, Roger Waleffe, Duncan Riach, Yunheng Zou, Jian Hu, Hao Zhang, Binfeng Xu, Yuhao Yang, Zuhair Ahmed, Alexandre Milesi, Carlo del Mundo, Chad Voegele, Zhiyu Cheng, Nave Assaf, Andrii Skliar, Daniel Afrimi, Natan Bagrov, Ran Zilberstein, Ofri Masad, Eugene Khvedchenia, Natan Bagrov, Borys Tymchenko, Tomer Asida, Daniel Afrimi, Parth Mannan, Victor Cui, Michael Evans, Katherine Luna, Jie Lou, Pinky Xu, Guyue Huang, Negar Habibi, Michael Boone, Pradeep Thalasta, Adeola Adesoba, Dina Yared, Christopher Parisien, Leon Derczynski, Shaona Ghosh, Wes Feely, Micah Schaffer, Radha Sri-Tharan, Jeffrey Glick, Barnaby Simkin, George Zelenfroynd, Tomasz Grzegorzek, Rishabh Garg, Aastha Jhunjhunwala, Sergei Kolchenko, Farzan Memarian, Haran Kumar, Shiv Kumar, Isabel Hulseman, Anjali Shah, Kari Briski, Padmavathy Subramanian, Joey Conway, Udi Karpas, Jane Polak Scowcroft, Annie Surla, Shilpa Ammireddy, Ellie Evans, Jesse Oliver, Tom Balough, Chia-Chih Chen, Sandip Bhaskar, Alejandra Rico, Bardiya Sadeghi, Seph Mard, Katherine Cheung, Meredith Price, Laya Sleiman, Saori Kaji, Wesley Helmholz, Wendy Quan, Michael Lightstone, Jonathan Cohen, Jian Zhang, Oleksii Kuchaiev, Boris Ginsburg, Jan Kautz, Eileen Long, Mohammad Shoeybi, Mostofa Patwary, Oluwatobi Olabiyi, Andrew Tao, Bryan Catanzaro, Udi Karpas

Pubblicato 2026-04-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg Heinrich, Guo Chen, Lukas Voegtle, Philipp Fischer, Timo Roman, Karan Sapra, Collin McCarthy, Shaokun Zhang, Fuxiao Liu, Hanrong Ye, Yi Dong, Mingjie Liu, Yifan Peng, Piotr Zelasko, Zhehuai Chen, Nithin Rao Koluguri, Nune Tadevosyan, Lilit Grigoryan, Ehsan Hosseini Asl, Pritam Biswas, Leili Tavabi, Yuanhang Su, Zhiding Yu, Peter Jin, Alexandre Milesi, Netanel Haber, Yao Xu, Sarah Amiraslani, Nabin Mulepati, Eric Tramel, Jaehun Jung, Ximing Lu, Brandon Cui, Jin Xu, Zhiqi Li, Shihao Wang, Yuanguo Kuang, Shaokun Zhang, Huck Yang, Boyi Li, Hongxu Yin, Song Han, Pavlo Molchanov, Adi Renduchintala, Charles Wang, David Mosallanezhad, Soumye Singhal, Luis Vega, Katherine Cheung, Sreyan Ghosh, Yian Zhang, Alexander Bukharin, Venkat Srinivasan, Johnny Greco, Andre Manoel, Maarten Van Segbroeck, Suseella Panguliri, Rohit Watve, Divyanshu Kakwani, Shubham Pachori, Jeffrey Glick, Radha Sri-Tharan, Aileen Zaman, Khanh Nguyen, Shi Chen, Jiaheng Fang, Qing Miao, Wenfei Zhou, Yu Wang, Zaid Pervaiz Bhat, Varun Praveen, Arihant Jain, Ramanathan Arunachalam, Tomasz Kornuta, Ashton Sharabiani, Amy Shen, Wei Huang, Yi-Fu Wu, Ali Roshan Ghias, Huiying Li, Brian Yu, Nima Tajbakhsh, Chen Cui, Wenwen Gao, Li Ding, Terry Kong, Manoj Kilaru, Anahita Bhiwandiwalla, Marek Wawrzos, Daniel Korzekwa, Pablo Ribalta, Grzegorz Chlebus, Besmira Nushi, Ewa Dobrowolska, Maciej Jakub Mikulski, Kunal Dhawan, Steve Huang, Jagadeesh Balam, Yongqiang Wang, Nikolay Karpov, Valentin Mendelev, George Zelenfroynd, Meline Mkrtchyan, Qing Miao, Omri Almog, Bhavesh Pawar, Rameshwar Shivbhakta, Sudeep Sabnis, Ashrton Sharabiani, Negar Habibi, Geethapriya Venkataramani, Pamela Peng, Prerit Rodney, Serge Panev, Richard Mazzarese, Nicky Liu, Michael Fukuyama, Andrii Skliar, Roger Waleffe, Duncan Riach, Yunheng Zou, Jian Hu, Hao Zhang, Binfeng Xu, Yuhao Yang, Zuhair Ahmed, Alexandre Milesi, Carlo del Mundo, Chad Voegele, Zhiyu Cheng, Nave Assaf, Andrii Skliar, Daniel Afrimi, Natan Bagrov, Ran Zilberstein, Ofri Masad, Eugene Khvedchenia, Natan Bagrov, Borys Tymchenko, Tomer Asida, Daniel Afrimi, Parth Mannan, Victor Cui, Michael Evans, Katherine Luna, Jie Lou, Pinky Xu, Guyue Huang, Negar Habibi, Michael Boone, Pradeep Thalasta, Adeola Adesoba, Dina Yared, Christopher Parisien, Leon Derczynski, Shaona Ghosh, Wes Feely, Micah Schaffer, Radha Sri-Tharan, Jeffrey Glick, Barnaby Simkin, George Zelenfroynd, Tomasz Grzegorzek, Rishabh Garg, Aastha Jhunjhunwala, Sergei Kolchenko, Farzan Memarian, Haran Kumar, Shiv Kumar, Isabel Hulseman, Anjali Shah, Kari Briski, Padmavathy Subramanian, Joey Conway, Udi Karpas, Jane Polak Scowcroft, Annie Surla, Shilpa Ammireddy, Ellie Evans, Jesse Oliver, Tom Balough, Chia-Chih Chen, Sandip Bhaskar, Alejandra Rico, Bardiya Sadeghi, Seph Mard, Katherine Cheung, Meredith Price, Laya Sleiman, Saori Kaji, Wesley Helmholz, Wendy Quan, Michael Lightstone, Jonathan Cohen, Jian Zhang, Oleksii Kuchaiev, Boris Ginsburg, Jan Kautz, Eileen Long, Mohammad Shoeybi, Mostofa Patwary, Oluwatobi Olabiyi, Andrew Tao, Bryan Catanzaro, Udi Karpas

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un assistente super-intelligente che ha passato tutta la vita a leggere libri e guardare immagini. È brillante con il testo e le immagini, ma se provassi a parlargli o mostrargli un video con audio, rimarrebbe confuso.

Nemotron 3 Nano Omni è la nuova versione di questo assistente da parte di NVIDIA. È come dare a quell'assistente un paio di orecchie e una videocamera, insegnandogli allo stesso tempo a elaborare le informazioni molto più velocemente ed efficientemente.

Ecco una semplice spiegazione di ciò che rende speciale questo nuovo modello, utilizzando analogie di tutti i giorni:

1. L'aggiornamento "Tutto-in-Uno"

Prima di questo, l'assistente (Nemotron Nano V2) poteva solo leggere testo e guardare immagini statiche. Il nuovo Nemotron 3 Nano Omni è "omni-modale", che è un modo elegante per dire che può gestire tutto contemporaneamente: testo, immagini, video e audio.

L'Analogia: Pensa al vecchio modello come a un bibliotecario che può solo leggere libri. Il nuovo modello è un bibliotecario che può leggere libri, guardare film, ascoltare podcast e poi dirti come tutte quelle cose sono collegate.

2. Il "Cervello" e i "Sensi"

Il modello è costruito su un cervello molto efficiente chiamato Nemotron 3 Nano 30B-A3B. Questo cervello è un "Mixture of Experts" (MoE), che è come un team di specialisti dove solo gli esperti giusti si svegliano per risolvere un problema specifico, risparmiando energia.

I Sensi: Per gestire i nuovi input, hanno attaccato due nuovi "sensori":
- Vista: Un sistema di fotocamere high-tech (C-RADIOv4-H) che guarda immagini e video.
- Udito: Un orecchio sofisticato (Parakeet-TDT) che comprende la parola, la musica e i suoni ambientali.

3. Modi più intelligenti di guardare e ascoltare

Il documento evidenzia tre trucchi intelligenti che il modello utilizza per non essere sopraffatto da troppi dati:

Risoluzione Dinamica (La Lente Flessibile): Invece di schiacciare ogni foto in un quadrato fisso e minuscolo (il che fa perdere dettagli), il modello adatta la sua vista come una telecamera che fa lo zoom in o out per mantenere la forma naturale dell'immagine.
Compressione Video (Il Time-Lapse): Quando guarda un video, il modello non esamina ogni singolo fotogramma se sono identici. Usa un trucco di "Convoluzione 3D" per unire coppie di fotogrammi, riducendo efficacemente della metà il numero di "fotogrammi" che deve elaborare.
Frammenti Audio (Il Sound Bite): Invece di ascoltare un podcast di 2 ore come un unico blocco enorme di rumore, suddivide l'audio in clip di 30 secondi, rendendo più facile comprendere il flusso della conversazione.

4. Il "Campo di Addestramento" (Come ha imparato)

Non puoi semplicemente collegare una videocamera e aspettarti che il modello capisca i film immediatamente. Il team ha utilizzato una ricetta di addestramento a fasi, come uno studente che progredisce attraverso la scuola:

Fase 0-1: Prima, hanno insegnato al modello a comprendere immagini e testo insieme.
Fase 2-3: Successivamente, gli hanno insegnato ad ascoltare l'audio e a parlare.
Fase 4-6: Infine, hanno messo tutto insieme. Gli hanno fornito enormi quantità di dati (oltre 466 miliardi di "token" o parole) che includevano documenti lunghi, ore di video e conversazioni complesse.
Fase di "Apprendimento per Rinforzo": Dopo l'addestramento iniziale, hanno giocato a un gioco di "Prova, Fallisci, Riuscisci". Hanno dato al modello problemi, verificato se aveva la risposta giusta e lo hanno premiato per aver pensato logicamente. Questo è simile a un allenatore che rivede le registrazioni delle partite con un atleta per migliorare la sua strategia.

5. Velocità ed Efficienza

Una delle affermazioni più importanti nel documento è che questo modello è incredibilmente veloce.

L'Analogia: Se altri modelli di dimensioni simili sono come un'auto sportiva che rimane bloccata nel traffico, Nemotron 3 Nano Omni è un treno ad alta velocità. Utilizza tecniche speciali per saltare passaggi non necessari, consentendogli di elaborare video lunghi e documenti enormi molto più velocemente dei suoi concorrenti.
Il Risultato: Sui chip più recenti di NVIDIA (B200), può produrre output testuali da 3 a 9 volte più velocemente rispetto a modelli simili utilizzando meno memoria.

6. Cosa può effettivamente fare (Basato sul documento)

Il documento ha testato questo modello su sfide specifiche, e si è comportato molto bene in:

Lettura di Documenti: Può comprendere grafici complessi, tabelle e rapporti lunghi (come documenti finanziari) meglio delle versioni precedenti.
Comprensione dei Video: Può guardare un video lungo con audio e rispondere a domande su cosa è successo, perché è successo e l'ordine degli eventi.
Controllo del Computer: Può guardare uno schermo del computer (GUI) e capire quali pulsanti cliccare per completare un compito (come prenotare un volo o compilare un modulo).
Interazione Vocale: Può tenere una conversazione, comprendere gli accenti e rispondere a domande basandosi su ciò che sente.

7. Aperto a Tutti

Infine, il documento annuncia che NVIDIA sta condividendo le "prospettive" e i "materiali di addestramento". Stanno rilasciando il modello in diverse dimensioni (standard, compresso e ultra-compresso) e condividendo anche parte dei dati e del codice utilizzati per costruirlo. È come dare la ricetta e gli ingredienti a tutto il mondo in modo che altri scienziati possano costruire le proprie versioni o migliorarle.

In sintesi: Nemotron 3 Nano Omni è un assistente multi-sensoriale più veloce e intelligente che può leggere, guardare e ascoltare simultaneamente, progettato per gestire compiti lunghi e complessi senza rimanere intralciato.

Riepilogo Tecnico: Nemotron 3 Nano Omni

1. Enunciato del Problema

Il campo dell'IA multimodale sta evolvendo rapidamente, tuttavia i modelli esistenti affrontano sfide significative nel bilanciare efficienza, supporto nativo per l'audio e ragionamento su contesti lunghi. Le iterazioni precedenti spesso consideravano l'audio come un ripensamento o si affidavano a architetture dense e pesanti che soffrono di elevata latenza di inferenza e limitazioni nel throughput. Inoltre, la gestione di video e documenti di lunga durata con audio richiede un numero massiccio di token, portando a costi computazionali proibitivi. C'è un bisogno critico di un modello omni-modale (testo, immagine, video, audio) che:

Elabori nativamente l'audio insieme ad altre modalità senza degradazione delle prestazioni.
Mantenga elevate capacità di ragionamento su tutte le modalità.
Raggiunga un'efficienza di inferenza superiore (bassa latenza, alto throughput) adatta ad applicazioni agentiche nel mondo reale.
Supporti contesti ultra-lunghi (fino a 256K token) per l'analisi di documenti complessi e video.

2. Metodologia

2.1 Architettura del Modello

Nemotron 3 Nano Omni è costruito su un backbone ibrido Mixture-of-Experts (MoE), specificamente il Nemotron 3 Nano 30B-A3B (30B parametri totali, 3B attivi). L'architettura segue un design Encoder-Projector-Decoder:

Backbone LLM: Il modello MoE 30B-A3B fornisce le capacità fondamentali di ragionamento e linguaggio.
Vision Encoder: Utilizza C-RADIOv4-H1, un modello fondazionale visivo ad alte prestazioni.
Audio Encoder: Utilizza Parakeet-TDT-0.6B-v2, un encoder basato su FastConformer per la comprensione del parlato e dell'audio.
Connettori: Proiettori MLP specifici per modalità allineano i token visivi e audio allo spazio di embedding dell'LLM.

Innovazioni Architetturali Chiave:

Risoluzione Immagine Dinamica: Sostituisce la tassellazione statica con una strategia dinamica che preserva i rapporti di aspetto nativi, decomponendo le immagini in patch variabili $16 \times 16$ (1.024–13.312 token).
Compressione Temporale Video: Introduce una compressione temporale basata su Conv3D, fondendo ogni due fotogrammi consecutivi in un singolo "tubo" (tubelet) prima del blocco ViT, riducendo i token temporali di 2×.
Tokenizzazione Audio: L'audio viene ricampionato a 16kHz, codificato tramite spettrogrammi log-mel e sottocampionato a ~12,5 token/secondo.
Lunghezza del Contesto: Supporta fino a 256K token, abilitando l'analisi di documenti lunghi e flussi video/audio estesi.

2.2 Strategia di Addestramento

Il modello adotta un approccio di curriculum learning multi-stadio per garantire un allineamento cross-modale stabile e prevenire l'oblio catastrofico:

Stadio 0 (Warmup Visivo): Addestra solo il proiettore visivo (contesto 16k).
Stadio 1 (SFT Visivo): Fine-tuning congiunto visione-linguaggio con dati sintetici di alta qualità (Qwen3-VL, Kimi-K2.5).
Stadio 2 (Warmup Audio): Addestra il proiettore audio utilizzando dati ASR (Granary v1.1).
Stadio 3 (Encoder Audio & Proj): Sblocca l'encoder audio per l'addestramento congiunto su suoni, musica e parlato.
Stadio 4 (Omni SFT Congiunto 16k): Addestramento del modello completo su un mix di dati visivi, audio, video e testo.
Stadio 5 (Omni SFT 48k): Estende il contesto a 48k, enfatizzando dati video lunghi e di ragionamento.
Stadio 6 (Omni SFT 256k): Estende il contesto a 256k, focalizzandosi su documenti ultra-lunghi e ragionamento testuale.
Apprendimento per Rinforzo (RL): Post-addestramento tramite Mixed Preference Optimization (MPO) e Group Sequence Policy Optimization (GSPO) su tutte le modalità (testo, immagine, video, audio) per migliorare ragionamento e sicurezza.

2.3 Tecniche di Efficienza

Campionamento Video Efficiente (EVS): Un meccanismo di pruning runtime che elimina i token video ridondanti basandosi sulla dissimilarità coseno, riducendo ulteriormente il numero di token dopo il ViT.
Quantizzazione: Rilascia i modelli nei formati BF16, FP8 e NVFP4 (4,98 bit effettivi/peso), ottenendo risparmi significativi di memoria con perdita minima di accuratezza (<1% di calo mediano).

3. Contributi Chiave

Supporto Omni-Modale Nativo: Il primo della serie Nemotron a supportare nativamente input audio insieme a testo, immagini e video, abilitando un vero ragionamento cross-modale.
Efficienza all'Avanguardia: Offre un throughput 3× superiore rispetto al predecessore (Nemotron Nano V2 VL) e 7,5× superiore rispetto a Qwen3-Omni su GPU NVIDIA B200, mantenendo bassa latenza.
Riduzione Avanzata dei Token: Combina compressione temporale Conv3D ed EVS per ridurre i token di input video fino al 70%, abbattendo drasticamente i costi di inferenza.
Contesto Ultra-Lungo: Scalare con successo a una lunghezza di contesto di 256K, superando i predecessori nella comprensione di documenti lunghi e video estesi.
Rilascio Open Source: Fornisce checkpoint del modello (BF16, FP8, FP4), dataset di addestramento (~6,9M campioni), pipeline dati e codice (Megatron-Bridge, NeMo-RL) alla comunità.

4. Risultati

4.1 Benchmark delle Prestazioni

Nemotron 3 Nano Omni ottiene risultati leader o competitivi su diverse modalità:

Documento & OCR: Prestazioni di primo piano su OCRBench-V2 (88,3), MMLongBench-DOC (46,1) e ChartQA (89,9).
Ragionamento Visivo: Punteggi elevati su MMMU (55,2), MathVista-Mini (71,9) e RefCOCO (80,6).
Audio & Voce: Supera Qwen3-Omni su VoiceBench (89,4 media) e ottiene risultati competitivi su OpenASR (5,95 WER media).
Omni-Modale (Video+Audio): Leader su DailyOmni (74,5) e WorldSense (55,2), dimostrando un allineamento temporale e cross-modale superiore.
Ragionamento Testuale: Mantiene le forti capacità di ragionamento dell'LLM base 30B-A3B (es. MMLU-Pro: 77,3, GPQA: 72,2).

4.2 Metriche di Efficienza

Throughput: Su una singola NVIDIA B200, raggiunge 5.000 token di output/s su carichi di lavoro multi-documento e >500 token/s in modalità a bassa latenza a flusso singolo.
Latenza: Il Time-to-First-Token (TTFT) è ridotto del 33% (da ~8s a ~5,3s) combinando Conv3D ed EVS.
Quantizzazione: La versione NVFP4 riduce le dimensioni del modello da 61,5 GB (BF16) a 20,9 GB con degradazione trascurabile dell'accuratezza.

5. Significato

Nemotron 3 Nano Omni rappresenta un grande salto in avanti nell'intelligenza multimodale efficiente, aperta e agenziale. Risolvendo il compromesso tra capacità del modello e costo di inferenza, abilita:

Deploy nel Mondo Reale: L'alto throughput e la bassa latenza lo rendono fattibile per agenti in tempo reale, come controller GUI autonomi e assistenti vocali.
Analisi di Lunga Durata: Il contesto di 256K e le tecniche di riduzione dei token permettono l'analisi di interi libri, report finanziari e video di un'ora senza colli di bottiglia di memoria.
Avanzamento della Comunità: Il rilascio open di checkpoint, dati e pipeline di addestramento democratizza l'accesso alle ricette di addestramento omni-modali all'avanguardia, favorendo ulteriori ricerche nell'IA multimodale efficiente.

Questo lavoro stabilisce un nuovo standard per i modelli omni-modali open-source, dimostrando che un ragionamento ad alte prestazioni su testo, visione e audio può essere raggiunto con un'architettura compatta ed efficiente.