🤖 machine learning

Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning

Il documento presenta Nemotron 3 Super, un modello ibrido Mamba-Transformer open source con architettura Mixture-of-Experts da 120 miliardi di parametri (12 attivi), addestrato in NVFP4 e ottimizzato per il ragionamento agenziale, che offre un throughput di inferenza fino a 7,5 volte superiore rispetto a modelli concorrenti pur mantenendo un'accuratezza comparabile.

Autori originali: NVIDIA, :, Aakshita Chandiramani, Aaron Blakeman, Abdullahi Olaoye, Abhibha Gupta, Abhilash Somasamudramath, Abhinav Khattar, Adeola Adesoba, Adi Renduchintala, Adil Asif, Aditya Agrawal, Aditya VavrNVIDIA, :, Aakshita Chandiramani, Aaron Blakeman, Abdullahi Olaoye, Abhibha Gupta, Abhilash Somasamudramath, Abhinav Khattar, Adeola Adesoba, Adi Renduchintala, Adil Asif, Aditya Agrawal, Aditya Vavre, Ahmad Kiswani, Aishwarya Padmakumar, Ajay Hotchandani, Akanksha Shukla, Akhiad Bercovich, Aleksander Ficek, Aleksandr Shaposhnikov, Alex Gronskiy, Alex Kondratenko, Alex Neefus, Alex Steiner, Alex Yang, Alexander Bukharin, Alexander Young, Ali Hatamizadeh, Ali Taghibakhshi, Alina Galiautdinova, Alisa Liu, Alok Kumar, Ameya Sunil Mahabaleshwarkar, Amir Klein, Amit Zuker, Amnon Geifman, Anahita Bhiwandiwalla, Ananth Subramaniam, Andrew Tao, Anjaney Shrivastava, Anjulie Agrusa, Ankur Srivastava, Ankur Verma, Ann Guan, Anna Shors, Annamalai Chockalingam, Anubhav Mandarwal, Aparnaa Ramani, Arham Mehta, Arti Jain, Arun Venkatesan, Asha Anoosheh, Ashwath Aithal, Ashwin Poojary, Asif Ahamed, Asit Mishra, Asli Sabanci Demiroz, Asma Kuriparambil Thekkumpate, Atefeh Sohrabizadeh, Avinash Kaur, Ayush Dattagupta, Barath Subramaniam Anandan, Bardiya Sadeghi, Barnaby Simkin, Ben Lanir, Benedikt Schifferer, Benjamin Chislett, Besmira Nushi, Bilal Kartal, Bill Thiede, Bita Darvish Rouhani, Bobby Chen, Boris Ginsburg, Brandon Norick, Branislav Kisacanin, Brian Yu, Bryan Catanzaro, Buvaneswari Mani, Carlo del Mundo, Chankyu Lee, Chanran Kim, Chantal Hwang, Chao Ni, Charles Wang, Charlie Truong, Cheng-Ping Hsieh, Chenhan Yu, Chenjie Luo, Cherie Wang, Chetan Mungekar, Chintan Patel, Chris Alexiuk, Chris Holguin, Chris Wing, Christian Munley, Christopher Parisien, Chuck Desai, Chunyang Sheng, Collin Neale, Cyril Meurillon, Dakshi Kumar, Dan Gil, Dan Su, Dane Corneil, Daniel Afrimi, Daniel Burkhardt Eliuth Triana, Daniel Egert, Daniel Fatade, Daniel Lo, Daniel Rohrer, Daniel Serebrenik, Daniil Sorokin, Daria Gitman, Daria Levy, Darko Stosic, David Edelsohn, David Messina, David Mosallanezhad, David Tamok, Deena Donia, Deepak Narayanan, Devin O'Kelly, Dheeraj Peri, Dhruv Nathawani, Di Wu, Dima Rekesh, Dina Yared, Divyanshu Kakwani, Dmitry Konyagin Brandon Tuttle, Dong Ahn, Dongfu Jiang, Dorrin Poorkay, Douglas O'Flaherty, Duncan Riach, Dusan Stosic, Dustin Van Stee, Edgar Minasyan, Edward Lin, Eileen Peters Long, Elad Segal, Elena Lantz, Elena Lewis, Ellie Evans, Elliott Ning, Eric Chung, Eric Harper, Eric Pham-Hung, Eric W. Tramel, Erick Galinkin, Erik Pounds, Esti Etrog, Evan Briones, Evan Wu, Evelina Bakhturina, Evgeny Tsykunov, Ewa Dobrowolska, Farshad Saberi Movahed, Farzan Memarian, Fay Wang, Fei Jia, Felipe Soares, Felipe Vieira Frujeri, Feng Chen, Fengguang Lin, Ferenc Galko, Fortuna Zhang, Frankie Siino, Frida Hou, Gantavya Bhatt, Gargi Prasad, Geethapriya Venkataramani, Geetika Gupta, George Armstrong, Gerald Shen, Giulio Borghesi, Gordana Neskovic, Gorkem Batmaz, Grace Lam, Grace Wu, Greg Pauloski, Greyson Davis, Grigor Nalbandyan, Guoming Zhang, Guy Farber, Guyue Huang, Haifeng Qian, Haran Kumar Shiv Kumar, Harry Kim, Harsh Sharma, Hayate Iso, Hayley Ross, Herbert Hum, Herman Sahota, Hexin Wang, Himanshu Soni, Hiren Upadhyay, Huy Nguyen, Iain Cunningham, Ido Galil, Ido Shahaf, Igino Padovani, Igor Gitman, Igor Shovkun, Ikroop Dhillon, Ilya Loshchilov, Ingrid Kelly, Itamar Schen, Itay Levy, Ivan Moshkov, Izik Golan, Izzy Putterman, Jain Tu, Jan Baczek, Jan Kautz, Jane Polak Scowcroft, Janica Rosenberg, Jared Casper, Jarrod Pflum, Jason Grant, Jason Sewall, Jatin Mitra, Jeffrey Glick, Jenny Chen, Jesse Oliver, Jiacheng Xu, Jiafan Zhu, Jialin Song, Jian Zhang, Jiaqi Zeng, Jie Lou, Jill Milton, Jim Chow, Jimmy Zhang, Jinhang Choi, Jining Huang, Jocelyn Huang, Joel Caruso, Joey Conway, Joey Guman, Johan Jatko, John Kamalu, Johnny Greco, Jonathan Cohen, Jonathan Raiman, Joseph Jennings, Joyjit Daw, Juan Yu, Julio Tapia, Junkeun Yi, Jupinder Parmar, Jyothi Achar, Kari Briski, Kartik Mattoo, Katherine Cheung, Katherine Luna, Keith Wyss, Kevin Shih, Kezhi Kong, Khanh Nguyen, Khushi Bhardwaj, Kirill Buryak, Kirthi Shankar Sivamani, Konstantinos Krommydas, Kris Murphy, Krishna C. Puvvada, Krzysztof Pawelec, Kumar Anik, Laikh Tewari, Laya Sleiman, Leo Du, Leon Derczynski, Li Ding, Lilach Ilan, Lingjie Wu, Lizzie Wei, Luis Vega, Lun Su, Maarten Van Segbroeck, Maer Rodrigues de Melo, Magaret Zhang, Mahan Fathi, Makesh Narsimhan Sreedhar, Makesh Sreedhar, Makesh Tarun Chandran, Manuel Reyes Gomez, Maor Ashkenazi, Marc Cuevas, Marc Romeijn, Margaret Zhang, Mark Cai, Mark Gabel, Markus Kliegl, Martyna Patelka, Maryam Moosaei, Matthew Varacalli, Matvei Novikov, Mauricio Ferrato, Mehrzad Samadi, Melissa Corpuz, Meng Xin, Mengdi Wang, Mengru Wang, Meredith Price, Micah Schaffer, Michael Andersch, Michael Boone, Michael Evans, Michael Z Wang, Miguel Martinez, Mikail Khona, Mike Chrzanowski, Mike Hollinger, Mingyuan Ma, Minseok Lee, Mohammad Dabbah, Mohammad Shoeybi, Mostofa Patwary, Nabin Mulepati, Nader Khalil, Najeeb Nabwani, Nancy Agarwal, Nanthini Balasubramaniam, Narimane Hennouni, Narsi Kodukula, Natalie Hereth, Nathaniel Pinckney, Nave Assaf, Negar Habibi, Nestor Qin, Neta Zmora, Netanel Haber, Nick Reamaroon, Nickson Quak, Nidhi Bhatia, Nikhil Jukar, Nikki Pope, Nikolai Ludwig, Nima Tajbakhsh, Nir Ailon, Nirmal Juluru, Nirmalya De, Nowel Pitt, Oleg Rybakov, Oleksii Hrinchuk, Oleksii Kuchaiev, Olivier Delalleau, Oluwatobi Olabiyi, Omer Ullman Argov, Omri Almog, Omri Puny, Oren Tropp, Otavio Padovani, Ouye Xie, Parth Chadha, Pasha Shamis, Paul Gibbons, Pavlo Molchanov, Peter Belcak, Peter Jin, Pinky Xu, Piotr Januszewski, Pooya Jannaty, Prachi Shevate, Pradeep Thalasta, Pranav Prashant Thombre, Prasoon Varshney, Prerana Gambhir, Pritam Gundecha, Przemek Tredak, Qing Miao, Qiyu Wan, Quan Tran Minh, Rabeeh Karimi Mahabadi, Rachel Oberman, Rachit Garg, Rahul Kandu, Raina Zhong, Ran El-Yaniv, Ran Zilberstein, Rasoul Shafipour, Renee Yao, Renjie Pi, Richard Mazzarese, Richard Wang, Rick Izzo, Ridhima Singla, Rima Shahbazyan, Rishabh Garg, Ritika Borkar, Ritu Gala, Riyad Islam, Robert Clark, Robert Hesse, Roger Waleffe, Rohit Varma Kalidindi, Rohit Watve, Roi Koren, Ron Fan, Ruchika Kharwar, Ruisi Cai, Ruoxi Zhang, Russell J. Hewett, Ryan Prenger, Ryan Timbrook, Ryota Egashira, Sadegh Mahdavi, Sagar Singh Ashutosh Joshi, Sahil Modi, Samuel Kriman, Sandeep Pombra, Sanjay Kariyappa, Sanjeev Satheesh, Santiago Pombo, Saori Kaji, Satish Pasumarthi, Saurav Mishra, Saurav Muralidharan, Scott Hara, Sean Narenthiran, Sebastian Rogawski, Seonjin Na, Seonmyeong Bak, Sepehr Sameni, Seth Poulos, Shahar Mor, Shantanu Acharya, Shaona Ghosh Adam Lord, Sharath Turuvekere Sreenivas, Shaun Kotek, Shaya Gharghabi, Shelby Thomas, Sheng-Chieh Lin, Shibani Likhite, Shiqing Fan, Shiyang Chen, Shreya Gopal, Shrimai Prabhumoye, Shubham Pachori, Shubham Toshniwal, Shuo Zhang, Shuoyang Ding, Shyam Renjith, Shyamala Prayaga, Siddhartha Jain, Simeng Sun, Sirisha Rella, Sirshak Das, Smita Ithape, Sneha Harishchandra S, Somshubra Majumdar, Soumye Singhal, Sri Harsha Singudasu, Sriharsha Niverty, Stas Sergienko, Stefana Gloginic, Stefania Alborghetti, Stephen Ge, Stephen McCullough, Sugam Dipak Devare, Suguna Varshini Velury, Sukrit Rao, Sumeet Kumar Barua, Sunny Gai, Suseella Panguluri, Sushil Koundinyan, Swathi Patnam, Sweta Priyadarshi, Swetha Bhendigeri, Syeda Nahida Akter, Sylendran Arunagiri, Tailling Yuan, Talor Abramovich, Tan Bui, Tan Yu, Terry Kong, Thanh Do, Thomas Gburek, Thorgane Marques, Tiffany Moore, Tijmen Blankevoort, Tim Moon, Timothy Ma, Tiyasa Mitra, Tomasz Grzegorzek, Tomer Asida, Tomer Bar Natan, Tomer Keren, Tomer Ronen, Traian Rebedea, Trenton Starkey, Tugrul Konuk, Twinkle Vashishth, Tyler Condensa, Udi Karpas, Ushnish De, Vahid Noorozi, Vahid Noroozi, Vanshil Atul Shah, Veena Vaidyanathan, Venkat Srinivasan, Venmugil Elango, Victor Cui, Vijay Korthikanti, Vikas Mehta, Virginia Adams, Virginia Wu, Vitaly Kurin, Vitaly Lavrukhin, Vladimir Anisimov, Wan Seo, Wanli Jiang, Wasi Uddin Ahmad, Wei Du, Wei Ping, Wei-Ming Chen, Wendy Quan, Wenliang Dai, Wenwen Gao, Will Jennings, William Zhang, Xiaowei Ren, Xiaowen Xin, Xin Li, Yang Yu, Yangyi Chen, Yaniv Galron, Yashaswi Karnati, Yejin Choi, Yev Meyer, Yi-Fu Wu, Yian Zhang, Ying Lin, Yonatan Geifman, Yonggan Fu, Yoshi Suhara, Youngeun Kwon, Yuan Zhang, Yuki Huang, Zach Moshe, Zhilin Wang, Zhiyu Cheng, Zhongbo Zhu, Zhuolin Yang, Zihan Liu, Zijia Chen, Zijie Yan, Zuhair Ahmed

Pubblicato 2026-04-15

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: NVIDIA, :, Aakshita Chandiramani, Aaron Blakeman, Abdullahi Olaoye, Abhibha Gupta, Abhilash Somasamudramath, Abhinav Khattar, Adeola Adesoba, Adi Renduchintala, Adil Asif, Aditya Agrawal, Aditya Vavre, Ahmad Kiswani, Aishwarya Padmakumar, Ajay Hotchandani, Akanksha Shukla, Akhiad Bercovich, Aleksander Ficek, Aleksandr Shaposhnikov, Alex Gronskiy, Alex Kondratenko, Alex Neefus, Alex Steiner, Alex Yang, Alexander Bukharin, Alexander Young, Ali Hatamizadeh, Ali Taghibakhshi, Alina Galiautdinova, Alisa Liu, Alok Kumar, Ameya Sunil Mahabaleshwarkar, Amir Klein, Amit Zuker, Amnon Geifman, Anahita Bhiwandiwalla, Ananth Subramaniam, Andrew Tao, Anjaney Shrivastava, Anjulie Agrusa, Ankur Srivastava, Ankur Verma, Ann Guan, Anna Shors, Annamalai Chockalingam, Anubhav Mandarwal, Aparnaa Ramani, Arham Mehta, Arti Jain, Arun Venkatesan, Asha Anoosheh, Ashwath Aithal, Ashwin Poojary, Asif Ahamed, Asit Mishra, Asli Sabanci Demiroz, Asma Kuriparambil Thekkumpate, Atefeh Sohrabizadeh, Avinash Kaur, Ayush Dattagupta, Barath Subramaniam Anandan, Bardiya Sadeghi, Barnaby Simkin, Ben Lanir, Benedikt Schifferer, Benjamin Chislett, Besmira Nushi, Bilal Kartal, Bill Thiede, Bita Darvish Rouhani, Bobby Chen, Boris Ginsburg, Brandon Norick, Branislav Kisacanin, Brian Yu, Bryan Catanzaro, Buvaneswari Mani, Carlo del Mundo, Chankyu Lee, Chanran Kim, Chantal Hwang, Chao Ni, Charles Wang, Charlie Truong, Cheng-Ping Hsieh, Chenhan Yu, Chenjie Luo, Cherie Wang, Chetan Mungekar, Chintan Patel, Chris Alexiuk, Chris Holguin, Chris Wing, Christian Munley, Christopher Parisien, Chuck Desai, Chunyang Sheng, Collin Neale, Cyril Meurillon, Dakshi Kumar, Dan Gil, Dan Su, Dane Corneil, Daniel Afrimi, Daniel Burkhardt Eliuth Triana, Daniel Egert, Daniel Fatade, Daniel Lo, Daniel Rohrer, Daniel Serebrenik, Daniil Sorokin, Daria Gitman, Daria Levy, Darko Stosic, David Edelsohn, David Messina, David Mosallanezhad, David Tamok, Deena Donia, Deepak Narayanan, Devin O'Kelly, Dheeraj Peri, Dhruv Nathawani, Di Wu, Dima Rekesh, Dina Yared, Divyanshu Kakwani, Dmitry Konyagin Brandon Tuttle, Dong Ahn, Dongfu Jiang, Dorrin Poorkay, Douglas O'Flaherty, Duncan Riach, Dusan Stosic, Dustin Van Stee, Edgar Minasyan, Edward Lin, Eileen Peters Long, Elad Segal, Elena Lantz, Elena Lewis, Ellie Evans, Elliott Ning, Eric Chung, Eric Harper, Eric Pham-Hung, Eric W. Tramel, Erick Galinkin, Erik Pounds, Esti Etrog, Evan Briones, Evan Wu, Evelina Bakhturina, Evgeny Tsykunov, Ewa Dobrowolska, Farshad Saberi Movahed, Farzan Memarian, Fay Wang, Fei Jia, Felipe Soares, Felipe Vieira Frujeri, Feng Chen, Fengguang Lin, Ferenc Galko, Fortuna Zhang, Frankie Siino, Frida Hou, Gantavya Bhatt, Gargi Prasad, Geethapriya Venkataramani, Geetika Gupta, George Armstrong, Gerald Shen, Giulio Borghesi, Gordana Neskovic, Gorkem Batmaz, Grace Lam, Grace Wu, Greg Pauloski, Greyson Davis, Grigor Nalbandyan, Guoming Zhang, Guy Farber, Guyue Huang, Haifeng Qian, Haran Kumar Shiv Kumar, Harry Kim, Harsh Sharma, Hayate Iso, Hayley Ross, Herbert Hum, Herman Sahota, Hexin Wang, Himanshu Soni, Hiren Upadhyay, Huy Nguyen, Iain Cunningham, Ido Galil, Ido Shahaf, Igino Padovani, Igor Gitman, Igor Shovkun, Ikroop Dhillon, Ilya Loshchilov, Ingrid Kelly, Itamar Schen, Itay Levy, Ivan Moshkov, Izik Golan, Izzy Putterman, Jain Tu, Jan Baczek, Jan Kautz, Jane Polak Scowcroft, Janica Rosenberg, Jared Casper, Jarrod Pflum, Jason Grant, Jason Sewall, Jatin Mitra, Jeffrey Glick, Jenny Chen, Jesse Oliver, Jiacheng Xu, Jiafan Zhu, Jialin Song, Jian Zhang, Jiaqi Zeng, Jie Lou, Jill Milton, Jim Chow, Jimmy Zhang, Jinhang Choi, Jining Huang, Jocelyn Huang, Joel Caruso, Joey Conway, Joey Guman, Johan Jatko, John Kamalu, Johnny Greco, Jonathan Cohen, Jonathan Raiman, Joseph Jennings, Joyjit Daw, Juan Yu, Julio Tapia, Junkeun Yi, Jupinder Parmar, Jyothi Achar, Kari Briski, Kartik Mattoo, Katherine Cheung, Katherine Luna, Keith Wyss, Kevin Shih, Kezhi Kong, Khanh Nguyen, Khushi Bhardwaj, Kirill Buryak, Kirthi Shankar Sivamani, Konstantinos Krommydas, Kris Murphy, Krishna C. Puvvada, Krzysztof Pawelec, Kumar Anik, Laikh Tewari, Laya Sleiman, Leo Du, Leon Derczynski, Li Ding, Lilach Ilan, Lingjie Wu, Lizzie Wei, Luis Vega, Lun Su, Maarten Van Segbroeck, Maer Rodrigues de Melo, Magaret Zhang, Mahan Fathi, Makesh Narsimhan Sreedhar, Makesh Sreedhar, Makesh Tarun Chandran, Manuel Reyes Gomez, Maor Ashkenazi, Marc Cuevas, Marc Romeijn, Margaret Zhang, Mark Cai, Mark Gabel, Markus Kliegl, Martyna Patelka, Maryam Moosaei, Matthew Varacalli, Matvei Novikov, Mauricio Ferrato, Mehrzad Samadi, Melissa Corpuz, Meng Xin, Mengdi Wang, Mengru Wang, Meredith Price, Micah Schaffer, Michael Andersch, Michael Boone, Michael Evans, Michael Z Wang, Miguel Martinez, Mikail Khona, Mike Chrzanowski, Mike Hollinger, Mingyuan Ma, Minseok Lee, Mohammad Dabbah, Mohammad Shoeybi, Mostofa Patwary, Nabin Mulepati, Nader Khalil, Najeeb Nabwani, Nancy Agarwal, Nanthini Balasubramaniam, Narimane Hennouni, Narsi Kodukula, Natalie Hereth, Nathaniel Pinckney, Nave Assaf, Negar Habibi, Nestor Qin, Neta Zmora, Netanel Haber, Nick Reamaroon, Nickson Quak, Nidhi Bhatia, Nikhil Jukar, Nikki Pope, Nikolai Ludwig, Nima Tajbakhsh, Nir Ailon, Nirmal Juluru, Nirmalya De, Nowel Pitt, Oleg Rybakov, Oleksii Hrinchuk, Oleksii Kuchaiev, Olivier Delalleau, Oluwatobi Olabiyi, Omer Ullman Argov, Omri Almog, Omri Puny, Oren Tropp, Otavio Padovani, Ouye Xie, Parth Chadha, Pasha Shamis, Paul Gibbons, Pavlo Molchanov, Peter Belcak, Peter Jin, Pinky Xu, Piotr Januszewski, Pooya Jannaty, Prachi Shevate, Pradeep Thalasta, Pranav Prashant Thombre, Prasoon Varshney, Prerana Gambhir, Pritam Gundecha, Przemek Tredak, Qing Miao, Qiyu Wan, Quan Tran Minh, Rabeeh Karimi Mahabadi, Rachel Oberman, Rachit Garg, Rahul Kandu, Raina Zhong, Ran El-Yaniv, Ran Zilberstein, Rasoul Shafipour, Renee Yao, Renjie Pi, Richard Mazzarese, Richard Wang, Rick Izzo, Ridhima Singla, Rima Shahbazyan, Rishabh Garg, Ritika Borkar, Ritu Gala, Riyad Islam, Robert Clark, Robert Hesse, Roger Waleffe, Rohit Varma Kalidindi, Rohit Watve, Roi Koren, Ron Fan, Ruchika Kharwar, Ruisi Cai, Ruoxi Zhang, Russell J. Hewett, Ryan Prenger, Ryan Timbrook, Ryota Egashira, Sadegh Mahdavi, Sagar Singh Ashutosh Joshi, Sahil Modi, Samuel Kriman, Sandeep Pombra, Sanjay Kariyappa, Sanjeev Satheesh, Santiago Pombo, Saori Kaji, Satish Pasumarthi, Saurav Mishra, Saurav Muralidharan, Scott Hara, Sean Narenthiran, Sebastian Rogawski, Seonjin Na, Seonmyeong Bak, Sepehr Sameni, Seth Poulos, Shahar Mor, Shantanu Acharya, Shaona Ghosh Adam Lord, Sharath Turuvekere Sreenivas, Shaun Kotek, Shaya Gharghabi, Shelby Thomas, Sheng-Chieh Lin, Shibani Likhite, Shiqing Fan, Shiyang Chen, Shreya Gopal, Shrimai Prabhumoye, Shubham Pachori, Shubham Toshniwal, Shuo Zhang, Shuoyang Ding, Shyam Renjith, Shyamala Prayaga, Siddhartha Jain, Simeng Sun, Sirisha Rella, Sirshak Das, Smita Ithape, Sneha Harishchandra S, Somshubra Majumdar, Soumye Singhal, Sri Harsha Singudasu, Sriharsha Niverty, Stas Sergienko, Stefana Gloginic, Stefania Alborghetti, Stephen Ge, Stephen McCullough, Sugam Dipak Devare, Suguna Varshini Velury, Sukrit Rao, Sumeet Kumar Barua, Sunny Gai, Suseella Panguluri, Sushil Koundinyan, Swathi Patnam, Sweta Priyadarshi, Swetha Bhendigeri, Syeda Nahida Akter, Sylendran Arunagiri, Tailling Yuan, Talor Abramovich, Tan Bui, Tan Yu, Terry Kong, Thanh Do, Thomas Gburek, Thorgane Marques, Tiffany Moore, Tijmen Blankevoort, Tim Moon, Timothy Ma, Tiyasa Mitra, Tomasz Grzegorzek, Tomer Asida, Tomer Bar Natan, Tomer Keren, Tomer Ronen, Traian Rebedea, Trenton Starkey, Tugrul Konuk, Twinkle Vashishth, Tyler Condensa, Udi Karpas, Ushnish De, Vahid Noorozi, Vahid Noroozi, Vanshil Atul Shah, Veena Vaidyanathan, Venkat Srinivasan, Venmugil Elango, Victor Cui, Vijay Korthikanti, Vikas Mehta, Virginia Adams, Virginia Wu, Vitaly Kurin, Vitaly Lavrukhin, Vladimir Anisimov, Wan Seo, Wanli Jiang, Wasi Uddin Ahmad, Wei Du, Wei Ping, Wei-Ming Chen, Wendy Quan, Wenliang Dai, Wenwen Gao, Will Jennings, William Zhang, Xiaowei Ren, Xiaowen Xin, Xin Li, Yang Yu, Yangyi Chen, Yaniv Galron, Yashaswi Karnati, Yejin Choi, Yev Meyer, Yi-Fu Wu, Yian Zhang, Ying Lin, Yonatan Geifman, Yonggan Fu, Yoshi Suhara, Youngeun Kwon, Yuan Zhang, Yuki Huang, Zach Moshe, Zhilin Wang, Zhiyu Cheng, Zhongbo Zhu, Zhuolin Yang, Zihan Liu, Zijia Chen, Zijie Yan, Zuhair Ahmed

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover costruire un super-eroe digitale capace di risolvere problemi complessi, scrivere codice, navigare su internet e ragionare come un umano, ma che allo stesso tempo sia veloce come una Ferrari e leggero come una moto. Questo è Nemotron 3 Super.

Ecco come funziona, spiegato con delle metafore quotidiane:

1. Il Corpo del Super-Eroe: Un'Architettura Ibrida

La maggior parte dei modelli AI oggi sono come camion pesanti: potenti, ma lenti e che consumano molto carburante (energia di calcolo). Nemotron 3 Super è diverso. È un ibrido, come una macchina ibrida di lusso.

Il Motore Mamba (La velocità): Immagina un corridore che può mantenere una velocità costante senza mai stancarsi. Questa parte del modello (chiamata Mamba) gestisce le informazioni in modo lineare e veloce, perfetto per leggere libri lunghissimi o mantenere il filo del discorso senza "dimenticare" cosa è successo all'inizio.
Il Cervello MoE (L'intelligenza): Qui entra in gioco la parte "Mixture-of-Experts" (Miscela di Esperti). Immagina di non avere un solo genio che deve sapere tutto, ma una squadra di 512 specialisti (esperti di matematica, di codice, di storia, ecc.). Quando arriva una domanda, il modello non sveglia tutti i 512 esperti (sarebbe troppo lento), ma ne chiama solo 22 che sono i più adatti per quel compito specifico.
La Magia "LatentMoE": Nemotron 3 Super usa una versione ancora più intelligente di questa squadra. Invece di far parlare gli esperti direttamente tra loro con voci enormi (che intaserebbe la linea), li fa parlare in una lingua segreta e compatta (uno spazio latente). È come se gli esperti si scambiassero dei bigliettini minuscoli invece di urlare. Questo permette di avere più esperti e più conversazioni simultanee senza rallentare il traffico.

2. La Scuola: Come è stato Addestrato

Per diventare un super-eroe, devi studiare molto. Nemotron 3 Super ha studiato 25 trilioni di parole (un numero così grande che se lo leggessi a voce alta non finiresti mai in tutta la tua vita).

Il Metodo di Studio (NVFP4): Invece di prendere appunti con una penna d'oro pesante e costosa (alta precisione), ha imparato usando una penna stilografica leggera e veloce (bassa precisione, NVFP4). Sorprendentemente, ha imparato tutto perfettamente, ma consumando molta meno energia e memoria. È come se avesse imparato la fisica quantistica scrivendo su un foglietto di carta invece che su un tablet da 10 pollici.
Previsione Multipla (MTP): Immagina di leggere un libro e, invece di aspettare che l'autore scriva la prossima parola, tu provi a indovinare le prossime tre parole mentre leggi la quarta. Questo è il "Multi-Token Prediction". Nemotron 3 Super fa questo: indovina il futuro per scrivere più velocemente, come un giocatore di scacchi che vede tre mosse avanti.

3. L'Allenamento da Agente: Non solo Chat, ma Azione

Molti modelli AI sono come bibliotecari: ti danno informazioni se chiedi. Nemotron 3 Super è un cameriere attivo: non solo ti porta il menu, ma va in cucina, controlla gli ingredienti, cucina il piatto e lo porta a tavola.

Il Campo di Addestramento (RL): Il modello è stato mandato in un "parco giochi" digitale con 21 ambienti diversi (matematica, codice, sicurezza, uso del terminale del computer).
Imparare dagli Errori: Se il modello sbagliava a risolvere un problema di codice o a usare un comando del terminale, riceveva un "colpo" virtuale e doveva riprovare finché non ci riusciva. Questo lo ha reso bravissimo a fare cose pratiche, come correggere un bug in un software o navigare in un sito web per trovare un volo.
Modalità "Bassa Sforzo": Il modello può anche decidere di "non pensare troppo" se la domanda è semplice, risparmiando energia, proprio come quando guidi in autostrada senza dover concentrarti su ogni curva.

4. Il Risultato: Velocità e Precisione

Alla fine di tutto questo allenamento, cosa abbiamo ottenuto?

Velocità: Rispetto ai suoi rivali (come GPT-OSS o Qwen), Nemotron 3 Super è fino a 7,5 volte più veloce nel produrre risposte. È come passare da una bicicletta a un jet.
Qualità: Nonostante sia veloce, non ha perso intelligenza. Risolve problemi di matematica, scrive codice e usa strumenti con la stessa (o migliore) precisione dei modelli più grandi e lenti.
Contesto Infinito: Può leggere e ricordare fino a 1 milione di token (circa 750.000 parole, l'equivalente di 10-15 libri interi) senza confondersi. È come avere un'enciclopedia intera nella testa e ricordare ogni dettaglio di un libro che hai letto mesi fa.

In Sintesi

Nemotron 3 Super è un modello AI che ha combinato la velocità di un corridore, l'intelligenza di una squadra di esperti e la capacità di agire nel mondo reale. È stato addestrato in modo intelligente per essere leggero e veloce, ma rimane estremamente potente.

E la cosa più bella? È aperto a tutti. NVIDIA ha rilasciato il modello, i dati e le istruzioni su internet, permettendo a chiunque di usarlo, studiarlo e costruirci sopra le proprie applicazioni, proprio come se avessero aperto le porte del loro laboratorio segreto al mondo intero.

Titolo: Nemotron 3 Super: Un modello ibrido Mamba-Transformer con Mixture-of-Experts (MoE) aperto ed efficiente per il ragionamento agentic.

1. Il Problema

Il settore dei Large Language Models (LLM) affronta diverse sfide critiche:

Efficienza e Costi: I modelli densi tradizionali richiedono un enorme costo computazionale (FLOP) e memoria per scalare le prestazioni. I modelli MoE (Mixture-of-Experts) esistenti migliorano l'efficienza, ma spesso soffrono di inefficienze pratiche legate alla larghezza di banda della memoria e all'overhead di comunicazione durante l'inferenza.
Latenza e Throughput: L'inferenza su contesti lunghi (fino a 1 milione di token) è spesso limitata dalla crescita quadratica della cache KV nelle architetture basate puramente su Attention.
Capacità Agentiche: Esiste un divario tra la capacità di ragionamento statico e la capacità di eseguire compiti complessi a lungo termine (agentic reasoning), come l'uso di strumenti, la programmazione software (SWE) e l'interazione con terminali, che richiedono training su ambienti RL (Reinforcement Learning) diversificati e scalabili.
Precisione vs. Efficienza: Addestrare modelli su 25 trilioni di token in bassa precisione (es. NVFP4) è rischioso per la stabilità, ma necessario per ridurre i costi di memoria e accelerare l'inferenza.

2. Metodologia

NVIDIA ha sviluppato Nemotron 3 Super, un modello da 120 miliardi di parametri totali (di cui 12 miliardi attivi per passaggio), combinando tre direzioni tecnologiche avanzate:

A. Architettura Ibrida Innovativa

LatentMoE: A differenza dei MoE standard, Nemotron 3 Super introduce LatentMoE. Gli token vengono proiettati in uno spazio latente a dimensionalità ridotta ( $\ell$ ) prima del routing e del calcolo degli esperti. Questo riduce il carico di parametri e il traffico di comunicazione (all-to-all) di un fattore $d/\ell$ . I risparmi ottenuti vengono reinvestiti per aumentare il numero totale di esperti e il numero di esperti attivi ( $K$ ), migliorando l'accuratezza per FLOP e per parametro senza aumentare i costi di inferenza.
Ibrido Mamba-Attention: L'architettura combina blocchi Mamba-2 (che offrono modellazione sequenziale lineare e cache a stato costante) con strati di Attention globali inseriti periodicamente come "ancore" per garantire l'interazione tra tutti i token. Questo riduce drasticamente l'overhead della memoria KV rispetto ai Transformer puri.
Multi-Token Prediction (MTP): Il modello include strati MTP che prevedono più token futuri simultaneamente. Questo funge da "draft model" interno, abilitando il decoding speculativo nativo che accelera l'inferenza senza richiedere un modello esterno.

B. Pre-training in NVFP4

Il modello è stato pre-addestrato su 25 trilioni di token utilizzando la precisione NVFP4 (un formato a 4 bit nativo per le GPU Blackwell).
È stato utilizzato un curriculum a due fasi: 80% di dati diversificati e 20% di dati ad alta qualità.
Per gestire la stabilità in bassa precisione, sono stati mantenuti alcuni strati critici (proiezioni latenti, MTP, QKV) in BF16 o FP8, mentre il resto della rete è in NVFP4.

C. Post-Training e RL su Scala Agente

SFT (Supervised Fine-Tuning): Addestrato su 7 milioni di campioni, con un focus massiccio su dati sintetici per compiti agentici (SWE, CLI, ricerca, tool use). È stata introdotta una modalità "low-effort" per controllare la lunghezza del ragionamento.
Reinforcement Learning (RL): Il training RL è stato scalato su migliaia di GPU utilizzando un'infrastruttura asincrona robusta (NeMo Gym/RL).
- Stage 1 (RLVR): Addestramento simultaneo su 21 ambienti diversi (matematica, codice, sicurezza, tool use) per evitare regressioni.
- Stage 2 (SWE-RL): Focus specifico su task di ingegneria software a lungo termine (risoluzione di issue GitHub) con rollout in container isolati.
- Stage 3 (RLHF): Allineamento basato su feedback umano per migliorare il rispetto delle istruzioni e la sicurezza.
- PivotRL: Una tecnica innovativa che riutilizza traiettorie SFT offline per ottimizzare solo i "pivot" (punti di incertezza) durante il RL, migliorando l'efficienza.

D. Quantizzazione

Sono stati rilasciati checkpoint quantizzati in FP8 (per Hopper) e NVFP4 (per Blackwell).
È stata utilizzata una strategia AutoQuantize (ricerca neurale) per assegnare dinamicamente le precisioni ottimali (misto NVFP4/FP8/BF16) agli strati più sensibili, preservando l'accuratezza.
È stata risolta la sfida della quantizzazione della cache di stato Mamba (SSM) utilizzando lo stochastic rounding per evitare l'accumulo di errori di quantizzazione nel tempo.

3. Risultati Chiave

Prestazioni di Inferenza: Nemotron 3 Super raggiunge un throughput di inferenza fino a 2.2× superiore rispetto a GPT-OSS-120B e 7.5× superiore rispetto a Qwen3.5-122B (configurazione 8k input / 64k output), mantenendo un'accuratezza comparabile o superiore.
Benchmark:
- Ragionamento e Codice: Supera o è in linea con i modelli di riferimento su MMLU-Pro, HMMT, AIME e HumanEval.
- Capacità Agentiche: Eccelle su SWE-Bench (OpenHands, OpenCode, Codex), Terminal Bench e TauBench, dimostrando forti capacità di esecuzione di task multi-step.
- Contesto Lungo: Supporta contesti fino a 1 milione di token con prestazioni elevate su RULER (fino al 91.6% su 1M token).
Efficienza della Quantizzazione: Il checkpoint NVFP4 mantiene il 99.8% dell'accuratezza mediana rispetto al modello BF16 di base, offrendo prestazioni quasi native FP4.

4. Contributi Principali

LatentMoE: Una nuova architettura MoE che ottimizza il trade-off tra accuratezza, memoria e comunicazione, superando i limiti dei MoE tradizionali.
Pre-training NVFP4 su larga scala: La prima dimostrazione di pre-training stabile su 25T token in NVFP4, aprendo la strada all'uso efficiente delle GPU Blackwell.
Infrastruttura RL Agente Scalabile: Un sistema di training asincrono su migliaia di GPU che permette l'addestramento su ambienti complessi e a lungo termine (SWE, CLI) senza degradazione delle prestazioni.
Open Source Completo: NVIDIA rilascia non solo i checkpoint (Base, Post-trained, Quantizzati), ma anche i dataset di pre-training specializzati, i dati di post-training e le ricette di training.

5. Significato

Nemotron 3 Super rappresenta un passo avanti significativo verso l'efficienza e l'agenticità nei LLM. Dimostra che è possibile costruire modelli di grandi dimensioni (120B parametri) che sono:

Economicamente sostenibili: Grazie all'uso di NVFP4 e LatentMoE.
Veloci: Grazie all'architettura ibrida Mamba-Attention e al decoding speculativo nativo.
Capaci: Specializzati in compiti reali complessi (coding, tool use) grazie a un training RL su vasta scala.

Il rilascio open source di questo modello, dei suoi dati e delle sue ricette fornisce alla comunità una base solida per sviluppare agenti AI autonomi ed efficienti, riducendo la barriera all'ingresso per l'addestramento di modelli di classe enterprise.