🤖 machine learning

Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning

Dit artikel introduceert Nemotron 3 Super, een open-source hybride Mamba-Transformer MoE-model met 120 miljard parameters dat is getraind op NVFP4, LatentMoE-architectuur en MTP-lagen, en dat door middel van 25 biljoen tokens pre-training en post-training een context van 1 miljoen tokens ondersteunt met tot 7,5 keer hogere doorvoersnelheid dan vergelijkbare modellen.

Oorspronkelijke auteurs: NVIDIA, :, Aakshita Chandiramani, Aaron Blakeman, Abdullahi Olaoye, Abhibha Gupta, Abhilash Somasamudramath, Abhinav Khattar, Adeola Adesoba, Adi Renduchintala, Adil Asif, Aditya Agrawal, Aditya VavrNVIDIA, :, Aakshita Chandiramani, Aaron Blakeman, Abdullahi Olaoye, Abhibha Gupta, Abhilash Somasamudramath, Abhinav Khattar, Adeola Adesoba, Adi Renduchintala, Adil Asif, Aditya Agrawal, Aditya Vavre, Ahmad Kiswani, Aishwarya Padmakumar, Ajay Hotchandani, Akanksha Shukla, Akhiad Bercovich, Aleksander Ficek, Aleksandr Shaposhnikov, Alex Gronskiy, Alex Kondratenko, Alex Neefus, Alex Steiner, Alex Yang, Alexander Bukharin, Alexander Young, Ali Hatamizadeh, Ali Taghibakhshi, Alina Galiautdinova, Alisa Liu, Alok Kumar, Ameya Sunil Mahabaleshwarkar, Amir Klein, Amit Zuker, Amnon Geifman, Anahita Bhiwandiwalla, Ananth Subramaniam, Andrew Tao, Anjaney Shrivastava, Anjulie Agrusa, Ankur Srivastava, Ankur Verma, Ann Guan, Anna Shors, Annamalai Chockalingam, Anubhav Mandarwal, Aparnaa Ramani, Arham Mehta, Arti Jain, Arun Venkatesan, Asha Anoosheh, Ashwath Aithal, Ashwin Poojary, Asif Ahamed, Asit Mishra, Asli Sabanci Demiroz, Asma Kuriparambil Thekkumpate, Atefeh Sohrabizadeh, Avinash Kaur, Ayush Dattagupta, Barath Subramaniam Anandan, Bardiya Sadeghi, Barnaby Simkin, Ben Lanir, Benedikt Schifferer, Benjamin Chislett, Besmira Nushi, Bilal Kartal, Bill Thiede, Bita Darvish Rouhani, Bobby Chen, Boris Ginsburg, Brandon Norick, Branislav Kisacanin, Brian Yu, Bryan Catanzaro, Buvaneswari Mani, Carlo del Mundo, Chankyu Lee, Chanran Kim, Chantal Hwang, Chao Ni, Charles Wang, Charlie Truong, Cheng-Ping Hsieh, Chenhan Yu, Chenjie Luo, Cherie Wang, Chetan Mungekar, Chintan Patel, Chris Alexiuk, Chris Holguin, Chris Wing, Christian Munley, Christopher Parisien, Chuck Desai, Chunyang Sheng, Collin Neale, Cyril Meurillon, Dakshi Kumar, Dan Gil, Dan Su, Dane Corneil, Daniel Afrimi, Daniel Burkhardt Eliuth Triana, Daniel Egert, Daniel Fatade, Daniel Lo, Daniel Rohrer, Daniel Serebrenik, Daniil Sorokin, Daria Gitman, Daria Levy, Darko Stosic, David Edelsohn, David Messina, David Mosallanezhad, David Tamok, Deena Donia, Deepak Narayanan, Devin O'Kelly, Dheeraj Peri, Dhruv Nathawani, Di Wu, Dima Rekesh, Dina Yared, Divyanshu Kakwani, Dmitry Konyagin Brandon Tuttle, Dong Ahn, Dongfu Jiang, Dorrin Poorkay, Douglas O'Flaherty, Duncan Riach, Dusan Stosic, Dustin Van Stee, Edgar Minasyan, Edward Lin, Eileen Peters Long, Elad Segal, Elena Lantz, Elena Lewis, Ellie Evans, Elliott Ning, Eric Chung, Eric Harper, Eric Pham-Hung, Eric W. Tramel, Erick Galinkin, Erik Pounds, Esti Etrog, Evan Briones, Evan Wu, Evelina Bakhturina, Evgeny Tsykunov, Ewa Dobrowolska, Farshad Saberi Movahed, Farzan Memarian, Fay Wang, Fei Jia, Felipe Soares, Felipe Vieira Frujeri, Feng Chen, Fengguang Lin, Ferenc Galko, Fortuna Zhang, Frankie Siino, Frida Hou, Gantavya Bhatt, Gargi Prasad, Geethapriya Venkataramani, Geetika Gupta, George Armstrong, Gerald Shen, Giulio Borghesi, Gordana Neskovic, Gorkem Batmaz, Grace Lam, Grace Wu, Greg Pauloski, Greyson Davis, Grigor Nalbandyan, Guoming Zhang, Guy Farber, Guyue Huang, Haifeng Qian, Haran Kumar Shiv Kumar, Harry Kim, Harsh Sharma, Hayate Iso, Hayley Ross, Herbert Hum, Herman Sahota, Hexin Wang, Himanshu Soni, Hiren Upadhyay, Huy Nguyen, Iain Cunningham, Ido Galil, Ido Shahaf, Igino Padovani, Igor Gitman, Igor Shovkun, Ikroop Dhillon, Ilya Loshchilov, Ingrid Kelly, Itamar Schen, Itay Levy, Ivan Moshkov, Izik Golan, Izzy Putterman, Jain Tu, Jan Baczek, Jan Kautz, Jane Polak Scowcroft, Janica Rosenberg, Jared Casper, Jarrod Pflum, Jason Grant, Jason Sewall, Jatin Mitra, Jeffrey Glick, Jenny Chen, Jesse Oliver, Jiacheng Xu, Jiafan Zhu, Jialin Song, Jian Zhang, Jiaqi Zeng, Jie Lou, Jill Milton, Jim Chow, Jimmy Zhang, Jinhang Choi, Jining Huang, Jocelyn Huang, Joel Caruso, Joey Conway, Joey Guman, Johan Jatko, John Kamalu, Johnny Greco, Jonathan Cohen, Jonathan Raiman, Joseph Jennings, Joyjit Daw, Juan Yu, Julio Tapia, Junkeun Yi, Jupinder Parmar, Jyothi Achar, Kari Briski, Kartik Mattoo, Katherine Cheung, Katherine Luna, Keith Wyss, Kevin Shih, Kezhi Kong, Khanh Nguyen, Khushi Bhardwaj, Kirill Buryak, Kirthi Shankar Sivamani, Konstantinos Krommydas, Kris Murphy, Krishna C. Puvvada, Krzysztof Pawelec, Kumar Anik, Laikh Tewari, Laya Sleiman, Leo Du, Leon Derczynski, Li Ding, Lilach Ilan, Lingjie Wu, Lizzie Wei, Luis Vega, Lun Su, Maarten Van Segbroeck, Maer Rodrigues de Melo, Magaret Zhang, Mahan Fathi, Makesh Narsimhan Sreedhar, Makesh Sreedhar, Makesh Tarun Chandran, Manuel Reyes Gomez, Maor Ashkenazi, Marc Cuevas, Marc Romeijn, Margaret Zhang, Mark Cai, Mark Gabel, Markus Kliegl, Martyna Patelka, Maryam Moosaei, Matthew Varacalli, Matvei Novikov, Mauricio Ferrato, Mehrzad Samadi, Melissa Corpuz, Meng Xin, Mengdi Wang, Mengru Wang, Meredith Price, Micah Schaffer, Michael Andersch, Michael Boone, Michael Evans, Michael Z Wang, Miguel Martinez, Mikail Khona, Mike Chrzanowski, Mike Hollinger, Mingyuan Ma, Minseok Lee, Mohammad Dabbah, Mohammad Shoeybi, Mostofa Patwary, Nabin Mulepati, Nader Khalil, Najeeb Nabwani, Nancy Agarwal, Nanthini Balasubramaniam, Narimane Hennouni, Narsi Kodukula, Natalie Hereth, Nathaniel Pinckney, Nave Assaf, Negar Habibi, Nestor Qin, Neta Zmora, Netanel Haber, Nick Reamaroon, Nickson Quak, Nidhi Bhatia, Nikhil Jukar, Nikki Pope, Nikolai Ludwig, Nima Tajbakhsh, Nir Ailon, Nirmal Juluru, Nirmalya De, Nowel Pitt, Oleg Rybakov, Oleksii Hrinchuk, Oleksii Kuchaiev, Olivier Delalleau, Oluwatobi Olabiyi, Omer Ullman Argov, Omri Almog, Omri Puny, Oren Tropp, Otavio Padovani, Ouye Xie, Parth Chadha, Pasha Shamis, Paul Gibbons, Pavlo Molchanov, Peter Belcak, Peter Jin, Pinky Xu, Piotr Januszewski, Pooya Jannaty, Prachi Shevate, Pradeep Thalasta, Pranav Prashant Thombre, Prasoon Varshney, Prerana Gambhir, Pritam Gundecha, Przemek Tredak, Qing Miao, Qiyu Wan, Quan Tran Minh, Rabeeh Karimi Mahabadi, Rachel Oberman, Rachit Garg, Rahul Kandu, Raina Zhong, Ran El-Yaniv, Ran Zilberstein, Rasoul Shafipour, Renee Yao, Renjie Pi, Richard Mazzarese, Richard Wang, Rick Izzo, Ridhima Singla, Rima Shahbazyan, Rishabh Garg, Ritika Borkar, Ritu Gala, Riyad Islam, Robert Clark, Robert Hesse, Roger Waleffe, Rohit Varma Kalidindi, Rohit Watve, Roi Koren, Ron Fan, Ruchika Kharwar, Ruisi Cai, Ruoxi Zhang, Russell J. Hewett, Ryan Prenger, Ryan Timbrook, Ryota Egashira, Sadegh Mahdavi, Sagar Singh Ashutosh Joshi, Sahil Modi, Samuel Kriman, Sandeep Pombra, Sanjay Kariyappa, Sanjeev Satheesh, Santiago Pombo, Saori Kaji, Satish Pasumarthi, Saurav Mishra, Saurav Muralidharan, Scott Hara, Sean Narenthiran, Sebastian Rogawski, Seonjin Na, Seonmyeong Bak, Sepehr Sameni, Seth Poulos, Shahar Mor, Shantanu Acharya, Shaona Ghosh Adam Lord, Sharath Turuvekere Sreenivas, Shaun Kotek, Shaya Gharghabi, Shelby Thomas, Sheng-Chieh Lin, Shibani Likhite, Shiqing Fan, Shiyang Chen, Shreya Gopal, Shrimai Prabhumoye, Shubham Pachori, Shubham Toshniwal, Shuo Zhang, Shuoyang Ding, Shyam Renjith, Shyamala Prayaga, Siddhartha Jain, Simeng Sun, Sirisha Rella, Sirshak Das, Smita Ithape, Sneha Harishchandra S, Somshubra Majumdar, Soumye Singhal, Sri Harsha Singudasu, Sriharsha Niverty, Stas Sergienko, Stefana Gloginic, Stefania Alborghetti, Stephen Ge, Stephen McCullough, Sugam Dipak Devare, Suguna Varshini Velury, Sukrit Rao, Sumeet Kumar Barua, Sunny Gai, Suseella Panguluri, Sushil Koundinyan, Swathi Patnam, Sweta Priyadarshi, Swetha Bhendigeri, Syeda Nahida Akter, Sylendran Arunagiri, Tailling Yuan, Talor Abramovich, Tan Bui, Tan Yu, Terry Kong, Thanh Do, Thomas Gburek, Thorgane Marques, Tiffany Moore, Tijmen Blankevoort, Tim Moon, Timothy Ma, Tiyasa Mitra, Tomasz Grzegorzek, Tomer Asida, Tomer Bar Natan, Tomer Keren, Tomer Ronen, Traian Rebedea, Trenton Starkey, Tugrul Konuk, Twinkle Vashishth, Tyler Condensa, Udi Karpas, Ushnish De, Vahid Noorozi, Vahid Noroozi, Vanshil Atul Shah, Veena Vaidyanathan, Venkat Srinivasan, Venmugil Elango, Victor Cui, Vijay Korthikanti, Vikas Mehta, Virginia Adams, Virginia Wu, Vitaly Kurin, Vitaly Lavrukhin, Vladimir Anisimov, Wan Seo, Wanli Jiang, Wasi Uddin Ahmad, Wei Du, Wei Ping, Wei-Ming Chen, Wendy Quan, Wenliang Dai, Wenwen Gao, Will Jennings, William Zhang, Xiaowei Ren, Xiaowen Xin, Xin Li, Yang Yu, Yangyi Chen, Yaniv Galron, Yashaswi Karnati, Yejin Choi, Yev Meyer, Yi-Fu Wu, Yian Zhang, Ying Lin, Yonatan Geifman, Yonggan Fu, Yoshi Suhara, Youngeun Kwon, Yuan Zhang, Yuki Huang, Zach Moshe, Zhilin Wang, Zhiyu Cheng, Zhongbo Zhu, Zhuolin Yang, Zihan Liu, Zijia Chen, Zijie Yan, Zuhair Ahmed

Gepubliceerd 2026-04-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: NVIDIA, :, Aakshita Chandiramani, Aaron Blakeman, Abdullahi Olaoye, Abhibha Gupta, Abhilash Somasamudramath, Abhinav Khattar, Adeola Adesoba, Adi Renduchintala, Adil Asif, Aditya Agrawal, Aditya Vavre, Ahmad Kiswani, Aishwarya Padmakumar, Ajay Hotchandani, Akanksha Shukla, Akhiad Bercovich, Aleksander Ficek, Aleksandr Shaposhnikov, Alex Gronskiy, Alex Kondratenko, Alex Neefus, Alex Steiner, Alex Yang, Alexander Bukharin, Alexander Young, Ali Hatamizadeh, Ali Taghibakhshi, Alina Galiautdinova, Alisa Liu, Alok Kumar, Ameya Sunil Mahabaleshwarkar, Amir Klein, Amit Zuker, Amnon Geifman, Anahita Bhiwandiwalla, Ananth Subramaniam, Andrew Tao, Anjaney Shrivastava, Anjulie Agrusa, Ankur Srivastava, Ankur Verma, Ann Guan, Anna Shors, Annamalai Chockalingam, Anubhav Mandarwal, Aparnaa Ramani, Arham Mehta, Arti Jain, Arun Venkatesan, Asha Anoosheh, Ashwath Aithal, Ashwin Poojary, Asif Ahamed, Asit Mishra, Asli Sabanci Demiroz, Asma Kuriparambil Thekkumpate, Atefeh Sohrabizadeh, Avinash Kaur, Ayush Dattagupta, Barath Subramaniam Anandan, Bardiya Sadeghi, Barnaby Simkin, Ben Lanir, Benedikt Schifferer, Benjamin Chislett, Besmira Nushi, Bilal Kartal, Bill Thiede, Bita Darvish Rouhani, Bobby Chen, Boris Ginsburg, Brandon Norick, Branislav Kisacanin, Brian Yu, Bryan Catanzaro, Buvaneswari Mani, Carlo del Mundo, Chankyu Lee, Chanran Kim, Chantal Hwang, Chao Ni, Charles Wang, Charlie Truong, Cheng-Ping Hsieh, Chenhan Yu, Chenjie Luo, Cherie Wang, Chetan Mungekar, Chintan Patel, Chris Alexiuk, Chris Holguin, Chris Wing, Christian Munley, Christopher Parisien, Chuck Desai, Chunyang Sheng, Collin Neale, Cyril Meurillon, Dakshi Kumar, Dan Gil, Dan Su, Dane Corneil, Daniel Afrimi, Daniel Burkhardt Eliuth Triana, Daniel Egert, Daniel Fatade, Daniel Lo, Daniel Rohrer, Daniel Serebrenik, Daniil Sorokin, Daria Gitman, Daria Levy, Darko Stosic, David Edelsohn, David Messina, David Mosallanezhad, David Tamok, Deena Donia, Deepak Narayanan, Devin O'Kelly, Dheeraj Peri, Dhruv Nathawani, Di Wu, Dima Rekesh, Dina Yared, Divyanshu Kakwani, Dmitry Konyagin Brandon Tuttle, Dong Ahn, Dongfu Jiang, Dorrin Poorkay, Douglas O'Flaherty, Duncan Riach, Dusan Stosic, Dustin Van Stee, Edgar Minasyan, Edward Lin, Eileen Peters Long, Elad Segal, Elena Lantz, Elena Lewis, Ellie Evans, Elliott Ning, Eric Chung, Eric Harper, Eric Pham-Hung, Eric W. Tramel, Erick Galinkin, Erik Pounds, Esti Etrog, Evan Briones, Evan Wu, Evelina Bakhturina, Evgeny Tsykunov, Ewa Dobrowolska, Farshad Saberi Movahed, Farzan Memarian, Fay Wang, Fei Jia, Felipe Soares, Felipe Vieira Frujeri, Feng Chen, Fengguang Lin, Ferenc Galko, Fortuna Zhang, Frankie Siino, Frida Hou, Gantavya Bhatt, Gargi Prasad, Geethapriya Venkataramani, Geetika Gupta, George Armstrong, Gerald Shen, Giulio Borghesi, Gordana Neskovic, Gorkem Batmaz, Grace Lam, Grace Wu, Greg Pauloski, Greyson Davis, Grigor Nalbandyan, Guoming Zhang, Guy Farber, Guyue Huang, Haifeng Qian, Haran Kumar Shiv Kumar, Harry Kim, Harsh Sharma, Hayate Iso, Hayley Ross, Herbert Hum, Herman Sahota, Hexin Wang, Himanshu Soni, Hiren Upadhyay, Huy Nguyen, Iain Cunningham, Ido Galil, Ido Shahaf, Igino Padovani, Igor Gitman, Igor Shovkun, Ikroop Dhillon, Ilya Loshchilov, Ingrid Kelly, Itamar Schen, Itay Levy, Ivan Moshkov, Izik Golan, Izzy Putterman, Jain Tu, Jan Baczek, Jan Kautz, Jane Polak Scowcroft, Janica Rosenberg, Jared Casper, Jarrod Pflum, Jason Grant, Jason Sewall, Jatin Mitra, Jeffrey Glick, Jenny Chen, Jesse Oliver, Jiacheng Xu, Jiafan Zhu, Jialin Song, Jian Zhang, Jiaqi Zeng, Jie Lou, Jill Milton, Jim Chow, Jimmy Zhang, Jinhang Choi, Jining Huang, Jocelyn Huang, Joel Caruso, Joey Conway, Joey Guman, Johan Jatko, John Kamalu, Johnny Greco, Jonathan Cohen, Jonathan Raiman, Joseph Jennings, Joyjit Daw, Juan Yu, Julio Tapia, Junkeun Yi, Jupinder Parmar, Jyothi Achar, Kari Briski, Kartik Mattoo, Katherine Cheung, Katherine Luna, Keith Wyss, Kevin Shih, Kezhi Kong, Khanh Nguyen, Khushi Bhardwaj, Kirill Buryak, Kirthi Shankar Sivamani, Konstantinos Krommydas, Kris Murphy, Krishna C. Puvvada, Krzysztof Pawelec, Kumar Anik, Laikh Tewari, Laya Sleiman, Leo Du, Leon Derczynski, Li Ding, Lilach Ilan, Lingjie Wu, Lizzie Wei, Luis Vega, Lun Su, Maarten Van Segbroeck, Maer Rodrigues de Melo, Magaret Zhang, Mahan Fathi, Makesh Narsimhan Sreedhar, Makesh Sreedhar, Makesh Tarun Chandran, Manuel Reyes Gomez, Maor Ashkenazi, Marc Cuevas, Marc Romeijn, Margaret Zhang, Mark Cai, Mark Gabel, Markus Kliegl, Martyna Patelka, Maryam Moosaei, Matthew Varacalli, Matvei Novikov, Mauricio Ferrato, Mehrzad Samadi, Melissa Corpuz, Meng Xin, Mengdi Wang, Mengru Wang, Meredith Price, Micah Schaffer, Michael Andersch, Michael Boone, Michael Evans, Michael Z Wang, Miguel Martinez, Mikail Khona, Mike Chrzanowski, Mike Hollinger, Mingyuan Ma, Minseok Lee, Mohammad Dabbah, Mohammad Shoeybi, Mostofa Patwary, Nabin Mulepati, Nader Khalil, Najeeb Nabwani, Nancy Agarwal, Nanthini Balasubramaniam, Narimane Hennouni, Narsi Kodukula, Natalie Hereth, Nathaniel Pinckney, Nave Assaf, Negar Habibi, Nestor Qin, Neta Zmora, Netanel Haber, Nick Reamaroon, Nickson Quak, Nidhi Bhatia, Nikhil Jukar, Nikki Pope, Nikolai Ludwig, Nima Tajbakhsh, Nir Ailon, Nirmal Juluru, Nirmalya De, Nowel Pitt, Oleg Rybakov, Oleksii Hrinchuk, Oleksii Kuchaiev, Olivier Delalleau, Oluwatobi Olabiyi, Omer Ullman Argov, Omri Almog, Omri Puny, Oren Tropp, Otavio Padovani, Ouye Xie, Parth Chadha, Pasha Shamis, Paul Gibbons, Pavlo Molchanov, Peter Belcak, Peter Jin, Pinky Xu, Piotr Januszewski, Pooya Jannaty, Prachi Shevate, Pradeep Thalasta, Pranav Prashant Thombre, Prasoon Varshney, Prerana Gambhir, Pritam Gundecha, Przemek Tredak, Qing Miao, Qiyu Wan, Quan Tran Minh, Rabeeh Karimi Mahabadi, Rachel Oberman, Rachit Garg, Rahul Kandu, Raina Zhong, Ran El-Yaniv, Ran Zilberstein, Rasoul Shafipour, Renee Yao, Renjie Pi, Richard Mazzarese, Richard Wang, Rick Izzo, Ridhima Singla, Rima Shahbazyan, Rishabh Garg, Ritika Borkar, Ritu Gala, Riyad Islam, Robert Clark, Robert Hesse, Roger Waleffe, Rohit Varma Kalidindi, Rohit Watve, Roi Koren, Ron Fan, Ruchika Kharwar, Ruisi Cai, Ruoxi Zhang, Russell J. Hewett, Ryan Prenger, Ryan Timbrook, Ryota Egashira, Sadegh Mahdavi, Sagar Singh Ashutosh Joshi, Sahil Modi, Samuel Kriman, Sandeep Pombra, Sanjay Kariyappa, Sanjeev Satheesh, Santiago Pombo, Saori Kaji, Satish Pasumarthi, Saurav Mishra, Saurav Muralidharan, Scott Hara, Sean Narenthiran, Sebastian Rogawski, Seonjin Na, Seonmyeong Bak, Sepehr Sameni, Seth Poulos, Shahar Mor, Shantanu Acharya, Shaona Ghosh Adam Lord, Sharath Turuvekere Sreenivas, Shaun Kotek, Shaya Gharghabi, Shelby Thomas, Sheng-Chieh Lin, Shibani Likhite, Shiqing Fan, Shiyang Chen, Shreya Gopal, Shrimai Prabhumoye, Shubham Pachori, Shubham Toshniwal, Shuo Zhang, Shuoyang Ding, Shyam Renjith, Shyamala Prayaga, Siddhartha Jain, Simeng Sun, Sirisha Rella, Sirshak Das, Smita Ithape, Sneha Harishchandra S, Somshubra Majumdar, Soumye Singhal, Sri Harsha Singudasu, Sriharsha Niverty, Stas Sergienko, Stefana Gloginic, Stefania Alborghetti, Stephen Ge, Stephen McCullough, Sugam Dipak Devare, Suguna Varshini Velury, Sukrit Rao, Sumeet Kumar Barua, Sunny Gai, Suseella Panguluri, Sushil Koundinyan, Swathi Patnam, Sweta Priyadarshi, Swetha Bhendigeri, Syeda Nahida Akter, Sylendran Arunagiri, Tailling Yuan, Talor Abramovich, Tan Bui, Tan Yu, Terry Kong, Thanh Do, Thomas Gburek, Thorgane Marques, Tiffany Moore, Tijmen Blankevoort, Tim Moon, Timothy Ma, Tiyasa Mitra, Tomasz Grzegorzek, Tomer Asida, Tomer Bar Natan, Tomer Keren, Tomer Ronen, Traian Rebedea, Trenton Starkey, Tugrul Konuk, Twinkle Vashishth, Tyler Condensa, Udi Karpas, Ushnish De, Vahid Noorozi, Vahid Noroozi, Vanshil Atul Shah, Veena Vaidyanathan, Venkat Srinivasan, Venmugil Elango, Victor Cui, Vijay Korthikanti, Vikas Mehta, Virginia Adams, Virginia Wu, Vitaly Kurin, Vitaly Lavrukhin, Vladimir Anisimov, Wan Seo, Wanli Jiang, Wasi Uddin Ahmad, Wei Du, Wei Ping, Wei-Ming Chen, Wendy Quan, Wenliang Dai, Wenwen Gao, Will Jennings, William Zhang, Xiaowei Ren, Xiaowen Xin, Xin Li, Yang Yu, Yangyi Chen, Yaniv Galron, Yashaswi Karnati, Yejin Choi, Yev Meyer, Yi-Fu Wu, Yian Zhang, Ying Lin, Yonatan Geifman, Yonggan Fu, Yoshi Suhara, Youngeun Kwon, Yuan Zhang, Yuki Huang, Zach Moshe, Zhilin Wang, Zhiyu Cheng, Zhongbo Zhu, Zhuolin Yang, Zihan Liu, Zijia Chen, Zijie Yan, Zuhair Ahmed

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot bouwt die niet alleen slim is, maar ook snel, efficiënt en handig in het uitvoeren van complexe taken. Dat is precies wat NVIDIA heeft gedaan met hun nieuwe model: Nemotron 3 Super.

Hier is een uitleg in gewoon Nederlands, vol met beeldende vergelijkingen, zodat je het zonder technische jargon begrijpt.

1. De Motor: Een slimme mix van twee wereldkampioenen

Stel je een auto voor die twee verschillende motoren heeft:

Motor A (Mamba): Deze is extreem snel en zuinig. Hij kan lange verhalen lezen zonder zijn geheugen te verliezen, net als een marathonloper die zijn ademhaling perfect beheerst.
Motor B (Transformer): Deze is de denker. Hij is goed in het begrijpen van complexe verbanden en het vinden van het juiste antwoord, net als een professor die alles uit zijn hoofd kent.

Nemotron 3 Super combineert deze twee. Het gebruikt de snelle motor voor het grootste deel van het werk en schakelt de denker in alleen als het echt nodig is. Dit zorgt ervoor dat de robot niet alleen slim is, maar ook veel sneller reageert dan zijn concurrenten.

2. De "Magische" Expertgroep (LatentMoE)

Normaal gesproken hebben slimme modellen een enorme hersenstroom van experts die allemaal tegelijk aan het werk zijn. Dat is zwaar en traag.
Nemotron 3 Super gebruikt een nieuwe truc genaamd LatentMoE.

De vergelijking: Stel je een groot kantoor voor met 500 experts. Bij een oud model zouden al die experts elk een gesprek moeten voeren, wat veel tijd kost. Bij Nemotron worden de vragen eerst "samengeperst" naar een kortere, kernachtige samenvatting.
Het resultaat: De experts hoeven niet meer naar de hele, lange vraag te kijken, maar alleen naar de samenvatting. Hierdoor kunnen ze meer experts tegelijk inschakelen (meer kennis) zonder dat het langzamer wordt. Het is alsof je een team van 500 mensen hebt, maar ze werken allemaal in een snellere, compactere taal.

3. Voorspellen als een pro (Multi-Token Prediction)

Normaal gesproken schrijft een AI één woord per keer, net als iemand die heel voorzichtig een zin bouwt.
Nemotron 3 Super heeft een extra talent: MTP (Multi-Token Prediction).

De analogie: Stel je voor dat je een verhaal schrijft. Een normale AI schrijft: "Ik", "ga", "naar", "de"... (één woord per seconde). Nemotron 3 Super schrijft als een ervaren schrijver die al weet hoe de zin eindigt: "Ik ga naar de winkel om brood te kopen."
Het voordeel: Omdat hij meerdere woorden tegelijk voorspelt en controleert, is hij tot 7,5 keer sneller in het genereren van tekst. Hij "droomt" de volgende woorden al in terwijl hij de huidige schrijft.

4. De Leerperiode: Van student tot agent

Het model is getraind in drie fases, net als een student die naar de universiteit gaat:

De Basis (Pre-training): Het model heeft 25 biljoen woorden gelezen (dat is meer dan alle boeken in de wereld samen!). Het heeft hierbij gelezen in een speciale, compacte taal (NVFP4) om ruimte te besparen, maar zonder zijn intelligentie te verliezen.
De Praktijk (Post-training): Hier wordt het echt interessant. Het model is niet alleen geleerd om te praten, maar om acties te ondernemen.
- Het heeft geoefend met software schrijven (bugfixen in code).
- Het heeft geoefend met terminal commando's (besturingssysteem taken).
- Het heeft geoefend met zoekopdrachten en rekenen.
- Het is getraind om te werken als een "agent": een digitale assistent die zelfstandig taken kan uitvoeren, zoals "zoek de beste vlucht, boek die, en stuur een bevestiging."
De Fijnafstelling (RL): Het model heeft feedback gekregen van mensen en andere AI's om te leren wat "goed" en "veilig" is, zodat het niet alleen slim is, maar ook betrouwbaar.

5. Waarom is dit belangrijk voor jou?

Snelheid: Omdat het model zo efficiënt is, kun je er veel meer mee doen op dezelfde computerhardware. Het is alsof je met dezelfde benzine twee keer zo ver rijdt.
Open Source: NVIDIA heeft de blauwdrukken (de "recepten") en de modellen gratis beschikbaar gesteld. Iedereen kan dit gebruiken om zijn eigen slimme assistenten te bouwen.
Agenten: Dit model is speciaal gemaakt om taken uit te voeren, niet alleen om te chatten. Het kan dus echt werk voor je doen, van het oplossen van codeproblemen tot het analyseren van financiële rapporten.

Kortom: Nemotron 3 Super is een slimme, snelle en handige robot die is opgeleid om complexe taken zelfstandig te regelen, en dat allemaal doet met minder energie en meer snelheid dan de modellen die we tot nu toe kenden. Het is de toekomst van AI die niet alleen praat, maar ook doet.

Technische Samenvatting: Nemotron 3 Super

Titel: Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
Auteur: NVIDIA
Datum: 15 april 2026

1. Het Probleem

De huidige ontwikkeling van Large Language Models (LLMs) staat voor twee fundamentele uitdagingen:

Efficiëntie vs. Prestaties: Dichte modellen (dense models) vereisen enorme rekenkracht, terwijl Mixture-of-Experts (MoE) modellen vaak inefficiënt zijn in termen van geheugenbandbreedte en communicatie-overhead bij inferentie, vooral in real-time lage-latency scenario's.
Agente Capaciteiten: Bestaande modellen hebben moeite met complexe, meerstaps taken (zoals software-engineering, terminalgebruik en toolgebruik) die lange contexten en robuuste redenering vereisen, zonder dat dit ten koste gaat van de inferentiesnelheid.

NVIDIA introduceert Nemotron 3 Super om deze kloof te dichten door een model te bouwen dat niet alleen state-of-the-art nauwkeurigheid bereikt, maar ook aanzienlijk hogere inferentie-doorvoer (throughput) levert, specifiek geoptimaliseerd voor "agentic reasoning" (autonome taken uitvoeren).

2. Methodologie

2.1. Architectuur: Hybrid Mamba-Attention MoE

Nemotron 3 Super is een hybride model met 120 miljard totale parameters, maar slechts 12 miljard actieve parameters per forward pass. De architectuur combineert drie kerncomponenten:

LatentMoE (Mixture-of-Experts): Dit is een nieuwe architectuur die de "accuracy per FLOP" en "accuracy per parameter" optimaliseert. In tegenstelling tot standaard MoE's, projecteert LatentMoE tokens eerst naar een kleinere "latent space" (dimensie $\ell$ $ℓ$ ) voordat ze worden gerouteerd naar experts.
- Voordeel: Dit vermindert de geheugenbandbreedte-kosten voor het lezen van expert-weights en de communicatie-overhead (all-to-all routing) met een factor $d/\ell$ .
- Resultaat: De besparing wordt gebruikt om het totale aantal experts en het aantal geactiveerde experts per token ( $K$ ) te verhogen, wat leidt tot betere nauwkeurigheid bij gelijke inferentiekosten.
Hybride Mamba-2 en Attention: Het model gebruikt een periodiek verweven patroon van Mamba-2 blokken (voor lineaire, geheugen-efficiënte sequentiemodellering) en Self-Attention blokken (als globale "anchors" voor lange-range afhankelijkheden). Dit minimaliseert de groei van de KV-cache, wat cruciaal is voor lange contexten.
Multi-Token Prediction (MTP): Het model bevat extra heads die meerdere toekomstige tokens voorspellen. Dit dient als een intern "draft model" voor speculatieve decoding, wat de inferentiesnelheid aanzienlijk verhoogt zonder externe draft-modellen.

2.2. Pre-training

Data: Getraind op 25 biljoen tokens in twee fasen:
1. Fase 1 (80%): Focus op diversiteit en brede dekking.
2. Fase 2 (20%): Focus op hoogwaardige data en benchmark-nauwkeurigheid.
NVFP4 Pre-training: Dit is het eerste model in de Nemotron-familie dat volledig wordt voorge-traind in NVFP4 (NVIDIA Floating Point 4-bit). Dit demonstreert stabiel pre-training in lage precisie.
- Technische nuance: De auteurs merkten op dat NVFP4 leidt tot meer "nul-waarden" in de gradients van lage-norm kanalen. Ze gebruikten een hybride precisie (BF16 voor kritieke lagen zoals embeddings en attention, NVFP4 voor de meeste linear layers) om stabiliteit te garanderen.
Context: Ondersteunt tot 1 miljoen tokens contextlengte.

2.3. Post-training (Agente Focus)

De post-training is sterk gericht op het verbeteren van agentische vaardigheden via een uitgebreid Reinforcement Learning (RL) traject:

Supervised Fine-Tuning (SFT): Gebruik van diverse datasets, waaronder synthetische code-concepten, wiskunde, economie, en specifieke "agentic CLI" taken. Er wordt gebruik gemaakt van een twee-staps SFT-procedure om het probleem van "lange input, korte output" te verhelpen.
Reinforcement Learning (RL):
- Multi-environment RLVR: Training over 21 verschillende omgevingen (wiskunde, code, veiligheid, tools).
- SWE-RL: Specifiek voor software-engineering taken (GitHub issues, bugfixing) met lange rollouts.
- PivotRL: Een nieuwe methode die offline SFT-experttrajecten hergebruikt om de efficiëntie van lange-horizon RL te verhogen zonder OOD (Out-of-Distribution) degradatie.
- RLHF: Gebruik van een "GenRM" (Generative Reward Model) getraind op menselijke voorkeuren om instructie-opvolging en veiligheid te verbeteren.

2.4. Quantisatie

Voor inferentie zijn twee checkpoints vrijgegeven:

FP8 (W8A8): Geoptimaliseerd voor Hopper GPU's.
NVFP4 (W4A4): Geoptimaliseerd voor Blackwell GPU's.
- Gebruik van AutoQuantize (een NAS-geïnspireerde methode) om een gemengde precisie-strategie te bepalen die de nauwkeurigheid maximaliseert binnen een budget van ~4,75 bits.
- Speciale aandacht voor de Mamba State Cache (SSM): Om foutopbouw bij recurrente decoding te voorkomen, wordt gebruik gemaakt van stochastisch afronden (stochastic rounding) bij conversie naar FP16, wat de "verbosity" (onnodige tekstgeneratie) significant verlaagt.

3. Belangrijkste Resultaten

3.1. Benchmark Prestaties

Nemotron 3 Super presteert vergelijkbaar met of beter dan concurrenten zoals GPT-OSS-120B en Qwen3.5-122B op diverse benchmarks:

Redeneren & Wiskunde: Hoog scores op AIME 2024, HMMT, en GPQA.
Software Engineering: 60,47% pass rate op SWE-Bench (OpenHands), wat aanzienlijk hoger is dan GPT-OSS-120B (41,9%).
Lange Context: Uitstekende prestaties op RULER-benchmarks tot 1M tokens (71% nauwkeurigheid).
Agente Taken: Sterke prestaties op Terminal Bench en TauBench (toolgebruik).

3.2. Inferentie Doorvoer (Throughput)

Het meest opvallende resultaat is de inferentiesnelheid op Blackwell GPU's (B200):

2,2x hogere doorvoer dan GPT-OSS-120B.
7,5x hogere doorvoer dan Qwen3.5-122B.
Dit wordt bereikt bij een input van 8k tokens en een output van 64k tokens, dankzij de combinatie van LatentMoE, Mamba-architectuur en native speculatieve decoding via MTP.

3.3. Open Source

NVIDIA release de volledige stack open source op HuggingFace, inclusief:

Base, post-trained en gequantiseerde checkpoints (NVFP4, FP8, BF16).
De datasets voor pre-training (synthetische code, logica, economie) en post-training (RL-omgevingen, SFT-data).
De trainingsrecepten en infrastructuur (NeMo Gym/RL).

4. Bijdragen en Significantie

LatentMoE Architectuur: Een doorbraak in MoE-ontwerp die de efficiëntie per parameter en per FLOP optimaliseert door routing in een lagere dimensie uit te voeren, waardoor meer experts kunnen worden gebruikt zonder extra kosten.
Stabiele NVFP4 Pre-training: Bewijs dat 4-bit pre-training op 25 biljoen tokens haalbaar en stabiel is, wat de weg vrijmaakt voor extreem efficiënte training in de toekomst.
Agente Robuustheid: Het model is specifiek getraind om complexe, meerstaps taken (software engineering, terminalgebruik) aan te pakken met een nieuwe RL-architectuur (PivotRL) die schaalbaar is.
Inferentie-efficiëntie: De combinatie van Mamba (voor lage geheugenoverhead) en MTP (voor speculatieve decoding) resulteert in een model dat niet alleen slim is, maar ook extreem snel en kostenefficiënt in productie.
Open Ecosysteem: Door het vrijgeven van de data, recepten en checkpoints, stelt NVIDIA de gemeenschap in staat om deze geavanceerde technieken (zoals LatentMoE en NVFP4 training) te reproduceren en verder te ontwikkelen.

Conclusie:
Nemotron 3 Super vertegenwoordigt een nieuwe generatie open-source modellen die de balans tussen capaciteit, efficiëntie en agente intelligentie optimaliseren. Het bewijst dat hybride architecturen (Mamba + Attention + MoE) in combinatie met geavanceerde quantisatie en RL, de prestaties van gesloten, gespecialiseerde modellen kunnen evenaren of overtreffen, terwijl ze aanzienlijk sneller en goedkoper zijn om uit te voeren.