🤖 machine learning

Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning

Das Paper stellt Nemotron 3 Super vor, ein offenes, 120-Milliarden-Parameter-Hybridmodell mit Mixture-of-Experts-Architektur, das auf NVFP4 vortrainiert wurde, LatentMoE und MTP-Schichten nutzt und durch native spekulative Dekodierung sowie einen Kontext von bis zu 1 Million Token eine deutlich höhere Inferenzleistung als vergleichbare Modelle erreicht.

Ursprüngliche Autoren: NVIDIA, :, Aakshita Chandiramani, Aaron Blakeman, Abdullahi Olaoye, Abhibha Gupta, Abhilash Somasamudramath, Abhinav Khattar, Adeola Adesoba, Adi Renduchintala, Adil Asif, Aditya Agrawal, Aditya VavrNVIDIA, :, Aakshita Chandiramani, Aaron Blakeman, Abdullahi Olaoye, Abhibha Gupta, Abhilash Somasamudramath, Abhinav Khattar, Adeola Adesoba, Adi Renduchintala, Adil Asif, Aditya Agrawal, Aditya Vavre, Ahmad Kiswani, Aishwarya Padmakumar, Ajay Hotchandani, Akanksha Shukla, Akhiad Bercovich, Aleksander Ficek, Aleksandr Shaposhnikov, Alex Gronskiy, Alex Kondratenko, Alex Neefus, Alex Steiner, Alex Yang, Alexander Bukharin, Alexander Young, Ali Hatamizadeh, Ali Taghibakhshi, Alina Galiautdinova, Alisa Liu, Alok Kumar, Ameya Sunil Mahabaleshwarkar, Amir Klein, Amit Zuker, Amnon Geifman, Anahita Bhiwandiwalla, Ananth Subramaniam, Andrew Tao, Anjaney Shrivastava, Anjulie Agrusa, Ankur Srivastava, Ankur Verma, Ann Guan, Anna Shors, Annamalai Chockalingam, Anubhav Mandarwal, Aparnaa Ramani, Arham Mehta, Arti Jain, Arun Venkatesan, Asha Anoosheh, Ashwath Aithal, Ashwin Poojary, Asif Ahamed, Asit Mishra, Asli Sabanci Demiroz, Asma Kuriparambil Thekkumpate, Atefeh Sohrabizadeh, Avinash Kaur, Ayush Dattagupta, Barath Subramaniam Anandan, Bardiya Sadeghi, Barnaby Simkin, Ben Lanir, Benedikt Schifferer, Benjamin Chislett, Besmira Nushi, Bilal Kartal, Bill Thiede, Bita Darvish Rouhani, Bobby Chen, Boris Ginsburg, Brandon Norick, Branislav Kisacanin, Brian Yu, Bryan Catanzaro, Buvaneswari Mani, Carlo del Mundo, Chankyu Lee, Chanran Kim, Chantal Hwang, Chao Ni, Charles Wang, Charlie Truong, Cheng-Ping Hsieh, Chenhan Yu, Chenjie Luo, Cherie Wang, Chetan Mungekar, Chintan Patel, Chris Alexiuk, Chris Holguin, Chris Wing, Christian Munley, Christopher Parisien, Chuck Desai, Chunyang Sheng, Collin Neale, Cyril Meurillon, Dakshi Kumar, Dan Gil, Dan Su, Dane Corneil, Daniel Afrimi, Daniel Burkhardt Eliuth Triana, Daniel Egert, Daniel Fatade, Daniel Lo, Daniel Rohrer, Daniel Serebrenik, Daniil Sorokin, Daria Gitman, Daria Levy, Darko Stosic, David Edelsohn, David Messina, David Mosallanezhad, David Tamok, Deena Donia, Deepak Narayanan, Devin O'Kelly, Dheeraj Peri, Dhruv Nathawani, Di Wu, Dima Rekesh, Dina Yared, Divyanshu Kakwani, Dmitry Konyagin Brandon Tuttle, Dong Ahn, Dongfu Jiang, Dorrin Poorkay, Douglas O'Flaherty, Duncan Riach, Dusan Stosic, Dustin Van Stee, Edgar Minasyan, Edward Lin, Eileen Peters Long, Elad Segal, Elena Lantz, Elena Lewis, Ellie Evans, Elliott Ning, Eric Chung, Eric Harper, Eric Pham-Hung, Eric W. Tramel, Erick Galinkin, Erik Pounds, Esti Etrog, Evan Briones, Evan Wu, Evelina Bakhturina, Evgeny Tsykunov, Ewa Dobrowolska, Farshad Saberi Movahed, Farzan Memarian, Fay Wang, Fei Jia, Felipe Soares, Felipe Vieira Frujeri, Feng Chen, Fengguang Lin, Ferenc Galko, Fortuna Zhang, Frankie Siino, Frida Hou, Gantavya Bhatt, Gargi Prasad, Geethapriya Venkataramani, Geetika Gupta, George Armstrong, Gerald Shen, Giulio Borghesi, Gordana Neskovic, Gorkem Batmaz, Grace Lam, Grace Wu, Greg Pauloski, Greyson Davis, Grigor Nalbandyan, Guoming Zhang, Guy Farber, Guyue Huang, Haifeng Qian, Haran Kumar Shiv Kumar, Harry Kim, Harsh Sharma, Hayate Iso, Hayley Ross, Herbert Hum, Herman Sahota, Hexin Wang, Himanshu Soni, Hiren Upadhyay, Huy Nguyen, Iain Cunningham, Ido Galil, Ido Shahaf, Igino Padovani, Igor Gitman, Igor Shovkun, Ikroop Dhillon, Ilya Loshchilov, Ingrid Kelly, Itamar Schen, Itay Levy, Ivan Moshkov, Izik Golan, Izzy Putterman, Jain Tu, Jan Baczek, Jan Kautz, Jane Polak Scowcroft, Janica Rosenberg, Jared Casper, Jarrod Pflum, Jason Grant, Jason Sewall, Jatin Mitra, Jeffrey Glick, Jenny Chen, Jesse Oliver, Jiacheng Xu, Jiafan Zhu, Jialin Song, Jian Zhang, Jiaqi Zeng, Jie Lou, Jill Milton, Jim Chow, Jimmy Zhang, Jinhang Choi, Jining Huang, Jocelyn Huang, Joel Caruso, Joey Conway, Joey Guman, Johan Jatko, John Kamalu, Johnny Greco, Jonathan Cohen, Jonathan Raiman, Joseph Jennings, Joyjit Daw, Juan Yu, Julio Tapia, Junkeun Yi, Jupinder Parmar, Jyothi Achar, Kari Briski, Kartik Mattoo, Katherine Cheung, Katherine Luna, Keith Wyss, Kevin Shih, Kezhi Kong, Khanh Nguyen, Khushi Bhardwaj, Kirill Buryak, Kirthi Shankar Sivamani, Konstantinos Krommydas, Kris Murphy, Krishna C. Puvvada, Krzysztof Pawelec, Kumar Anik, Laikh Tewari, Laya Sleiman, Leo Du, Leon Derczynski, Li Ding, Lilach Ilan, Lingjie Wu, Lizzie Wei, Luis Vega, Lun Su, Maarten Van Segbroeck, Maer Rodrigues de Melo, Magaret Zhang, Mahan Fathi, Makesh Narsimhan Sreedhar, Makesh Sreedhar, Makesh Tarun Chandran, Manuel Reyes Gomez, Maor Ashkenazi, Marc Cuevas, Marc Romeijn, Margaret Zhang, Mark Cai, Mark Gabel, Markus Kliegl, Martyna Patelka, Maryam Moosaei, Matthew Varacalli, Matvei Novikov, Mauricio Ferrato, Mehrzad Samadi, Melissa Corpuz, Meng Xin, Mengdi Wang, Mengru Wang, Meredith Price, Micah Schaffer, Michael Andersch, Michael Boone, Michael Evans, Michael Z Wang, Miguel Martinez, Mikail Khona, Mike Chrzanowski, Mike Hollinger, Mingyuan Ma, Minseok Lee, Mohammad Dabbah, Mohammad Shoeybi, Mostofa Patwary, Nabin Mulepati, Nader Khalil, Najeeb Nabwani, Nancy Agarwal, Nanthini Balasubramaniam, Narimane Hennouni, Narsi Kodukula, Natalie Hereth, Nathaniel Pinckney, Nave Assaf, Negar Habibi, Nestor Qin, Neta Zmora, Netanel Haber, Nick Reamaroon, Nickson Quak, Nidhi Bhatia, Nikhil Jukar, Nikki Pope, Nikolai Ludwig, Nima Tajbakhsh, Nir Ailon, Nirmal Juluru, Nirmalya De, Nowel Pitt, Oleg Rybakov, Oleksii Hrinchuk, Oleksii Kuchaiev, Olivier Delalleau, Oluwatobi Olabiyi, Omer Ullman Argov, Omri Almog, Omri Puny, Oren Tropp, Otavio Padovani, Ouye Xie, Parth Chadha, Pasha Shamis, Paul Gibbons, Pavlo Molchanov, Peter Belcak, Peter Jin, Pinky Xu, Piotr Januszewski, Pooya Jannaty, Prachi Shevate, Pradeep Thalasta, Pranav Prashant Thombre, Prasoon Varshney, Prerana Gambhir, Pritam Gundecha, Przemek Tredak, Qing Miao, Qiyu Wan, Quan Tran Minh, Rabeeh Karimi Mahabadi, Rachel Oberman, Rachit Garg, Rahul Kandu, Raina Zhong, Ran El-Yaniv, Ran Zilberstein, Rasoul Shafipour, Renee Yao, Renjie Pi, Richard Mazzarese, Richard Wang, Rick Izzo, Ridhima Singla, Rima Shahbazyan, Rishabh Garg, Ritika Borkar, Ritu Gala, Riyad Islam, Robert Clark, Robert Hesse, Roger Waleffe, Rohit Varma Kalidindi, Rohit Watve, Roi Koren, Ron Fan, Ruchika Kharwar, Ruisi Cai, Ruoxi Zhang, Russell J. Hewett, Ryan Prenger, Ryan Timbrook, Ryota Egashira, Sadegh Mahdavi, Sagar Singh Ashutosh Joshi, Sahil Modi, Samuel Kriman, Sandeep Pombra, Sanjay Kariyappa, Sanjeev Satheesh, Santiago Pombo, Saori Kaji, Satish Pasumarthi, Saurav Mishra, Saurav Muralidharan, Scott Hara, Sean Narenthiran, Sebastian Rogawski, Seonjin Na, Seonmyeong Bak, Sepehr Sameni, Seth Poulos, Shahar Mor, Shantanu Acharya, Shaona Ghosh Adam Lord, Sharath Turuvekere Sreenivas, Shaun Kotek, Shaya Gharghabi, Shelby Thomas, Sheng-Chieh Lin, Shibani Likhite, Shiqing Fan, Shiyang Chen, Shreya Gopal, Shrimai Prabhumoye, Shubham Pachori, Shubham Toshniwal, Shuo Zhang, Shuoyang Ding, Shyam Renjith, Shyamala Prayaga, Siddhartha Jain, Simeng Sun, Sirisha Rella, Sirshak Das, Smita Ithape, Sneha Harishchandra S, Somshubra Majumdar, Soumye Singhal, Sri Harsha Singudasu, Sriharsha Niverty, Stas Sergienko, Stefana Gloginic, Stefania Alborghetti, Stephen Ge, Stephen McCullough, Sugam Dipak Devare, Suguna Varshini Velury, Sukrit Rao, Sumeet Kumar Barua, Sunny Gai, Suseella Panguluri, Sushil Koundinyan, Swathi Patnam, Sweta Priyadarshi, Swetha Bhendigeri, Syeda Nahida Akter, Sylendran Arunagiri, Tailling Yuan, Talor Abramovich, Tan Bui, Tan Yu, Terry Kong, Thanh Do, Thomas Gburek, Thorgane Marques, Tiffany Moore, Tijmen Blankevoort, Tim Moon, Timothy Ma, Tiyasa Mitra, Tomasz Grzegorzek, Tomer Asida, Tomer Bar Natan, Tomer Keren, Tomer Ronen, Traian Rebedea, Trenton Starkey, Tugrul Konuk, Twinkle Vashishth, Tyler Condensa, Udi Karpas, Ushnish De, Vahid Noorozi, Vahid Noroozi, Vanshil Atul Shah, Veena Vaidyanathan, Venkat Srinivasan, Venmugil Elango, Victor Cui, Vijay Korthikanti, Vikas Mehta, Virginia Adams, Virginia Wu, Vitaly Kurin, Vitaly Lavrukhin, Vladimir Anisimov, Wan Seo, Wanli Jiang, Wasi Uddin Ahmad, Wei Du, Wei Ping, Wei-Ming Chen, Wendy Quan, Wenliang Dai, Wenwen Gao, Will Jennings, William Zhang, Xiaowei Ren, Xiaowen Xin, Xin Li, Yang Yu, Yangyi Chen, Yaniv Galron, Yashaswi Karnati, Yejin Choi, Yev Meyer, Yi-Fu Wu, Yian Zhang, Ying Lin, Yonatan Geifman, Yonggan Fu, Yoshi Suhara, Youngeun Kwon, Yuan Zhang, Yuki Huang, Zach Moshe, Zhilin Wang, Zhiyu Cheng, Zhongbo Zhu, Zhuolin Yang, Zihan Liu, Zijia Chen, Zijie Yan, Zuhair Ahmed

Veröffentlicht 2026-04-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: NVIDIA, :, Aakshita Chandiramani, Aaron Blakeman, Abdullahi Olaoye, Abhibha Gupta, Abhilash Somasamudramath, Abhinav Khattar, Adeola Adesoba, Adi Renduchintala, Adil Asif, Aditya Agrawal, Aditya Vavre, Ahmad Kiswani, Aishwarya Padmakumar, Ajay Hotchandani, Akanksha Shukla, Akhiad Bercovich, Aleksander Ficek, Aleksandr Shaposhnikov, Alex Gronskiy, Alex Kondratenko, Alex Neefus, Alex Steiner, Alex Yang, Alexander Bukharin, Alexander Young, Ali Hatamizadeh, Ali Taghibakhshi, Alina Galiautdinova, Alisa Liu, Alok Kumar, Ameya Sunil Mahabaleshwarkar, Amir Klein, Amit Zuker, Amnon Geifman, Anahita Bhiwandiwalla, Ananth Subramaniam, Andrew Tao, Anjaney Shrivastava, Anjulie Agrusa, Ankur Srivastava, Ankur Verma, Ann Guan, Anna Shors, Annamalai Chockalingam, Anubhav Mandarwal, Aparnaa Ramani, Arham Mehta, Arti Jain, Arun Venkatesan, Asha Anoosheh, Ashwath Aithal, Ashwin Poojary, Asif Ahamed, Asit Mishra, Asli Sabanci Demiroz, Asma Kuriparambil Thekkumpate, Atefeh Sohrabizadeh, Avinash Kaur, Ayush Dattagupta, Barath Subramaniam Anandan, Bardiya Sadeghi, Barnaby Simkin, Ben Lanir, Benedikt Schifferer, Benjamin Chislett, Besmira Nushi, Bilal Kartal, Bill Thiede, Bita Darvish Rouhani, Bobby Chen, Boris Ginsburg, Brandon Norick, Branislav Kisacanin, Brian Yu, Bryan Catanzaro, Buvaneswari Mani, Carlo del Mundo, Chankyu Lee, Chanran Kim, Chantal Hwang, Chao Ni, Charles Wang, Charlie Truong, Cheng-Ping Hsieh, Chenhan Yu, Chenjie Luo, Cherie Wang, Chetan Mungekar, Chintan Patel, Chris Alexiuk, Chris Holguin, Chris Wing, Christian Munley, Christopher Parisien, Chuck Desai, Chunyang Sheng, Collin Neale, Cyril Meurillon, Dakshi Kumar, Dan Gil, Dan Su, Dane Corneil, Daniel Afrimi, Daniel Burkhardt Eliuth Triana, Daniel Egert, Daniel Fatade, Daniel Lo, Daniel Rohrer, Daniel Serebrenik, Daniil Sorokin, Daria Gitman, Daria Levy, Darko Stosic, David Edelsohn, David Messina, David Mosallanezhad, David Tamok, Deena Donia, Deepak Narayanan, Devin O'Kelly, Dheeraj Peri, Dhruv Nathawani, Di Wu, Dima Rekesh, Dina Yared, Divyanshu Kakwani, Dmitry Konyagin Brandon Tuttle, Dong Ahn, Dongfu Jiang, Dorrin Poorkay, Douglas O'Flaherty, Duncan Riach, Dusan Stosic, Dustin Van Stee, Edgar Minasyan, Edward Lin, Eileen Peters Long, Elad Segal, Elena Lantz, Elena Lewis, Ellie Evans, Elliott Ning, Eric Chung, Eric Harper, Eric Pham-Hung, Eric W. Tramel, Erick Galinkin, Erik Pounds, Esti Etrog, Evan Briones, Evan Wu, Evelina Bakhturina, Evgeny Tsykunov, Ewa Dobrowolska, Farshad Saberi Movahed, Farzan Memarian, Fay Wang, Fei Jia, Felipe Soares, Felipe Vieira Frujeri, Feng Chen, Fengguang Lin, Ferenc Galko, Fortuna Zhang, Frankie Siino, Frida Hou, Gantavya Bhatt, Gargi Prasad, Geethapriya Venkataramani, Geetika Gupta, George Armstrong, Gerald Shen, Giulio Borghesi, Gordana Neskovic, Gorkem Batmaz, Grace Lam, Grace Wu, Greg Pauloski, Greyson Davis, Grigor Nalbandyan, Guoming Zhang, Guy Farber, Guyue Huang, Haifeng Qian, Haran Kumar Shiv Kumar, Harry Kim, Harsh Sharma, Hayate Iso, Hayley Ross, Herbert Hum, Herman Sahota, Hexin Wang, Himanshu Soni, Hiren Upadhyay, Huy Nguyen, Iain Cunningham, Ido Galil, Ido Shahaf, Igino Padovani, Igor Gitman, Igor Shovkun, Ikroop Dhillon, Ilya Loshchilov, Ingrid Kelly, Itamar Schen, Itay Levy, Ivan Moshkov, Izik Golan, Izzy Putterman, Jain Tu, Jan Baczek, Jan Kautz, Jane Polak Scowcroft, Janica Rosenberg, Jared Casper, Jarrod Pflum, Jason Grant, Jason Sewall, Jatin Mitra, Jeffrey Glick, Jenny Chen, Jesse Oliver, Jiacheng Xu, Jiafan Zhu, Jialin Song, Jian Zhang, Jiaqi Zeng, Jie Lou, Jill Milton, Jim Chow, Jimmy Zhang, Jinhang Choi, Jining Huang, Jocelyn Huang, Joel Caruso, Joey Conway, Joey Guman, Johan Jatko, John Kamalu, Johnny Greco, Jonathan Cohen, Jonathan Raiman, Joseph Jennings, Joyjit Daw, Juan Yu, Julio Tapia, Junkeun Yi, Jupinder Parmar, Jyothi Achar, Kari Briski, Kartik Mattoo, Katherine Cheung, Katherine Luna, Keith Wyss, Kevin Shih, Kezhi Kong, Khanh Nguyen, Khushi Bhardwaj, Kirill Buryak, Kirthi Shankar Sivamani, Konstantinos Krommydas, Kris Murphy, Krishna C. Puvvada, Krzysztof Pawelec, Kumar Anik, Laikh Tewari, Laya Sleiman, Leo Du, Leon Derczynski, Li Ding, Lilach Ilan, Lingjie Wu, Lizzie Wei, Luis Vega, Lun Su, Maarten Van Segbroeck, Maer Rodrigues de Melo, Magaret Zhang, Mahan Fathi, Makesh Narsimhan Sreedhar, Makesh Sreedhar, Makesh Tarun Chandran, Manuel Reyes Gomez, Maor Ashkenazi, Marc Cuevas, Marc Romeijn, Margaret Zhang, Mark Cai, Mark Gabel, Markus Kliegl, Martyna Patelka, Maryam Moosaei, Matthew Varacalli, Matvei Novikov, Mauricio Ferrato, Mehrzad Samadi, Melissa Corpuz, Meng Xin, Mengdi Wang, Mengru Wang, Meredith Price, Micah Schaffer, Michael Andersch, Michael Boone, Michael Evans, Michael Z Wang, Miguel Martinez, Mikail Khona, Mike Chrzanowski, Mike Hollinger, Mingyuan Ma, Minseok Lee, Mohammad Dabbah, Mohammad Shoeybi, Mostofa Patwary, Nabin Mulepati, Nader Khalil, Najeeb Nabwani, Nancy Agarwal, Nanthini Balasubramaniam, Narimane Hennouni, Narsi Kodukula, Natalie Hereth, Nathaniel Pinckney, Nave Assaf, Negar Habibi, Nestor Qin, Neta Zmora, Netanel Haber, Nick Reamaroon, Nickson Quak, Nidhi Bhatia, Nikhil Jukar, Nikki Pope, Nikolai Ludwig, Nima Tajbakhsh, Nir Ailon, Nirmal Juluru, Nirmalya De, Nowel Pitt, Oleg Rybakov, Oleksii Hrinchuk, Oleksii Kuchaiev, Olivier Delalleau, Oluwatobi Olabiyi, Omer Ullman Argov, Omri Almog, Omri Puny, Oren Tropp, Otavio Padovani, Ouye Xie, Parth Chadha, Pasha Shamis, Paul Gibbons, Pavlo Molchanov, Peter Belcak, Peter Jin, Pinky Xu, Piotr Januszewski, Pooya Jannaty, Prachi Shevate, Pradeep Thalasta, Pranav Prashant Thombre, Prasoon Varshney, Prerana Gambhir, Pritam Gundecha, Przemek Tredak, Qing Miao, Qiyu Wan, Quan Tran Minh, Rabeeh Karimi Mahabadi, Rachel Oberman, Rachit Garg, Rahul Kandu, Raina Zhong, Ran El-Yaniv, Ran Zilberstein, Rasoul Shafipour, Renee Yao, Renjie Pi, Richard Mazzarese, Richard Wang, Rick Izzo, Ridhima Singla, Rima Shahbazyan, Rishabh Garg, Ritika Borkar, Ritu Gala, Riyad Islam, Robert Clark, Robert Hesse, Roger Waleffe, Rohit Varma Kalidindi, Rohit Watve, Roi Koren, Ron Fan, Ruchika Kharwar, Ruisi Cai, Ruoxi Zhang, Russell J. Hewett, Ryan Prenger, Ryan Timbrook, Ryota Egashira, Sadegh Mahdavi, Sagar Singh Ashutosh Joshi, Sahil Modi, Samuel Kriman, Sandeep Pombra, Sanjay Kariyappa, Sanjeev Satheesh, Santiago Pombo, Saori Kaji, Satish Pasumarthi, Saurav Mishra, Saurav Muralidharan, Scott Hara, Sean Narenthiran, Sebastian Rogawski, Seonjin Na, Seonmyeong Bak, Sepehr Sameni, Seth Poulos, Shahar Mor, Shantanu Acharya, Shaona Ghosh Adam Lord, Sharath Turuvekere Sreenivas, Shaun Kotek, Shaya Gharghabi, Shelby Thomas, Sheng-Chieh Lin, Shibani Likhite, Shiqing Fan, Shiyang Chen, Shreya Gopal, Shrimai Prabhumoye, Shubham Pachori, Shubham Toshniwal, Shuo Zhang, Shuoyang Ding, Shyam Renjith, Shyamala Prayaga, Siddhartha Jain, Simeng Sun, Sirisha Rella, Sirshak Das, Smita Ithape, Sneha Harishchandra S, Somshubra Majumdar, Soumye Singhal, Sri Harsha Singudasu, Sriharsha Niverty, Stas Sergienko, Stefana Gloginic, Stefania Alborghetti, Stephen Ge, Stephen McCullough, Sugam Dipak Devare, Suguna Varshini Velury, Sukrit Rao, Sumeet Kumar Barua, Sunny Gai, Suseella Panguluri, Sushil Koundinyan, Swathi Patnam, Sweta Priyadarshi, Swetha Bhendigeri, Syeda Nahida Akter, Sylendran Arunagiri, Tailling Yuan, Talor Abramovich, Tan Bui, Tan Yu, Terry Kong, Thanh Do, Thomas Gburek, Thorgane Marques, Tiffany Moore, Tijmen Blankevoort, Tim Moon, Timothy Ma, Tiyasa Mitra, Tomasz Grzegorzek, Tomer Asida, Tomer Bar Natan, Tomer Keren, Tomer Ronen, Traian Rebedea, Trenton Starkey, Tugrul Konuk, Twinkle Vashishth, Tyler Condensa, Udi Karpas, Ushnish De, Vahid Noorozi, Vahid Noroozi, Vanshil Atul Shah, Veena Vaidyanathan, Venkat Srinivasan, Venmugil Elango, Victor Cui, Vijay Korthikanti, Vikas Mehta, Virginia Adams, Virginia Wu, Vitaly Kurin, Vitaly Lavrukhin, Vladimir Anisimov, Wan Seo, Wanli Jiang, Wasi Uddin Ahmad, Wei Du, Wei Ping, Wei-Ming Chen, Wendy Quan, Wenliang Dai, Wenwen Gao, Will Jennings, William Zhang, Xiaowei Ren, Xiaowen Xin, Xin Li, Yang Yu, Yangyi Chen, Yaniv Galron, Yashaswi Karnati, Yejin Choi, Yev Meyer, Yi-Fu Wu, Yian Zhang, Ying Lin, Yonatan Geifman, Yonggan Fu, Yoshi Suhara, Youngeun Kwon, Yuan Zhang, Yuki Huang, Zach Moshe, Zhilin Wang, Zhiyu Cheng, Zhongbo Zhu, Zhuolin Yang, Zihan Liu, Zijia Chen, Zijie Yan, Zuhair Ahmed

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🚀 Nemotron 3 Super: Der clevere, sparsame Superheld unter den KI-Modellen

Stellen Sie sich vor, Sie bauen einen riesigen Bibliothekars-Roboter, der alles auf der Welt weiß und komplexe Aufgaben lösen kann. Früher waren diese Roboter entweder riesig und langsam (wie ein Elefant im Porzellanladen) oder klein und dumm.

NVIDIA hat nun mit Nemotron 3 Super einen neuen Typ gebaut. Er ist wie ein Schweizer Taschenmesser: klein, leicht, aber mit unzähligen Werkzeugen, die er genau dann herausklappt, wenn er sie braucht.

Hier sind die drei genialen Tricks, die diesen Roboter so besonders machen:

1. Das „Geister-Team" (LatentMoE)

Stellen Sie sich einen riesigen Konferenzraum mit 120 Millionen Experten vor. Normalerweise müssten alle Experten gleichzeitig mitreden, um eine Frage zu beantworten. Das wäre laut, chaotisch und extrem langsam.

Nemotron 3 Super nutzt eine Technik namens LatentMoE.

Die Analogie: Statt dass alle 120 Millionen Experten aufstehen und schreien, gibt es einen klugen Türsteher. Er schaut sich die Frage an und ruft nur 12 Millionen spezifische Experten herbei, die genau das Thema verstehen.
Der Clou: Diese Experten arbeiten in einer „Geisterwelt" (einem kleineren, verdichteten Raum), wo sie viel schneller kommunizieren können, ohne den ganzen Raum zu verstopfen. Das Ergebnis: Der Roboter ist extrem schlau, verbraucht aber nur einen Bruchteil der Energie und Zeit. Er ist bis zu 7,5-mal schneller als seine großen Konkurrenten, aber genauso klug.

2. Der „Zukunfts-Visionär" (MTP & Spekulatives Decodieren)

Wenn Sie einen Text schreiben, denken Sie oft schon über das nächste Wort nach, während Sie das aktuelle noch tippen. Früher mussten KIs das Wort für Wort schreiben, warten, prüfen und dann das nächste Wort tippen. Das war wie ein Schachspieler, der nach jedem Zug 10 Sekunden lang starrt.

Nemotron 3 Super nutzt Multi-Token-Prediction (MTP).

Die Analogie: Stellen Sie sich vor, der Roboter hat nicht nur einen, sondern zwei Köpfe. Der Hauptkopf schreibt den Text, während der kleine „Assistent-Kopf" daneben sitzt und vorausdenkt. Er sagt: „Hey, ich glaube, das nächste Wort ist 'Apfel', und das übernächste 'rot'."
Der Hauptkopf prüft dann nur schnell: „Stimmt das?" Wenn ja, schreibt er beide Wörter sofort. Das ist wie Spekulatives Decodieren. Der Roboter schreibt nicht mehr Wort für Wort, sondern in kleinen Sprüngen. Das macht ihn unglaublich schnell, besonders wenn er lange Texte schreibt.

3. Der „Agent", der Dinge tut (Agentic Reasoning)

Die meisten KIs sind wie gute Bibliothekare: Sie können Ihnen Informationen geben, aber sie können keine Handlungen ausführen. Nemotron 3 Super ist ein Agent.

Die Analogie: Wenn Sie ihm sagen: „Organisiere mir einen Urlaub", sucht er nicht nur nach Hotels. Er öffnet den Browser, klickt auf die Preise, prüft die Verfügbarkeit, bucht das Ticket und schreibt die E-Mail.
Dafür wurde er speziell trainiert, um komplexe Aufgaben in vielen kleinen Schritten zu lösen (wie ein Software-Entwickler, der einen Fehler in einem Programm findet und repariert). Er ist darauf spezialisiert, Werkzeuge zu benutzen und Probleme selbstständig zu lösen.

🎒 Was macht NVIDIA noch? (Die Geheimzutaten)

Der Trainings-Stoff: Der Roboter hat 25 Billionen Wörter gelesen! Das ist wie das Lesen von Millionen von Büchern. Besonders interessant: Er wurde in einer „gequetschten" Sprache trainiert (NVFP4). Stellen Sie sich vor, man lernt eine Sprache, bei der man nur die wichtigsten Buchstaben benutzt, aber trotzdem den vollen Sinn versteht. Das spart enorm viel Speicherplatz und macht ihn schneller.
Die Werkzeuge: NVIDIA stellt nicht nur den Roboter zur Verfügung, sondern auch den Bauplan (den Code) und die Lernbücher (die Daten), damit jeder ihn nachbauen und verbessern kann.

🏆 Das Fazit

Nemotron 3 Super ist wie ein Formel-1-Rennwagen mit Hybrid-Antrieb.

Er ist schnell (durch die MoE-Architektur und das Vorhersagen mehrerer Wörter).
Er ist effizient (verbraucht wenig Strom und Speicher).
Er ist tätig (kann echte Aufgaben erledigen, nicht nur reden).

Und das Beste: NVIDIA macht ihn Open Source. Das bedeutet, dass Forscher und Entwickler auf der ganzen Welt diesen „Rennwagen" kostenlos nutzen und weiterentwickeln können, um die nächste Generation von KI zu bauen.

1. Problemstellung und Motivation

Das Paper adressiert die Herausforderungen bei der Entwicklung von Large Language Models (LLMs), die sowohl hohe Genauigkeit als auch effiziente Inferenzleistung bieten, insbesondere für komplexe agentische Aufgaben (Agentic Reasoning). Bestehende Modelle stoßen oft an Grenzen bei:

Skalierbarkeit vs. Effizienz: Dichte Modelle sind rechenintensiv, während herkömmliche Mixture-of-Experts (MoE)-Modelle oft Ineffizienzen bei der Speichernutzung und Routing-Kommunikation aufweisen.
Inferenz-Latenz und Durchsatz: Lange Kontextlängen und sequenzielle Abläufe (wie bei Agenten) erfordern schnelle Inferenz.
Agente Fähigkeiten: Die Fähigkeit, mehrstufige Aufgaben mit Tools, Terminal-Interaktionen und Software-Engineering-Funktionen autonom zu lösen, erfordert spezialisierte Trainingsdaten und Architekturen.
Präzision bei niedriger Bit-Tiefe: Das Training und die Inferenz in niedriger Präzision (z. B. NVFP4) sind oft instabil oder führen zu Genauigkeitsverlusten.

2. Methodik

NVIDIA stellt Nemotron 3 Super vor, ein hybrides Modell mit 120 Milliarden Gesamtparametern (davon 12 Milliarden aktive Parameter pro Forward-Pass). Die Architektur kombiniert mehrere innovative Ansätze:

A. Architektur: Hybrid Mamba-Attention mit LatentMoE

Hybride Struktur: Das Modell nutzt eine periodische Verschachtelung von Mamba-2-Blöcken (für effiziente, lineare Sequenzmodellierung) und Attention-Layern (als globale „Anker" für langreichweitige Abhängigkeiten). Dies reduziert den KV-Cache-Overhead erheblich.
LatentMoE (Mixture-of-Experts): Im Gegensatz zu Standard-MoE nutzt Nemotron 3 Super LatentMoE. Dabei werden Tokens zunächst in einen niedrigerdimensionalen latenten Raum projiziert, bevor sie an Experten weitergeleitet werden.
- Vorteil: Dies reduziert den Speicherbandbreitenbedarf und die Kommunikationslast (All-to-All-Routing) um den Faktor $d/\ell$ (wo $d$ die versteckte Dimension und $\ell$ die latente Dimension ist).
- Ergebnis: Die eingesparte Bandbreite ermöglicht es, die Anzahl der Experten und die Anzahl der aktivierten Experten pro Token ( $K$ ) zu erhöhen, was die Genauigkeit pro FLOP und pro Parameter steigert.
Multi-Token Prediction (MTP): Das Modell integriert MTP-Schichten, die mehrere zukünftige Tokens gleichzeitig vorhersagen. Dies ermöglicht nativen spekulativen Decoding ohne externes Draft-Modell, was die Inferenzgeschwindigkeit signifikant erhöht.

B. Training

Pre-Training:
- Datensatz: 25 Billionen Token, aufgeteilt in zwei Phasen (80% Diversität, 20% hohe Qualität).
- NVFP4-Training: Das Modell wurde erstmals vollständig in NVFP4 (NVIDIA Floating Point 4) vortrainiert. Dies erfordert spezielle Techniken zur Stabilisierung, da NVFP4 zu einer hohen Rate an Null-Werten in den Gradienten führen kann (durch Unterläufe).
- Synthetische Daten: Umfassende synthetische Datensätze für Code-Konzepte, formale Logik, Wirtschaftswissenschaften und Multiple-Choice-Fragen wurden generiert, um die Fähigkeiten in diesen Bereichen zu stärken.
Post-Training (Feinabstimmung):
- SFT (Supervised Fine-Tuning): Zweistufiger Ansatz zur Balance zwischen Token-Level-Loss und Konversations-Level-Normalisierung, um lange Eingaben mit kurzen Ausgaben zu unterstützen. Der Fokus liegt stark auf agentic Daten (Software Engineering, Terminal-Nutzung, Tool-Use).
- Reinforcement Learning (RL): Ein dreistufiger RL-Prozess:
  1. RLVR (Verifiable Rewards): Training über 21 verschiedene Umgebungen (Math, Code, STEM, Safety, Tool-Use) gleichzeitig.
  2. SWE-RL: Spezifisches Training für Software-Engineering-Aufgaben (GitHub-Issues) in isolierten Containern.
  3. RLHF: Optimierung des Verhaltens basierend auf menschlichen Präferenzen und Prinzipien.
- PivotRL: Eine neue Methode, die Offline-SFT-Trajektorien wiederverwendet, um die Effizienz des agentic RL zu steigern, ohne die Generalisierungsfähigkeit zu beeinträchtigen.

C. Quantisierung

Das Modell wurde für die Inferenz auf Blackwell-GPUs optimiert:

FP8 (W8A8): Für Hopper-GPUs.
NVFP4 (W4A4): Für Blackwell-GPUs.
AutoQuantize: Ein NAS-inspirierter Algorithmus (Neural Architecture Search) wurde verwendet, um eine gemischte Präzisionsstrategie zu finden, bei der empfindliche Schichten in höherer Präzision (FP8/BF16) und robuste Schichten in NVFP4 belassen werden.
Mamba State Quantization: Um Speicherbandbreite zu sparen, wurde der SSM-Cache (State Space Model) auf FP16 quantisiert. Um die Akkumulation von Quantisierungsfehlern in der rekurrenten Struktur zu verhindern, wurde Stochastisches Runden (Stochastic Rounding) angewendet.

3. Wichtige Beiträge

LatentMoE-Architektur: Eine neuartige MoE-Variante, die Hardware-Beschränkungen (Speicherbandbreite, Routing-Overhead) explizit adressiert und dadurch eine höhere Genauigkeit bei gleichem Inferenzkosten-Niveau erreicht.
Stabiles NVFP4-Pre-Training: Demonstration der Stabilität von Pre-Training auf 25 Billionen Token in NVFP4, was den Weg für extrem effiziente Modelle ebnet.
Agentic-Fokus: Ein umfassendes Post-Training-Recette mit starkem Fokus auf mehrstufige Agenten-Aufgaben (Terminal, Code, Suche), unterstützt durch eine skalierbare RL-Infrastruktur (NeMo Gym/RL).
Native Speculative Decoding durch MTP: Integration von Multi-Token-Prediction direkt in die Architektur, um die Inferenz ohne externe Draft-Modelle zu beschleunigen.
Open Source: Vollständige Offenlegung der Checkpoints (Base, Post-Train, Quantisiert), Trainingsdaten und Rezepte.

4. Ergebnisse

Nemotron 3 Super wurde auf einer breiten Palette von Benchmarks evaluiert und zeigt folgende Leistungen im Vergleich zu GPT-OSS-120B und Qwen3.5-122B:

Genauigkeit: Das Modell erreicht vergleichbare oder leicht überlegene Genauigkeit auf Standard-Benchmarks (MMLU-Pro, Math, Code, Reasoning) im Vergleich zu den genannten State-of-the-Art-Modellen.
- Beispiel: MMLU-Pro: 83,73 (Nemotron) vs. 86,70 (Qwen3.5) und 81,00 (GPT-OSS).
- Agentic Benchmarks: Starke Leistungen bei SWE-Bench (OpenHands: 60,47%), Terminal Bench und Tool-Use (TauBench).
Inferenz-Durchsatz:
- Auf Blackwell-GPUs (B200) erreicht Nemotron 3 Super einen bis zu 2,2-fach höheren Durchsatz als GPT-OSS-120B.
- Im Vergleich zu Qwen3.5-122B wird ein bis zu 7,5-fach höherer Durchsatz erzielt (bei 8k Eingabe / 64k Ausgabe).
Kontextlänge: Das Modell unterstützt Kontextlängen von bis zu 1 Million Token mit hoher Genauigkeit (RULER 1M: 91,64%).
Quantisierungseffizienz: Die NVFP4-Quantisierung führt zu minimalen Genauigkeitsverlusten (<1% in den meisten Benchmarks) bei massiven Geschwindigkeitsgewinnen.

5. Bedeutung und Fazit

Nemotron 3 Super markiert einen bedeutenden Fortschritt in der Entwicklung effizienter, leistungsfähiger LLMs für den Einsatz als autonome Agenten.

Effizienz: Durch die Kombination von LatentMoE, Mamba-Architektur und NVFP4-Präzision wird die Lücke zwischen hoher Modellkapazität und praktischer Deployability auf moderner Hardware geschlossen.
Agente Fähigkeiten: Der Fokus auf RL in komplexen Umgebungen (Terminal, Code-Editierung) macht das Modell zu einem starken Kandidaten für reale Software-Entwicklungs- und Automatisierungsaufgaben.
Ökosystem: Die vollständige Open-Source-Veröffentlichung (Modelle, Daten, Rezepte) fördert die Reproduzierbarkeit und ermöglicht der Community, auf diesem fortschrittlichen Fundament aufzubauen.

Zusammenfassend bietet Nemotron 3 Super einen neuen Standard für Open, Efficient Modelle, die nicht nur in der Genauigkeit, sondern vor allem in der Inferenz-Effizienz und Agente-Intelligenz konkurrenzfähig sind.