← 최신 논문
💬 NLP

Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning

Nemotron 3 Ultra는 100만 토큰의 컨텍스트와 고급 학습 기술을 특징으로 하는 5,500억 파라미터 규모의 오픈 소스 하이브리드 Mamba-Transformer 모델로, 최대 6배 높은 추론 처리량을 통해 최첨단 정확도를 제공하며 복잡한 에이전트 추론 작업에 이상적입니다.

원저자: NVIDIA (Allan), : (Allan), Aaron Blakeman (Allan), Aaron Thomas (Allan), Aastha Jhunjhunwala (Allan), Abhibha Gupta (Allan), Abhinav Khattar (Allan), Adam Rajfer (Allan), Adi Renduchintala (Allan), A
게시일 2026-06-16
📖 4 분 읽기☕ 가벼운 읽기
CC BY 4.0

원저자: NVIDIA (Allan), : (Allan), Aaron Blakeman (Allan), Aaron Thomas (Allan), Aastha Jhunjhunwala (Allan), Abhibha Gupta (Allan), Abhinav Khattar (Allan), Adam Rajfer (Allan), Adi Renduchintala (Allan), Adil Asif (Allan), Aditya Vavre (Allan), Adriana Flores Miranda (Allan), Ahmad Bilal (Allan), Aileen Zaman (Allan), Ajay Hotchandani (Allan), Akanksha Shukla (Allan), Akhiad Bercovich (Allan), Aleksander Ficek (Allan), Alex Gronskiy (Allan), Alex Kondratenko (Allan), Alex Steiner (Allan), Alex Ye (Allan), Alexander Bukharin (Allan), Alexandre Milesi (Allan), Ali Taghibakhshi (Allan), Alice Gatti (Allan), Alisa Liu (Allan), Alok Kumar (Allan), Amar Phanishayee (Allan), Ameya Sunil Mahabaleshwarkar (Allan), Amir Klein (Allan), Amit Zuker (Allan), Amnon Geifman (Allan), Anahita Bhiwandiwalla (Allan), Ananth Subramaniam (Allan), Andrea Santilli (Allan), Andrew Fulks (Allan), Andrew McHarg (Allan), Andrew Tao (Allan), Andrii Skliar (Allan), Anjulie Agrusa (Allan), Ankur Srivastava (Allan), Ankur Verma (Allan), Anna Shors (Allan), Anna Warno (Allan), Antoni-Joan Solergibert I Llaquet (Allan), Arham Mehta (Allan), Arkadiusz Nowaczynski (Allan), Arti Jain (Allan), Ashwath Aithal (Allan), Ashwin Poojary (Allan), Asif Ahamed (Allan), Asit Mishra (Allan), Asma Kuriparambil Thekkumpate (Allan), Atefeh Sohrabizadeh (Allan), Avinash Kaur (Allan), Avinash Vem (Allan), Ayush Dattagupta (Allan), Barath Subramaniam Anandan (Allan), Bardiya Sadeghi (Allan), Ben Lanir (Allan), Benedikt Schifferer (Allan), Besmira Nushi (Allan), Bilal Kartal (Allan), Bill Thiede (Allan), Bita Darvish Rouhani (Allan), Bo Deng (Allan), Bob Schatz (Allan), Boris Ginsburg (Allan), Boxin Wang (Allan), Brad Nemire (Allan), Brandon Norick (Allan), Brian Dang (Allan), Brian Westphal (Allan), Brian Yu (Allan), Brucek Khailany (Allan), Bryan Catanzaro (Allan), Carlo del Mundo (Allan), Caryln Aarish (Allan), Chankyu Lee (Allan), Chantal Hwang (Allan), Charbel Sakr (Allan), Charles Wang (Allan), Charlie Truong (Allan), Chen Cui (Allan), Cheng Cheng (Allan), Cheng-Ping Hsieh (Allan), Chenghao Zhang (Allan), Chenhui Deng (Allan), Chintan Patel (Allan), Chris Alexiuk (Allan), Christian Cosgrove (Allan), Christian Munley (Allan), Christine Harvey (Allan), Christopher Parisien (Allan), Chunyang Shen (Allan), Coco Li (Allan), Collin Neale (Allan), Cynthia Gao (Allan), Cyril Meurillon (Allan), Dan Gil (Allan), Dan Su (Allan), Dan Zhao (Allan), Dane Corneil (Allan), Daniel Afrimi (Allan), Daniel Egert (Allan), Daniel Korzekwa (Allan), Daniel Lo (Allan), Daniel Machlab (Allan), Daniel Serebrenik (Allan), Daniil Sorokin (Allan), Daria Gitman (Allan), Daria Levy (Allan), Darko Stosic (Allan), David Mosallanezhad (Allan), David Yu (Allan), Davit Karamyan (Allan), Deena Donia (Allan), Deep Debroy (Allan), Deepak Narayanan (Allan), Devin O'Kelly (Allan), Dheeraj Peri (Allan), Dhruv Nathawani (Allan), Di (Allan), Wu, Dima Rekesh, Divyanshu Kakwani, Donald Plummer, Dong Anh, Dongfeng Yu, Dongfu Jiang, Donnie Kim, Dorrin Poorkay, Duncan Riach, Dusan Stosic, Dustin VanStee, Eavan Meng, Edgar Minasyan, Edward Lin, Eileen Margaret Peters Long, Elad Sarafin, Elad Segal, Elena Lantz, Ellie Evans, Elliott Ning, Eric Chung, Eric Harper, Eric Pham-Hung, Eric Tramel, Eric Yang, Erick Galinkin, Erik Pounds, Erika Goncalves Goncalves, Evan Briones, Evan Wu, Evelina Bakhturina, Evgeny Tsykunov, Ewa Dobrowolska, Faisal Ladhak, Farzan Memarian, Fay Wang, Fei Jia, Felipe Soares, Felipe Vieira Frujeri, Feng Chen, Fengguang Lin, Ferenc Galko, Frank Sun, Frankie Siino, Frida Hou, Gal Hubara Agam, Gal Kaplun, Gantavya Bhatt, Gargi Prasad, Garvit Kulshreshtha, George Armstrong, Gerald Shen, Giulio Borghesi, Gordana Neskovic, Gorkem Batmaz, Grace Lam, Greg Mason, Greg Pauloski, Grigor Nalbandyan, Grzegorz Chlebus, Grzegorz Karch, Guan-Ting Liu, Guoming Zhang, Guyue Huang, Haggai Maron, Haifeng Qian, Haim Elisha, Haoxing Ren, Haran Kumar Shiv Kumar, Haribhau Hud, Harris Nover, Harrison Saturley Hall, Hayate Iso, Helen Ngo, Herbert Hum, Herman Sahota, Hexin Wang, Himanshu Soni, Hovhannes Tamoyan, Hua Li, Huanhuan Chen, Hui Li, Hui Wang, Huy Nguyen, Ian Chiles, Ido Galil, Ido Shahaf, Igor Gitman, Igor Shovkun, Ilya Loshchilov, Ingo Guehring, Itamar Schen, Itay Levy, Itay Neeman, Ivan Moshkov, Izik Golan, Izzy Putterman, Jaemin Choi, Jakub Slowikowski, Jan Kautz, Jane Polak Scowcroft, Jared Casper, Jatin Mitra, Jeffrey Glick, Jenny Chen, Jesse Oliver, Jiacheng Xu, Jiafan Zhu, Jialin Song, Jian Zhang, Jiantao Jiao, Jiaqi Zeng, Jie Lou, Jim King, Jimmy Zhang, Jingquan Wang, Jinhang Choi, Jinju Chu, Joey Conway, Joey Guman, Johan Jatko, Johannes Rausch, John Kamalu, John Roberts, Johnny Greco, Johnny Mensel, Jonah Alben, Jonas Yang, Jonathan Cohen, Jonathan Raiman, Joseph Jennings, Joshua Mabry, Joshua Pierce, Joyjit Daw, Julien Veron Vialard, Junkeun Yi, Jupinder Parmar, Kajal Jain, Kan Zhu, Kari Briski, Katherine Cheung, Katherine Luna, Keith Willowhawk, Keith Wyss, Keshav Santhanam, Kevin Shih, Kezhi Kong, Khanh Nguyen, Khushi Bhardwaj, Kirthi Shankar Sivamani, Konstantinos Krommydas, Krishna C. Puvvada, Krzysztof Pawelec, Kumar Anik, Kyle Keprios, Kylie Day, Lawrence McAfee, Leo Du, Leon Derczynski, Li Ding, Linda Liu, Lingjie Wu, Lior Kadoch, Lizzie Wei, Luis Vega, Luke Robison, Lun Su, Maarten Van Segbroeck, Maciej Jakub Mikulski, Maer Rodrigues de Melo, Magda Sypula, Mahan Fathi, Makesh Narsimhan Sreedhar, Makesh Tarun Chandran, Manoj Kilaru, Maor Ashkenazi, Marc Cuevas, Marc Romeijn, Marcin Chochowski, Mark Cai, Mark Mozolewski, Markus Kliegl, Marta Stepniewska-Dziubinska, Martyna Patelka, Mattei Machczynski, Matvei Novikov, Mauricio Ferrato, Maximilian Golub, Mehrzad Samadi, Melissa Corpuz, Mengru Wang, Mengxi Wu, Meredith Price, Meriem Boubdir, Micah Schaffer, Michael Andersch, Michael Boone, Michael Gschwind, Michael Lightstone, Michael Loh, Michal Bien, Michal Zawalski, Michelle Gill, Miguel Martinez, Mikail Khona, Mike Chrzanowski, Mike Houston, Mingyuan Ma, Minseok Lee, Mohamed Fawzy, Mohammad Dabbah, Mohammad Shoeybi, Mostofa Patwary, Nabin Mulepati, Najeeb Nabwani, Namit Dhameja, Narimane Hennouni, Natalie Hereth, Nathaniel Pinckney, Nave Algarici, Nave Assaf, Netanel Haber, Nicholas Knight, Nick Reamaroon, Nickson Quak, Nidhi Bhatia, Nikhil Desai, Nikolai Ludwig, Nima Tajbakhsh, Ning Xu, Nir Ailon, Nirmal Juluru, Nitin Nitin, Ofri Masad, Oleg Rybakov, Oleksii Hrinchuk, Oleksii Kuchaiev, Olivia Viessmann, Olivier Delalleau, Oluwatobi Olabiyi, Omer Ullman Argov, Omri Puny, Oren Tropp, Pablo Ribalta, Pallab Bhattacharya, Panos Lampropoulos, Parth Mannan, Pasha Shamis, Patrick Legresley, Paul Gibbons, Pavlo Molchanov, Pawel Morkisz, Peter Dykas, Peter Jin, Pierre-Yves Aquilanti, Pinky Xu, Piotr Januszewski, Piotr Laskiewicz, Pooya Jannaty, Prakash Gurumurthy, Pranav Prashant Thombre, Prasoon Varshney, Pritam Gundecha, Przemek Tredak, Puhui Meng, Qiyu Wan, Rabeeh Karimi Mahabadi, Rachel Oberman, Rachit Garg, Radha Sri-Tharan, Rahul Kandu, Rakshit Sanadhya, Ran El-Yaniv, Ran Zilberstein, Rasoul Shafipour, Ray Macalisang, Rayen Tian, Reka Kovacs, Renjie Pi, Rick Izzo, Rima Shahbazyan, Rishabh Garg, Rishi Puri, Rita Fernandes Neves, Ritchie Zhao, Ritika Borkar, Ritu Gala, Riyad Islam, Robert Clark, Robert Hesse, Robert Kirby, Roger Waleffe, Rohit Watve, Roi Koren, Ron Banner, Ruoxi Zhang, Russell J. Hewett, Ryan Prenger, Ryan Stewart, Ryota Egashira, Sadegh Mahdavi, Saee Paliwal, Sagar Singh, Sahil Modi, Salika Dave, Samantha Shinagawa, Samuel Kriman, Sandip Bhaskar, Sangkug Lym, Sanjay Kariyappa, Sanjeev Satheesh, Saran Vikas Murari, Satish Pasumarthi, Saurabh Mishra, Saurav Muralidharan, Scott Hara, Sean Narentharen, Selvaraj Anandaraj, Seonjin Na, Seonmeyong Bak, Seonmyeong Bak, Sepehr Sameni, Seph Mard, Serge Panev, Seth Henneman, Seth Poulos, Shahar Mor, Shantanu Acharya, Shaona Ghosh, Sharath Turuvekere Sreenivas, Sharon Mendelson, Shaun Kotek, Shawn Wang, Shay Aharon, Shaya Gharghabi, Sheng-Chieh Lin, Shi Chen, Shiqing Fan, Shirish Baskaran, Shreya Gopa, Shrimai Prabhumoye, Shubham Pachori, Shubham Toshniwal, Shuoyang Ding, Shwetha Krishnamurthy, Siddharth Singh, Simeng Sun, Sirshak Das, Sivakumar Arayandi Thottakara, Smita Ithape, Somshubra Majumdar, Soumye Singhal, Sri Harsha Singudasu, Sridhar Bhuvanapalli, Srimukh Veccham, Stas Sergienko, Stefania Alborghetti, Stephen Ge, Su Rong, Sugam Dipak Devare, Sukrit Rao, Sumeet Kumar Barua, Sungsoo Ha, Sunny Gai, Suriya Gunasekar, Suseella Panguluri, Suyog Gupta, Sviataslau Hinzburh, Sweta Priyadarshi, Syeda Nahida Akter, Talor Abramovich, Tan Bui, Tanay Varshney, Tatevik Ter-Hovhannisyan, Teodor-Dumitru Ene, Terry Kong, Thanh Do, Tianhe Zhang, Tiffany Moore, Tijmen Blankevoort, Tim Moon, Tiyasa Mitra, Tom Balough, Tomasz Grzegorzek, Tomasz Hliwiak, Tomer Asida, Tomer Bar Natan, Tomer Keren, Tomer Ronen, Tony Salim, Tony Wang, Traian Rebedea, Tugrul Konuk, Twinkle Vashishth, Udi Karpas, Ushnish De, Vahid Noorozi, Venkat Srinivasan, Venmugil Elango, Vibhor Agrawal, Victor Cui, Vijay Korthikanti, Vikas Mehta, Vinay Rao, Virginia Wu, Vitaly Kurin, Vitaly Lavrukhin, Vladimir Anisimov, Vu Pham, Wanli Jiang, Wasi Uddin Ahmad, Wataru Ishihara, Wei Du, Wei Ping, Weiheng Chai, Wenliang Dai, Wesley Helmholz, Will Jennings, Will Zhu, Wojciech Prazuch, Xiaowei Ren, Xiwen Yu, Yan Breek, Yang Chen, Yang Yu, Yangyi Chen, Yaniv Galron, Yashaswi Karnati, Yejin Choi, Yev Meyer, Yi-Fu Wu, Yian Zhang, Ying Lin, Yonatan Geifman, Yonggan Fu, Youngeun Kwon, Yu Yao, Yugi Guvvla, Yuki Huang, Yunsheng Liu, Zach Moshe, Zachary Newell, Zhilin Wang, Zhiyu Li, Zhongbo Zhu, Zhuolin Yang, Zihan Liu, Zijie Yan, Zsolt-Alon Wertheimer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 Nemotron 3 Ultra 논문을 쉬운 개념과 창의적인 비유로 풀어낸 설명입니다.

핵심 요약: "실행"을 위한 슈퍼 브레인

당신에게 아주 유능한 비서가 있다고 상상해 보세요. 오늘날 대부분의 AI 비서들은 채팅을 하거나 짧은 이메일을 쓰는 데 능숙합니다. 하지만 Nemotron 3 Ultra는 장기 프로젝트 매니저가 되도록 설계되었습니다. 이 모델은 몇 시간 동안 깨어 있는 상태로 여러 개의 창을 열고, 웹을 검색하고, 코드를 작성하고, 오류를 수정하며, 당신이 일일이 손을 잡아주지 않아도 스스로 복잡한 과업을 완수할 수 있도록 구축되었습니다.

논문에 따르면 이 모델은 NVIDIA에서 만든 모델 중 가장 뛰어난 성능을 자랑하며, 방대한 양의 정보(최대 100만 단어)를 처리하면서도 빠르고 효율적이도록 최적화되었습니다.

1. 엔진: AI를 위한 하이브리드 자동차

대부분의 AI 모델은 모든 작업에 동일한 방식으로 작동하는 하나의 거대한 엔진과 같습니다. 하지만 Nemotron 3 Ultra는 다릅니다. 이 모델은 하이브리드 차량입니다.

  • "Mamba" 엔진: 이것은 고속 열차와 같습니다. 정보를 매우 빠르게 통과하며, 뒤에 무거운 짐 가방(메모리)을 끌고 다닐 필요가 없습니다. 덕분에 긴 이야기나 문서를 처리할 때 믿기지 않을 정도로 빠릅니다.
  • "Transformer" 엔진: 이것은 심층적인 추론과 복잡한 관계 이해에 탁월한 클래식하고 강력한 엔진입니다.
  • 하이브리드: 이 모델은 작업에 따라 이 두 가지 엔진 사이를 전환합니다. 긴 문서를 스캔할 때는 빠른 열차를 사용하고, 깊은 사고가 필요할 때는 강력한 엔진을 사용합니다. 이 조합 덕분에 지능을 잃지 않으면서도 경쟁 모델들보다 훨씬 더 빠르게 작동할 수 있습니다.

2. 팀 구조: "전문가 혼합(Mixture of Experts)"

거대한 도서관을 상상해 보세요. 한 명의 사서가 모든 책에 대해 다 알려고 하면 느리고 지치겠지만, 이 도서관에는 512명의 전문 사서가 있습니다.

  • 만약 당신이 법률에 대해 질문하면, 법률 전문가들만 깨어납니다.
  • 만약 코딩에 대해 질문하면, 코딩 전문가들만 깨어납니다.
  • 만약 수학에 대해 질문하면, 수학 전문가들만 깨어납니다.

이것을 전문가 혼합(Mixture-of-Experts, MoE) 모델이라고 부릅니다. Nemotron 3 Ultra는 총 5,500억 개의 "전문가"(파라미터)를 가지고 있지만, 단 하나의 문장을 처리할 때도 오직 550억 개의 전문가만을 "깨웁니다". 이는 대기 중인 거대한 전문가 팀을 보유하되, 현재 작업에 필요한 특정 전문가만 호출하는 것과 같습니다. 이는 엄청난 양의 에너지와 시간을 절약해 줍니다.

3. 학습 과정: 학생에서 마스터로

논문은 이 모델을 전문적인 에이전트로 만들기 위한 3단계 학습 과정을 설명합니다.

  • 1단계: 사전 학습 (백과사전 읽기): 모델은 20조 개의 텍스트 토큰(단어 및 코드)을 읽었습니다. 이는 거대한 도서관의 모든 책을 읽는 것과 같습니다. 그들은 이를 효율적으로 수행하기 위해 특수한 "저정밀도(low-precision)" 형식(NVFP4)을 사용했는데, 이는 의미를 잃지 않으면서도 페이지에 더 많은 내용을 담기 위해 약간 작은 글씨체로 책을 읽는 것과 같습니다.
  • 2단계: 지도 미세 조정 (인턴십): 모델은 지시 사항을 따르고, 도구(검색 엔진이나 코드 터미널 등)를 사용하며, 안전을 유지하는 법을 배웠습니다. 연구진은 문제를 단계별로 해결하는 예시들을 제공했습니다.
  • 3단계: 강화 학습 및 지식 증류 (마스터 클래스): 이것이 바로 핵심 비법(secret sauce)입니다.
    • 먼저, 모델은 시행착오를 통해 배우기 위해 다양한 "시뮬레이션"(코딩, 수학, 사무 업무를 위한 비디오 게임 같은 환경) 속에서 연습했습니다.
    • 그다음, 10개 이상의 특화된 "교사(Teacher)" 모델(코딩용, 수학용, 사무 업무용 등)을 훈련시켰습니다.
    • 마지막으로, **MOPD(Multi-teacher On-Policy Distillation)**라는 기술을 사용했습니다. 메인 모델(학생)이 문제를 풀려고 노력할 때, 특화된 교사들이 정확히 어떻게 해야 하는지 조언을 속삭여 주는 것을 상상해 보세요. 학생은 교사들의 최고의 움직임을 모방함으로써 학습하며, 모든 지혜를 하나의 슈퍼 모델으로 결합합니다.

4. 초능력

논문은 Nemotron 3 Ultra가 가진 세 가지 주요 초능력을 강조합니다.

  • 100만 단어의 기억력: 대부분의 AI 모델은 몇 장의 챕터보다 긴 책을 주면 혼란을 겪습니다. 하지만 Nemotron은 100만 토큰(대략 소설 10권 분량)의 컨텍스트를 읽을 수 있으며, 마지막 페이지를 쓰는 동안에도 첫 페이지의 세부 사항을 기억할 수 있습니다.
  • "추론 예산(Reasoning Budget)" 제어: 당신은 모델에게 "빠르게 해결하되 몇 단계는 건너뛰어도 좋아" 또는 "시간을 갖고 깊이 생각하라"고 말할 수 있습니다. 이를 통해 사용자는 작업에 따라 속도와 정확도 사이의 균형을 선택할 수 있습니다.
  • 속도: 하이브리드 엔진과 전문가 시스템 덕분에, 이 모델은 다른 최고 수준의 공개 모델들보다 최대 6배 빠르게 정보를 처리하면서도 동일하거나 더 나은 답변을 내놓을 수 있습니다.

5. "두뇌"의 안정성

논문은 이 정도로 큰 모델을 훈련하는 것이 마치 외줄 타기를 하는 것과 같다고 인정합니다. 훈련 중에 모델이 무작위로 잘못된 예측을 하기 시작하는 "발산(divergence)" 현상을 두 번 겪었습니다.

  • 해결책 1: 특정 수학적 부분(그래디언트 누적)에서 정밀도가 손실된다는 것을 깨닫고, 해당 부분에 대해 다시 높은 정밀도 모드로 전환했습니다.
  • 해결책 2: 팀 내의 "전문가"들이 불균형해지고 있다는 것(어떤 전문가는 모든 일을 하고, 어떤 전문가는 잠만 자는 현상)을 발견했습니다. 이를 방지하기 위해 업무량이 공평하게 공유되도록 시스템을 조정하여 모델이 붕괴되는 것을 막았습니다.

6. 결과: 모두를 향해 열려 있음

이 논문의 가장 흥미로운 점은 NVIDIA가 모든 것을 오픈 소스로 공개한다는 것입니다.

  • 베이스 모델(가공되지 않은 원천 두뇌)을 공개합니다.
  • 사후 학습된 모델(전문가 에이전트)을 공개합니다.
  • 양자화 버전(특정 NVIDIA 칩에서 더 빠르게 실행되도록 압축된 버전)을 공개합니다.
  • 데이터와 레시피(그들이 읽은 책의 목록과 따라간 지침)를 공개합니다.

요약하자면: Nemotron 3 Ultra는 장기간 자율적으로 작동하도록 설계된 거대한 하이브리드 엔진 AI입니다. 이 모델은 깊이 생각하면서도 빠르게 움직이기 위해 특화된 전문가 팀을 사용하며, 도서관 전체의 텍스트를 기억할 수 있고, 누구나 이 모델을 사용하여 자신만의 AI 에이전트를 구축할 수 있도록 대중에게 공개됩니다.

연구 분야의 논문에 파묻히고 계신가요?

연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.

Digest 사용해 보기 →

유사한 논문

이 카테고리 전체 보기 💬 cs.CL →