🤖 machine learning

Nemotron 3 Nano Omni: Efficient and Open Multimodal Intelligence

Nemotron 3 Nano Omni is een nieuw open-source multimodaal model dat native audio, tekst, afbeeldingen en video ondersteunt als invoer, en dat verbeterde nauwkeurigheid, agentische capaciteiten en efficiënte inferentie biedt dankzij een 30B-A3B-ruggengraat en token-reductietechnieken, met vrijgegeven checkpoints en code ter ondersteuning van verder onderzoek.

Oorspronkelijke auteurs: NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg Heinrich, Guo Chen, Lukas Voegtle, Philipp Fischer, Timo Roman, Karan Sapra, Collin McCarthy, Shaokun Zhang, Fuxiao Liu, Hanrong Ye, Yi Dong, Mingjie Liu, Yifan Peng, Piotr Zelasko, Zhehuai Chen, Nithin Rao Koluguri, Nune Tadevosyan, Lilit Grigoryan, Ehsan Hosseini Asl, Pritam Biswas, Leili Tavabi, Yuanhang Su, Zhiding Yu, Peter Jin, Alexandre Milesi, Netanel Haber, Yao Xu, Sarah Amiraslani, Nabin Mulepati, Eric Tramel, Jaehun Jung, Ximing Lu, Brandon Cui, Jin Xu, Zhiqi Li, Shihao Wang, Yuanguo Kuang, Shaokun Zhang, Huck Yang, Boyi Li, Hongxu Yin, Song Han, Pavlo Molchanov, Adi Renduchintala, Charles Wang, David Mosallanezhad, Soumye Singhal, Luis Vega, Katherine Cheung, Sreyan Ghosh, Yian Zhang, Alexander Bukharin, Venkat Srinivasan, Johnny Greco, Andre Manoel, Maarten Van Segbroeck, Suseella Panguliri, Rohit Watve, Divyanshu Kakwani, Shubham Pachori, Jeffrey Glick, Radha Sri-Tharan, Aileen Zaman, Khanh Nguyen, Shi Chen, Jiaheng Fang, Qing Miao, Wenfei Zhou, Yu Wang, Zaid Pervaiz Bhat, Varun Praveen, Arihant Jain, Ramanathan Arunachalam, Tomasz Kornuta, Ashton Sharabiani, Amy Shen, Wei Huang, Yi-Fu Wu, Ali Roshan Ghias, Huiying Li, Brian Yu, Nima Tajbakhsh, Chen Cui, Wenwen Gao, Li Ding, Terry Kong, Manoj Kilaru, Anahita Bhiwandiwalla, Marek Wawrzos, Daniel Korzekwa, Pablo Ribalta, Grzegorz Chlebus, Besmira Nushi, Ewa Dobrowolska, Maciej Jakub Mikulski, Kunal Dhawan, Steve Huang, Jagadeesh Balam, Yongqiang Wang, Nikolay Karpov, Valentin Mendelev, George Zelenfroynd, Meline Mkrtchyan, Qing Miao, Omri Almog, Bhavesh Pawar, Rameshwar Shivbhakta, Sudeep Sabnis, Ashrton Sharabiani, Negar Habibi, Geethapriya Venkataramani, Pamela Peng, Prerit Rodney, Serge Panev, Richard Mazzarese, Nicky Liu, Michael Fukuyama, Andrii Skliar, Roger Waleffe, Duncan Riach, Yunheng Zou, Jian Hu, Hao Zhang, Binfeng Xu, Yuhao Yang, Zuhair Ahmed, Alexandre Milesi, Carlo del Mundo, Chad Voegele, Zhiyu Cheng, Nave Assaf, Andrii Skliar, Daniel Afrimi, Natan Bagrov, Ran Zilberstein, Ofri Masad, Eugene Khvedchenia, Natan Bagrov, Borys Tymchenko, Tomer Asida, Daniel Afrimi, Parth Mannan, Victor Cui, Michael Evans, Katherine Luna, Jie Lou, Pinky Xu, Guyue Huang, Negar Habibi, Michael Boone, Pradeep Thalasta, Adeola Adesoba, Dina Yared, Christopher Parisien, Leon Derczynski, Shaona Ghosh, Wes Feely, Micah Schaffer, Radha Sri-Tharan, Jeffrey Glick, Barnaby Simkin, George Zelenfroynd, Tomasz Grzegorzek, Rishabh Garg, Aastha Jhunjhunwala, Sergei Kolchenko, Farzan Memarian, Haran Kumar, Shiv Kumar, Isabel Hulseman, Anjali Shah, Kari Briski, Padmavathy Subramanian, Joey Conway, Udi Karpas, Jane Polak Scowcroft, Annie Surla, Shilpa Ammireddy, Ellie Evans, Jesse Oliver, Tom Balough, Chia-Chih Chen, Sandip Bhaskar, Alejandra Rico, Bardiya Sadeghi, Seph Mard, Katherine Cheung, Meredith Price, Laya Sleiman, Saori Kaji, Wesley Helmholz, Wendy Quan, Michael Lightstone, Jonathan Cohen, Jian Zhang, Oleksii Kuchaiev, Boris Ginsburg, Jan Kautz, Eileen Long, Mohammad Shoeybi, Mostofa Patwary, Oluwatobi Olabiyi, Andrew Tao, Bryan Catanzaro, Udi Karpas

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg Heinrich, Guo Chen, Lukas Voegtle, Philipp Fischer, Timo Roman, Karan Sapra, Collin McCarthy, Shaokun Zhang, Fuxiao Liu, Hanrong Ye, Yi Dong, Mingjie Liu, Yifan Peng, Piotr Zelasko, Zhehuai Chen, Nithin Rao Koluguri, Nune Tadevosyan, Lilit Grigoryan, Ehsan Hosseini Asl, Pritam Biswas, Leili Tavabi, Yuanhang Su, Zhiding Yu, Peter Jin, Alexandre Milesi, Netanel Haber, Yao Xu, Sarah Amiraslani, Nabin Mulepati, Eric Tramel, Jaehun Jung, Ximing Lu, Brandon Cui, Jin Xu, Zhiqi Li, Shihao Wang, Yuanguo Kuang, Shaokun Zhang, Huck Yang, Boyi Li, Hongxu Yin, Song Han, Pavlo Molchanov, Adi Renduchintala, Charles Wang, David Mosallanezhad, Soumye Singhal, Luis Vega, Katherine Cheung, Sreyan Ghosh, Yian Zhang, Alexander Bukharin, Venkat Srinivasan, Johnny Greco, Andre Manoel, Maarten Van Segbroeck, Suseella Panguliri, Rohit Watve, Divyanshu Kakwani, Shubham Pachori, Jeffrey Glick, Radha Sri-Tharan, Aileen Zaman, Khanh Nguyen, Shi Chen, Jiaheng Fang, Qing Miao, Wenfei Zhou, Yu Wang, Zaid Pervaiz Bhat, Varun Praveen, Arihant Jain, Ramanathan Arunachalam, Tomasz Kornuta, Ashton Sharabiani, Amy Shen, Wei Huang, Yi-Fu Wu, Ali Roshan Ghias, Huiying Li, Brian Yu, Nima Tajbakhsh, Chen Cui, Wenwen Gao, Li Ding, Terry Kong, Manoj Kilaru, Anahita Bhiwandiwalla, Marek Wawrzos, Daniel Korzekwa, Pablo Ribalta, Grzegorz Chlebus, Besmira Nushi, Ewa Dobrowolska, Maciej Jakub Mikulski, Kunal Dhawan, Steve Huang, Jagadeesh Balam, Yongqiang Wang, Nikolay Karpov, Valentin Mendelev, George Zelenfroynd, Meline Mkrtchyan, Qing Miao, Omri Almog, Bhavesh Pawar, Rameshwar Shivbhakta, Sudeep Sabnis, Ashrton Sharabiani, Negar Habibi, Geethapriya Venkataramani, Pamela Peng, Prerit Rodney, Serge Panev, Richard Mazzarese, Nicky Liu, Michael Fukuyama, Andrii Skliar, Roger Waleffe, Duncan Riach, Yunheng Zou, Jian Hu, Hao Zhang, Binfeng Xu, Yuhao Yang, Zuhair Ahmed, Alexandre Milesi, Carlo del Mundo, Chad Voegele, Zhiyu Cheng, Nave Assaf, Andrii Skliar, Daniel Afrimi, Natan Bagrov, Ran Zilberstein, Ofri Masad, Eugene Khvedchenia, Natan Bagrov, Borys Tymchenko, Tomer Asida, Daniel Afrimi, Parth Mannan, Victor Cui, Michael Evans, Katherine Luna, Jie Lou, Pinky Xu, Guyue Huang, Negar Habibi, Michael Boone, Pradeep Thalasta, Adeola Adesoba, Dina Yared, Christopher Parisien, Leon Derczynski, Shaona Ghosh, Wes Feely, Micah Schaffer, Radha Sri-Tharan, Jeffrey Glick, Barnaby Simkin, George Zelenfroynd, Tomasz Grzegorzek, Rishabh Garg, Aastha Jhunjhunwala, Sergei Kolchenko, Farzan Memarian, Haran Kumar, Shiv Kumar, Isabel Hulseman, Anjali Shah, Kari Briski, Padmavathy Subramanian, Joey Conway, Udi Karpas, Jane Polak Scowcroft, Annie Surla, Shilpa Ammireddy, Ellie Evans, Jesse Oliver, Tom Balough, Chia-Chih Chen, Sandip Bhaskar, Alejandra Rico, Bardiya Sadeghi, Seph Mard, Katherine Cheung, Meredith Price, Laya Sleiman, Saori Kaji, Wesley Helmholz, Wendy Quan, Michael Lightstone, Jonathan Cohen, Jian Zhang, Oleksii Kuchaiev, Boris Ginsburg, Jan Kautz, Eileen Long, Mohammad Shoeybi, Mostofa Patwary, Oluwatobi Olabiyi, Andrew Tao, Bryan Catanzaro, Udi Karpas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een superintelligente assistent voor die zijn hele leven boeken heeft gelezen en naar afbeeldingen heeft gekeken. Ze is briljant in tekst en afbeeldingen, maar als je probeerde met hen te praten of hen een video met geluid liet zien, zouden ze in de war raken.

Nemotron 3 Nano Omni is NVIDIA's nieuwe versie van deze assistent. Het is alsof je die assistent een paar oren en een videocamera geeft, terwijl je hen tegelijkertijd leert informatie veel sneller en efficiënter te verwerken.

Hier is een eenvoudige uiteenzetting van wat dit nieuwe model speciaal maakt, met behulp van alledaagse analogieën:

1. De "Alles-in-één"-upgrade

Voorheen kon de assistent (Nemotron Nano V2) alleen tekst lezen en naar statische afbeeldingen kijken. De nieuwe Nemotron 3 Nano Omni is "omni-modaal", wat een ingewikkelde manier is om te zeggen dat het alles tegelijk aankan: tekst, afbeeldingen, video en audio.

De analogie: Denk aan het oude model als een bibliothecaris die alleen boeken kan lezen. Het nieuwe model is een bibliothecaris die boeken kan lezen, films kan kijken, naar podcasts kan luisteren en je vervolgens kan vertellen hoe al die dingen met elkaar verbonden zijn.

2. Het "Brein" en de "Zintuigen"

Het model is gebouwd op een zeer efficiënt brein genaamd Nemotron 3 Nano 30B-A3B. Dit brein is een "Mixture of Experts" (MoE), wat lijkt op een team van specialisten waarbij alleen de juiste experts wakker worden om een specifiek probleem op te lossen, waardoor energie wordt bespaard.

De zintuigen: Om de nieuwe invoer te verwerken, hebben ze twee nieuwe "sensoren" toegevoegd:
- Visie: Een high-tech camerasysteem (C-RADIOv4-H) dat kijkt naar afbeeldingen en video's.
- Horen: Een verfijnd oor (Parakeet-TDT) dat spraak, muziek en omgevingsgeluiden begrijpt.

3. Slimmere manieren om te kijken en te luisteren

Het artikel benadrukt drie slimme trucs die het model gebruikt om niet overweldigd te raken door te veel data:

Dynamische resolutie (De flexibele lens): In plaats van elke foto in een klein, vast vierkant te persen (wat details kost), past het model zijn kijkhoek aan als een camera die in- of uitzoomt om de natuurlijke vorm van de afbeelding te behouden.
Videocompressie (De timelapse): Bij het bekijken van een video kijkt het model niet naar elk enkel frame als deze identiek zijn. Het gebruikt een "3D Convolutie"-truc om paren frames samen te voegen, waardoor het aantal "frames" dat het moet verwerken effectief met de helft wordt verminderd.
Audiofragmenten (De geluidsfragmenten): In plaats van een 2 uur durende podcast als één groot blok ruis te beluisteren, breekt het de audio op in 30-seconden clips, waardoor het gemakkelijker wordt om de flow van het gesprek te begrijpen.

4. Het "Opleidingskamp" (Hoe het leerde)

Je kunt niet zomaar een camera aansluiten en verwachten dat het model direct films begrijpt. Het team gebruikte een gestructureerd trainingsrecept, zoals een student die door school stapt:

Fase 0-1: Eerst leerden ze het model om afbeeldingen en tekst samen te begrijpen.
Fase 2-3: Vervolgens leerden ze het om naar audio te luisteren en te spreken.
Fase 4-6: Tot slot brachten ze alles samen. Ze voerden enorme hoeveelheden data aan (meer dan 466 miljard "tokens" of woorden) die lange documenten, uren aan video en complexe gesprekken bevatten.
De "Versterkende Leer"-fase: Na de initiële training speelden ze een spel van "Probeer, Faal, Slag". Ze gaven het model problemen, controleerden of het het juiste antwoord gaf, en beloonden het voor logisch denken. Dit is vergelijkbaar met een coach die wedstrijdfilmpjes bekijkt met een atleet om hun strategie te verbeteren.

5. Snelheid en efficiëntie

Een van de grootste claims in het artikel is dat dit model ongelooflijk snel is.

De analogie: Als andere modellen van vergelijkbare grootte lijken op een sportauto die vastzit in het verkeer, dan is Nemotron 3 Nano Omni een hogesnelheidstrein. Het gebruikt speciale technieken om onnodige stappen over te slaan, waardoor het lange video's en enorme documenten veel sneller kan verwerken dan zijn concurrenten.
Het resultaat: Op NVIDIA's nieuwste chips (B200) kan het 3 tot 9 keer sneller tekstoutput produceren dan vergelijkbare modellen, terwijl het minder geheugen gebruikt.

6. Wat het daadwerkelijk kan (Gebaseerd op het artikel)

Het artikel testte dit model op specifieke uitdagingen, en het presteerde zeer goed in:

Documenten lezen: Het kan complexe grafieken, tabellen en lange rapporten (zoals financiële documenten) beter begrijpen dan vorige versies.
Video's begrijpen: Het kan een lange video met geluid bekijken en vragen beantwoorden over wat er gebeurde, waarom het gebeurde en de volgorde van gebeurtenissen.
Computerbesturing: Het kan naar een computerscherm (GUI) kijken en uitzoeken welke knoppen er moeten worden geklikt om een taak te voltooien (zoals het boeken van een vlucht of het invullen van een formulier).
Spraakinteractie: Het kan een gesprek voeren, accenten begrijpen en vragen beantwoorden op basis van wat het hoort.

7. Open voor iedereen

Tot slot kondigt het artikel aan dat NVIDIA de "blauwdrukken" en het "opleidingsmateriaal" deelt. Ze brengen het model in verschillende maten uit (standaard, gecomprimeerd en ultra-gecomprimeerd) en delen zelfs een deel van de data en de code die ze gebruikten om het te bouwen. Dit is alsof je het recept en de ingrediënten aan de hele wereld geeft, zodat andere wetenschappers hun eigen versies kunnen bouwen of deze kunnen verbeteren.

Samenvattend: Nemotron 3 Nano Omni is een snellere, slimmere, multi-sensorische assistent die tegelijkertijd kan lezen, kijken en luisteren, ontworpen om lange en complexe taken aan te kunnen zonder vast te lopen.

Technische Samenvatting: Nemotron 3 Nano Omni

1. Probleemstelling

Het veld van multimodaal AI evolueert snel, maar bestaande modellen staan voor aanzienlijke uitdagingen bij het balanceren van efficiëntie, natieve audiosteun en redeneren in lange context. Vorige iteraties behandelden audio vaak als een nagedachte of leunden op zware, dichte architecturen die lijden onder hoge inferentielatentie en doorvoerbeperkingen. Bovendien vereist het verwerken van langere video's en documenten met audio enorme tokenaantallen, wat leidt tot onbetaalbare rekenkosten. Er is een kritieke behoefte aan een omnimodaal model (tekst, afbeelding, video, audio) dat:

Audio natief verwerkt naast andere modaliteiten zonder prestatieverlies.
Hoge redeneercapaciteiten behoudt over alle modaliteiten heen.
Superieure inferentie-efficiëntie bereikt (lage latentie, hoge doorvoer) die geschikt is voor real-world agentische toepassingen.
Ultra-lange contexten ondersteunt (tot 256K tokens) voor complexe document- en videoanalyse.

2. Methodologie

2.1 Modelarchitectuur

Nemotron 3 Nano Omni is gebouwd op een Mixture-of-Experts (MoE) hybride backbone, specifiek de Nemotron 3 Nano 30B-A3B (30B totale parameters, 3B actief). De architectuur volgt een Encoder-Projector-Decoder-ontwerp:

LLM Backbone: Het 30B-A3B MoE-model biedt de kernredenering en taalcapaciteiten.
Visie-encoder: Gebruikt C-RADIOv4-H1, een hoogpresterend visueel fundamenteel model.
Audio-encoder: Gebruikt Parakeet-TDT-0.6B-v2, een FastConformer-gebaseerde encoder voor spraak- en audioverstaan.
Connectoren: Modality-specifieke MLP-projectoren aligneren visie- en audi tokens met de embedding-ruimte van de LLM.

Belangrijke architecturale innovaties:

Dynamische afbeeldingsresolutie: Vervangt statische tegelvorming door een dynamische strategie die native aspectverhoudingen behoudt, en beelden decomposeert in variabele $16 \times 16$ patches (1.024–13.312 tokens).
Temporale videocompressie: Introduceert Conv3D-gebaseerde temporale compressie, waarbij elke twee opeenvolgende frames worden samengevoegd tot één "tubelet" voordat het ViT-blok wordt bereikt, wat temporale tokens met 2× reduceert.
Audio-tokenisatie: Audio wordt opnieuw bemonsterd naar 16 kHz, gecodeerd via log-mel-spectrogrammen, en gedownsampt naar ~12,5 tokens/seconde.
Contextlengte: Ondersteunt tot 256K tokens, waardoor analyse van lange documenten en uitgebreide video-/audiostromen mogelijk is.

2.2 Trainingsstrategie

Het model maakt gebruik van een meervoudig curriculumlering-benadering om stabiele cross-modale alignatie te garanderen en catastrofaal vergeten te voorkomen:

Fase 0 (Visie-warmup): Traint alleen de visie-projector (16k context).
Fase 1 (Visie SFT): Gezamenlijke visie-taal fine-tuning met hoogwaardige synthetische data (Qwen3-VL, Kimi-K2.5).
Fase 2 (Audio-warmup): Traint de audio-projector met ASR-data (Granary v1.1).
Fase 3 (Audio-encoder & Proj): Vrijgeven van de audio-encoder voor gezamenlijke training op geluid, muziek en spraak.
Fase 4 (Gezamenlijke Omni SFT 16k): Volledige modeltraining op een mix van visie-, audio-, video- en tekstdata.
Fase 5 (Omni SFT 48k): Breidt context uit naar 48k, met nadruk op lange video- en redeneringsdata.
Fase 6 (Omni SFT 256k): Breidt context uit naar 256k, met focus op ultra-lange documenten en tekstredenering.
Versterkend leren (RL): Post-training via Mixed Preference Optimization (MPO) en Group Sequence Policy Optimization (GSPO) over tekst, afbeelding, video en audio modaliteiten om redeneren en veiligheid te verbeteren.

2.3 Efficiëntietechnieken

Efficiënte video-bemonstering (EVS): Een runtime-pruningmechanisme dat redundante videotokens verwijdert op basis van cosinusdissimilariteit, wat de tokenaantallen verder reduceert na het ViT.
Quantisatie: Geeft modellen vrij in BF16, FP8 en NVFP4 (4,98 effectieve bits/gewicht) formaten, wat aanzienlijke geheugenvoorzieningen oplevert met minimaal verlies aan nauwkeurigheid (<1% mediane daling).

3. Belangrijkste Bijdragen

Natieve Omni-modale Ondersteuning: Eerste in de Nemotron-serie die audio-invoer natief ondersteunt naast tekst, afbeeldingen en video, waardoor echte cross-modale redenering mogelijk wordt.
State-of-the-Art Efficiëntie: Levert 3× hogere doorvoer dan zijn voorganger (Nemotron Nano V2 VL) en 7,5× hogere doorvoer dan Qwen3-Omni op NVIDIA B200 GPU's, terwijl lage latentie wordt behouden.
Geavanceerde Tokenreductie: Combineert Conv3D-temporale compressie en EVS om videotokens met maximaal 70% te reduceren, wat inferentiekosten drastisch verlaagt.
Ultra-lange Context: Schaleert succesvol naar 256K contextlengte, en presteert beter dan voorgangers in het begrijpen van lange documenten en lange video's.
Open Release: Biedt modelcheckpoints (BF16, FP8, FP4), trainingsdatasets (~6,9M samples), datapipelines en code (Megatron-Bridge, NeMo-RL) aan de gemeenschap.

4. Resultaten

4.1 Prestatiebenchmarks

Nemotron 3 Nano Omni bereidt toonaangevende of concurrerende resultaten over diverse modaliteiten:

Document & OCR: Top-tier prestaties op OCRBench-V2 (88,3), MMLongBench-DOC (46,1) en ChartQA (89,9).
Visuele Redenering: Sterke scores op MMMU (55,2), MathVista-Mini (71,9) en RefCOCO (80,6).
Audio & Stem: Presteert beter dan Qwen3-Omni op VoiceBench (89,4 gemiddeld) en bereikt concurrerende OpenASR-resultaten (5,95 WER gemiddeld).
Omni-modaal (Video+Audio): Leidt op DailyOmni (74,5) en WorldSense (55,2), wat superieure temporale en cross-modale alignatie aantoont.
Tekstredenering: Behoudt de sterke redeneercapaciteiten van de basis 30B-A3B LLM (bijv. MMLU-Pro: 77,3, GPQA: 72,2).

4.2 Efficiëntiemetrieken

Doorvoer: Op een enkele NVIDIA B200 bereikt het 5.000 outputtokens/s op multi-documentwerklasten en >500 tokens/s in single-stream lage-latentiemodus.
Latentie: Time-to-First-Token (TTFT) wordt met 33% gereduceerd (van ~8s naar ~5,3s) bij combinatie van Conv3D en EVS.
Quantisatie: De NVFP4-versie verkleint het model van 61,5 GB (BF16) naar 20,9 GB met verwaarloosbare nauwkeurigheidsdegradatie.

5. Betekenis

Nemotron 3 Nano Omni vertegenwoordigt een grote sprong voorwaarts in efficiënte, open en agentische multimodale intelligentie. Door de afweging tussen modelcapaciteit en inferentiekosten op te lossen, maakt het mogelijk:

Real-world Implementatie: De hoge doorvoer en lage latentie maken het levensvatbaar voor realtime agenten, zoals autonome GUI-controllers en stemassistenten.
Analyse van Lange Vormen: De 256K context en tokenreductietechnieken staan analyse toe van volledige boeken, financiële rapporten en uur-lange video's zonder geheugenknelpunten.
Vooruitgang van de Gemeenschap: De open release van checkpoints, data en trainingspipelines democratiseert de toegang tot state-of-the-art omni-modale trainingsrecepten, wat verdere research in efficiënt multimodaal AI stimuleert.

Dit werk vestigt een nieuwe standaard voor open-source omni-modale modellen, en bewijst dat hoogpresterende redenering over tekst, visie en audio haalbaar is met een compacte, efficiënte architectuur.