기술 요약: Nemotron 3 Nano Omni

1. 문제 제기

멀티모달 AI 분야는 빠르게 진화하고 있지만, 기존 모델들은 효율성, 네이티브 오디오 지원, 그리고 장기 컨텍스트 추론 사이의 균형을 맞추는 데 상당한 어려움을 겪고 있습니다. 이전 버전들은 오디오를 사후 고려 사항으로 취급하거나, 높은 추론 지연 시간과 처리량 제한으로 고통받는 무겁고 밀집된 아키텍처에 의존하는 경우가 많았습니다. 또한 오디오가 포함된 장편 비디오와 문서를 처리하려면 막대한 토큰 수가 필요하여 계산 비용이 prohibitive(부담스러울 정도로 큼) 해집니다. 따라서 다음과 같은 요구 사항을 충족하는 오미-모달 모델(텍스트, 이미지, 비디오, 오디오) 이 시급히 필요합니다:

• 성능 저하 없이 다른 모달리티와 함께 오디오를 네이티브로 처리합니다.
• 모든 모달리티에서 높은 추론 능력을 유지합니다.
• 실제 에이전트 애플리케이션에 적합한 우수한 추론 효율성 (낮은 지연 시간, 높은 처리량) 을 달성합니다.
• 복잡한 문서 및 비디오 분석을 위해 초장기 컨텍스트 (최대 256K 토큰) 를 지원합니다.

2. 방법론

2.1 모델 아키텍처

Nemotron 3 Nano Omni 는 혼합 전문가 (MoE) 하이브리드 백본인 Nemotron 3 Nano 30B-A3B(총 30B 파라미터, 활성 3B) 를 기반으로 구축되었습니다. 아키텍처는 인코더-프로젝터-디코더 설계를 따릅니다:

• LLM 백본: 30B-A3B MoE 모델이 핵심 추론 및 언어 능력을 제공합니다.
• 비전 인코더: 고성능 비전 파운데이션 모델인 C-RADIOv4-H1을 활용합니다.
• 오디오 인코더: 음성 및 오디오 이해를 위한 FastConformer 기반 인코더인 Parakeet-TDT-0.6B-v2를 사용합니다.
• 커넥터: 모달리티별 MLP 프로젝터가 비전 및 오디오 토큰을 LLM 의 임베딩 공간에 정렬합니다.

주요 아키텍처 혁신:

• 동적 이미지 해상도: 정적 타일링을 대체하여 네이티브 종횡비를 유지하는 동적 전략을 도입하며, 이미지를 가변적인 $16 \times 16$ 패치 (1,024–13,312 토큰) 로 분해합니다.
• 시간적 비디오 압축: ViT 블록 전에 매 2 개의 연속된 프레임을 단일 "튜브릿"으로 융합하는 Conv3D 기반 시간적 압축을 도입하여 시간적 토큰을 2 배 줄입니다.
• 오디오 토큰화: 오디오는 16kHz 로 리샘플링되고, 로그-멜 스펙트로그램을 통해 인코딩되며, 초당 약 12.5 토큰으로 다운샘플링됩니다.
• 컨텍스트 길이: 256K 토큰까지 지원하여 긴 문서 및 확장된 비디오/오디오 스트림 분석을 가능하게 합니다.

2.2 학습 전략

모델은 안정적인 교차 모달 정렬을 보장하고 재앙적 망각을 방지하기 위해 다단계 커리큘럼 학습 방식을 채택합니다:

1. 단계 0 (비전 웜업): 16k 컨텍스트로 비전 프로젝터만 학습합니다.
2. 단계 1 (비전 SFT): 고품질 합성 데이터 (Qwen3-VL, Kimi-K2.5) 를 활용한 공동 비전 - 언어 파인튜닝.
3. 단계 2 (오디오 웜업): ASR 데이터 (Granary v1.1) 를 사용하여 오디오 프로젝터를 학습합니다.
4. 단계 3 (오디오 인코더 및 프로젝터): 사운드, 음악, 음성에 대한 공동 학습을 위해 오디오 인코더의 가중치를 해제합니다.
5. 단계 4 (공동 오미 SFT 16k): 비전, 오디오, 비디오, 텍스트 데이터가 혼합된 전체 모델 학습.
6. 단계 5 (오미 SFT 48k): 컨텍스트를 48k 로 확장하고 긴 비디오 및 추론 데이터에 중점을 둡니다.
7. 단계 6 (오미 SFT 256k): 컨텍스트를 256k 로 확장하여 초장기 문서 및 텍스트 추론에 집중합니다.
8. 강화 학습 (RL): 텍스트, 이미지, 비디오, 오디오 모달리티 전반에 걸쳐 혼합 선호도 최적화 (MPO) 및 그룹 시퀀스 정책 최적화 (GSPO) 를 통한 후속 학습으로 추론 및 안전성을 강화합니다.

2.3 효율성 기법

• 효율적 비디오 샘플링 (EVS): ViT 이후 토큰 수를 추가로 줄이기 위해 코사인 비유사도를 기반으로 불필요한 비디오 토큰을 제거하는 런타임 가지치기 메커니즘입니다.
• 양자화: BF16, FP8, NVFP4(가중치당 유효 4.98 비트) 형식으로 모델을 출시하여 최소한의 정확도 손실 (<1% 중앙값 감소) 로 상당한 메모리 절감을 달성합니다.

3. 주요 기여

1. 네이티브 오미-모달 지원: 텍스트, 이미지, 비디오와 함께 오디오 입력을 네이티브로 지원하는 Nemotron 시리즈 최초의 모델로, 진정한 교차 모달 추론을 가능하게 합니다.
2. 최첨단 효율성: 전작 (Nemotron Nano V2 VL) 보다 3 배 높은 처리량을, NVIDIA B200 GPU 에서 Qwen3-Omni 보다 7.5 배 높은 처리량을 제공하면서도 낮은 지연 시간을 유지합니다.
3. 고급 토큰 감소: Conv3D 시간적 압축과 EVS를 결합하여 비디오 입력 토큰을 최대 **70%**까지 줄여 추론 비용을 획기적으로 낮춥니다.
4. 초장기 컨텍스트: 256K 컨텍스트 길이로 성공적으로 확장되어 긴 문서 이해 및 긴 비디오 이해에서 이전 모델을 능가합니다.
5. 오픈 릴리스: 모델 체크포인트 (BF16, FP8, FP4), 학습 데이터셋 (약 690 만 개 샘플), 데이터 파이프라인, 코드 (Megatron-Bridge, NeMo-RL) 를 커뮤니티에 제공합니다.

4. 결과

4.1 성능 벤치마크

Nemotron 3 Nano Omni 는 다양한 모달리티에서 선도적이거나 경쟁력 있는 결과를 달성합니다:

• 문서 및 OCR: OCRBench-V2(88.3), MMLongBench-DOC(46.1), ChartQA(89.9) 에서 최상위권 성능을 보입니다.
• 비전 추론: MMMU(55.2), MathVista-Mini(71.9), RefCOCO(80.6) 에서 강력한 점수를 기록합니다.
• 오디오 및 음성: VoiceBench(평균 89.4) 에서 Qwen3-Omni 를 능가하며, OpenASR 결과 (평균 WER 5.95) 에서 경쟁력 있는 성과를 거둡니다.
• 오미-모달 (비디오+오디오): DailyOmni(74.5) 와 WorldSense(55.2) 에서 선두를 차지하여 우수한 시간적 및 교차 모달 정렬을 입증합니다.
• 텍스트 추론: 기본 30B-A3B LLM 의 강력한 추론 능력을 유지합니다 (예: MMLU-Pro: 77.3, GPQA: 72.2).

4.2 효율성 지표

• 처리량: 단일 NVIDIA B200 에서 다중 문서 워크로드 시 초당 5,000 개 출력 토큰을, 단일 스트림 저지연 모드 시 초당 500 개 이상 토큰을 달성합니다.
• 지연 시간: Conv3D 와 EVS 를 결합할 때 Time-to-First-Token (TTFT) 이 33% 감소합니다 (~8 초에서 ~5.3 초).
• 양자화: NVFP4 버전은 모델 크기를 61.5 GB(BF16) 에서 20.9 GB로 줄이면서 무시할 수 있는 정확도 저하를 보입니다.

5. 의의

Nemotron 3 Nano Omni 는 효율적이고 개방적이며 에이전트 기반의 멀티모달 지능에서 큰 도약을 의미합니다. 모델 능력과 추론 비용 간의 트레이드오프를 해결함으로써 다음과 같은 가능성을 열어줍니다:

• 실제 배포: 높은 처리량과 낮은 지연 시간으로 자율 GUI 컨트롤러 및 음성 비서와 같은 실시간 에이전트에 실용적으로 적용 가능합니다.
• 장편 분석: 256K 컨텍스트와 토큰 감소 기법으로 메모리 병목 현상 없이 전체 책, 재무 보고서, 1 시간 분량의 비디오를 분석할 수 있습니다.
• 커뮤니티 발전: 체크포인트, 데이터, 학습 파이프라인의 오픈 릴리스는 최첨단 오미-모달 학습 레시피에 대한 접근을 민주화하여 효율적인 멀티모달 AI 연구의 추가 발전을 촉진합니다.

이 작업은 오픈소스 오미-모달 모델의 새로운 기준을 수립하며, 텍스트, 비전, 오디오에 걸친 고성능 추론이 컴팩트하고 효율적인 아키텍처로 달성될 수 있음을 입증합니다.