1. 문제 정의 (Problem)

기존의 멀티모달 대규모 언어 모델 (MLLM) 은 시각 (Vision), 음성 (Speech), 언어 (Language) 등 다양한 모달리티를 통합하는 데 있어 몇 가지 근본적인 한계를 겪고 있습니다.

• 통합의 어려움: 인간은 자연스럽게 여러 감각을 결합하여 학습하고 표현하지만, 기존 모델들은 이해 (Perception) 와 생성 (Generation) 을 분리하거나, 모달리티 간의 표현 차이 (Representational Disparities) 와 불균형으로 인해 통합된 'Omni-MLLM'을 구축하는 데 어려움을 겪습니다.
• 효율성과 용량의 트레이드오프: 모델의 성능을 높이기 위해 파라미터 수를 늘리면 추론 비용과 지연 시간이 급증합니다. 대규모 모델을 유지하면서도 효율적인 스케일링을 달성하는 것이 과제였습니다.
• 세부 제어 및 정밀도 부족: 이미지 생성 시 정밀한 공간 제어, 텍스트 렌더링, 신원 (Identity) 보존, 그리고 음성 생성 시 연속적인 음성과 효과음의 자연스러운 결합 등에서 한계가 있었습니다.

2. 방법론 (Methodology)

저자들은 Ming-Flash-Omni를 제안하며, 이는 기존 Ming-Omni 아키텍처를 기반으로 Ling-Flash-2.0의 희소 혼합 전문가 (Sparse Mixture-of-Experts, MoE) 구조를 차용하여 설계되었습니다.

핵심 아키텍처

• 희소 MoE 구조: 총 1000 억 (100B) 개의 파라미터를 가지지만, 토큰당 활성화되는 파라미터는 61 억 (6.1B) 개에 불과합니다. 이는 계산 효율성을 극대화하면서도 모델의 전체 용량을 확장하는 '스파스 (Sparse)' 설계를 적용한 것입니다.
• 이중 밸런싱 스킴: 학습 안정성과 효율성을 동시에 확보하기 위한 전문가 라우팅 (Expert Routing) 메커니즘을 도입했습니다.

주요 기술적 혁신

1. 이해 (Understanding) 측면:

   • Time-Interleaved VideoRoPE: 비디오 프레임에 타임스탬프를 교차 배치하여 각 시각 토큰을 정확한 시간적 위치와 정렬시킴으로써, 비디오의 시간적 역동성을 정밀하게 포착합니다.
   • Context-Aware ASR: 주변 언어적 맥락을 활용하여 동음이의어, 사투리, 불분명한 발음 등을 정확히 인식하는 컨텍스트 기반 음성 인식 능력을 강화했습니다.
   • 멀티턴 크로스-태스크 이해: 단일 대화 세션 내에서 시각 QA, 오디오 캡셔닝, 문서 분석 등 이질적인 이해 태스크 간에 원활하게 전환할 수 있습니다.

2. 생성 (Generation) 측면:

   • 연속 음향 잠재 공간 (Continuous Acoustic Latents): 이산적인 (Discrete) 음성 토큰을 제거하고 연속적인 음향 잠재 변수를 사용하여 양자화 아티팩트를 없애고, 자연스러운 TTS(텍스트 - 음성 변환) 및 음악/효과음의 결합 생성을 가능하게 했습니다.
   • 생성적 의미 분할 (Generative Semantic Segmentation): 이미지 분할을 단순한 이진 마스크 생성이 아닌, "바나나를 보라색으로 칠하라"와 같은 생성적 편집 태스크로 재정의하여 이해와 생성을 긴밀하게 결합했습니다.
   • 단일 스트림 확산 트랜스포머 (Single-Stream Diffusion Transformer): 텍스트, 이미지, 기타 모달리티를 단일 토큰 공간으로 매핑하여 교차 모달 어텐션을 수행함으로써, 기존 듀얼 스트림 방식의 '복사 - 붙여넣기' 아티팩트를 제거하고 전역적인 의미적 일관성을 확보했습니다.
   • 강화 학습 (RL) 프레임워크: SDE 솔버를 사용하지 않고 확산 단계의 부분 집합을 최적화하여 학습 속도를 높였으며, 다차원 보상 (현실성, 지시 준수, 미적 품질 등) 을 통해 과적합을 방지했습니다.

3. 인프라 및 데이터:

   • 데이터 구성: 지식 기반 엔티티 인식, STEM 추론, OCR, 안전성, 그리고 다양한 방언과 도메인을 포함한 대규모 오디오/비디오 데이터를 구축했습니다.
   • 학습 최적화: 데이터 이질성 (Dynamic Batch, Variable Length) 과 모델 이질성 (Encoder-Decoder 비대칭) 을 해결하기 위해 시퀀스 패킹 (Sequence Packing) 과 유연한 병렬화 전략을 적용하여 Megatron-LM 기반의 학습 속도를 58~69% 향상시켰습니다.

3. 주요 기여 (Key Contributions)

• 효율적인 초대규모 모델: 100B 파라미터 규모이지만 6.1B 만 활성화되는 희소 MoE 아키텍처를 통해 AGI(인공일반지능) 로 가는 중요한 단계인 대규모 멀티모달 능력을 효율적으로 구현했습니다.
• 완벽한 통합 (Unified Intelligence): 하나의 모델이 시각, 음성, 언어의 이해와 생성을 모두 수행하며, 멀티턴 대화에서 모달리티 간 전환이 매끄럽습니다.
• 새로운 생성 패러다임:
  • 생성적 분할: 픽셀 수준의 의미론적 편집이 가능한 새로운 분할 패러다임 도입.
  • 고충실도 텍스트 렌더링 및 신원 보존: 이미지 내 텍스트 렌더링 정확도와 인물 신원 유지 능력을 대폭 향상.
  • 다방언 및 컨텍스트 인식 음성: 중국어 방언 및 다양한 도메인에서의 음성 인식 및 생성 성능을 획기적으로 개선.

4. 실험 결과 (Results)

Ming-Flash-Omni 는 50 개 이상의 공개 및 자체 벤치마크에서 최첨단 (SOTA) 또는 동급의 성능을 입증했습니다.

• 시각 - 텍스트 이해:
  • Gemini 2.5 Pro와 견줄 만한 종합 점수를 기록했습니다.
  • MMStar (74.9), MMVet (85.6), HallusionBench (66.1) 등 시각 추론 및 환각 (Hallucination) 감소 벤치마크에서 우수한 성능을 보였습니다.
  • Wiki Knowledge 벤치마크에서 타 오픈 모델 대비 압도적인 사실 기반 지식 (64.6 vs ≤48.7) 을 입증했습니다.
• 이미지 생성 및 편집:
  • GenEval 벤치마크에서 모든 이전 방법을 능가하는 제어 능력을 보였습니다.
  • DPG-Bench에서 86.98 점으로 Qwen-Image(88.32) 에 근접하며, 순수 확산 모델 (SD3-Medium 등) 을 크게 앞섰습니다.
  • 이미지 편집 (GEdit-Bench) 및 분할 (RefCOCO) 태스크에서 전문 모델과 견줄 만한 성능을 내며, 통합 모델 중 가장 강력한 성능을 발휘했습니다.
• 음성 이해 및 생성:
  • ContextASR: 컨텍스트 인식 음성 인식에서 평균 오차율 (WER) 이 가장 낮았습니다.
  • 방언 인식: 사투리 (Sichuanese 등) 및 다양한 중국어 방언 인식에서 CosyVoice3 등 기존 모델을 능가하는 정확도를 보였습니다.
  • TTS: SEED-TTS-Eval 및 ZipVoice-Dia 벤치마크에서 오픈 소스 모델 중 SOTA 성능을 달성했습니다.
• 비디오 스트리밍 대화:
  • StreamingMultiturnBench에서 정확도, 완전성, 관련성, 자연스러움, 주도성 등 모든 지표에서 Gemini 2.5 Pro 및 Qwen3-Omni를 상회하거나 견줄 만한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• AGI 로의 도약: 단일 통합 모델이 인간과 유사한 멀티모달 지능 (지각, 추론, 생성, 상호작용) 을 실현할 수 있음을 입증했습니다.
• 실용성: 희소 MoE 구조를 통해 계산 비용을 줄이면서도 모델 용량을 확장하여, 실제 환경에서의 적용 가능성을 높였습니다.
• 개방성: 모델과 코드를 오픈소스로 공개함으로써 멀티모달 지능 연구의 발전과 AGI 실현을 위한 기반을 마련했습니다.

결론적으로, Ming-Flash-Omni는 효율성, 통합성, 그리고 생성 제어의 정밀성 측면에서 멀티모달 AI 의 새로운 기준을 제시한 획기적인 연구입니다.