Dynin-Omni: Omnimodal Unified Large Diffusion Language Model

1. 연구 배경 및 문제 제기 (Problem)

• 기존 모델의 한계: 현재 대부분의 범용 (Unified) 대규모 모델은 자기회귀 (Autoregressive, AR) 방식을 기반으로 합니다. AR 모델은 토큰을 순차적으로 생성하는 특성이 있어, 이미지나 음성처럼 본질적으로 순차적이지 않거나 병렬 처리가 필요한 모달리티 (Modality) 에 적합하지 않습니다. 이는 생성 과정의 병렬화 저하와 전역적 일관성 (Global Consistency) 부족을 초래합니다.
• 컴포지셔널 (Compositional) 방식의 복잡성: AR 기반의 이해 능력을 유지하면서 생성 능력을 보완하기 위해 외부 디퓨전 생성기나 특정 모달리티 전용 디코더를 결합하는 방식이 사용되고 있습니다. 그러나 이는 여러 개의 이질적인 학습 목적 (Objective) 을 요구하며, 모듈 간의 오케스트레이션 (Orchestration) 병목 현상을 유발하여 자연스러운 크로스-모달 (Cross-modal) 통합을 방해합니다.
• 마스크 디퓨전의 미활용: 최근 마스킹 디퓨전 (Masked Diffusion) 모델이 텍스트 분야에서 AR 대안으로 부상했으나, 기존 연구는 주로 텍스트 - 이미지 쌍에 국한되어 있었습니다. 비디오 이해, 고정밀 음성 인식 및 합성 등 더 풍부한 지각 스트림을 단일 아키텍처에 통합하는 '진정한 오미모달 (Omnimodal)' 모델은 존재하지 않았습니다.

2. 제안 방법론 (Methodology)

Dynin-Omni는 텍스트, 이미지, 음성, 비디오의 이해와 생성을 단일 아키텍처에서 마스킹 디퓨전 (Masked Diffusion) 기반으로 통합한 오픈소스 8B 규모 모델입니다.

2.1 아키텍처: 네이티브 오미모달 마스킹 디퓨전

• 공유 이산 토큰 공간 (Shared Discrete Token Space): 모든 모달리티 (텍스트, 이미지/비디오, 음성) 를 사전 학습된 토크나이저를 통해 공유된 이산 토큰 공간으로 매핑합니다.
• 단일 백본 (Single Backbone): 별도의 모달리티 전용 생성기나 디코더 없이, 하나의 트랜스포머 백본에서 모든 작업을 수행합니다.
• 반복적 마스킹 및 정제: 입력 토큰을 [MASK] 상태로 점진적으로 오염시키고, 나머지 컨텍스트를 조건으로 하여 마스킹된 토큰을 반복적으로 예측하고 정제하는 방식을 사용합니다. 이는 양방향 컨텍스트를 활용하여 전역적 일관성을 보장합니다.
• 모달리티별 디코딩 전략:
  • 텍스트/음성: 시간적 순서가 중요하므로 '블록 단위 병렬 디코딩 (Block-wise Parallel Decoding)'을 사용합니다.
  • 이미지: 공간적 구조이므로 '완전 병렬 디코딩 (Fully Parallel Decoding)'을 적용합니다.

2.2 학습 전략: 3 단계 학습 파이프라인

모델의 안정적 확장을 위해 3 단계 학습 전략을 도입했습니다.

1. Stage 1: 모달리티 적응 (Modality Adaptation)
   • 기존 백본 (MMaDA) 에 비디오와 음성 토큰을 추가하여 어휘를 확장합니다.
   • 텍스트를 의미적 앵커로 하여 새로운 모달리티를 정렬 (Alignment) 합니다 (비디오 캡셔닝, ASR, TTS 작업).
   • Scheduled Padding Prediction: 초기 단계에서는 <EOS> 토큰 예측을 배제하고, 의미 정렬에 집중하여 학습 안정성을 높입니다.
2. Stage 2: 오미모달 SFT 및 모델 머지 (Omnimodal SFT & Model Merging)
   • 모달리티 분리형 모델 머지 (Modality-Disentangled Model Merging): Stage 1 학습 후 발생하는 기존 능력 (텍스트/이미지) 의 망각 (Catastrophic Forgetting) 을 방지하기 위해, 원본 백본과 Stage 1 모델을 병합합니다.
     • 어휘 확장으로 인한 차원 불일치 (Embedding/LM Head) 를 해결하기 위해, 기존 어휘 관련 파라미터는 원본을 유지하고 새로운 어휘 (음성 등) 관련 파라미터는 Stage 1 모델에서 가져옵니다. 나머지 파라미터는 선형 보간 (Linear Interpolation) 합니다.
   • 모든 모달리티 (텍스트, 이미지, 비디오, 음성) 의 데이터를 혼합하여 단일 목적 함수 하에 공동 학습 (Joint Training) 을 수행합니다.
3. Stage 3: 능력 확장 (Continual SFT)
   • 추론 능력 강화 (Chain-of-Thought, Thinking Mode), 고해상도 이미지 생성/편집, 긴 문맥 음성 생성 (최대 21 초) 등 고급 능력을 학습합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 오픈소스 8B 규모 네이티브 오미모달 마스킹 디퓨전 모델: 텍스트, 이미지, 음성, 비디오의 이해와 생성을 별도의 외부 생성기 없이 단일 마스킹 디퓨전 백본에서 통합했습니다.
2. 모달리티 분리형 멀티 스테이지 학습: 새로운 모달리티 확장 시 발생하는 기존 지식의 망각을 방지하기 위해 '모달리티 분리형 모델 머지'와 '계획된 패딩 예측 학습'을 도입하여 안정적인 학습을 가능하게 했습니다.
3. 균형 잡힌 강력한 성능: 단일 아키텍처를 유지하면서도 전문 모델 (Expert Systems) 에 필적하는 성능을 달성하여, 범용 AI 에이전트와 실시간 오미모달 시스템의 기초를 마련했습니다.

4. 평가 결과 (Results)

19 개의 다양한 멀티모달 벤치마크에서 기존 오픈소스 통합 모델 (Show-o2, HyperCLOVAX-Omni, NExT-OMNI 등) 과 전문 모델을 비교 평가했습니다.

• 텍스트 추론: GSM8K 에서 87.6점을 기록하여 전문 모델 (Qwen2.5-Omni: 88.7) 과 유사한 수준을 유지하면서도 통합 기능을 제공합니다.
• 멀티모달 이해:
  • 이미지 이해 (MME-P): 1733.6 (통합 모델 중 최상위).
  • 비디오 이해 (VideoMME): 61.4 (Show-o2, HyperCLOVAX-Omni 등보다 우위).
• 이미지 생성 및 편집:
  • GenEval: 0.87 (전문 생성 모델인 Qwen-Image 등과의 격차 축소).
  • ImgEdit: 3.77 (통합 모델 중 최상위 성능).
• 음성 인식 및 합성:
  • ASR (LibriSpeech test-clean): 2.1 WER (전문 ASR 모델과 경쟁력 있는 수준).
  • TTS (LibriSpeech test-clean): 2.1 WER.

핵심 발견: 단일 아키텍처를 사용하면서도 전문 모델에 비해 성능이 크게 떨어지지 않았으며, 기존 통합 모델들보다 모든 모달리티에서 일관된 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: AR(자기회귀) 중심의 통합 모델에서 마스킹 디퓨전 기반의 통합 모델로의 전환 가능성을 입증했습니다. 이는 비순차적 모달리티 (이미지, 음성) 에 더 적합하며, 전역적 일관성과 병렬 처리를 가능하게 합니다.
• 단일 아키텍처의 실현: 외부 생성기나 복잡한 오케스트레이션 없이도 고품질의 크로스-모달 생성이 가능함을 보여주어, 시스템 복잡도를 획기적으로 줄였습니다.
• 미래 지향성: 실시간 오미모달 시스템, 통합 크로스-모달 검색 및 생성, 그리고 embodied multimodal agents(신체화된 멀티모달 에이전트) 개발을 위한 강력한 기반을 제공합니다.

요약하자면, Dynin-Omni는 다양한 모달리티를 단일 마스킹 디퓨전 프레임워크로 통합하여, 기존 통합 모델의 한계를 극복하고 전문 모델과 견줄 만한 성능을 달성한 획기적인 연구입니다.