Qwen3.5-Omni 기술 요약

1. 문제 정의 (Problem)

기존의 대규모 언어 모델 (LLM) 은 텍스트, 비전, 오디오 등 단일 모달리티에 특화되어 있거나, 여러 모달리티를 처리하더라도 수동적인 인식 - 응답 (Perception-Response) 패러다임에 머무르는 경우가 많았습니다. 이러한 모델들은 다음과 같은 한계를 가집니다:

• 제한된 에이전트 행동: 실시간 상호작용, 자율적 도구 사용 (WebSearch, FunctionCall), 크로스-모달 추론 능력이 부족함.
• 스트리밍 불안정성: 텍스트와 음성 토큰의 인코딩 효율성 차이로 인해 실시간 음성 합성 시 자연스럽지 않거나 불안정한 현상 발생.
• 장기 컨텍스트 처리의 비효율성: 긴 오디오/비디오 시퀀스를 처리할 때 시간적 정렬 (Temporal Alignment) 과 장기 의존성 모델링의 어려움.
• 다국어 및 음성 생성의 한계: 다양한 언어와 방언에서의 음성 인식 (ASR) 및 합성 (TTS) 품질이 불균형하고, 사용자 정의 목소리 (Voice Cloning) 의 정밀도가 부족함.

2. 방법론 (Methodology)

Qwen3.5-Omni 는 텍스트, 이미지, 오디오, 오디오 - 비주얼 (AV) 콘텐츠를 통합적으로 이해하고 생성하는 네이티브 올모달 (Native Omni-modal) 에이전트 모델입니다. 주요 기술적 접근법은 다음과 같습니다.

• 하이브리드 어텐션 MoE 아키텍처 (Thinker-Talker Framework):
  • Thinker: 텍스트 생성 및 고수준 추론을 담당하며, 비전 인코더와 오디오 인코더 (AuT) 를 통해 입력을 통합 처리합니다.
  • Talker: Thinker 의 출력을 기반으로 스트리밍 음성 토큰을 생성합니다.
  • Hybrid MoE: Thinker 와 Talker 모두 하이브리드 어텐션 기반의 전문가 혼합 (Mixture-of-Experts) 구조를 채택하여 대규모 파라미터 (수백 억 개) 와 긴 컨텍스트 (256k) 를 효율적으로 처리합니다.
• 오디오 인코더 (AuT) 및 시간 인식:
  • 4 천만 시간의 오디오 - 텍스트 쌍으로 학습된 전용 오디오 인코더 (AuT) 를 사용합니다.
  • 명시적 타임스탬프: 절대 시간을 ID 로 직접 인코딩하는 방식의 한계를 극복하기 위해, 비디오/오디오 패치 앞에 포맷된 텍스트 형식의 타임스탬프를 삽입하여 모델이 시간 코드를 더 자연스럽게 학습하도록 합니다.
• ARIA (Adaptive Rate Interleave Alignment):
  • 실시간 스트리밍 음성 합성 시 텍스트와 음성의 토큰화 속도 불일치로 인한 불안정성을 해결하기 위해 도입된 기술입니다.
  • 텍스트와 음성을 단일 채널로 통합하여 적응형 비율 제약을 적용함으로써, 단어를 건너뛰거나 발음이 틀리는 문제를 방지하고 자연스러운 대화 흐름을 구현합니다.
• 멀티-코드북 코덱 및 MTP:
  • Talker 는 RVQ 기반의 멀티-코드북 토큰을 예측하고, MTP (Multi-Token Prediction) 모듈을 통해 프레임 단위의 실시간 합성을 가능하게 합니다.
• 학습 전략:
  • 3 단계 사전 학습: 인코더 정렬 (S1) → 일반 멀티모달 학습 (S2, 32k 시퀀스) → 장기 컨텍스트 학습 (S3, 262k 시퀀스).
  • 후 학습 (Post-training): 전문가 증류 (Specialist Distillation), 온-폴리시 증류 (On-Policy Distillation, 오디오 입력 품질 향상), 상호작용 정렬 강화 학습 (Interaction-Aligned RL) 을 통해 대화의 안정성과 에이전트 능력을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 네이티브 올모달 에이전트: 텍스트, 비전, 오디오를 통합적으로 처리하며, 웹 검색, 복잡한 함수 호출, 실시간 음성 상호작용을 자율적으로 수행합니다.
2. Audio-Visual Vibe Coding: 오디오 - 비주얼 지시를 기반으로 직접 실행 가능한 코드를 생성하는 새로운 능력의 등장 (Emergent Capability).
3. 초저지연 스트리밍 상호작용: 256k 컨텍스트 (10 시간 이상의 오디오 또는 720P 400 초 비디오) 를 지원하며, ARIA 기술을 통해 지연 시간을 최소화하고 자연스러운 대화 (턴 테이킹, 감정 조절, 음량 제어) 를 가능하게 합니다.
4. 정밀한 오디오 - 비주얼 캡셔닝: 스크립트 수준의 구조화된 캡션, 자동 장면 분할, 타임스탬프 주석, 캐릭터 관계 및 오디오와의 상세한 연관성을 생성합니다.
5. 광범위한 다국어 및 음성 지원:
   • 음성 인식: 113 개 언어 및 방언 (중국어 방언 39 개 포함).
   • 음성 합성: 36 개 언어 및 7 개 중국어 방언.
   • 제로샷 보이스 커스터마이징: 사용자 제공 샘플을 통해 새로운 목소리를 생성할 수 있습니다.

4. 실험 결과 (Results)

Qwen3.5-Omni-Plus 는 215 개의 오디오 및 오디오 - 비주얼 벤치마크에서 SOTA(State-of-the-Art) 성능을 달성했습니다.

• 성능 비교:
  • Gemini-3.1 Pro 대비: 일반 오디오 이해, 추론, 인식, 번역, 대화 분야에서 Gemini-3.1 Pro 를 능가하며, 종합적인 오디오 - 비주얼 이해 능력에서는 Gemini-3.1 Pro 와 동등한 수준을 보입니다.
  • ASR (음성 인식): FLEURS 벤치마크에서 평균 WER(단어 오류율) 6.6% 를 기록하여 Gemini-3.1 Pro(7.3%) 및 GPT-4o(10.4%) 보다 우수합니다. 특히 광동어, 태국어, 베트남어 등 복잡한 성조 및 저자원 언어에서 큰 우위를 보입니다.
  • TTS (음성 합성): SEED-TTS 및 다국어 테스트에서 내용 일치도 (WER) 와 화자 유사도 (Cosine Similarity) 모두에서 최상위권을 기록했습니다. 특히 크로스-링구얼 (Cross-lingual) 보이스 클로닝에서 CosyVoice3 대비 오류율을 약 72% 감소시켰습니다.
• 지연 시간: 오디오 입력 기준 첫 번째 패킷 지연 시간 (First-Packet Latency) 은 Flash 버전이 235ms, Plus 버전이 435ms 로, 실시간 상호작용에 적합한 수준입니다.
• 텍스트/비전 능력: 텍스트 전용 모델 (Qwen3.5-Plus) 과 비교하여 텍스트 및 비전 이해 능력이 저하되지 않았으며, 오히려 장기 비디오 이해 등 특정 작업에서 더 나은 성능을 보였습니다.

5. 의의 및 중요성 (Significance)

Qwen3.5-Omni 는 단순한 멀티모달 모델을 넘어 **실시간으로 상호작용하고 행동하는 '올모달 에이전트'**의 새로운 기준을 제시합니다.

• 실용적 배포 가능성: 낮은 지연 시간과 높은 동시 처리 능력을 통해 실제 서비스 (음성 비서, 실시간 비디오 분석, 교육/헬스케어 AI 등) 에 바로 적용 가능한 수준의 기술적 성숙도를 입증했습니다.
• 새로운 상호작용 패러다임: "Audio-Visual Vibe Coding"과 같은 새로운 능력을 통해 모델이 외부 오케스트레이션 없이도 복잡한 작업을 수행할 수 있는 가능성을 열었습니다.
• 포용적 AI: 100 개 이상의 언어와 방언, 그리고 다양한 화자의 목소리를 자연스럽게 처리함으로써 언어적, 문화적 장벽을 허무는 포용적인 AI 시스템의 기반을 마련했습니다.

이 모델은 텍스트, 비전, 오디오를 통합적으로 이해하고 생성하는 범용 올모달 에이전트 연구의 중요한 이정표가 될 것으로 기대됩니다.