OmniVoice: Towards Omnilingual Zero-Shot Text-to-Speech with Diffusion Language Models

إليك ملخص تقني مفصل لورقة البحث "OmniVoice: نحو نموذج تحويل النص إلى كلام متعدد اللغات بنظام الصفر التقديري (Zero-Shot) باستخدام نماذج لغة الانتشار (Diffusion Language Models)."

1. بيان المشكلة

تواجه الأنظمة الحالية الرائدة (SOTA) في تحويل النص إلى كلام بنظام الصفر التقديري (Zero-Shot TTS) مشكلتين رئيسيتين:

• تغطية لغوية محدودة: تدعم معظم النماذج بضع عشرات من اللغات فقط، مما يترك مئات اللغات ذات الموارد المنخفضة دون خدمة كافية.
• المقايضات الهيكلية:
  • النماذج ذات الترتيب الذاتي (AR): توفر جودة عالية ولكنها تعاني من بطء سرعة الاستدلال بسبب فك الترميز المتسلسل.
  • النماذج غير ذات الترتيب الذاتي (NAR): توفر فك ترميز متوازٍ سريع ولكنها غالبًا ما تعاني من ضعف الوضوح وتنوع النبرة (Prosody).
  • النماذج غير ذات الترتيب الذاتي المنفصلة (Discrete NAR): (التي تستخدم الرموز - Tokens) تعتمد عادةً على خطوط معالجة متتالية مكونة من مرحلتين (نص $\leftarrow$ رموز دلالية $\leftarrow$ رموز صوتية). هذا النهج يؤدي إلى انتشار الخطأ (الأخطاء في المرحلة الدلالية تضعف جودة الصوت) واختناقات المعلومات (الرموز الدلالية ذات معدل البت المنخفض تفقد التفاصيل الصوتية الدقيقة).

الهدف هو بناء نموذج ضخم لتحويل النص إلى كلام متعدد اللغات بنظام الصفر التقديري يدعم مئات اللغات مع الحفاظ على وضوح عالٍ، وطبيعية، وسرعة استدلال، دون الاعتماد على خطوط المعالجة المتتالية عرضة للخطأ.

2. المنهجية

يقدم OmniVoice بنية غير ذات ترتيب ذاتي (NAR) منفصلة ومرحلة واحدة مبسطة تعتمد على نماذج لغة الانتشار (DLM).

أ. البنية الأساسية

• رسم خرائط أحادي المرحلة: على عكس الأنظمة التقليدية ذات المرحلتين، يقوم OmniVoice برسم خرائط مباشرة من رموز النص إلى رموز صوتية متعددة الكتب (Multi-codebook) باستخدام محول ثنائي الاتجاه (Bidirectional Transformer).
• المدخلات/المخرجات:
  • المدخلات: تسلسل مدمج من رموز التعليمات ونص النسخ ($Y$)، بالإضافة إلى مصفوفة محفز صوتي ($X$) تحتوي على بادئة (Prompt) وجزء مستهدف محجوب (Masked).
  • المخرجات: يتنبأ النموذج بالرموز المحجوبة عبر $C$ من الكتب (باستخدام مُرمز Higgs-audio لـ 8 كتب).
• دالة الخسارة: يتم تدريب النموذج على استعادة الرموز المحجوبة باستخدام هدف انتشار منفصل.

ب. الابتكارات التقنية الرئيسية

للتغلب على قيود نماذج NAR المنفصلة أحادية المرحلة، اقترح المؤلفون ابتكارين حاسمين:

1. استراتيجية الحجب العشوائي لكامل الكتاب (Full-Codebook Random Masking):

   • المشكلة: استخدمت الطرق السابقة "الحجب لكل طبقة" (حجب طبقة واحدة فقط من الكتب لكل عينة)، مما أدى إلى تقارب غير فعال.
   • الحل: يستخدم OmniVoice استراتيجية حجب عشوائية كاملة حيث يتم أخذ عينات مستقلة لكل مدخل في مصفوفة الرموز $T \times C$ للحجب باستخدام توزيع منتظم.
   • الفائدة: ينتج عن ذلك استخدام متوسط قدره 50% من جميع الرموز لحساب الخسارة في كل خطوة (مقارنة بالمجموعات الفرعية المتفرقة في حجب الطبقة الواحدة)، مما يسرع بشكل كبير من تقارب التدريب ويحسن الجودة التوليدية.

2. التهيئة بنموذج لغة كبير (LLM Initialization) لتعزيز الوضوح:

   • المشكلة: تاريخيًا، تعاني نماذج NAR المنفصلة أحادية المرحلة من ضعف الوضوح مقارنة بنماذج AR.
   • الحل: يتم تهيئة العمود الفقي للنموذج بأوزان من نموذج لغة كبير ذي ترتيب ذاتي (AR LLM) (تحديدًا Qwen3-0.6B).
   • الفائدة: ينقل هذا المعرفة اللغوية والبديهيات اللغوية المدربة مسبقًا إلى مهمة تحويل النص إلى كلام. ورغم أن الـ LLM تم تدريبه باستخدام قناع سببي (Causal Masking) بينما يستخدم OmniVoice انتباه ثنائي الاتجاه، إلا أن التهيئة أثبتت فعالية عالية، مما جعل OmniVoice أول نموذج NAR لتحويل النص إلى كلام ينجح في استغلال تهيئة LLM لتحقيق مكاسب في الوضوح.

ج. استراتيجية البيانات والتوسع

• مجموعة البيانات: مجموعة بيانات متعددة اللغات منسقة تبلغ 581,000 ساعة مستمدة حصريًا من موارد مفتوحة المصدر، تغطي 646 لغة.
• المعالجة المسبقة: تتضمن استعادة الصوت للمقاطع المتدهورة وترشيحًا قائمًا على القواعد للنصوص غير الصالحة.
• إعادة أخذ العينات (Resampling): لمعالجة عدم توازن البيانات (اللغات عالية الموارد مقابل منخفضة الموارد)، يتم تطبيق استراتيجية إعادة أخذ عينات على مستوى اللغة مع معامل تنعيم ($\beta=0.8$)، مما يضمن رؤية النموذج لبيانات كافية من اللغات منخفضة الموارد دون التضحية تمامًا بأداء اللغات عالية الموارد.
• معالجة النصوص: يستخدم مُرمّزات الكلمات الفرعية (Subword tokenizers) من نماذج LLM المدربة مسبقًا، مما يلغي الحاجة إلى تحويل الحروف إلى أصوات (G2P).

د. القدرة على التحكم

يدعم OmniVoice التحكم متعدد الأبعاد:

• إزالة ضجيج المحفز (Prompt Denoising): تم التدريب باستخدام ضجيج/صدى اصطناعي على المحفزات لتوليد كلام نقي من مدخلات متدهورة.
• تصميم الصوت (Voice Design): توليد الكلام بناءً على سمات المتحدث (الجنس، العمر، طبقة الصوت) دون الحاجة لمحفزات صوتية.
• التحكم اللغوي: دعم الخصائص شبه اللغوية (مثل الضحك) والتجاوزات الصوتية الصريحة (مثل Pinyin للصينية متعددة الأصوات) عبر مدخلات نصية هجينة.

3. المساهمات الرئيسية

1. اختراق هيكلي: إطار عمل جديد غير ذاتي الترتيب (NAR) منفصل ومرحلة واحدة يتجاوز انتشار الخطأ في خطوط المعالجة ذات المرحلتين، ويربط مباشرة بين رموز النص والرموز الصوتية متعددة الكتب.
2. كفاءة التدريب والجودة: استراتيجية الحجب العشوائي لكامل الكتاب تحسن بشكل كبير من كفاءة التدريب وجودة المخرجات مقارنة بجداول الحجب الحالية.
3. حل مشكلة الوضوح: يثبت أن التهيئة بنموذج LLM هي طريقة قابلة للتطبيق وقوية لحل مشكلات الوضوح في نماذج NAR أحادية المرحلة.
4. نطاق غير مسبوق: أول نموذج تحويل نص إلى كلام بنظام الصفر التقديري يدعم أكثر من 600 لغة (646 تحديدًا)، تم تدريبه على مجموعة بيانات ضخمة قدرها 581 ألف ساعة.
5. المصدر المفتوح: تم إصدار الكود والنماذج المدربة مسبقًا للجمهور.

4. النتائج التجريبية

تم تقييم OmniVoice على اختبارات صينية، إنجليزية، واختبارات متعددة اللغات ضخمة (MiniMax-24 و FLEURS-102).

• أداء الصينية والإنجليزية:

  • يتفوق على جميع النماذج المرجعية (Baselines) من نوع NAR (مثل F5-TTS، ZipVoice، MaskGCT) التي تم تدريبها على نفس مجموعة بيانات Emilia.
  • ينافس أو يتفوق على نماذج AR الرائدة (مثل IndexTTS2، CosyVoice3، Qwen3-TTS) في تشابه المتحدث (SIM-o) والوضوح (WER/CER)، مع الحفاظ على سرعة استدلال أعلى.
  • يحقق معدل خطأ في الكلمات (WER) قدره 1.30% على LibriSpeech-PC و 0.84% على Seed-TTS test-zh.

• الأداء متعدد اللغات:

  • MiniMax-24: يتفوق على الأنظمة التجارية (ElevenLabs، MiniMax-Speech) في متوسط تشابه المتحدث (SIM-o) (0.830 مقابل 0.766) ومتوسط معدل الخطأ في الكلمات (WER) (2.850 مقابل 3.774).
  • FLEURS-102: يحقق متوسط معدل خطأ في الحروف (CER) قدره 4.00%، وهو ما يقارب النص الأصلي. ويحافظ على وضوح عالٍ (CER < 5%) حتى بالنسبة للغات التي لديها أقل من 10 ساعات من التدريب.

• سرعة الاستدلال:

  • يحقق عامل وقت حقيقي (RTF) قدره 0.0319 (16 خطوة، حجم دفعة 1) على وحدة معالجة رسوميات H20، متفوقًا على ZipVoice (0.0557) بنفس الإعدادات.

5. الأهمية

يمثل OmniVoice قفزة نوعية في دمقرطة تكنولوجيا الكلام:

• الوصول العالمي: بدعمه لأكثر من 600 لغة، يسد الفجوة للغات ذات الموارد المنخفضة، مما يتيح تطبيقات تحويل النص إلى كلام لغالبية سكان العالم الذين كانوا مستبعدين سابقًا من هذه التكنولوجيا.
• الكفاءة مقابل الجودة: نجح في فك الارتباط بين المقايضة بين سرعة الاستدلال (NAR) والجودة/الوضوح (AR)، مما يثبت أن نموذج انتشار منفصل أحادي المرحلة يمكن أن يحقق نتائج رائدة.
• العلم المفتوح: من خلال الاعتماد كليًا على بيانات مفتوحة المصدر وإصدار النموذج، فإنه يضع معيارًا جديدًا للشفافية وقابلية التكرار في تركيب الكلام متعدد اللغات، متحديًا هيمنة النماذج التجارية المغلقة والمملوكة لجهات معينة.

في الختام، يضع OmniVoice حدودًا جديدة لتحويل النص إلى كلام عالي الجودة، واسع التغطية، وفعال، مبرهنًا أن البنى التحتية البسيطة المدمجة مع التهيئة والاستراتيجيات الذكية للحجب يمكن أن تتفوق على الأنظمة المعقدة المتتالية.