X-Voice: Enabling Everyone to Speak 30 Languages via Zero-Shot Cross-Lingual Voice Cloning
يُعد X-Voice نموذجاً خفيف الوزن لنسخ الأصوات متعدد اللغات بنمط الصفر (zero-shot) بحجم 0.4 مليار معلمة، تم تدريبه على مجموعة بيانات تبلغ 420 ألف ساعة باستخدام نموذج ثنائي المرحلة مبتكر وتحسينات هيكلية لتمكين توليد الكلام عالي الجودة بـ 30 لغة دون الحاجة إلى نصوص مكتوبة للمطالبات الصوتية، محققاً أداءً يضاهي النماذج ذات المليارات من المعلمات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد تعلم التحدث بـ 30 لغة مختلفة، لكن ليس لديك معلم، ولا كتاب مدرسي، ولا حتى نص مكتوب. لديك فقط تسجيلاً قصيراً لصوت صديقك. X-Voice هو نموذج ذكاء اصطناني جديد يجعل هذا ممكناً. إنه "حرباء صوتية" يمكنها أخذ صوت صديقك وجعله يتحدث أيًا من 30 لغة، حتى لو لم يسبق لصديقك التحدث بتلك اللغات من قبل.
إليك كيف يشرح البحث نموذج X-Voice، مقسماً إلى مفاهيم بسيطة:
1. المشكلة: عائق "النص المكتوب"
معظم تقنيات استنساخ الصوت بالذكاء الاصطناعي اليوم تشبه ممثلاً صارماً يحتاج إلى نص. لاستنساخ صوت ما، تحتاج عادةً إلى شيئين:
- مقطع صوتي قصير للشخص.
- نسخة نصية (نص مكتوب) لما قاله بالضبط في ذلك المقطع.
هذا يعمل بشكل رائع في الإنجليزية أو الصينية، حيث يكون الحصول على نسخة نصية مكتوبة أمراً سهلاً. ولكن بالنسبة للعديد من اللغات الأخرى (خاصة اللغات النادرة أو اللهجات)، يكون الحصول على نسخة نصية دقيقة أمراً صعباً أو مستحيلاً. إذا لم يكن لديك النص، سيصاب الذكاء الاصطناعي بالارتباك ولن يتمكن من استنساخ الصوت بشكل صحيح.
2. الحل: معسكر تدريبي من مرحلتين
بنى الباحثون X-Voice باستخدام طريقة تدريب ذكية مكونة من "مرحلتين"، مثل تدريب شيف (طباخ) ماهر لمتدرب لديه.
المرحلة 1: الشيف الماهر (X-Voice1)
أولاً، قاموا بتدريب نموذج ضخم على 420,000 ساعة من الكلام من 30 لغة مختلفة. فكر في الأمر كـ "شيف ماهر" يعرف كل الوصفات والنكهات في العالم. هذا النموذج بارع جداً في الكلام، لكنه لا يزال بحاجة إلى نص ليعرف ماذا يقول.المرحلة 2: المتدرب (X-Voice2)
هنا تكمن الخدعة السحرية. استخدم الباحثون "الشيف الماهر" لتوليد 10,000 ساعة من الصوت الجديد. أخذوا مقطعاً صوتياً حقيقياً، وأدخلوه إلى "الشيف الماهر"، وطلبوا منه أن ينطق نصاً مختلفاً.
الآن، أخذوا هذه المقاطع الصوتية الجديدة وعلموا النموذج درساً جديداً: "تجاهل النص المكتوب. فقط استمع إلى الصوت." لقد دربوا النموذج على إعادة إنشاء الصوت الأصلي باستخدام الصوت فقط، مع إخفاء النص تماماً. نتج عن ذلك X-Voice2، وهو النموذج النهائي الذي يمكنه استنساخ الصوت دون الحاجة أبداً لقراءة أي نص.
3. السر الخفي: "حقن اللغة ثنائي المستوى"
عندما تطلب من ذكاء اصطناعي أن يتحدث لغة جديدة باستخدام صوت قديم، تظهر مشكلة شائعة وهي "تسرب اللكنة". على سبيل المثال، إذا طلبت من متحدث فرنسي أن يقول "Hello" باليابانية، فقد يعطي الذكاء الاصطناعي الكلمة بلكنة فرنسية عن طريق الخطأ.
لحل هذه المشكلة، ابتكر الباحثون نظام "حقن اللغة ثنائي المستوى" (Dual-Level Language Injection). تخيل أن لدى الذكاء الاصطناعي "مقبضي تحكم" مختلفين للسيطرة على اللغة:
- مقبض النص: يخبر الذكاء الاصطناعي ما هي الكلمات التي يجب قولها.
- مقبض الوقت: يخبر الذكاء الاصطناعي متى يقولها وما هو الإيقاع الذي يجب اتباعه.
من خلال تدوير كلا المقبضين في وقت واحد، يمكن للذكاء الاصطناعي الفصل تماماً بين الصوت (صوت الشخص الفريد) وبين اللكنة (إيقاع اللغة). وهذا يضمن أن يبدو الشخص وكأنه هو نفسه، ولكنه يتحدث اللغة الجديدة بشكل صحيح.
4. النتيجة: سريع، مجاني، وفصيح
يدعي البحث أن X-Voice هو نموذج "0.4B"، مما يعني أنه صغير وخفيف الوزن نسبياً مقارنة بالنماذج العملاقة التي تشغل غرف خوادم كاملة.
- السرعة: نظرًا لأنه لا يستخدم الطريقة البطيئة خطوة بخطوة (مثل الكتابة كلمة بكلمة - Autoregressive)، فإنه يمكنه توليد الكلام بسرعة كبيرة.
- الجودة: في الاختبارات، أدى أداءً يضاهي النماذج التجارية الضخمة (مثل Qwen3-TTS) التي تعد أكبر بكثير، ولكن بدون الحاجة إلى النسخ النصية.
- مفتوح المصدر: أطلق الفريق جميع بياناتهم (420 ألف ساعة من الصوت) والتعليمات البرمجية مجاناً، بحيث يمكن لأي شخص استخدامها.
ملخص التشبيه
فكر في X-Voice كأنه مترجم عالمي للأصوات.
- الذكاء الاصطناعي القديم: "يمكنني فقط استنساخ صوتك إذا قرأت لي هذه الجملة المحددة، ومعي النص المكتوب لتلك الجملة."
- X-Voice: "يمكنني استنساخ صوتك من مجرد مقطع مدته 5 ثوانٍ وأنت تدندن، ويمكنني جعلك تتحدث 30 لغة مختلفة فوراً، دون الحاجة لمعرفة الكلمات التي كنت تدندن بها."
يخلص البحث إلى أن هذه التكنولوجيا تزيل أكبر عائق أمام استنساخ الصوت متعدد اللغات: الحاجة إلى نسخ نصية مكتوبة. إنها تسمح لأي شخص بالتحدث بأي لغة في أي صوت، بشرما توفر عينة صوتية قصيرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.