Confucius4-TTS: Transcript-Free Cross-Lingual Zero-Shot TTS with a Learnable Speaker Encoder
يُعد Confucius4-TTS نظاماً متعدد اللغات لتحويل النص إلى كلام بنمط "الصفر محاولة" (zero-shot)، يتيح استنساخ الصوت عبر اللغات دون الحاجة إلى نصوص منسوخة من خلال توظيف بنية مكونة من مرحلتين مع مشفر متحدث قابل للتعلم لاستخراج سمات الطابع الصوتي من تمثيلات الكلام ذات التعلم الذاتي، محققاً وضوحاً عالياً وتشابهاً في نبرة المتحدث عبر 14 لغة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت التحدث مثل شخصية سينمائية مفضلة لديك. في عالم علوم الحاسوب، يسمى هذا "تحويل النص إلى كلام" (TTS). عادةً، لجعل الروبوت يبدو تماماً مثل تلك الشخصية، تحتاج إلى شيئين: مقطع صوتي قصير لهم وهم يتحدثون، ونص مكتوب (سيناريو) لما قالوه بالضبط في ذلك المقطع. فكر في النص كخريطة؛ بدونها، يضل الروبوت طريقه في محاولة مطابقة الصوت مع الكلمات. ولكن إليك المشكلة: في العالم الحقيقي، معظم المقاطع الصوتية التي نجدها -مثل فيديو عشوائي على تيك توك أو مقتطف من بودكاست- لا تأتي مع نص. إنها "غير منسوخة نصياً". وهذا يجعل استنساخ الأصوات من الواقع أمراً صعباً للغاية، خاصة عندما تريد جعل الروبوت يتحدث لغة مختلفة عن المقطع الأصلي. تعالج هذه الورقة البحثية هذا الصداع تحديداً: كيف نجعل الروبوت يبدو مثل شخص معين في لغة جديدة، حتى لو لم يكن لدينا النص الخاص بالمقطع الصوتي الأصلي؟
إليك Confucius4-TTS، وهو نظام جديد من NetEase Youdao يعمل مثل "حرباء صوتية" بارعة. لقد بنى الباحثون آلة ذات مرحلتين يمكنها أخذ مقطع صوتي قصير لشخص غريب ونص بلغة مختلفة، وتوليد كلام يبدو وكأن ذلك الغريب يتحدث تلك اللغة الجديدة، وكل ذلك دون الحاجة إلى النص الأصلي.
إليك كيف يعمل الأمر، باستخدام تشبيه بسيط. تخيل أن النظام عبارة عن فريق من شخصين: المترجم والممثل.
أولاً، المترجم (الذي يسمى وحدة النص-إلى-الدلالة) ينظر إلى النص المستهدف الذي تريد نطقه. ولكن بدلاً من مجرد قراءة الكلمات، فإنه يستمع أيضاً إلى المقطع الصوتي المرجعي. والأهم من ذلك، أنه لا يحتاج لمعرفة ماذا يقول المقطع الصوتي المرجعي؛ بل يحتاج فقط لمعرفة من الذي يتحدث. وللقيام بذلك، يستخدم "مشفر متحدث قابل للتعلم" (Learnable Speaker Encoder) خاصاً به. فكر في هذا المشفر كجهاز مسح لبصمة الصوت. إنه يأخذ الصوت غير المنسوخ نصياً والمبعثر، ويستخلص منه "طابع الصوت" أو "لونه" الفريد -مثل ملمس وتر الجيتار- متجاهلاً الكلمات المحددة. ثم يسلم هذه "البصمة الصوتية" إلى المترجم، الذي يدمجها مع نصك الجديد لإنشاء مجموعة من "الرموز الدلالية" (semantic tokens). هذه الرموز هي بمثابة مخطط للكلام: فهي تحتوي على المعنى والإيقاع، لكنها ليست الصوت النهائي بعد.
بعد ذلك، يأخذ الممثل (الذي يسمى وحدة الدلالة-إلى-الصوتية) ذلك المخطط والبصمة الصوتية. يستخدم هذا الجزء تقنية متطورة تسمى "مطابقة التدفق الشرطي" (conditional flow matching)، وهي تشبه النحات الذي يحول ببطء كتلة من الطين إلى تمثال. يبدأ بضوضاء عشوائية ويقوم بتشكيلها تدريجياً لتصبح "مخطط طيف ميل" (mel-spectrogram) -وهو خريطة بصرية لموجات الصوت- تتوافق مع بصمة الصوت والمخطط. أخيراً، يقوم "المُصوّت" (vocoder) -وهو مُصنّع صوتي- بتحويل تلك الخريطة إلى موجات صوتية حقيقية يمكنك سماعها.
النتيجة الرئيسية للورقة البحثية هي أن هذا النظام يعمل بشكل رائع دون النص. اختبر المؤلفون هذا النظام على 14 لغة، بما في ذلك الصينية والإنجليزية واليابانية والكورية وعدة لغات أوروبية وجنوب شرق آسيوية. وعندما وضعوا Confucius4-TTS في مواجهة الأنظمة الرائدة الأخرى في اختبار مرجعي يسمى CV3-Eval (والذي يختبر استنساخ الصوت عبر اللغات)، حقق متوسط معدل خطأ في الكلمات (WER) قدره 3.73% عبر ستة اتجاهات لغوية مختلفة. وهذا معدل خطأ منخفض جداً، مما يعني أن الكلام واضح ومفهوم للغاية. في الواقع، في اختبار X-Voice، تفوق على الأنظمة الرائدة الأخرى أو ساواها في سبعة أزواج مختلفة من اللغة المصدر إلى اللغة الصينية.
وجد الباحثون أيضاً أنه إذا كنت تمتلك بالصدفة النص الخاص بالصوت المرجعي، فيمكن للنظام الانتقال إلى وضع "استمرارية الاستنساخ" (continuation cloning). هذا يشبه إعطاء الممثل النص وبصمة الصوت معاً. وبينما يجعل هذا الصوت يبدو أكثر شبهاً بالمتحدث الأصلي (مما يحسن درجات تشابه المتحدث)، إلا أنه يأتي مع مقايضة صغيرة: قد يكون الكلام أقل وضوحاً قليلاً من النسخة الخالية من النص. ومع ذلك، فإن وضع "الخلو من النص" الافتراضي هو النجم الحقيقي، حيث أثبت أنك لست بحاجة إلى خريطة للعثور على الصوت.
في الاختبارات البشرية، حيث استمع أشخاص حقيقيون إلى النتائج وقاموا بتصنيفها، غالباً ما احتل Confucius4-TTS المركز الأول من حيث تشابه الطابع (مدى تشابهه مع الشخص الأصلي) والطبيعية (مدى كونه يبدو بشرياً). على سبيل المثال، في الاختبارات التي تحول من الصينية إلى الإنجليزية، احتل المركز الأول أو الثاني في كل الفئات تقريباً، متفوقاً على العمال التجاريين والنماذج مفتوحة المصدر الأخرى.
تنفي الورقة البحثية صراحةً فكرة أنه يجب أن تمتلك نصاً للحصول على استنساخ عالي الجودة عبر اللغات. اعتمدت الطرق السابقة بشدة على المحاذاة القسرية (مطابقة الكلمات للأصوات بدقة) أو أزواج التدريب الاصطناعية، لكن Confucius4-TTS يشير إلى أنه من خلال استخدام تمثيلات الكلام ذاتية الإشراف (ذكاء اصطنا-تعلم فهم الكلام بمجرد الاستماع إليه، دون تعليمه الكلمات)، يمكنك استخراج هوية الصوت مباشرة. ويثق المؤلفون في هذه النتائج لأنهم اختبروها على بيانات ضخمة (حوالي 500,000 ساعة من الكلام) وتحققت من صحتها عبر العديد من الاختبارات المرجعية العامة والتقييمات البشرية الداخلية.
إذاً، ماذا يعني هذا للمستقبل؟ يقترح المؤلفون أن هذا يفتح الباب أمام دبلجة الفيديو، والكتب الصوتية، وأدوات الوصول حيث يمكنك استنساخ صوت من مقطع عشوائي وجعله يتحدث أي لغة، دون الحاجة لنص. لقد أصدروا بالفعل الكود والنماذج للجمهور، داعين الآخرين للبناء على سحر "الخلو من النص" هذا. ورغم أن النظام ليس مثالياً (لا يزال لديه معدل خطأ صغير ويمكن أن يكون أسرع)، إلا أنه يمثل خطوة كبيرة نحو جعل استنساخ الصوت سهلاً مثل مجرد الضغط على زر "تشغيل" في فيديو.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.