DLLM-TTS: Block Discrete Diffusion Language Model for Text-to-Speech Synthesis
يقدم البحث إطار عمل DLLM-TTS، وهو نموذج بـ 0.6 مليار معلمة يصيغ عملية تحويل النص إلى كلام كعملية انتشار كتلي شرطي منفصل فوق رموز الترميز الصوتي العصبي، محققاً أداءً تنافسياً مع وضوح عالٍ وعامل زمن حقيقي قدره 0.15 من خلال التنبؤ المتوازي للرموز ضمن كتل متتالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت الغناء. لديك طريقتان رئيسيتان للقيام بذلك، وكلتاهما تنطوي على عقبة مزعجة. الطريقة الأولى تشبه طالباً يقرأ كتاباً بصوت عالٍ، كلمة بكلمة. يحصل على النطق المثالي وتكون القصة منطقية، لكن عليه إنهاء الجملة بأكملها قبل أن يتمكن من البدال في الجملة التالية. هذا بطيء، وإذا أردت أن يبدو الروبوت مثل شخص معين، فأنت بحاجة إلى تغذيته بمكتبة ضخمة من الكتب (أو في هذه الحالة، ساعات طويلة من الكلام المسجل) لتعلم الحيلة. أما الطريقة الثانية، فهي تشبه جوقة موسيقية حيث يغني الجميع أدوارهم في نفس الوقت تماماً. إنها سريعة للغاية، ولكن غالباً ما يفقد المغنون المسار، أو يتخطون كلمات، أو يكررون أنفسهم لأنهم لا يستمعون إلى الشخص الذي يسبقهم.
لسنوات، ظل العلماء عالقين بين الاختيار بين "المثالية ولكن البطيئة" وبين "السرعة ولكن الفوضوية". هذه الورقة البحثية، التي كتبها فريق من Smallest.ai، تضع قدمها في هذا المنطقة الوسطى الفوضوية. إنهم يعملون في مجال تحويل النص إلى كلام (TTS)، وهي التكنولوجيا التي تحول النصوص المكتوبة إلى صوت مسموع. الفكرة الرئيسية التي يتلاعبون بها هي "الانتشار المنفصل" (discrete diffusion). فكر في هذا الأمر كأنه لعبة "الهاتف المكسور" (Telephone) ولكن بشكل عكسي. بدلاً من همس رسالة عبر خط من الأشخاص، تخيل أن لديك جملة حيث تختبئ كل الكلمات خلف علامات استفهام. مهمة الروبوت هي تخمين الكلمات المفقودة، لكنه لا يخمنها واحدة تلو الأخرى فحسب؛ بل يخمن كتلة كاملة من الكلمات دفعة واحدة، ثم يتحقق مما إذا كانت منطقية، وبعد ذلك يقوم بتحسينها. أراد المؤلفون معرفة ما إذا كان بإمكانهم الجمع بين سرعة طريقة "الجوقة" ودقة طريقة "الطالب"، وكل ذلك باستخدام بيانات تدريب أقل بكثير من المعتاد.
يقدم الفريق إطار عمل جديداً يسمى DLLM-TTS. بدلاً من محاولة توليد إشارة الكلام بأكملها دفعة واحدة أو قطعة صغيرة واحدة في كل مرة، يقومون بتقسيم الصوت إلى "كتل" صغيرة، مثل فصول الكتاب. تخيل أن الكلام عبارة عن قطار طويل. حاولت الطرق السريعة القديمة بناء القطار بأكمله دفعة واحدة، مما أدى غالباً إلى سقوط عربات عن المسارات. أما الطرق البطيئة القديمة فكانت تبني القطار عربة تلو الأخرى، منتظرة انتهاء كل واحدة قبل البدء في التالية. يقوم DLLM-TTS ببناء القطار في مجموعات من العربات (كتل). داخل كل مجموعة، يخمن الروبوت جميع العربات في وقت واحد، لكنه ينتظر انتهاء المجموعة السابقة قبل البدء في التالية.
يسمح نهج "الكتل" هذا للروبوت بأن يكون سريعاً لأنه يمكنه العمل على أجزاء عديدة من الصوت في نفس الوقت، ولكنه يظل دقيقاً لأنه لا يزال يحترم ترتيب القصة. يستخدم الروبوت نوعاً خاصاً من "القناع" (masking) للتعلم. أثناء التدريب، يُعرض على الروبوت جملة حيث تكون بعض الكلمات مخفية، وعليه أن يكتشف ماهيتها بناءً على النص وعينة قصيرة من الصوت الذي يريد محاكاته. ولأن الروبوت يرى نفس الجملة مع كلمات مختلفة مخفية في كل مرة، فإنه يتعلم قواعد الكلام بشكل أسرع بكثير مما لو قرأ الجملة فقط من بدايتها إلى نهايتها. هذا يشبه تعلم أغنية من خلال ممارسة مقاطع مختلفة بترتيب عشوائي بدلاً من مجرد غناء الأغنية بأكملها مراراً وتكراراً؛ فأنت تتعلم اللحن والكلمات بكفاءة أكبر.
النتائج واعدة للغاية. قام الفريق بتدريب نموذج بـ 0.6 مليار معلمة (وهي مقياس لمدى "ضخامة" دماغ الروبوت) باستخدام 20,000 ساعة فقط من البيانات الصوتية. ولتضع ذلك في الاعتبار، تحتاج الروبوتات الرائدة الأخرى غالباً إلى ما بين 60,000 و250,000 ساعة من البيانات لتعلم نفس الحيل. ورغم استخدام بيانات أقل، إلا أن الروبوت الخاص بهم يؤدي بشكل تنافسي في الاختبارات القياسية لكيفية تحدثهم ومدى تشبههم بالشخص الذي يحاكونه. وعندما يتعلق الأمر بالسرعة، يمكن للروبوت توليد الكلام في الوقت الفعلي بمعامل زمن حقيقي (RTF) قدره 0.15. وهذا يعني أن الروبوت يستغرق 0.15 ثانية فقط لتوليد ثانية واحدة من الصوت، مما يجعله سريعاً بما يكفي للمحادثات المباشرة.
تشير الورقة البحثية إلى أن نهج "الكتل" هذا يعد بديلاً قوياً للطرق التقليدية. إنها تظهر أنك لست بحاجة بالضرورة إلى كمية هائلة من البيانات أو عملية متسلسلة فائقة البطء للحصول على كلام عالي الجودة. من خلال تقسيم المشكلة إلى أجزاء يمكن إدارتها واستخدام استراتيجية "التخمين والتحسين"، نجح المؤلفون في إنشاء نظام يتسم بالكفاءة في استخدام البيانات والسرعة في آن واحد. وبينما لا تدعي الورقة أن هذا هو الحل النهائي المطلق لجميع مشكلات الكلام، إلا أنها توضح أن هذه الطريقة المحددة لدمج السرعة والدقة تعمل بشكل جيد للغاية، مما يفتح مساراً جديداً لجعل الروبوتات تتحدث بشكل طبيعي وسريع دون الحاجة إلى مكتبة تضم كل الأصوات في العالم لتتعلم منها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.