Computational Narrative Understanding for Expressive Text-to-Speech
تقدم هذه الورقة LibriQuote، وهي مجموعة بيانات واسعة النطاق تضم 5.3 ألف ساعة من اقتباسات الشخصيات التعبيرية من الكتب الصوتية والمعززة بتسميات توضيحية زائفة سياقية، والتي تثبت أن الضبط الدقيق أو التدريب على هذه البيانات يعزز بشكل كبير من القدرة التعبيرية ووضوح نماذج تحويل النص إلى كلام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تستمع إلى قصة تُقرأ بصوت عالٍ. أحياناً يتحدث الراوي بصوت هادئ ورتيب، يخبرك فقط بما حدث بعد ذلك. ولكن فجأة، تتحدث إحدى الشخصيات! وفجأة، يتغير الصوت. قد يهمس بسر، أو يصرخ بغضب، أو يضحك ببهجة.
لفترة طويلة، كانت الحواسيب التي تحاول قراءة القصص بصوت عالٍ (تحويل النص إلى كلام أو TTS) بارعة في جزء "الراوي الهادئ"، لكنها غالباً ما كانت تبدو كآلات روبوتية عندما تحاول تجسيد أدوار الشخصيات. كان بإمكان الكمبيوتر نطق الكلمات، لكنه لم يستطع التقاط "الشعور".
تقدم هذه الورقة البحثية مشروعاً جديداً يسمى LibriQuote لإصلاح ذلك. إليك قصة ما فعلوه، مشروحة ببساطة:
١. المشكلة: "الراوي الروبوتي"
فكر في أصوات الكمبيوتر الموجودة حالياً مثل أمين مكتبة مهذب للغاية ورتيب يقرأ كتاباً. صوته واضح ودقيق، ولكن إذا قالت القصة "زمجر التنين!"، فإن الكمبيوتر سيقول فقط "زمجر التنين" بنفس الصوت الممل. إنه يفتقر إلى الدراما.
أدرك الباحثون أن الكتب الصوتية التي يقرؤها البشر مليئة بهذه اللحظات الدرامية. عندما يقرأ إنسان رواية، فإنه ينتقل بشكل طبيعي بين صوت "الراوي" وأصوات "الشخصيات". أرادوا تعليم الحواسيب القيام بالمثل.
٢. الحل: مجموعة بيانات "مدرسة التمثيل" الجديدة
أنشأ الفريق مكتبة صوتية ضخمة جديدة تسمى LibriQuote.
- ما هي؟ هي مجموعة تضم أكثر من ٥٠٠٠ ساعة من الصوت، لكنهم لم يجمعوا مجرد جمل عشوائية. لقد استقطعوا خصيصاً الأجزاء التي تتحدث فيها الشخصيات (الحوار).
- السر الخفي: لم يكتفوا بأخذ الصوت فحسب؛ بل نظروا أيضاً إلى النص المجاور له مباشرة. في الكتب، غالباً ما يكتب المؤلفون أدلة مثل "همس بنعومة" أو "صرخت بصوت عالٍ".
- التشبيه: تخيل أنك تعطي طالباً ممثلاً نصاً مسرحياً. معظم أنظمة (TTS) تعطيه الجملة فقط: "أنا خائفة!".
- Libri-Quote يعطيه الجملة بالإضافة إلى ملاحظة المخرج: "أنا خائفة!" (بهمس ناعم، مع ارتجاف).
- هذه الملاحظة الإضافية تسمى "التسمية المستعارة" (pseudo-label). وهي تخبر الكمبيوتر بالضبط كيف يقول الكلمات.
٣. التجارب: تعليم الكمبيوتر التمثيل
جرب الباحثون طريقتين مختلفتين لتعليم الكمبيوتر باستخدام هذه المجموعة من البيانات:
الطريقة (أ): نهج "الصقل الاحترافي" (Fine-Tuning)
أخذوا صوتاً ذكياً للكمبيوتر كان جيداً بالفعل في القراءة، وأعطوه دورة مكثفة باستخدام LibriQuote.- النتيجة: أصبح صوت الكمبيوتر أكثر وضوحاً وسهولة في الفهم، لكنه لم يصبح ممثلاً بارعاً بعد. كان مثل طالب جيد تعلم القواعد ولكنه لم يجد بعد شرارته الإبداعية.
الطريقة (ب): نهج "البناء من الصفر" (بناء ممثل جديد)
قاموا ببناء صوت كمبيوتر جديد من الأساس، وتدريبه فقط على جمل الشخصيات الدرامية هذه.- النتيجة: كان هذا الصوت الجديد تعبيرياً للغاية! كان بإمكانه الهمس والصراخ. ومع ذلك، ولأن لديه بيانات أقل للتعلم منها، فقد تعثر أحياناً في نطق الكلمات (كان أقل وضوحاً).
الاختراق الكبير: وجدوا أن نوعاً معيناً من نماذج الكمبيوتر (يسمى F5-TTS) كان مثل الإسفنجة. عندما استخدموا LibriQuote لتدريبه، أصبح واضحاً وتعبيرياً في آن واحد. لقد تعلم كيف يمثل ويتحدث بوضوح في نفس الوقت.
٤. الاختبار الكبير: "أولمبياد تحويل النص إلى كلام"
لمعرفة ما إذا كانت مجموعة البيانات الجديدة هذه تعمل حقاً، أقاموا مسابقة. أخذوا أفضل أصوات الكمبيوتر في العالم اليوم وطلبوا منها قراءة مجموعة اختبار LibriQuote.
- الحكم: لا تزال معظم الحواسيب المتطورة تبدو مسطحة بعض الشيء أو تخطئ في فهم المشاعر. قد تقول "أنا غاضبة!" ولكنها تبدو سعيدة.
- الفائز: كان النظام المسمى IndexTTS2 هو الأفضل أداءً. لقد تمكن من تخمين الشعور الصحيح بمجرد النظر إلى السياق (القصة المحيطة بالجملة). ومع ذلك، حتى الفائز أخطأ أحياناً، مما يثبت أن هذا لا يزال تحدياً صعباً للغاية.
٥. لماذا هذا مهم؟
هذه الورقة البحثية تشبه تقديم نص جديد مفصل للغاية لصناعة أصوات الكمبيوتر.
- للمستمعين: في المستقبل، يمكن للكتب الصوتية التي يقرؤها الذكاء الاصطناعي أن تبدو درامية وعاطفية تماماً مثل الممثل البشري، مما يجعل القصص أكثر انغماساً.
- للباحثين: لديهم الآن "نادي رياضي" (مجموعة البيانات) لتدريب الذكاء الاصطناعي على فهم الفرق بين صوت الراوي وصوت الشخصية.
العقبة (القيود)
الباحثون صريحون بشأن العيوب:
- المصدر: الصوت الذي استخدموه جاء من متطوعين (قراء هواة)، وليس من ممثلي صوت من هوليوود. لذا، في بعض الأحيان، لم تكن الأمثلة "البشرية" مثالية أيضاً.
- التحيز: لا يعرفون جنس أو لهجة كل قارئ في مجموعة البيانات الخاصة بهم، لذا قد يتعلم الذكاء الاصطناعي عن طريق الخطأ أن يبدو كنوع واحد فقط من البشر.
- المستقبل: يحذرون من أنه بينما يتحسن الذكاء الاصطناعي، لا نزال بحاجة إلى توخي الحذر عند استخدامه لاستبدال الممثلين البشريين الحقيقيين، لأن ذلك قد يضر بالوظائف ويؤدي إلى استخدام الأصوات المزيفة لأغراض سيئة (مثل عمليات الاحتيال).
باختصار: قام الباحثون ببناء مكتبة ضخمة من "أصوات الشخصيات" مع ملاحظات خاصة حول كيفية التمثيل. لقد استخدموها لتعليم الحواسيب التوقف عن كونه روبوتات والبدء في كونها رواة قصص. إنها خطوة كبيرة للأمام، لكن الممثلين من الكمبيوتر لا يزال أمامهم الكثير من التدريب قبل أن يتمكنوا من هزيمة أفضل الرواة البشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.